大模型被A股上了一课!EinsiaAI发布Quant Arena,半数大模型亏本
  • 1937

6 家前沿模型厂商的 9 个模型,被放进了同一场 A 股量化研究测试。 写策略,跑回测,再改代码。最后提交一个版本,交给预先封存的行情检验。 9 个模型中,只有 GPT 系列和 Opus 5.5 最后能够实现盈利,其他一半模型全部亏本。其中,得分最高的 GPT-6 Astra,虽然年化收益为 10.7%,但仍低于 17.1% 的市场基准(券池等权收益)。 更扎心的是:即使模型尽力研究市场,能把行情预测得更准,却不一定能把这份准转成收益。 近期,EinsiaAI 旗下 Navers Lab 团队发布 Quant Arena。它把顶尖大模型放到 A 股的真实历史数据中,检验从策略生成到反馈迭代的整轮研究。 论文题目:Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research 项目主页:https://lab.einsia.ai/quant-arena arXiv:https://arxiv.org/abs/2610.30113 3042 只股票,一轮完整研究 数据覆盖 3042 只 A 股 ,包括日频行情,以及原始 Level-2 报价、委托和成交。模型自己写 Python,构造特征,给股票打分。 研究期为 2022—2023 年 ,预算是 至多 5 次候选评估 。研究结束后,冻结一个策略,交给 2024 年的封存行情,只评一次 策略程序按授权读取数据,模型只拿到研究期允许的反馈。2024 年的数据和评估反馈,不回流给模型。 研究期内,模型可以看收益、信号和执行反馈,再改策略。 评估器按评分,构建目标为 75 只股票的等权多头组合,按整手成交。 交易成本和市场冲击,也算进现金账户。买不进的部分,留在现金里。榜单同时看收益、风险、信号、换手和特征多样性。 6 家厂商、9 个模型,谁能真正盈利? 参测模型来自 6 家前沿模型厂商(Claude、GPT、Gemini、DeepSeek、Kimi 和 GLM),共 9 个模型。收益、Sharpe 和最大回撤,均对应 2024 年。策略收益已计入交易成本,超额收益以百分点计。 GPT-6 Astra 年化收益 10.7% ,GPT-6 Sol 为 8.6% ,GPT-5.6 Terra 为 8.4% ,Claude Opus 5.5 为 4.4% 。Claude Sonnet 5.5、Gemini 3.8 Flash、DeepSeek V4.1 Flash、Kimi K3 和 GLM-5.3 的年化收益分别为 −12.2%、−2.9%、−5.7%、−8.5% 和 −7.8%。 看风险,排序又变了。GPT-6 Astra 最大回撤为 −6.8% ,GPT-6 Sol 为 −2.8% ;Claude Opus 5.5 和 Kimi K3 的最大回撤分别为 −32.7% 和 −36.4%。GPT-6 Sol 的 Sharpe 为 1.89,GPT-6 Astra 为 0.86。 按每个模型总分最高的代表配置,5 个亏本,4 个盈利,而且没有一个能够跑赢市场基准。 9 个代表策略与市场基准的 2024 年现金账户净值 信号看着更准,账户却亏了 RankIC 看的是全体股票的排序,与后续收益排序有多一致。 Gemini 3.8 Flash 的 RankIC 为,年化收益却是 −2.9% 。GLM-5.3 的 RankIC 为,年化收益则是 −7.8% Claude Opus 5.5 的 RankIC 只有 −0.002 ,年化收益却达到 4.4% 研究团队按每日模型信号把股票分为 10 组,计算各组次日平均收益,以及最高组减最低组的 H−L 价差。9 个代表策略中,有 7 个的最高分组收益低于全样本均值,平均每天落后约 10 bp。 9 个代表策略的信号十分位收益。 Claude Opus 5.5、Claude Sonnet 5.5、Gemini 3.8 Flash、DeepSeek V4.1 Flash、Kimi K3 和 GLM-5.3 都呈现出 “驼峰”:从低分端数第二或第三组的股票收益最高,分数最高的一组反而回落。GPT-5.6 Terra 的 H−L 为 +28.6 bp ,GPT-6 Astra 为 +38.7 bp ,但 GPT-6 Astra 只有 56 个有信号的交易日。 全体排序有用,不代表最靠前的股票最赚钱。 组合恰恰买的是这一小部分 分组收益是信号诊断,账户结果还要经过仓位、成交和成本。 GPT-6 Astra 学会了择时 GPT-6 Astra 在研究中自己写了一个择时开关:只有全市场股票 5 日和 20 日涨幅的中位数都为正时才给股票打分,否则当天空仓。 这个开关在 2024 年 2 月的闪崩

about image