AI几小时就能试4000种交易策略,真正的坑是“碰巧赢”:GPT-6 Astra与回测过拟合

阅读功能说明

收听会朗读正文;速读会按顺序显示短语,速度可调。语言练习可对照已有的不同语言版本。收藏保存在本浏览器中,可从播放器的收藏列表再次打开。用打砖块来读会把正文的文字变成砖块,边打边读。

分享这篇文章

分享这篇文章

广告
广告

做过超短线(也叫剥头皮,几秒到几分钟就平仓的交易)策略研究的人都知道,最累的不是算数。

看到信号A怎么办?B同时出现呢?行情波动大就留着,平静就删掉?这里反着做,那里干脆不动?

一个个手动试下来,普通的工作日晚上就变成了私人实验室。每天几小时、连着好几年,最后只留下一个像样的策略,这并不稀奇。

然后,能自己去探索的AI来了。

在某种用法里,它几小时就能跑几千种变化,查出收益为什么忽高忽低,再用失败的原因挑下一个要试的方案。人的第一反应大多一样:

“这要让人来做,得多少天?”

但如果就此觉得“AI能试4000种,稳了”,那就危险了。在金融里,试得越多,把运气当成实力的可能性也越大。[1][2]

这篇文章的结论很简单:

靠谱的组合是:你自己的想法,加上AI的大量探索,加上AI自己找茬,再加上把“试了多少次”算进去的统计修正。

只有一个负责找赢家的AI不够。还得有一个专门把赢家拆掉的AI。

1. 为什么要花几年的手工活,突然能缩短这么多

手工研究策略,其实是一串小步骤:

  1. 想到一个点子。
  2. 把条件写成规则。
  3. 用过去的数据试一遍(回测)。
  4. 看结果。
  5. 想“为什么不稳定”。
  6. 把条件拆开。
  7. 再试一次。

每一步都不难,难的是这样反复几百次、几千次。

而且中途总要问:“昨天试到哪了?”“这个条件我是不是试过?”人脑自带的功能里,没有研究记录管理这一项。也许有人有,但至少不会收到更新提醒。

探索型AI的价值,就在于能不停地把这个循环转下去。

它不会停在“赚钱了”,而是继续追问:是不是只有某几天赚?算上手续费还赚不赚?换个时段呢?去掉这个条件呢?把枝杈越分越多,再把失败的原因变成下一个假设。

这不只是回测变快了。

而是研究本身的节奏变快了。

2. Astra的强,不在于“知道答案”,更像是“能在没去过的地方摸索前进”

要理解GPT-6 Astra的特点,ARC-AGI-3是个好例子。

这是一个互动式测试:AI要操作一个没有说明书、也没有明确目标的二维格子世界,一边观察会发生什么,一边猜出规则。需要的是探索的能力、在脑子里建起这个世界运转方式的能力、猜目标的能力,以及做计划并随时修正的能力。[3][4]

2026年7月,GPT-5.6 Sol在ARC Prize的半公开测试集(semi-private)上得了7.78%。OpenAI还在另一个公开测试集上证明:保留推理的中间状态、压缩上下文之后,成绩能从13.3%涨到38.3%。[5]

9月,Astra在同一个半公开测试集上,用ARC Prize的标准评测环境得了62.7%,用能把推理的中间状态保留得更久的Provider Adapter环境得了99.9%。评测环境不同,分数差别很大,所以不能简单算倍数。但可以看出,探索、理解运作原理、长时间记住状态这几项能力都大幅提高了。[6][3]

ARC Prize还报告说,在Astra通关的关卡里,有96%用的操作次数比人类通关者的中位数还少。[3]

有意思的就在这里。

这跟一口气解出一道难数学题的强,有点不一样。

“按这个会怎样?那下一步试试这个。哦,规则我懂了。”

是这种边摸边学的强。

小学生也能玩的二维小游戏,AI却长期搞不定。正因如此,它在这里的突然进步,很能说明“面对从没见过的环境,边碰边理解”的能力变了。

另外,ARC Prize自己也说,ARC-AGI-3拿高分并不等于证明实现了人类水平的通用智能。规则固定的封闭世界,和复杂的现实不是一回事。[3]

3. 为什么二维游戏里的探索,看起来像超短线研究

市场不是游戏。价格也不是按固定规则定出来的。

可是只看研究的步骤,两者很像。

比如,你在条件里加了盘口(买单和卖单排成的队)的偏向,回测成绩变好了。

这时候不能就此打住。

  • 盘口偏向本身真的有用吗?
  • 是不是只在波动大的时候有用?
  • 是不是只因为买卖价差小才看起来有效?
  • 成交价只差一格,效果就没了吗?
  • 是不是只在某个时间段出现?

观察,改条件,看结果,改假设。

从结构上说,这跟ARC-AGI-3的“观察、操作、看反应、更新脑子里的地图、再操作”很接近。[3][4]

所以对探索型AI,比起“帮我找最赚钱的参数”,更合适的要求是:

“把这笔利润为什么会出现拆开来看,找出会让它失效的条件,再从失败的原因里生出下一批候选。”

这不是猜中赢法的问答题。

是把它当成一场在陌生地形里探路的研究游戏交出去。

4. 人的价值不会消失——“这一带不对劲”的直觉反而更值钱

很容易想:干脆让AI从零开始全找一遍。

但搜索的范围越大,人的经验越像一张“从哪里开始挖”的地图。

长年读书、一个个试过各种指标和价格规律的人,脑子里有这样一些分类:

  • 单独用很弱,但当作“这种情况先不做”的条件可能有用。
  • 好像只在涨跌趋势明显时才管用。
  • 过去数据里很漂亮,但很容易被手续费吃掉。
  • 与其用来预测方向,不如用来拦住不该进的单。
  • 乍看很强,却容易集中在某一段时间。

这不是“标准答案清单”。

而是先重点看哪里的一种判断。

科学领域也一样。2026年的Co-Scientist,从研究者给的目标和已有证据出发,反复做“提出假设、批评、排序、改进”,并通过增加计算时间去深挖。[7]

金融上,想法也可以一样。

人先下种子:“这里好像很强。”

AI围着它往几千个方向挖。

如果结果和人的判断不一致,就毫不犹豫地扔掉。

经验不是答案,而是提示:先把探索的力气花在哪儿。

这样,“老手的先入之见”和“AI的蛮力穷举”各自的弱点,就能互相抵消一部分。

5. 为什么条件一多,靠人手就成了噩梦

假设有20种材料。

每种只选“用”或“不用”,组合就有

2^20 = 1,048,576种。

再加上“不用、正着用、反着用”三选一,就是

3^20 = 3,486,784,401种。

当然,现实里没人全部穷举。没意义的组合,靠人的知识先删掉。

但实战研究还会往里加:门槛值、时间段、价格波动幅度、买卖价差、持仓时间、避开新闻时段、做多和做空的差别、成交条件等等。

所以以前研究者做的

“看到这个怎么样?那再看看那个?这种情况要不要排除?”

其实就是靠人力走一棵巨大的分叉树。

难怪要花几年。

不是Excel不行。是宇宙太大了。

6. 想让AI做的,不是蛮力穷举,而是“选下一步试什么”

擅长探索的AI,用处不是把所有参数无差别扫一遍。

好的探索,会根据结果改变下一个实验。

比如策略由A+B+C+D组成,就一块一块拿掉,看成绩怎么变。

  • 拿掉D也没变化 → D可能只是摆设。
  • B单独很弱,但A+B能让亏损的幅度变小 → B也许不是预测器,而是过滤器(负责挑掉不该做的)。
  • C全程都弱,只有波动大时很强 → C可能是依赖市场状态的零件。

这种“拿掉零件看作用”的检验,一般叫消融测试(ablation)。

重要的不是名字,而是把复杂的策略拆开,只留下真正有用的零件。

探索、失败、归因、再探索。

把这个循环自动化,AI就从一个只会找数字的工具,变得更像研究助手。

7. 可最大的敌人是“碰巧”——试4000次,总会冒出一个“碰巧的天才”

做钱的研究,最怕的就是这里。

试4000个策略,只挑最漂亮的那一个,这个赢家可能不是靠实力,而是碰巧赢的。

White指出,把同一份数据反复用来下判断、挑模型的“数据窥探”(data snooping),会让好结果可能来自运气,而不是方法真有本事。[1]

多个信号组合起来更危险。

Novy-Marx证明:挑选并组合多个信号,会让“过分迎合过去数据”的偏差变强,即使是根本没有预测能力的随机信号,也能做出看起来很漂亮的回测。[2]

所以探索型AI的强,是把双刃剑。

它犯错的次数可以是人的4000倍。

还能从中把最漂亮的那个错误挑出来颁奖。

探索量越大,防“碰巧”的办法就越不能只是最后检查一下,而要放进探索的做法本身。

8. 防范,要从“记录每一次尝试,最后的检验数据连AI也不给看”开始

大规模探索时,失败的那3999个也是研究记录。

至少要把下面这些放进流程:

  1. 记录每一次尝试。 试了多少个、改了什么条件、为什么丢掉,都留下来。
  2. 把探索用的数据和最终检验用的数据分开。 挑策略期间,不看最终检验的数据。
  3. 按时间顺序往前检验。 用过去建模,在之后的时段验证,也就是前向检验(walk-forward)。
  4. 故意把条件弄差。 把买卖价差、手续费、成交价偏差、延迟、成交难度都往差的方向调。
  5. 看看相近的参数下还行不行。 只在某一个点上特别灵的策略要提防。
  6. 按市场状态拆开看。 波动大和平静的时候、时间段、年份、做多和做空,看利润是不是集中在某一块。
  7. 把试了很多次这件事修正进去。

因为试了大量候选,夏普比率(用风险衡量收益的一个指标)会被抬高、看起来比真实水平好。把这部分修正掉的方法,叫Deflated Sharpe Ratio,简称DSR。它考虑了挑选带来的偏差,以及收益分布不对称的问题。[8]

专门针对投资回测、估算“优化过头的概率”的框架,是Probability of Backtest Overfitting,简称PBO,用的是组合对称交叉验证这种方法。[9]

White的Reality Check是检验大量候选里是否存在数据窥探的方法,Hansen的Superior Predictive Ability检验(SPA)则改进为不那么容易被弱的、无关的候选干扰。[1][10]

这些名字不用全记住。

道理只有一条:

“试了4000个之后最强”,就要连同“试了4000个”这个事实一起来评价。

而且,看过留到最后的没用过的数据、再去改策略,这份数据就不再是没用过的了。改过的版本,需要新封存的一份数据。

9. 最强的配置,是“找赢家的AI”和“拆赢家的AI”两个人搭档

只放一个探索型AI,很容易偏向“找好东西”。

所以把角色分开。

探索方

  • 生成新的条件。
  • 重新组合人的假设。
  • 深挖在不同市场状态下的效果。
  • 把失败的原因变成下一批候选。

找茬方

  • 把手续费等成本调差。
  • 让成交变慢。
  • 抽掉几天的数据。
  • 把参数挪一挪。
  • 换到别的时期、别的市场。
  • 用DSR、PBO、Reality Check、SPA等,把试了很多次的因素修正掉。
  • 检查利润是不是只集中在少数几天或少数几笔交易上。

探索方拿来说“找到了!”,找茬方就问一句“真的吗?”然后一顿猛敲。

活下来了,再敲一遍。

在做钱的研究里,这份讨人嫌就是质量。

目标最好别再是“最高利润”,而是

“条件稍微弄坏一点、换个时期、把成本调差,依然能留下来,而且说得清理由的东西”。

10. 新模型出来时,别只看“总分”,要看“上一代突然跨过的那堵墙”

这件事不只和超短线有关。

新AI模型发布时,只看综合测试涨了5%,容易错过真正赚钱的地方。

该看的是:

“上一代模型做起来不划算的活,这一次哪里突然能做了?”

对Astra来说,ARC-AGI-3上最突出的,是探索陌生环境、把运作原理浓缩进脑子里、用很少的操作往前走的能力。[3]

从这里倒推。

  • 有没有需要试大量假设的活?
  • 有没有人总在“下一步试什么”上浪费时间的工作?
  • 成败能不能用数字验证?
  • 重复100次、1000次时,人工成本的差距大不大?
  • 这种能力差距,能不能直接对应到利润、成本、开发速度?

这五点重合的地方,就很有意思。

在科学领域,像Co-Scientist这样靠算力来跑“提假设、批评、比较、改进”的做法,也已经实实在在在推进了。[7]

所以,看新模型发布,别当成是看参数表,而是当成

一场寻宝:人类以前最头疼的工序里,有哪一步突然能交给机器了?

在短线交易研究里,答案已经开始浮现。

人花几年攒下的“这一带好像很强”的直觉,不是该扔掉的东西。

把它交给AI,让AI往几千个方向挖。

但同时要让同一个AI来拆自己的成果,让结果过统计这一关,并把最后一份没用过的数据留好。

最简短的总结是:

人画探索的地图。AI挖到地图之外。统计在最后拦一句:“那个,真是金矿吗?”

AI越强,最后那个人就越得保持冷静。

不过那个人,也可以让AI来当。


参考资料(10条)

  1. Halbert White — A Reality Check for Data Snooping, Econometrica 68(5), 2000 onlinelibrary.wiley.com
  2. Robert Novy-Marx — Backtesting Strategies Based on Multiple Signals, NBER Working Paper 21329, 2015 nber.org
  3. ARC Prize — OpenAI's GPT-6 Astra on ARC-AGI-3 (2026-09-03) arcprize.org
  4. ARC Prize — Announcing ARC-AGI-3 / ARC-AGI-3 documentation https://docs.arcprize.org/ arcprize.org
  5. OpenAI — How two settings tripled our ARC-AGI-3 scores (GPT-5.6 Sol) openai.com
  6. OpenAI — GPT-6 Astra: A new generation of intelligence openai.com
  7. Juraj Gottweis et al. — Accelerating scientific discovery with Co-Scientist, Nature, 2026 nature.com
  8. David H. Bailey & Marcos López de Prado — The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality, 2014 doi.org
  9. David H. Bailey, Jonathan Borwein, Marcos López de Prado & Qiji Jim Zhu — The Probability of Backtest Overfitting, 2015 papers.ssrn.com
  10. Peter Reinhard Hansen — A Test for Superior Predictive Ability, Journal of Business & Economic Statistics 23(4), 2005 tandfonline.com

本系列 阅读“Astra”的全部文章(15 篇文章)

今天读这篇

每一篇都回答读完本文后常有的下一个问题。

查看“Astra”的全部文章(15 篇文章)浏览全部文章更多「AI」文章

分享这篇文章

如果这篇文章对你有帮助,可以支持本站。 支持本站

广告
广告
广告

再来一篇?有没有好玩的?

读完顺便看看:几篇相近的,还有几篇完全不同但很有意思的。

  1. 相近的话题谷仓里踮脚跳舞的小矮人出自老电影吗?“Tip Toein’ in My Jordans”梗的真相
  2. 让 AI 写文章后,每段都长出了“不过”把研究赶回幕后的一次内容工厂大修
  3. 完全不同,但很有趣阳光玫瑰才199日元?日本超市“每100克价格”为什么总让人看走眼
  4. 最大的发现不要擅自负责别人的“内心戏”
  5. 为什么我动不动就哭?“泪失禁体质”不等于脆弱,照样能把工作做好
  6. Al Buqqi 是什么梗?美国加油站怎么成了“朝圣地”?

查找其他文章

所有文章

Mendoi-chan

本站运营者

Mendoi-chan

把工作与日常生活中的麻烦整理成清晰的结构和下一步行动。