스캘핑(몇 초에서 몇 분 안에 사고파는 초단기 매매) 전략을 직접 연구해 본 사람이라면, 제일 힘든 게 계산이 아니라는 걸 압니다.
이 신호가 뜨면 어떻게 하지? 다른 신호가 같이 뜨면? 가격이 크게 출렁일 때만 남길까? 잔잔할 땐 버릴까? 여기선 반대로 베팅하고, 저기선 쉬고…
하나하나 확인하다 보면 평일 저녁이 그대로 개인 연구소가 됩니다. 매일 몇 시간씩 몇 년을 쏟고도 전략 하나 겨우 건지는 일도 흔합니다.
그런 상황에 스스로 탐색하는 AI가 등장했습니다.
어떤 방식에서는 수천 가지 변형을 몇 시간 안에 돌려 보고, 수익이 왜 들쭉날쭉한지 따져 본 다음, 실패한 이유로 다음 후보를 고릅니다. 사람이 보이는 반응은 대개 같습니다.
"이걸 사람이 하면 며칠 걸리는데?"
그런데 "AI가 4,000개를 시험할 수 있으니 이제 끝났다"고 생각하면 위험합니다. 돈이 걸린 분야에서는 많이 시험할수록 우연히 맞은 것을 진짜로 착각할 가능성도 같이 커지기 때문입니다.[1][2]
이 글의 결론은 단순합니다.
내가 세운 가설, AI의 탐색, AI가 스스로 던지는 반박, 그리고 '몇 번 시험했는지'를 반영한 통계 보정. 이 네 가지를 같이 써야 강합니다.
승자를 찾는 AI만 있으면 부족합니다. 찾아낸 승자를 있는 힘껏 깨뜨리는 AI까지 한 세트여야 합니다.
1. 몇 년 걸리던 수작업이 갑자기 짧아지는 이유
전략 연구는 작은 단계의 연속입니다.
- 아이디어를 떠올린다.
- 조건을 만든다.
- 과거 데이터로 시험한다(백테스트).
- 결과를 본다.
- "왜 들쭉날쭉하지?"를 생각한다.
- 조건을 나눈다.
- 다시 시험한다.
한 단계 한 단계는 어렵지 않습니다. 이걸 수백 번, 수천 번 되풀이하는 게 힘든 겁니다.
게다가 중간중간 "어제 어디까지 해봤지?", "이 조건 전에 해봤나?" 같은 확인이 끼어듭니다. 사람 머리에는 연구 기록 관리 기능이 기본으로 들어 있지 않습니다. 있는 사람도 있겠지만, 적어도 업데이트 알림은 오지 않습니다.
탐색 AI의 가치는 이 반복을 끊지 않고 돌린다는 데 있습니다.
"수익이 났다"에서 멈추지 않고, "특정 며칠만 그런 거 아닐까?", "수수료를 넣으면?", "다른 시간대에서는?", "이 조건을 빼면?" 하고 가지를 늘리면서, 안 된 이유를 다음 가설로 되돌립니다.
단순히 과거 데이터 시험이 빨라진 게 아닙니다.
연구를 돌리는 방식 자체가 빨라진 겁니다.
2. Astra의 강점은 '정답을 안다'보다 '처음 가 보는 곳을 헤치고 다닌다'에 가깝다
GPT-6 Astra의 특징을 이해하기 좋은 시험이 ARC-AGI-3입니다.
설명서도 분명한 목표도 없는 2D 격자 세계를 AI가 직접 조작하면서, 무슨 일이 일어나는지 보고 규칙을 알아내는 상호작용형 시험입니다. 탐색하는 힘, 세상이 돌아가는 방식을 머릿속에 그리는 힘, 목표를 짐작하는 힘, 계획을 세우고 고치는 힘이 필요합니다.[3][4]
2026년 7월 GPT-5.6 Sol은 ARC Prize의 반비공개 세트(semi-private)에서 7.78%를 기록했습니다. OpenAI는 별도의 공개 세트에서, 추론 중간 상태를 기억해 두고 문맥을 압축하면 13.3%에서 38.3%까지 오른다는 것도 보여 줬습니다.[5]
9월의 Astra는 같은 반비공개 세트에서 ARC Prize의 표준 평가 환경으로 62.7%, 추론 중간 상태를 더 오래 유지하는 Provider Adapter 환경에서 99.9%를 기록했습니다. 평가 환경에 따라 점수가 크게 달라지므로 단순한 배수 비교는 할 수 없습니다. 그래도 탐색하는 힘, 원리를 이해하는 힘, 오래 기억하는 힘이 크게 늘었다는 건 읽을 수 있습니다.[6][3]
ARC Prize는 또 Astra가 끝까지 깬 레벨의 96%에서 사람 완주자 중앙값보다 적은 조작 횟수를 썼다고 보고했습니다.[3]
여기가 재미있는 부분입니다.
어려운 수학 문제를 한 번에 푸는 힘과는 조금 다릅니다.
"이거 누르면 뭐가 되지? 그럼 다음엔 이쪽. 아, 규칙 알겠다."
이렇게 만져 보면서 익히는 힘입니다.
초등학생도 할 법한 2D 게임이 AI에게는 오랫동안 어려웠습니다. 그래서 여기서의 급격한 향상은 "처음 보는 환경을 만져 보며 이해하는 능력"이 달라졌다는 신호로 보기 좋습니다.
참고로 ARC Prize 자신도 ARC-AGI-3에서 높은 점수가 나온 것을 사람 수준의 범용 지능이 실현됐다는 증거로 보지 않습니다. 규칙이 정해진 닫힌 세계와 복잡한 현실은 다르니까요.[3]
3. 2D 게임 탐색이 왜 스캘핑 연구와 닮아 보일까
시장은 게임이 아닙니다. 가격은 정해진 규칙대로 움직이지 않습니다.
그래도 연구 절차만 놓고 보면 꽤 닮았습니다.
예를 들어 호가창(사려는 주문과 팔려는 주문이 늘어선 표)의 쏠림을 조건에 추가했더니 성적이 좋아졌다고 해 봅시다.
여기서 끝나지 않습니다.
- 호가창의 쏠림 자체가 효과가 있는 걸까?
- 가격이 크게 출렁일 때만 통하는 걸까?
- 사는 가격과 파는 가격의 차이가 작을 때만 그렇게 보이는 걸까?
- 체결이 한 칸만 불리해져도 사라질까?
- 특정 시간대에만 있는 걸까?
관찰하고, 조건을 바꾸고, 결과를 보고, 가설을 고칩니다.
구조로 보면 ARC-AGI-3의 '관찰, 조작, 반응, 머릿속 지도 수정, 다음 조작'과 가깝습니다.[3][4]
그래서 탐색 AI에게 주기 좋은 지시는 "가장 돈 되는 설정을 찾아라"가 아니라
"이 수익이 왜 나는지 쪼개 보고, 깨지는 조건을 찾고, 안 된 이유에서 다음 후보를 만들어라"
입니다.
정답을 맞히는 퀴즈가 아닙니다.
처음 걷는 땅을 탐험시키는 연구 게임으로 건네는 겁니다.
4. 사람의 경험은 사라지지 않는다 — '이쪽이 수상하다'는 감이 오히려 비싸진다
AI에게 처음부터 다 찾게 하면 되지 않을까 싶습니다.
하지만 찾을 범위가 넓을수록 사람의 경험은 "어디부터 팔지"를 정해 주는 지도가 됩니다.
오랫동안 책을 읽고 지표와 가격 움직임을 하나씩 시험해 본 사람은 머릿속에 이런 분류를 갖고 있습니다.
- 혼자서는 약하지만 "이 상황은 건너뛴다"는 조건으로는 쓸 만하다.
- 오르거나 내리는 흐름이 뚜렷할 때만 쓸 만하다.
- 과거 데이터에선 예쁜데 수수료에 잘 녹는다.
- 방향을 맞히는 것보다 진입을 막는 데 더 강하다.
- 강해 보이지만 특정 기간에 몰려 있기 쉽다.
이건 "정답 목록"이 아닙니다.
어디를 먼저 집중해서 볼지에 대한 감입니다.
과학 분야에서도 2026년의 Co-Scientist는 연구자가 준 목표와 이미 알려진 근거에서 출발해, 가설을 만들고, 비판하고, 순위를 매기고, 다듬는 과정을 반복합니다. 계산 시간을 늘려 가며 가설을 파고드는 구조입니다.[7]
금융에서도 발상은 같으면 됩니다.
사람이 "여기가 강해 보인다" 하고 씨앗을 심습니다.
AI는 그 주변을 수천 갈래로 팝니다.
그리고 사람의 예상과 어긋나는 결과가 나오면 미련 없이 버립니다.
경험은 정답이 아니라, 탐색에 드는 품을 어디에 먼저 쓸지 알려 주는 힌트로 씁니다.
이러면 "경험자의 선입견"과 "AI의 무작정 대입"이 가진 약점을 서로 조금씩 덜어 줄 수 있습니다.
5. 조건을 여러 개 조합하면 사람 손으로는 지옥이 되는 이유
재료가 20개 있다고 해 봅시다.
재료마다 "쓴다, 안 쓴다"만 정해도 조합은
2^20 = 1,048,576가지.
"안 쓴다, 그대로 쓴다, 반대로 쓴다"의 세 가지로 늘리면
3^20 = 3,486,784,401가지.
물론 현실에서 전부 대입하지는 않습니다. 말이 안 되는 조합은 사람이 아는 지식으로 걸러 냅니다.
그래도 실전 연구에는 기준값, 시간대, 가격의 출렁임, 사고파는 가격 차이, 들고 있는 시간, 뉴스 시간대 제외, 매수와 매도의 차이, 체결 조건 같은 것들이 더 얹힙니다.
그러니 예전 연구자가 하던
"이걸 보면 어때? 그럼 이것도 같이 보면? 이 상황은 빼면?"
는 사실상 엄청나게 갈라지는 길을 사람 손으로 걷는 일이었습니다.
몇 년 걸릴 만합니다.
엑셀 잘못이 아닙니다. 우주가 너무 넓은 겁니다.
6. AI에게 시키고 싶은 건 무작정 대입이 아니라 '다음에 뭘 시험할지' 고르는 일
탐색을 잘하는 AI의 쓸모는 모든 설정을 무턱대고 훑는 게 아닙니다.
좋은 탐색은 결과를 보고 다음 실험을 바꿉니다.
예를 들어 전략이 A+B+C+D로 이루어져 있다면, 부품을 하나씩 빼면서 성적이 어떻게 변하는지 봅니다.
- D를 빼도 그대로다 → D는 장식일 수 있다.
- B 하나로는 약한데 A+B로 하면 손실 구간만 줄어든다 → B는 예측하는 역할이 아니라 걸러 내는 필터일 수 있다.
- C는 전체 기간에서는 약한데 가격이 크게 출렁일 때만 강하다 → C는 시장 상태에 따라 달라지는 부품일 수 있다.
이렇게 부품을 빼서 역할을 확인하는 검사를 흔히 어블레이션(ablation)이라고 부릅니다.
중요한 건 이름이 아니라, 복잡한 전략을 분해해서 진짜 효과가 있는 부품만 남기는 것입니다.
탐색, 실패, 원인 분류, 다음 탐색.
이 순환을 자동화하면 AI는 숫자만 찾는 도구에서 연구 조수에 가까워집니다.
7. 그런데 가장 큰 적은 '우연' — 4,000번 시험하면 '우연한 천재'도 나온다
돈 연구에서 제일 무서운 대목입니다.
전략 4,000개를 시험해서 가장 예쁜 하나만 고르면, 그 승자는 실력이 아니라 우연으로 이겼을 수 있습니다.
White는 같은 데이터를 판단과 모델 선택에 되풀이해 쓰는 '데이터 스누핑'에서는, 좋은 결과가 방법의 진짜 실력이 아니라 우연에서 나올 수 있다고 정리했습니다.[1]
신호를 여러 개 조합하면 더 위험합니다.
Novy-Marx는 여러 신호를 골라 조합하면 과거 데이터에 지나치게 맞추는 편향이 심해지고, 실제로는 예측력이 전혀 없는 무작위 신호로도 그럴듯한 백테스트를 만들 수 있다고 보여 줬습니다.[2]
그러니 탐색 AI의 강점은 양날의 검입니다.
사람보다 4,000배 많이 틀릴 수 있습니다.
그리고 그중 가장 아름다운 오답에만 상을 줄 수도 있습니다.
탐색량이 늘수록 '우연' 대책은 마지막 점검이 아니라 탐색 방식 자체에 넣어야 합니다.
8. 대책은 '모든 시도를 기록하고, 마지막 시험 데이터는 AI에게도 보여 주지 않는 것'부터
대량으로 탐색한다면 실패한 3,999개도 연구 기록입니다.
최소한 다음은 절차에 넣어 두세요.
- 모든 시도를 기록한다. 몇 개 시험했고, 무엇을 바꿨고, 왜 버렸는지 남긴다.
- 탐색용 데이터와 최종 확인용 데이터를 나눈다. 최종 확인용은 전략을 고르는 동안 보지 않는다.
- 시간 흐름대로 확인한다. 과거로 만들고 이후 시기로 확인하는 워크포워드 방식을 쓴다.
- 조건을 일부러 나쁘게 만든다. 사고파는 가격 차이, 수수료, 체결 가격의 어긋남, 지연, 체결의 까다로움을 불리하게 바꾼다.
- 비슷한 설정에서도 살아남는지 본다. 딱 한 점에서만 뾰족하게 맞는 전략은 의심한다.
- 시장 상태를 나눈다. 출렁일 때와 잔잔할 때, 시간대, 연도, 매수와 매도 등으로 수익이 한쪽에 몰리지 않았는지 확인한다.
- 많이 시험한 만큼 보정한다.
후보를 많이 시험한 탓에 위험 대비 성과 지표(샤프 비율)가 실제보다 좋게 보이는 만큼을 바로잡는 방법이 Deflated Sharpe Ratio, 줄여서 DSR입니다. 고른 결과에 생기는 쏠림과, 수익 분포가 한쪽으로 치우친 점을 함께 고려합니다.[8]
투자 백테스트용으로 "지나치게 최적화했을 확률"을 어림하는 틀이 Probability of Backtest Overfitting, PBO이고, 조합 대칭 교차검증이라는 방법을 씁니다.[9]
White의 Reality Check는 많은 후보에서 생기는 데이터 스누핑을 검정하는 방법이고, Hansen의 Superior Predictive Ability 검정(SPA)은 약하거나 관련 없는 후보의 영향을 덜 받는 쪽으로 개선됐습니다.[1][10]
이름을 전부 외울 필요는 없습니다.
생각은 하나입니다.
"4,000개 시험한 뒤 가장 강했다"면, 4,000개를 시험했다는 사실까지 합쳐서 평가한다.
그리고 마지막에 남겨 둔 미사용 데이터를 본 뒤에 전략을 고쳤다면, 그 데이터는 더 이상 미사용이 아닙니다. 고친 버전에는 새로 봉인한 데이터가 필요합니다.
9. 가장 강한 구성은 '승자를 찾는 AI'와 '승자를 부수는 AI'의 2인 체제
탐색 AI를 하나만 두면 아무래도 "좋은 걸 찾는" 쪽으로 기웁니다.
그래서 역할을 나눕니다.
탐색 쪽
- 새 조건을 만든다.
- 사람의 가설을 새로 조합한다.
- 시장 상태별로 어떻게 통하는지 판다.
- 실패한 이유에서 다음 후보를 만든다.
반박 쪽
- 수수료 같은 비용을 나쁘게 만든다.
- 체결을 늦춘다.
- 며칠을 빼 본다.
- 설정값을 옮겨 본다.
- 다른 기간, 다른 시장으로 가져가 본다.
- DSR, PBO, Reality Check, SPA 등으로 많이 시험한 만큼 보정한다.
- 수익이 일부 날짜나 일부 거래에만 몰려 있지 않은지 살핀다.
탐색 쪽이 "찾았다!" 하고 들고 오면, 반박 쪽이 "진짜?" 하고 두드립니다.
살아남으면 한 번 더 두드립니다.
돈 연구에서는 이 심술궂음이 곧 품질입니다.
목표를 "최고 수익"에서
"조건을 조금 망가뜨려도, 다른 기간에서도, 비용을 나쁘게 해도, 이유를 설명할 수 있는 모양으로 남는 것"
으로 바꾸는 편이 좋습니다.
10. 새 모델이 나오면 '종합 점수'보다 '이전 세대에서 갑자기 벽을 넘은 능력'을 보라
이 이야기는 스캘핑에만 해당하지 않습니다.
새 AI 모델이 나왔을 때 종합 시험 점수가 5% 올랐는지만 보면, 돈이 될 자리를 놓칩니다.
봐야 할 건
"이전 모델로는 수지가 안 맞던 일이 이번에 갑자기 성립하는 곳은 어디인가"
입니다.
Astra라면 ARC-AGI-3에서 눈에 띈 건, 처음 보는 환경을 탐색하고, 작동 원리를 간단히 정리해 머릿속에 넣고, 적은 조작으로 나아가는 능력이었습니다.[3]
거기서 거꾸로 따져 봅니다.
- 대량의 가설을 시험하는 일은 없는가.
- 사람이 "다음에 뭘 시험하지?"로 시간을 잃는 업무는 없는가.
- 성공과 실패를 숫자로 확인할 수 있는가.
- 100번, 1,000번 반복했을 때 인건비 차이가 큰가.
- 그 능력 차이가 이익, 비용, 개발 속도에 바로 이어지는가.
이 다섯 가지가 겹치는 곳은 흥미롭습니다.
과학에서도 Co-Scientist처럼 "가설 만들기, 비판, 비교, 개선"을 계산량으로 돌리는 방향이 실제로 진행되고 있습니다.[7]
그러니 새 모델 발표는 스펙표를 읽는 행사가 아니라
"사람이 예전에 죽도록 귀찮아하던 과정 중 어느 것이 갑자기 기계로 가능해졌나?"를 찾는 보물찾기
로 보면 좋습니다.
단기 매매 연구에서는 답이 보이기 시작했습니다.
사람이 몇 년에 걸쳐 얻은 "이 근처가 강해 보인다"는 감은 버릴 게 아닙니다.
그걸 AI에게 건네서 수천 가지를 파 보게 합니다.
다만 같은 AI에게 자기 성과를 부수게 하고, 통계의 관문을 통과시키고, 마지막 미사용 데이터까지 남겨 두어야 합니다.
가장 짧은 요약은 이겁니다.
사람은 탐색의 지도를 그린다. AI는 지도 바깥까지 판다. 통계는 "그거, 진짜 금맥 맞아?" 하고 마지막에 멈춰 세운다.
AI가 강해질수록, 마지막 한 사람만큼은 냉정해야 합니다.
그 한 사람도 AI에게 시키면 되긴 하지만요.
- Halbert White — A Reality Check for Data Snooping, Econometrica 68(5), 2000 onlinelibrary.wiley.com
- Robert Novy-Marx — Backtesting Strategies Based on Multiple Signals, NBER Working Paper 21329, 2015 nber.org
- ARC Prize — OpenAI's GPT-6 Astra on ARC-AGI-3 (2026-09-03) arcprize.org
- ARC Prize — Announcing ARC-AGI-3 / ARC-AGI-3 documentation https://docs.arcprize.org/ arcprize.org
- OpenAI — How two settings tripled our ARC-AGI-3 scores (GPT-5.6 Sol) openai.com
- OpenAI — GPT-6 Astra: A new generation of intelligence openai.com
- Juraj Gottweis et al. — Accelerating scientific discovery with Co-Scientist, Nature, 2026 nature.com
- David H. Bailey & Marcos López de Prado — The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality, 2014 doi.org
- David H. Bailey, Jonathan Borwein, Marcos López de Prado & Qiji Jim Zhu — The Probability of Backtest Overfitting, 2015 papers.ssrn.com
- Peter Reinhard Hansen — A Test for Superior Predictive Ability, Journal of Business & Economic Statistics 23(4), 2005 tandfonline.com
