전체 기간을 한 번에 최적화하면 안 되는 이유

안녕하세요, 모아쌤입니다.

보통 백테스트는 이렇게 씁니다. 전체 기간을 한 번에 돌려서 곡선이 우상향하고 낙폭이 견딜 만하면 좋은 전략이라고 봅니다. 그런데 여기엔 근본적인 허점이 있습니다. 최적화에 쓴 그 데이터로 다시 성과를 채점하기 때문입니다. 오늘은 그 채점을 정직하게 하는 방법을 보겠습니다.

전체 기간을 한 번에 맞추면 미래를 본 점수가 나옵니다

설정을 고른 이유가 "이 기간에서 이게 제일 좋았으니까"라면, 그 설정이 같은 기간에서 좋은 점수를 내는 건 당연합니다. 답을 미리 보고 푼 시험지나 마찬가지죠.

여기엔 걸러 낼 장치가 구조적으로 없습니다. 설정 조합을 많이 돌릴수록, 그중 하나는 순전히 우연으로 그 기간에 딱 맞습니다. 쉰 개 조합을 돌려 일등을 골랐을 때, 그 일등에 진짜 실력이 담겼을 수도 있지만 그저 그 기간의 노이즈에 가장 잘 맞아 일등이 됐을 가능성이 더 큽니다. 하락장 데이터만으로 맞추면 거의 모든 설정이 "숏만, 반등은 무시"로 수렴하는데, 그 설정을 회복장에 올리면 계속 반대로 베팅하다 손실을 쌓습니다. 전체 기간을 한 덩어리로 평균 내면, 한쪽에 과하게 맞춰진 우연한 고득점이 그대로 실력으로 기록됩니다.