백테스트 과최적화, 어디까지 믿을까

안녕하세요, 모아쌤입니다.

자동매매를 보면 딱 봐도 과최적화네라는 말이 먼저 나옵니다. 솔직히 절반은 맞는 말입니다. 백테스트만 화려한 자동매매는 대부분 실제로 과최적화니까요.

그래서 오늘은 그 의심을 지우자는 게 아니라, 어떻게 여덟 단계로 직접 뜯어보는지 그 방법을 그대로 보여드리겠습니다.

과최적화란 무엇인가요

전략을 과거 데이터에 지나치게 정밀하게 맞춰서, 과거 성적은 높은데 미래엔 안 통하는 상태입니다. 시험 문제를 미리 외운 학생과 같습니다. 그 시험지에선 백 점이지만 문제가 조금만 바뀌면 무너지죠.

이건 나쁜 마음을 먹어야 생기는 게 아닙니다. 설정값을 수만 가지로 돌리면 과거와 우연히 맞는 조합이 반드시 나옵니다. 로또 만 장 사면 몇 등 하나는 나오는 것과 같습니다.

좋은 전략의 조건은 무엇인가요

과최적화를 걸러내는 기준을 뒤집으면 그게 좋은 전략의 조건입니다. 수익이 골고루 나오나. 오를 때도 내릴 때도 버나. 어느 기간을 잘라도 꾸준하나. 설정 조금 바꿔도 안 무너지나. 비용 더 내도 살아남나. 그리고 만들 때 안 쓴 데이터에서 통하나. 이 목록에 백테스트 수익률은 없습니다.

과최적화는 어떻게 여덟 단계로 검증하나요

첫째, 대량 최적화로 후보를 뽑되 그 숫자를 하나도 믿지 않고 시작합니다. 둘째, 수익이 어디서 나왔는지 분해합니다. 소표본 몇 거래에 수익이 몰려 있으면 운인지 실력인지 구분이 안 됩니다. 셋째, 군더더기를 지웁니다. 착시를 걷어내니 백테스트 수익률이 절반 넘게 깎였고, 손익비는 거의 그대로였습니다.

넷째, 새 규칙은 백테스트가 아니라 통계부터 확인합니다. 다섯째, 큰 추세를 끝까지 타도록 손절 폭을 논리로 다시 잡습니다. 여섯째, 설정과 기간과 비용을 바꿔 다시 검증합니다. 설정을 한 칸씩 바꾼 변형이 전부 흑자였고, 봉우리 주변이 함께 높은 평탄대였습니다.

일곱째, 다른 종목과 시간대에 옮겨 봅니다. 대부분 적자였는데, 이건 우위가 특정 시장의 고유한 리듬에서 나온다는 뜻입니다. 여덟째, 만들 때 안 쓴 기간으로 채점합니다. 떼어둔 최근 구간이 전부 흑자였고, 만들 때 1등이던 설정이 처음 보는 기간에서도 1등이었습니다.

수익률 하나가 아니라 분포를 왜 봐야 하나요

순수익 하나는 운으로도 나옵니다. 그 수익이 어떻게 퍼져 있느냐가 진짜입니다.

7년이 한 해도 빠짐없이 플러스였고, 분기로 잘게 봐도 대부분이 흑자였습니다. 거래 하나하나로 보면 손실 쪽은 짧고 이익 쪽 꼬리가 깁니다. 익절 목표를 흔들어 봐도 봉우리가 칼날이 아니라 평탄대였습니다.

남의 전략은 어떻게 걸러내나요

소표본으로 부풀린 성과, 수익이 몇 거래에 몰림, 설명 안 되는 임계값, 설정은 많은데 검증 거래는 적음, 그리고 안 본 기간에서 무너짐. 남의 거든 내 거든 이런 게 보이면 의심하셔도 됩니다.

검증을 통과해도 남는 한계는 무엇인가요

첫째, 백테스트 수익률을 그대로 기대하시면 안 됩니다. 같은 데이터를 여러 번 보며 설정을 골랐기 때문에 실제 미래 수익은 더 낮게 잡는 게 맞습니다. 둘째, 시장 성격 자체가 변하면 어떤 전략도 영향을 받습니다. 검증 통과와 수익 보장은 다른 이야기입니다.

과최적화가 한 시장의 우연한 잡음에 맞추는 것이라면, 특화는 그 시장의 실제 구조에 맞추는 것입니다. 차이는 안 본 데이터에서도 통하느냐로 갈립니다.

모아봇은 이렇게 검증한 기록을 그대로 공개합니다. 어떤 전략을 붙이든 이 여덟 가지 질문을 들고 소개에서 직접 확인해 보세요.

본문의 수치는 특정 시점과 설정의 과거 거래 기록이며, 과거 데이터 기반이라 미래 수익을 보장하지 않습니다. 청산 위험은 항상 존재하고, 모든 판단은 본인 몫입니다.

지금까지 모아쌤이었습니다.