Overfitting e data-snooping

O overfitting é o vilão central das finanças quantitativas. É a razão pela qual a distância entre backtest e resultados ao vivo é tão grande, de forma tão confiável, que quants experientes presumem que uma estratégia terá desempenho pior ao vivo antes de presumir qualquer outra coisa.

O que é overfitting

Um modelo faz overfitting quando aprende o ruído nos dados de treino em vez do sinal subjacente. Ele descreve o passado em detalhe primoroso e prevê o futuro mal, porque o ruído do ano que vem é diferente. Quanto mais botões um modelo tem — parâmetros, features, regras — mais facilmente ele memoriza ruído.

Data-snooping: a epidemia sutil

Mesmo com divisões treino/teste limpas, você pode fazer overfitting pelo próprio processo de pesquisa. Isso é data-snooping (ou overfitting de backtest):

• Você testa 1.000 variações de estratégia e escolhe a melhor. Por puro acaso, algumas parecerão brilhantes em qualquer conjunto de dados — e você selecionou a mais sortuda, não a melhor.
• Você ajusta uma estratégia repetidamente contra o mesmo conjunto de teste até ela passar. O conjunto de teste agora está contaminado; virou efetivamente dados de treino.
• O campo inteiro tenta milhares de ideias sobre os mesmos dados históricos; os sobreviventes que são publicados são desproporcionalmente os sortudos.

Quanto mais hipóteses você testa, mais a aparente significância de um backtest fica sem sentido. Um índice de Sharpe que seria impressionante a partir de um teste é banal como o melhor de mil.

Como se defender

• Prefira modelos simples com poucos parâmetros. Simplicidade é robustez.
• Exija um racional econômico. Um padrão com uma razão crível para existir sobrevive; um puro artefato de dados não.
• Reserve um conjunto de teste final que você toca exatamente uma vez, depois de tomadas todas as decisões.
• Ajuste pelo número de tentativas — seja muito mais cético com o melhor de muitos do que com uma única hipótese pré-registrada.
• Presuma deterioração. Mesmo uma vantagem real enfraquece à medida que é descoberta e aglomerada.

A mentalidade profissional não é 'quão bom é este backtest?' mas 'como estou me enganando?'. Essa desconfiança, aplicada implacavelmente, é a diferença entre um quant que sobrevive e um que explode.