Divisões treino/teste e vazamento

A regra fundamental da validação: nunca avalie um modelo nos mesmos dados em que o construiu. Um modelo testado nos seus dados de treino reporta o quão bem ele memorizou, não o quão bem prevê.

A divisão básica

Divida os dados num conjunto de treino (onde o modelo aprende) e num conjunto de teste (guardado, intocado, usado uma vez para julgá-lo). Bom desempenho no treino com desempenho ruim no teste é a assinatura do overfitting — o modelo aprendeu ruído, não sinal.

Por que finanças quebram a receita padrão

Na maioria do aprendizado de máquina você divide os dados aleatoriamente. Em finanças você não pode, porque os dados são ordenados no tempo e autocorrelacionados:

• Uma divisão aleatória coloca dados do futuro no conjunto de treino e dados do passado no de teste — treinar no futuro para prever o passado, o que não tem sentido e vaza informação.
• Dias adjacentes são correlacionados, então uma divisão aleatória espalha dias quase duplicados entre treino e teste, fazendo o teste parecer mais fácil que a realidade.

A abordagem correta respeita a ordem temporal: treine no período anterior, teste no período estritamente posterior — exatamente como você enfrentaria o mercado.

Vazamento, o assassino silencioso

O vazamento de dados (leakage) é qualquer forma de informação do futuro se infiltrar no treino. Ele se esconde em lugares sutis: normalizar features usando estatísticas calculadas sobre o conjunto inteiro (incluindo o futuro), preencher valores faltantes com dados do futuro, ou definir um rótulo que espia adiante. O vazamento produz resultados de teste deslumbrantes que evaporam ao vivo, porque o modelo ao vivo nunca tem os dados do futuro que o teste secretamente usou. A maioria dos backtests 'bons demais para ser verdade' é vazamento, não genialidade.