Aprendizado por reforço

O aprendizado por reforço (RL) é de novo um paradigma diferente. Não há exemplos rotulados — em vez disso um agente toma ações num ambiente, recebe recompensas e aprende uma política que maximiza a recompensa acumulada ao longo do tempo.

Por que é atraente para trading

O trading é naturalmente sequencial: cada decisão muda sua posição, afeta levemente o mercado e molda oportunidades futuras. O RL enquadra o problema inteiro do jeito que um trader de fato o enfrenta:

• Estado — preços atuais, sua posição, volatilidade, hora do dia.
• Ação — comprar, vender, segurar, ou quanto dimensionar.
• Recompensa — lucro e prejuízo, idealmente penalizada por risco e custos de transação.

O RL é usado com sucesso na execução de ordens (fatiar uma ordem grande para minimizar o impacto de mercado) e no dimensionamento dinâmico de posição.

Por que é brutalmente difícil para gerar alfa

• A recompensa é ruidosa. Uma boa decisão pode perder dinheiro e uma má pode ganhar, então o sinal de aprendizado fica afogado em aleatoriedade.
• O ambiente é não estacionário. As 'regras' que o agente aprende mudam conforme os mercados mudam, ao contrário de um jogo de tabuleiro com regras fixas.
• Fazer backtest de RL é traiçoeiro. As ações do agente teriam movido mercados reais, mas uma reprodução histórica supõe que não — adulando os resultados.

O RL é poderoso onde o ambiente é bem definido e a recompensa é limpa (execução). Para prever o mercado em si, é uma fronteira de pesquisa, não uma ferramenta de produção confiável — trate qualquer alegação em contrário com profunda desconfiança.