Um backtest volta a aplicar uma regra a dados passados. É uma verificação útil e uma ferramenta de venda perigosa: quanto mais definições se testam sobre o mesmo histórico, maior a probabilidade de a melhor ter apenas acompanhado o ruído desse histórico.
Uma experiência que pode fazer
Abra o Quant Lab e deixe a rentabilidade esperada em zero. Sem tendência nos dados, uma regra de seguimento de tendência não tem nada de real para encontrar. Altere várias vezes a janela da média móvel com a mesma semente e registe o melhor resultado. Depois mantenha essa janela e mude apenas a semente. A suposta «vantagem» costuma desaparecer, porque nunca existiu.
Como é um teste rigoroso
- Definir a regra e as suas definições antes de olhar para os dados de teste, e registá-las por escrito.
- Reservar dados que a regra nunca viu e avaliá-la apenas nessa amostra.
- Indicar quantas variantes foram testadas, e não apenas a vencedora.
- Preferir regras que funcionam com muitas sementes ou períodos às que brilham num só.
A perspetiva da supervisão
As orientações da Reserva Federal dos EUA sobre risco de modelo (SR 11-7) pedem aos bancos que validem os modelos de forma independente, comparem os resultados com o que realmente aconteceu e mantenham a monitorização depois da implementação. Os mesmos hábitos protegem quem lê um backtest: presumir que é otimista até ser testado com dados que não escolheu.