Erros comuns nos testes de criptoativos e como detectá-los

Evite usar informações futuras ou no momento incorreto

O viés de antecipação ocorre quando uma decisão usa informações que ainda não estavam disponíveis no momento simulado. Exemplos comuns incluem operar no mesmo fechamento de vela que confirma o sinal, usar cedo demais uma vela concluída de um intervalo maior ou permitir uma execução conforme a ordem mais favorável do máximo e do mínimo dentro de uma mesma vela.[4][2]

Conte quantas ideias e parâmetros foram testados

Se centenas de variantes forem testadas e apenas a melhor for apresentada, seu desempenho aparente incluirá a sorte da seleção. Mantenha um registro da pesquisa, limite os graus de liberdade e reserve dados que não tenham influenciado as regras escolhidas. Valores próximos de um parâmetro devem formar uma região coerente, e não um único máximo isolado.[3][4]

Conte mais que as execuções formais de um otimizador. Alterar a lista de símbolos, o intervalo de datas, a família de indicadores, o tipo de saída, a referência ou o limite de desempenho após ver os resultados também constitui um teste. Registre-o mesmo que nenhum relatório tenha sido salvo. Defina um orçamento de busca antes de explorar e agrupe as variações relacionadas sob a hipótese que verificam. Quando um resultado reservado tiver influenciado uma escolha, volte a classificá-lo como dado de desenvolvimento e obtenha evidências posteriores realmente novas. Quanto maior tiver sido a busca que produziu o aparente vencedor, mais rigorosas deverão ser as evidências necessárias para aceitá-lo.

Examine uma superfície de parâmetros em vez de uma classificação. Escolha dois parâmetros importantes, teste uma pequena grade ao redor dos valores selecionados e procure um platô amplo de comportamento parecido entre períodos. Um máximo isolado indica sensibilidade a poucas observações históricas. Prefira um ponto mais simples dentro de uma região estável ao máximo. Repita a comparação usando ao mesmo tempo o resultado líquido, a queda e a quantidade de operações, pois uma superfície uniforme de retorno ainda pode esconder uma amostra cada vez menor ou um risco inaceitável.

Audite a cobertura dos dados e a escolha do universo

Usar somente os ativos que existem hoje pode excluir instrumentos que falharam ou foram retirados. Velas ausentes, aquecimento insuficiente dos indicadores, mudanças nas condições dos contratos e observações incompletas de financiamento ou contratos em aberto podem alterar silenciosamente os sinais. Preserve os avisos e indique com exatidão quais símbolos atendiam às condições em cada momento.

Crie um relatório de cobertura antes do relatório de desempenho. Para cada símbolo, apresente a primeira e a última data e hora utilizáveis, os intervalos ausentes e duplicados, o aquecimento consumido, as séries externas necessárias e os motivos da exclusão. Compare em cada ponto histórico o universo elegível com aquele que a estratégia afirma negociar. Se você usar as listagens atuais como aproximação, indique a limitação resultante pelo viés de sobrevivência e não tire conclusões sobre uma carteira dinâmica de todo o mercado. Nunca substitua observações externas desconhecidas por zero, a menos que a fonte defina expressamente esse significado.

Questione as execuções, os custos, a alavancagem e a liquidação

Executar todas as ordens limitadas quando o preço apenas as toca, ignorar o diferencial entre compra e venda, cobrar uma única taxa em vez de fazê-lo a cada execução ou omitir o financiamento pode criar um lucro que a execução não preservará. A alavancagem deve afetar a margem e a exposição à liquidação; ela não é um multiplicador que possa ser aplicado apenas aos resultados rentáveis.

Examine as premissas de execução com exemplos adversos. Use uma vela que toque o limite de perda e o objetivo, um salto que atravesse o limite, uma ordem limitada tocada apenas no extremo, uma ordem abaixo do valor nominal mínimo e um movimento alavancado próximo da liquidação. Escreva o resultado esperado pelo modelo antes de executar os exemplos. Um comportamento prudente e determinístico é preferível à escolha seletiva do percurso favorável; uma ambiguidade interna da vela sem solução deve aparecer como limitação ou intervalo de sensibilidade, e não como uma execução fictícia e precisa.

Evite métricas e comparações que escondam a fragilidade

A taxa de acerto sem o tamanho do resultado, o retorno sem a queda e a anualização de um período curto podem enganar. Verifique a quantidade e a distribuição das operações, o tempo de recuperação, a concentração por símbolo e mês e o desempenho diante de uma referência simples. Uma estratégia não deve ser aprovada porque uma única operação extraordinária cobre perdas persistentes.