Errores habituales en las pruebas de criptoactivos y cómo detectarlos
Los errores más peligrosos de una prueba retrospectiva mejoran la apariencia del resultado en lugar de romperlo de forma evidente. Una revisión fiable busca de manera activa filtraciones de información, ajustes repetidos, costos ausentes y concentración antes de preguntar si la estrategia fue rentable.
Evita utilizar información futura o en un momento incorrecto
El sesgo por anticipación ocurre cuando una decisión utiliza información que todavía no estaba disponible en el momento simulado. Algunos ejemplos habituales son operar al mismo cierre de vela que confirma la señal, utilizar demasiado pronto una vela terminada de un intervalo mayor o permitir una ejecución según el orden más favorable del máximo y el mínimo dentro de una misma vela.[4][2]
Cuenta cuántas ideas y parámetros se probaron
Si se prueban cientos de variantes y solo se muestra la mejor, su rendimiento aparente incluye la suerte de la selección. Mantén un registro de la investigación, limita los grados de libertad y reserva datos que no hayan influido en las reglas elegidas. Los valores cercanos de un parámetro deben formar una región coherente, no un único máximo aislado.[3][4]
Cuenta más que las ejecuciones formales de un optimizador. Cambiar la lista de símbolos, el intervalo de fechas, la familia de indicadores, el tipo de salida, la referencia o el umbral de rendimiento después de ver los resultados también constituye una prueba. Regístrala aunque no se haya guardado un informe. Define un presupuesto de búsqueda antes de explorar y agrupa las variaciones relacionadas bajo la hipótesis que comprueban. Cuando un resultado reservado haya influido en una decisión, vuelve a clasificarlo como dato de desarrollo y consigue pruebas posteriores que sean realmente nuevas. Cuanto mayor haya sido la búsqueda de la que surgió el ganador aparente, más exigentes deben ser los datos necesarios para aceptarlo.
Examina una superficie de parámetros en lugar de una clasificación. Elige dos parámetros importantes, prueba una cuadrícula pequeña alrededor de los valores seleccionados y busca una meseta amplia de comportamiento parecido entre periodos. Un máximo aislado indica sensibilidad a unas pocas observaciones históricas. Elige un punto más sencillo dentro de una región estable antes que el máximo. Repite la comparación mediante el resultado neto, la caída y el número de operaciones a la vez, porque una superficie uniforme de rentabilidad puede ocultar una muestra cada vez menor o un riesgo inaceptable.
| Síntoma | Por qué importa | Comprobación correctiva |
|---|---|---|
| Gana un único parámetro exacto | El ruido puede definir el valor óptimo | Altera los valores cercanos |
| Muchas variantes descartadas | La probabilidad de selección permanece oculta | Registra cada familia probada |
| Solo es sólido dentro de la muestra | Las reglas pueden memorizar un periodo | Inmoviliza las reglas y prueba datos posteriores |
| Filtros complejos y pocas operaciones | Los grados de libertad superan los datos | Simplifica o amplía la muestra |
Audita la cobertura de los datos y la selección del universo
Utilizar únicamente los activos que existen hoy puede excluir instrumentos fallidos o retirados. Las velas ausentes, un calentamiento insuficiente de los indicadores, los cambios de las condiciones de los contratos y las observaciones incompletas de financiación o interés abierto pueden modificar las señales de forma silenciosa. Conserva las advertencias e indica con exactitud qué símbolos cumplían las condiciones en cada momento.
Crea un informe de cobertura antes que el de rendimiento. Para cada símbolo, muestra la primera y la última fecha y hora utilizables, los intervalos ausentes y duplicados, el calentamiento consumido, las series externas necesarias y los motivos de exclusión. Compara en cada punto histórico el universo admisible con el que la estrategia afirma negociar. Si utilizas los listados actuales como aproximación, indica la limitación resultante por supervivencia y no extraigas conclusiones sobre una cartera dinámica de todo el mercado. Nunca sustituyas observaciones externas desconocidas por cero salvo que la fuente defina expresamente ese significado.
- Comprueba las velas ausentes y duplicadas antes de evaluar las señales.
- Exige suficientes datos anteriores al periodo para calentar todos los indicadores.
- Documenta los instrumentos retirados, renombrados o no disponibles.
- No agregues un símbolo rentable después de ver el resultado.
- Trata el historial incompleto de señales externas como una limitación, no como cero acontecimientos.
Pon a prueba las ejecuciones, los costos, el apalancamiento y la liquidación
Ejecutar cada orden limitada cuando el precio apenas la toca, ignorar el diferencial entre compra y venta, cobrar una sola comisión en vez de hacerlo por cada ejecución u omitir la financiación puede crear una ganancia que la ejecución no conservará. El apalancamiento debe afectar al margen y a la exposición a la liquidación; no es un multiplicador que se pueda aplicar únicamente a los resultados rentables.
Examina los supuestos de ejecución con ejemplos adversos. Utiliza una vela que toque tanto el límite de pérdidas como el objetivo, un salto que atraviese el límite, una orden limitada que solo se toque en el extremo, una orden inferior al importe nominal mínimo y un movimiento apalancado próximo a la liquidación. Escribe el resultado previsto por el modelo antes de ejecutar los ejemplos. Un comportamiento prudente y determinista es preferible a elegir de manera selectiva el recorrido favorable; una ambigüedad sin resolver dentro de la vela debe aparecer como limitación o intervalo de sensibilidad, no como una ejecución ficticia y precisa.
resultado neto creíble = ejecuciones modeladas − todos los costos de ejecución + financiación con signoLa aplicación exacta puede variar, pero cada supuesto debe ser visible y someterse a condiciones adversas. Si un pequeño ajuste desfavorable elimina la ventaja, la estrategia tiene poco margen de ejecución.
Evita métricas y comparaciones que oculten la fragilidad
El porcentaje de aciertos sin el tamaño del resultado, la rentabilidad sin la caída y la anualización de un periodo breve pueden engañar. Comprueba el número y la distribución de las operaciones, el tiempo de recuperación, la concentración por símbolo y mes, y el rendimiento frente a una referencia sencilla. Una estrategia no debe aprobarse porque una sola operación extraordinaria compense pérdidas persistentes.
- Compara el resultado neto con el bruto y con una referencia sencilla.
- Examina la caída máxima y el tiempo que el capital permaneció por debajo del máximo anterior.
- Identifica la mayor operación y vuelve a calcular el resultado sin ella.
- Divide el rendimiento por periodo, símbolo, dirección y régimen de volatilidad.
- Comprueba que los datos fuera de la muestra no se hayan utilizado durante el diseño.
Somete a una revisión crítica una prueba atractiva
Supón que el resultado está exagerado e intenta encontrar el mecanismo antes de aceptarlo.
- Dibuja una cronología que muestre cuándo estuvo disponible cada dato de la señal y cuándo podía ejecutarse la orden.
- Enumera cada variante probada, cada conjunto de parámetros rechazado y cada decisión de selección de símbolos.
- Vuelve a calcular con ejecuciones prudentes, todos los costos y una financiación realista.
- Elimina la mayor operación ganadora y divide las restantes entre periodos independientes.
- Registra las limitaciones sin resolver y decide si exigen un rechazo u otra prueba.
Lista de revisión crítica de una prueba retrospectiva
Un resultado no debe avanzar mientras se desconozca algún punto esencial.
- Ninguna señal utiliza datos futuros ni de una vela todavía abierta.
- El número de variantes probadas y el proceso de selección están documentados.
- La pertenencia al universo, los datos de calentamiento y el historial ausente se pueden auditar.
- Las ejecuciones, las comisiones, el diferencial, el deslizamiento, la financiación, el apalancamiento y la liquidación se modelan de forma coherente.
- La rentabilidad se evalúa junto con la caída, la distribución, una referencia y datos no utilizados.
Por qué superar la lista no constituye una demostración
Los controles de sesgos reducen las formas conocidas de exagerar el rendimiento histórico, pero siguen siendo posibles problemas desconocidos de los datos, errores de aplicación, cambios del mercado y liquidez futura. Una prueba limpia es un experimento más sólido, no una garantía. La Simulación, el entorno aislado y las operaciones reales limitadas todavía deben tratarse como pruebas independientes.
Fuentes y lecturas adicionales
El comportamiento del producto se contrasta con la documentación y el código de SteadyEdge; los datos cambiantes de las bolsas y plataformas enlazan a fuentes oficiales actualizadas.
- Cómo evalúa SteadyEdge las estrategiasSteadyEdge
- Por qué difieren los resultados reales y los de las pruebas retrospectivasCentro de ayuda de SteadyEdge
- Cómo el sobreajuste en las pruebas retrospectivas financieras conduce a descubrimientos falsosSignificance / Oxford Academic
- Aprendizaje profundo por refuerzo para negociar criptoactivos: enfoque práctico para abordar el sobreajuste en pruebas retrospectivasarXiv
Aplica la lista antes de agregar otro indicador
Utiliza la metodología y las advertencias de los informes de SteadyEdge para cuestionar el resultado actual. Corrige la calidad de los datos antes de intentar mejorar el rendimiento.