Cierto grupo, pionero en la explotación del valor de sus datos, desarrolló un modelo de predicción de riesgo de impagos, usando los datos de los últimos 3 años, y consiguió reducir la incidencia de imagados desde un 3% de sus ventas a menos de un 1% rápidamente, a la vez que abordaba una gran expansión. Dos años después, no solo no podía permitirse prescindir de su póliza de cobertura de crédito, sino que la incidencia había vuelto a subir y el sistema funcionaba cada vez peor. Nadie les había hablado del “model drift”.
¿Qué ha pasado? Pues que el contexto ha seguido evolucionando mientras su modelo se quedaba estancado. Probablemente, al rechazar operaciones por riesgo de impago, su base de clientes ha ido cambiando lentamente, además de ser ahora una mayor base de clientes por su expansión, con nuevas prácticas y patrones de comportamiento, de manera que los datos que ahora alimentamos al modelo no tienen nada que ver con los que se usaron en su entrenamiento original. Dicho matemáticamente: P(x|y)≠P(x|y’), o sea, la probabilidad de impago (x) dados los datos de antes (y) es distinta a la probabilidad de impago dados los datos de ahora (y’).
Este tipo particular de degradación se conoce también como “data drift”, y se previene entrenando periódicamente de nuevo el modelo con los nuevos datos, dando mayor peso a los datos más recientes que los antiguos, adaptándolo así al contexto actual sin perder del todo el conocimiento pasado. La última etapa de la metodología CRISP-ML, de hecho, es la supervisión y evaluación continua del modelo, reentrenándolo o incluso reparametrizándolo cuando pierda precisión.
Otras veces los modelos se degradan porque los cambios se producen en las variables a predecir, porque cambien las reglas del juego o cambien los criterios. Por ejemplo, si antes no considerábamos moroso a un cliente que pagase a 180 días, y ahora decidimos cumplir con la ley y acortar los plazos de pago a 60 días o menos, nuestro modelo ya no será válido y hay que reentrenarlo. Este tipo de degradación se conoce como “concept drift”.
Los modelos de aprendizaje automático no olvidan, pero sí ocurre que, como nos ocurre a los humanos, lo que saben puede ir perdiendo valor con el tiempo. Reentrenarse o morir.
Imagen: Robot Sócrates pintado por Dall-E