Cierto grupo, pionero en la explotación del valor de sus datos, desarrolló un modelo de predicción de riesgo de impagos, usando los datos de los últimos 3 años, y consiguió reducir la incidencia de imagados desde un 3% de sus ventas a menos de un 1% rápidamente, a la vez que abordaba una gran expansión. Dos años después, no solo no podía permitirse prescindir de su póliza de cobertura de crédito, sino que la incidencia había vuelto a subir y el sistema funcionaba cada vez peor. Nadie les había hablado del “model drift”.
¿Qué ha pasado? Pues que el contexto ha seguido evolucionando mientras su modelo se quedaba estancado. Probablemente, al rechazar operaciones por riesgo de impago, su base de clientes ha ido cambiando lentamente, además de ser ahora una mayor base de clientes por su expansión, con nuevas prácticas y patrones de comportamiento, de manera que los datos que ahora alimentamos al modelo no tienen nada que ver con los que se usaron en su entrenamiento original. Dicho matemáticamente: P(x|y)≠P(x|y’), o sea, la probabilidad de impago (x) dados los datos de antes (y) es distinta a la probabilidad de impago dados los datos de ahora (y’).
Este tipo particular de degradación se conoce también como “data drift”, y se previene entrenando periódicamente de nuevo el modelo con los nuevos datos, dando mayor peso a los datos más recientes que los antiguos, adaptándolo así al contexto actual sin perder del todo el conocimiento pasado. La última etapa de la metodología CRISP-ML, de hecho, es la supervisión y evaluación continua del modelo, reentrenándolo o incluso reparametrizándolo cuando pierda precisión.
Otras veces los modelos se degradan porque los cambios se producen en las variables a predecir, porque cambien las reglas del juego o cambien los criterios. Por ejemplo, si antes no considerábamos moroso a un cliente que pagase a 180 días, y ahora decidimos cumplir con la ley y acortar los plazos de pago a 60 días o menos, nuestro modelo ya no será válido y hay que reentrenarlo. Este tipo de degradación se conoce como “concept drift”.
Los modelos de aprendizaje automático no olvidan, pero sí ocurre que, como nos ocurre a los humanos, lo que saben puede ir perdiendo valor con el tiempo. Reentrenarse o morir.
Imagen: Robot Sócrates pintado por Dall-E
Pingback: cialis 20mg pills
Pingback: how long does escitalopram stay in your system
Pingback: zoloft weight loss stories
Pingback: metronidazole diphenhydramine
Pingback: cephalexin and food
Pingback: does duloxetine cause insomnia
Pingback: what are side effects of keflex
Pingback: does lexapro cause insomnia
Pingback: buy viagra from mexico
Pingback: missed cymbalta dose
Pingback: gabapentin spots
Pingback: fluoxetine uses
Pingback: how long does it take cephalexin to work
Pingback: ciprofloxacin vs amoxicillin
Pingback: what bacteria does bactrim cover
Pingback: dosage of bactrim for sinus infection
Pingback: amoxicillin 500mg capsules
Pingback: neurontin narcotic
Pingback: citalopram and alcohol death
Pingback: depakote and weight gain
Pingback: augmentin generic
Pingback: ezetimibe-related myopathy a systematic review
Pingback: cozaar beta blocker
Pingback: flexeril dose
Pingback: what is diclofenac
Pingback: contrave kidney problems
Pingback: ddavp po to iv conversion
Pingback: diltiazem hydrochloride er
Pingback: flomax to treat kidney stones
Pingback: effexor xr reviews
Pingback: which medication is given to clients who are diagnosed with angina but are allergic to aspirin?
Pingback: amitriptyline 25 mg
Pingback: aripiprazole 2 mg side effects
Pingback: does allopurinol cause weight gain
Pingback: bupropion and sertraline combination treatment dosage
Pingback: baclofen high
Pingback: celexa headache
Pingback: abilify for sleep
Pingback: 10 units of semaglutide for weight loss
Pingback: repaglinide and hypoglycemia
Pingback: does remeron make you sleepy
Pingback: actos package
Pingback: acarbose metabolism
Pingback: how long does protonix take to work
Pingback: robaxin street value
Pingback: purpose of tamsulosin
Pingback: synthroid 0.1mg
Pingback: desvenlafaxine vs venlafaxine
Pingback: is voltaren gel over counter
Pingback: cost of ivermectin medicine
Pingback: spironolactone joint pain reddit
Pingback: sitagliptin other names
Pingback: tizanidine show up on drug test