Sobreajuste (overfitting): por qué un modelo de IA puede memorizar en vez de aprender
Un modelo sobreajustado acierta con los datos de entrenamiento y falla con los nuevos: cómo se detecta y por qué ocurre.
Un modelo de inteligencia artificial puede parecer excelente en las pruebas y fallar en cuanto lo usas con datos reales. A menudo la causa es el sobreajuste (en inglés, overfitting). El curso intensivo de aprendizaje automático de Google lo explica con una idea clara: el modelo ha memorizado sus datos de entrenamiento en lugar de aprender a generalizar.
Qué es
Google lo define como la creación de un modelo que coincide (memoriza) con el conjunto de entrenamiento de tal manera que no puede hacer predicciones correctas con datos nuevos. Lo compara con un invento que funciona bien en el laboratorio pero no tiene valor en el mundo real.
El ejemplo del curso: imagina los árboles de un bosque cuadrado, unos sanos y otros enfermos, y dibujas una forma muy compleja que los separa casi a la perfección. Con el conjunto de entrenamiento clasifica bien todos los árboles menos dos; es un modelo "fantástico". Pero cuando se prueba con ejemplos nuevos del conjunto de prueba, lo hace bastante mal. Es un caso clásico de sobreajuste. Google subraya que es un problema común en aprendizaje automático, no una hipótesis académica.
Ajuste, sobreajuste y subajuste
Un buen modelo debe hacer buenas predicciones sobre datos nuevos; eso es "ajustarse" bien. Según el curso:
- Un modelo con sobreajuste predice de maravilla con el entrenamiento y mal con datos nuevos.
- Un modelo con subajuste ni siquiera predice bien con los datos de entrenamiento: es como un producto que ni funciona en el laboratorio.
- La generalización es lo opuesto al sobreajuste: un modelo que generaliza bien predice bien con datos nuevos, y ese es el objetivo.
Cómo se detecta
Google propone dos herramientas: las curvas de pérdida y las curvas de generalización. Una curva de pérdida muestra cuánto se equivoca el modelo según avanzan las iteraciones de entrenamiento; un gráfico con dos o más se llama curva de generalización.
La señal de alarma: las dos curvas (entrenamiento y validación) se comportan igual al principio y luego divergen. La pérdida de entrenamiento disminuye o se mantiene constante, pero la del conjunto de validación aumenta. Un modelo bien ajustado muestra dos curvas con formas similares.
Qué lo causa
En términos generales, el sobreajuste se debe a uno o a ambos de estos problemas:
- El conjunto de entrenamiento no representa adecuadamente los datos de la vida real (ni el de validación o el de prueba).
- El modelo es demasiado complejo.
Qué condiciones necesita un modelo que generalice
Para entrenar un modelo que generalice bien, el curso pide que el conjunto de datos cumpla estas condiciones:
- Los ejemplos deben ser independientes y estar idénticamente distribuidos: no pueden influir unos en otros.
- El conjunto de datos debe ser estacionario: no cambia de forma significativa con el tiempo.
- Las particiones deben tener la misma distribución: los ejemplos de entrenamiento son estadísticamente similares a los de validación, de prueba y a los del mundo real.
Uno de los ejercicios del curso lo ilustra: para que el entrenamiento y la validación se parezcan, hay que mezclar exhaustivamente los ejemplos antes de particionarlos.
Qué implica para ti
Cuando una herramienta de IA presume de una precisión altísima, la pregunta clave es con qué datos se midió. Un buen resultado con los mismos datos de entrenamiento no demuestra nada. Y si el entrenamiento no representa a todos los usuarios, los fallos se concentran en quienes quedan fuera, algo que conecta con los sesgos de la IA. Si quieres entender cómo aprende un modelo desde cero, empieza por cómo aprende el machine learning, y si el fallo que te interesa es el de los chatbots que se inventan datos, mira las alucinaciones de la IA.
Fuentes consultadas
- Sobreajuste (Curso intensivo de aprendizaje automático) (Google for Developers)
Guía de PortalTec: https://www.portaltec.eu/articulos/sobreajuste-overfitting-ia/
