Capacitación, validación, conjunto de pruebas en aprendizaje automático: cómo entender

Train, Validation y Test Set son tres de los jergas más grandes en Machine Learning y AI. Aparentemente, muchos lo malinterpretan. Cuando le pregunto a algunos de mis amigos sobre las diferencias entre el tren, la validación y el conjunto de pruebas, no pueden responder. Hoy les explicaré todo sobre las tres terminologías anteriores.

Conjunto de entrenamiento

Puede imaginar que el algoritmo de aprendizaje automático como estudiante en clase y datos es el conocimiento que le da el maestro. El maestro usa el conocimiento para enseñar a los estudiantes a resolver un problema. En el aprendizaje automático, el maestro conoce el conjunto de capacitación para enseñar al alumno. Los estudiantes (modelo de aprendizaje automático) intentan recordar y descubrir ideas del conjunto de entrenamiento y luego almacenan esas ideas en sus parámetros (o peso) utilizando algoritmos de optimización. La capacidad del alumno se refleja a través del error de entrenamiento. El estudiante tiene un error de entrenamiento más bajo es mejor que uno tiene un error de entrenamiento más alto. Sin embargo, recuerde que nuestro objetivo final es encontrar al estudiante que funcione bien en datos invisibles, me refiero a los datos en el futuro.

Conjunto de validación

Conjunto de validación, a veces llamado conjunto de desarrollo (conjunto de desarrollo). Los propósitos principales del conjunto de desarrollo son evitar que la máquina se sobreajuste y elegir hiperparámetros. La prevención del sobreajuste de la máquina ayuda a que el modelo de aprendizaje automático funcione mejor con datos futuros, además de evitar que el alumno aprenda de memoria. Elegir hiperparámetros ayuda a encontrar el mejor algoritmo de aprendizaje automático del resto, así como a encontrar al mejor alumno de la clase que tenga un don específico.
Elección de hiperparámetros: además de los parámetros aprendidos de los datos del tren, cada algoritmo de aprendizaje automático generalmente tiene algunos hiperparámetros. Que los hiperparámetros deben elegir manualmente. En el mundo real, tenemos muchos tipos de datos, desde marketing hasta PNL, medicina, etc. Cada tipo de datos como asignatura en la escuela. Y cada estudiante es bueno en un tema específico debido a su pasatiempo y su don. De modo que el maestro en clase debe usar un conjunto de desarrolladores para encontrar el mejor alumno para cada tipo de materia.

Ilustración para elegir hiperparámetros para el algoritmo de aprendizaje automático

Evite el sobreajuste: a veces, los estudiantes aprenden de memoria. De modo que debemos usar el conjunto de desarrollo para evaluar a los estudiantes. El conjunto de desarrolladores se puede considerar como un maestro de prueba independiente del conjunto de trenes. Como se muestra en la imagen a continuación, los puntos son datos de entrenamiento y las curvas son sus algoritmos. La curva verde está sobreajustada y el negro es bueno.

Ilustración para problema de sobreajuste

Equipo de prueba

Este conjunto de datos es un conjunto independiente de forma y desarrollo, pero tres conjuntos de datos deben tener la misma distribución. Imaginando, después de que el alumno aprende del conjunto de trenes y después de que el profesor elige al mejor alumno que utiliza el conjunto de desarrollo La prueba se estableció como el examen para verificar la capacidad real del estudiante después de aprender.

Resumen

Conjunto de trenes: uso para entrenar y optimizar los parámetros del modelo
Conjunto de desarrolladores: elija hiperparámetros y evite el sobreajuste
Conjunto de prueba: dé la evaluación imparcial para su modelo

Referencia