Objetivo

Emplear las principales métricas de desempeño para evaluar los clasificadores de textos.

Descripción

Conocerás las principales métricas de evaluación y cómo se aplican para evaluar el desempeño de los clasificadores de texto.

Haz clic para revisar la explicación.

Anotación y evaluación

Los siguientes enlaces son externos a la Universidad Tecmilenio, al acceder a ellos considera que debes apegarte a sus términos y condiciones.

Revisa el siguiente video:

Para conocer más sobre anotación y evaluación, te recomendamos revisar el siguiente video:

IT Guys. (2020, 21 de noviembre). Evaluating a Classification model with evaluating metrics - Part 1(Accuracy) – 43 [Archivo de video]. Recuperado de https://www.youtube.com/watch?v=Oe1aqtAc5zA

Objetivo

Utilizar las principales técnicas de evaluación para la valoración de clasificadores de texto.

Instrucciones

1. Crear un modelo, a partir de los datos de entrenamiento, utilizando algún corpus de scikit-learn, tales como “wine dataset”, “diabetes”, etc.
2. Con el modelo construido, realiza predicciones utilizando el conjunto de datos de prueba y almacena los resultados en una variable.
   
3. Importa el módulo metrics de scikit-learn y evalúa el modelo construido utilizando la matriz de confusión, la exactitud, la precisión, la sensibilidad, y el Valor F1.
   
4. Obtén la gráfica ROC, así como su AUC.
   
5. Realiza modificaciones a los parámetros del modelo utilizando el apartado de supervised learning en el sitio oficial de scikit-learn en internet.
   
6. Vuelve a calcular las métricas con estas modificaciones y analiza las diferencias ¿Puedes identificar por qué son diferentes? ¿Cuál es mejor y por qué? ¿Qué métrica te sirve más para identificar claramente las diferencias?
7. Sugerencias: Puedes probar con diferentes bases de datos para observar qué métrica funciona para qué casos.

Checklist

Asegúrate de:

• Analizar los resultados de la predicción.
• Proponer mejoras al modelo y justificarlas con las métricas de evaluación.