Evaluar Aprendizaje Automatico


En esta entrada vamos a ver como se evalúa que el resultado obtenido en un proceso de Aprendizaje Automático es correcto. Cada tipo de técnica de Aprendizaje Automático se evalúa de forma diferente.

Módulos de regresión

Hay medidas de error que miden la diferencia entre el valor real y el predicido.

Diferencia en valores absolutos

Diferencia en valores relativos

Estas son las más interesantes, ya que ponen en contexto la medida del error.

  • Relative absolute error: RAE = \frac{\sum_{i=1}^{n} |a_i -p_i|}{\sum_{i=1}^{n} |\bar{a} -a_i|}
  • Relative squared error: RSE = \frac{\sum_{i=1}^{n} (a_i -p_i)^2}{\sum_{i=1}^{n} (\bar{a} -a_i)^2}
  • Coefficient of Determination o R^2: Determina la potencia de predicción del modelo; indica un valor numérico de 0 (el modelo es un desastre) a 1 (el modelo funciona a la perfección).
    R = \sqrt{\frac{\sum_{i=1}^{n} (a_i -\bar{a})(p_i -\bar{p})}{desviacion(a)*desviacion(p)}} donde desviacion(a) = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n} (a_i -\bar{a})^2} y desviacion(p) = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n} (p_i -\bar{p})^2}

Módulos de clasificación

Se describen diferentes métodos de evaluación:

Matriz de confusión

matrizDeConfusiónClasifica en cuatro bloques en función de la clase del dato y su predicción:

  • True Positive (TP) y True Negative (TN): correctamente clasificados.
  • False Positive (FP): La predicción no clasificada correctamente en la clase de interés
  • False Negative (FN): La predicción no clasificada correctamente en la clase de no interés

A partir de estos datos se pueden calcular las siguientes medidas:

  • La tasa de acierto o accuracy nos indica la bondad del método. Recordar que en función del objetivo propuesto no es suficiente. accuracy = \frac{TP + TN}{TP + TN + FP + FN}
  • La sensibilidad o sensibility o recall nos indica la capacidad de detectar los casos positivos correctamente. recall = \frac{TP}{TP + FN} En función de lo que se pretenda valores no cercanos a 1; invalidan el método.
  • La precisión o precision nos indica que el sistema tiene buen ratio en detectar la clase de interés. precision = \frac{TP}{TP + FP}
  • La especificidad o specificity nos indica la capacidad de detectar los casos negativos correctamente. specificity = \frac{TN}{TN + FP} En función de lo que se pretenda valores no cercanos a 1; invalidan el método.
  • El F Score combina la precisión y recall en una sola medida para indicar la bondad del método. Recordar que en función del objetivo propuesto no es suficiente. FScore= \frac{2*precision*recall}{recall+precision}= \frac{2*TP}{2*TP + FP + FN}

MedidasMatrizConfusion

Curba ROC

ROCCurba
El gráfico mide la relación entre:

  • En el eje vertical, la capacidad de detectar los casos positivos correctamente, es decir la sensibilidad o recall.
  • En el eje horizontal, la tasa de resultados positivos incorrectos. (1-especificidad)=\frac{FP}{TP + FP}

La diagonal central indica que el método es aleatorio. Lo ideal es la linea en la esquina superior izquierda pegada a los ejes (maximiza la distancia de la diagonal central). El valor UAC que muestra Azure Machine Learning mide el área debajo de la curva.

Kappa

Nos indica un valor numérico de 0 (el modelo es un desastre) a 1 (el modelo funciona a la perfección). Desgraciadamente esta medida Azure Machine Learning; no nos la muestra en la evaluación del modelo :-(.
k=\frac{PRa-PRe}{1-PRe}

donde:

  • PRa es la tasa de acierto. PRa = \frac{TP + TN}{TotalMuestras}
  • PRe es la probabilidad combinada entre los resultados. PRe = (\frac{TP+FP}{TotalMuestras}*\frac{TP+FN}{TotalMuestras})+(\frac{TN+FN}{TotalMuestras}*\frac{TN+FP}{TotalMuestras})

Módulos de Agrupación (Clustering)

  • Distancia media al centro de la agrupación y a los otros centros de agrupación.
  • Número de elementos en cada agrupación.

Módulos de Recomendación

En Azure Machine Learning tiene su propio módulo evaludador Evaluate Recommender.

  • Normalized Discounted Cumulative Gain (NDCG): Nos mide la diferencia entre la recomendación ideal y la prevista por el modelo. Nos indica un valor numérico de 0 (el modelo es un desastre) a 1 (el modelo funciona a la perfección).
Anuncios
Esta entrada fue publicada en Azure Machine Learning, Cortana Analytics, Machine Learning. Guarda el enlace permanente.

Una respuesta a Evaluar Aprendizaje Automatico

  1. Pingback: Técnicas de Aprendizaje automático y Azure Machine Learning: Modo Avanzado II | Pensando bajo la lluvia

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s