La mejor respuesta
Encontré varias aplicaciones posibles de las SVM de clasificación en la literatura:
* Regresión ordinal * Optimización AUC * Desequilibrio de clases * Aprendiendo a clasificar problemas
Inicialmente, se han propuesto para regresión ordinal; La optimización AUC es solo un caso especial de eso (dos clases). El desequilibrio de clases está relacionado con la optimización del AUC, ya que el AUC es una métrica de rendimiento razonable para problemas con el desequilibrio de clases. Las SVM de clasificación también se han propuesto para los problemas de clasificación de aprendizaje 2 en el contexto de la recuperación de información. En mi humilde opinión, no encajan bien porque, si bien AUC también puede verse como una métrica de clasificación, difiere de las métricas de rendimiento de clasificación estándar como NDCG y Media Media Precision: estas últimas son las más pesadas; es decir, ponen mucho énfasis en los primeros ejemplos del ranking (a menudo los ejemplos por debajo del rango 10 y 20 no importan en absoluto) mientras que AUC trata todas las posiciones en el ranking por igual.
Dicho esto, yo » He usado Ranking SVM para todos los problemas anteriores y en mi humilde opinión, nunca se han probado de manera útil, por ejemplo En mi experiencia, la ponderación de ejemplos generalmente funciona mejor para el desequilibrio de clases y para aprender a clasificar la regresión simple en las puntuaciones de relevancia (+ un modelo no lineal) proporciona un mejor rendimiento en la mayoría de los puntos de referencia L2R. En mi humilde opinión, la diferencia en el rendimiento de AUC entre el svm ordinario y el svm de ranking es despreciable.
La aplicación más interesante de Ranking SVM que encontré fue la de Thorsten Joachims y su grupo, donde utilizaron comentarios implícitos de los usuarios de un motor de búsqueda web (es decir, el usuario hizo clic en la posición 2 primero y no en la 1) para generar «pares de ejemplo» (doc\_2 – doc\_1) que se introducen en la SVM de clasificación; las señales de entrenamiento de este formulario solo funcionarían para enfoques de pares como la SVM de clasificación.
Respuesta
¿Qué significa AUC y qué es? :
Abreviaturas
- AUC = Área bajo la curva.
- AUROC = Área bajo la curva de característica operativa del receptor .
AUC se usa la mayor parte del tiempo para referirse a AUROC, lo cual es una mala práctica ya que, como señaló Marc Claesen, AUC es ambiguo (podría ser cualquier curva) mientras que AUROC no lo es.
Interpreti ng el AUROC
El AUROC tiene varias interpretaciones equivalentes :
- La expectativa de que un positivo aleatorio elaborado uniformemente se clasifica antes que un negativo aleatorio elaborado uniformemente.
- La proporción esperada de positivos clasificados antes de un negativo aleatorio elaborado uniformemente.
- La tasa de verdaderos positivos esperados si la clasificación es dividir justo antes de un negativo aleatorio elaborado uniformemente.
- La proporción esperada de negativos clasificados después de un positivo aleatorio extraído uniformemente.
- La tasa de falsos positivos esperada si la clasificación se divide justo después de un dibujado aleatoriamente positivo.
Cálculo de AUROC
Supongamos que tener un clasificador binario probabilístico como la regresión logística. Antes de presentar la curva ROC (= curva de características operativas del receptor), se debe comprender el concepto de matriz de confusión . Cuando hacemos una predicción binaria, puede haber 4 tipos de errores:
- Predecimos 0 mientras que deberíamos tener la clase en realidad 0: esto se llama True Negative , es decir, predecimos correctamente que la clase es negativa (0). Por ejemplo, un antivirus no detectó un archivo inofensivo como virus.
- Predecimos 0 mientras que deberíamos tener la clase en realidad 1: esto se llama Falso Negativo , es decir, predecimos incorrectamente que la clase es negativa (0). Por ejemplo, un antivirus no pudo detectar un virus.
- Predecimos 1 mientras que deberíamos tener la clase en realidad 0: esto se llama falso positivo , es decir, predecimos incorrectamente que la clase es positiva (1). Por ejemplo, un antivirus que considera un archivo inofensivo como un virus.
- Predecimos 1 mientras que deberíamos tener la clase en realidad 1: esto se llama Verdadero Positivo , es decir, predecimos correctamente que la clase es positiva (1). Por ejemplo, un antivirus detectó legítimamente un virus.
Para obtener la matriz de confusión, revisamos todas las predicciones hechas por el modelo y contamos cuántas veces cada uno de esos 4 tipos de errores ocurre:
En este ejemplo de una matriz de confusión, entre los 50 puntos de datos que están clasificados, 45 están correctamente clasificados y los 5 están mal clasificados.
Dado que para comparar dos modelos diferentes a menudo es más conveniente tener una única métrica en lugar de varias, calculamos dos métricas de la matriz de confusión, que luego combinaremos en una:
- Tasa de verdaderos positivos ( TPR ), también conocido como. sensibilidad, tasa de aciertos y recuperación , que se define como TPTP + FN. Intuitivamente, esta métrica corresponde a la proporción de puntos de datos positivos que se consideran correctamente como positivos, con respecto a todos los puntos de datos positivos. En otras palabras, cuanto mayor sea el TPR, menos puntos de datos positivos perderemos.
- Tasa de falsos positivos ( FPR ), también conocido como. fall-out , que se define como FPFP + TN. Intuitivamente, esta métrica corresponde a la proporción de puntos de datos negativos que se consideran erróneamente como positivos, con respecto a todos los puntos de datos negativos. En otras palabras, cuanto mayor sea el FPR, más puntos de datos negativos clasificaremos incorrectamente.
Para combinar el FPR y el TPR en una sola métrica, primero calculamos las dos métricas anteriores con muchas métricas diferentes. umbral (por ejemplo, 0.00; 0.01,0.02,…, 1.00) para la regresión logística, luego grábelos en un solo gráfico, con los valores FPR en la abscisa y los valores TPR en la ordenada. La curva resultante se llama curva ROC, y la métrica que consideramos es el AUC de esta curva, que llamamos AUROC.
La siguiente figura muestra el AUROC gráficamente:
En esta figura, el área azul corresponde al área bajo la curva de la característica operativa del receptor (AUROC). La línea discontinua en la diagonal presentamos la curva ROC de un predictor aleatorio: tiene un AUROC de 0.5. El predictor aleatorio se usa comúnmente como línea de base para ver si el modelo es útil.
Si desea obtener una experiencia de primera mano: