Meilleure réponse
Je suis tombé sur un certain nombre dapplications possibles des SVM de classement dans la littérature:
* Régression ordinale * Optimisation AUC * Déséquilibre de classe * Apprendre à classer les problèmes
Initialement, ils ont été proposés pour la régression ordinale; Loptimisation AUC nest quun cas particulier de cela (deux classes). Le déséquilibre de classe est lié à loptimisation de lAUC, car lAUC est une mesure de performance raisonnable pour les problèmes de déséquilibre de classe. Des SVM de classement ont également été proposés pour les problèmes dapprentissage 2 Rank dans le contexte de la recherche dinformations. Ils ne sont pas un bon ajustement à mon humble avis, car si lAUC peut également être considérée comme une mesure de classement, elle diffère des mesures de performance de classement standard telles que NDCG et la précision moyenne moyenne: ces dernières sont très lourdes; cest-à-dire quils mettent beaucoup laccent sur les premiers exemples du classement (souvent les exemples inférieurs aux rangs 10 et 20 nont pas dimportance du tout) tandis que lAUC traite toutes les positions du classement de la même manière.
Cela étant dit, je » Jai utilisé le classement SVM pour tous les problèmes ci-dessus et à mon humble avis, ils nont jamais été prouvés utilement – par exemple. Daprès mon expérience, la pondération par exemple fonctionne généralement mieux pour le déséquilibre de classe et pour apprendre à classer une simple régression sur les scores de pertinence (+ un modèle non linéaire) donne de meilleures performances sur la plupart des benchmarks L2R. La différence de performance AUC entre svm ordinaire et svm de classement est négligeable à mon humble avis.
Lapplication la plus intéressante de Ranking SVM que jai rencontrée était celle de Thorsten Joachims et de son groupe, où ils utilisaient les commentaires implicites des utilisateurs dun moteur de recherche Web (cest-à-dire que lutilisateur a cliqué sur la position 2 en premier et non sur 1) pour générer des « paires dexemples » (doc\_2 – doc\_1) qui sont introduites dans le classement SVM – les signaux dentraînement de cette forme ne fonctionneraient que pour les approches par paires comme le classement SVM.
Réponse
Que signifie AUC et quest-ce que cest? :
Abréviations
- AUC = Aire sous la courbe.
- AUROC = Aire sous la courbe des caractéristiques de fonctionnement du récepteur .
AUC est utilisé la plupart du temps pour désigner AUROC, ce qui est une mauvaise pratique car, comme Marc Claesen la souligné, lAUC est ambiguë (peut être nimporte quelle courbe) alors quAUROC ne lest pas.
Interpréter ng lAUROC
LAUROC a plusieurs interprétations équivalentes :
- Lattente que un positif aléatoire tiré uniformément est classé avant un négatif aléatoire tiré uniformément.
- La proportion attendue de positifs classés avant un négatif aléatoire tiré uniformément.
- Le taux réel positif attendu si le classement est divisé juste avant un négatif aléatoire tiré uniformément.
- La proportion attendue de négatifs classés après un positif aléatoire tiré uniformément.
- Le taux de faux positifs attendu si le classement est divisé juste après tiré au hasard positif.
Calcul de lAUROC
Supposons que nous ont un classificateur binaire probabiliste tel que la régression logistique. Avant de présenter la courbe ROC (= courbe des caractéristiques de fonctionnement du récepteur), le concept de matrice de confusion doit être compris. Lorsque nous faisons une prédiction binaire, cela peut être 4 types derreurs:
- Nous prédisons 0 alors que nous devrions avoir la classe est en fait 0: cela sappelle un Vrai Négatif , cest-à-dire que nous prédisons correctement que la classe est négative (0). Par exemple, un antivirus na pas détecté un fichier inoffensif comme virus.
- Nous prédisons 0 alors que nous devrions avoir la classe est en fait 1: cela sappelle un Faux négatif , cest-à-dire que nous prédisons à tort que la classe est négative (0). Par exemple, un antivirus na pas réussi à détecter un virus.
- Nous prédisons 1 alors que nous devrions avoir la classe est en fait 0: cela sappelle un Faux positif , cest-à-dire que nous prédisons à tort que la classe est positive (1). Par exemple, un antivirus considéré comme un fichier inoffensif comme un virus.
- Nous prédisons que 1 alors que nous devrions avoir la classe est en fait 1: cela sappelle un True Positive , cest-à-dire que nous prédisons correctement que la classe est positive (1). Par exemple, un antivirus a correctement détecté un virus.
Pour obtenir la matrice de confusion, nous passons en revue toutes les prédictions faites par le modèle, et comptons le nombre de fois que chacun de ces 4 types derreurs se produisent:
Dans cet exemple de matrice de confusion, parmi les 50 points de données classés, 45 sont correctement classés et les 5 sont mal classés.
Comme pour comparer deux modèles différents, il est souvent plus pratique davoir une seule métrique plutôt que plusieurs, nous calculons deux métriques à partir de la matrice de confusion, que nous combinerons plus tard en une seule:
- Taux de vrais positifs ( TPR ), alias. sensibilité, taux de succès et rappel , qui est défini comme TPTP + FN. Intuitivement, cette métrique correspond à la proportion de points de données positifs qui sont correctement considérés comme positifs, par rapport à tous les points de données positifs. En dautres termes, plus le TPR est élevé, moins nous manquerons de points de données positifs.
- Taux de faux positifs ( FPR ), alias. fall-out , qui est défini comme FPFP + TN. Intuitivement, cette métrique correspond à la proportion de points de données négatifs qui sont considérés à tort comme positifs, par rapport à tous les points de données négatifs. En dautres termes, plus le FPR est élevé, plus les points de données négatifs seront mal classés.
Pour combiner le FPR et le TPR en une seule métrique, nous calculons dabord les deux anciennes métriques avec de nombreux seuil (par exemple 0,00; 0,01,0,02,…, 1,00) pour la régression logistique, puis tracez-les sur un seul graphe, avec les valeurs FPR en abscisse et les valeurs TPR en ordonnée. La courbe résultante est appelée courbe ROC, et la métrique que nous considérons est lAUC de cette courbe, que nous appelons AUROC.
La figure suivante montre lAUROC graphiquement:
Dans cette figure, la zone bleue correspond à la zone sous la courbe de la caractéristique de fonctionnement du récepteur (AUROC). La ligne pointillée dans la diagonale nous présente la courbe ROC dun prédicteur aléatoire: il a un AUROC de 0,5. Le prédicteur aléatoire est couramment utilisé comme base de référence pour voir si le modèle est utile.
Si vous souhaitez acquérir une expérience de première main: