Legjobb válasz
A Ranking SVM-ek számos lehetséges alkalmazásával találkoztam az irodalomban:
* Rendes regresszió * AUC optimalizálás * Osztály-egyensúlyhiány * A problémák rangsorolásának megtanulása
Kezdetben sorszámos regresszióra javasolták őket; Az AUC optimalizálása csak ennek egy speciális esete (két osztály). Az osztály egyensúlyhiánya összefügg az AUC optimalizálásával, mivel az AUC ésszerű teljesítménymutató az osztály egyensúlyhiányával kapcsolatos problémákra. Rangsoroló SVM-eket is javasoltak a Learning 2 Rank problémákra az információkeresés összefüggésében. Nem alkalmasak az IMHO-ra, mert bár az AUC rangsorolási mutatónak is tekinthető, eltér az olyan szokásos rangsorolási teljesítménymutatóktól, mint az NDCG és az átlagos átlagos pontosság: az utóbbiak rendkívül nehézek; azaz nagy hangsúlyt fektetnek a rangsor első példáira (gyakran a 10. és a 20. rangsor alatti példák egyáltalán nem számítanak), míg az AUC a rangsor összes pozícióját egyformán kezeli.
Ennek ellenére én ” Az összes fenti problémához használtuk a Ranking SVM-et és az IMHO-t, amelyek soha nem bizonyultak hasznosan – pl. Tapasztalataim szerint a példa súlyozása általában jobban működik az osztály egyensúlyhiánya szempontjából, és ha megtanuljuk az egyszerű regresszió rangsorolását a relevancia pontszámok alapján (+ egy nemlineáris modell), az jobb teljesítményt nyújt a legtöbb L2R referenciaértéknél. Az AUC teljesítményében a különbség a hétköznapi svm és a svm besorolása között elhanyagolható IMHO.
A Ranking SVM legérdekesebb alkalmazásával Thorsten Joachims és csoportja találkozott, ahol implicit visszajelzéseket használtak egy webes kereső felhasználóitól. (azaz a felhasználó először a 2. pozícióra és nem az 1-re kattintott) a “rangsor SVM-be betáplált” példapárok “(doc\_2 – doc\_1) előállításához – az ilyen formájú oktatási jelek csak páros megközelítéseknél működnének, például a Ranking SVM esetén. / p>
Válasz
Rövidítések
- AUC = A görbe alatti terület.
- AUROC = A vevő működési jellemzőinek görbéje alatti terület .
Az AUC-t legtöbbször az AUROC kifejezésre használják, ami rossz gyakorlat, mivel amint arra Marc Claesen rámutatott, az AUC kétértelmű (lehet bármilyen görbe), míg az AUROC nem.
Interpreti ng az AUROC
Az AUROC többféle értelmezéssel rendelkezik :
- Az elvárás, az egyenletesen megrajzolt véletlenszerű pozitív értéket az egyenletesen megrajzolt véletlenszerű negatív előtt rangsorolják.
- Az egyenletesen megrajzolt véletlen negatív előtt rangsorolt pozitív eredmények várható aránya.
- A várható igaz pozitív arány, ha a rangsor felosztása közvetlenül az egyenletesen megrajzolt véletlen negatív előtt.
- Az egyenletesen megrajzolt véletlenszerű pozitív után rangsorolt negatívumok várható aránya.
- A várható hamis pozitív arány, ha a rangsort közvetlenül egyenletesen osztják fel véletlenszerű pozitív.
Az AUROC kiszámítása
Tegyük fel, hogy van egy valószínűségi, bináris osztályozó, például logisztikai regresszió. A ROC görbe (= Receiver Operating Characteristic görbe) bemutatása előtt meg kell érteni az zavarossági mátrix fogalmát. Ha bináris előrejelzést készítünk, ez 4 hibatípus lehet:
- 0-t jósolunk, miközben az osztálynak 0-nak kell lennie: ezt hívjuk True Negative , azaz helyesen jósoljuk meg, hogy az osztály negatív (0). Például egy víruskereső nem észlelt egy ártalmatlan fájlt vírusként.
- 0-t jósolunk, miközben meg kell adnunk, hogy az osztály valójában 1 legyen: ezt hívják Hamis negatív , azaz helytelenül jósoljuk, hogy az osztály negatív (0). Például egy víruskereső nem találta meg a vírust.
- 1-et jósolunk, miközben az osztály valójában 0: ezt hívjuk hamis pozitív , azaz helytelenül jósoljuk meg, hogy az osztály pozitív (1). Például egy víruskereső egy ártalmatlan fájlt vírusnak tekintett.
- Az 1-et jósoljuk, míg az osztály valójában 1: ezt hívjuk Igaz pozitív , azaz helyesen jósoljuk meg, hogy az osztály pozitív (1). Például egy antivírus jogosan észlelt egy vírust.
A zavartsági mátrix megszerzéséhez áttekintjük a modell által készített összes jóslatot, és megszámoljuk, hogy a 4 típusú hiba mindegyike hányszor előfordul:
A zavarossági mátrix ezen példájában az 50 besorolt adatpont közül 45 helyesen van besorolva és az 5 osztályozás téves.
Mivel két különböző modell összehasonlítása gyakran kényelmesebb, ha egyetlen mutatót használunk, nem pedig többet, két metrikát számolunk a zavaros mátrixból, amelyeket később egybe fogunk egyesíteni:
- Igaz pozitív arány ( TPR ), más néven. érzékenység, találati arány és visszahívás , amely TPTP + FN. Intuitív módon ez a mutató megfelel a pozitívnak tekintett pozitív adatpontok arányának, az összes pozitív adatpont vonatkozásában. Más szavakkal, minél magasabb a TPR, annál kevesebb pozitív adat hiányzik.
- Hamis pozitív arány ( FPR ), más néven. kiesés , amelyet FPFP + TN-ként határozunk meg. Ez a mutató intuitívan a negatív adatpontok arányának felel meg, amelyeket tévesen pozitívnak tekintenek, minden negatív adatponthoz viszonyítva. Más szavakkal: minél magasabb az FPR, annál több negatív adatpontot fogunk rosszul osztályozni.
Az FPR és a TPR egyetlen metrikához való egyesítéséhez először kiszámítjuk a két korábbi mutatót, sokféle különbséggel. küszöbértéket (például 0,00; 0,01,0,02,…, 1,00) a logisztikai regresszióhoz, majd ábrázolja őket egyetlen grafikonon, az FPR értékekkel az abszcisszán és a TPR értékekkel az ordinátán. Az így kapott görbét ROC-görbének hívjuk, és az általunk figyelembe vett mutató ennek a görbének AUC-je, amelyet AUROC-nak hívunk.
A következő ábra grafikusan mutatja az AUROC-ot:
Ezen az ábrán a kék terület megfelel a vevő működési jellemzőjének görbe alatti területének (AUROC). A szaggatott vonal az átlóban egy véletlen prediktor ROC görbéjét mutatjuk be: AUROC értéke 0,5. A véletlen előrejelzőt általában alapként használják annak megvizsgálására, hogy a modell hasznos-e.
Ha első kézből szeretne tapasztalatokat szerezni: