SVMランクの直感とは何ですか？いつ使用する必要がありますか？

ベストアンサー

文献でSVMのランク付けに使用できる可能性のあるアプリケーションをいくつか見つけました：

*順序回帰* AUC最適化*クラスの不均衡*問題のランク付けの学習

最初は、順序回帰が提案されています。 AUC最適化は、その特殊なケースです（2つのクラス）。 AUCはクラスの不均衡に関する問題の妥当なパフォーマンス指標であるため、クラスの不均衡はAUCの最適化に関連しています。ランキングSVMは、情報検索のコンテキストで2ランクの問題を学習するためにも提案されています。 AUCはランキング指標としても見ることができますが、NDCGや平均平均精度などの標準的なランキングパフォーマンス指標とは異なるため、これらはIMHOに適していません。後者はトップヘビーです。つまり、ランキングの最初の例に重点を置いていますが（多くの場合、ランク10と20未満の例はまったく関係ありません）、AUCはランキングのすべての位置を平等に扱います。

そうは言っても、私は」上記のすべての問題にランキングSVMを使用しましたが、IMHOは、有用であることが証明されたことはありません。私の経験では、例の重み付けは通常、クラスの不均衡に対してより適切に機能し、関連性スコア（+非線形モデル）で単純回帰をランク付けすることを学習すると、ほとんどのL2Rベンチマークでより優れたパフォーマンスが得られます。通常のsvmとランキングsvmのAUCパフォーマンスの違いは無視できるIMHOです。

私が出会ったランキングSVMの最も興味深いアプリケーションは、Web検索エンジンのユーザーからの暗黙のフィードバックを使用したThorstenJoachimsと彼のグループによるものでした。 （つまり、ユーザーが最初に位置2をクリックし、1ではない）ランキングSVMに入力される「サンプルペア」（doc\_2-doc\_1）を生成する-このフォームのトレーニング信号は、ランキングSVMなどのペアワイズアプローチでのみ機能します。

回答

AUCとは何の略で、それは何ですか？：

略語

• AUC =曲線下面積
• AUROC = 受信者動作特性曲線下の領域。

AUCは、ほとんどの場合、AUROCを意味するために使用されます。これは、Marc Claesenが指摘したように、AUCはAUROCがそうではないのに、あいまい（任意の曲線である可能性があります）。

解釈AUROCの場合

AUROCにはいくつかの同等の解釈があります：

• 均一に描画されたランダムポジティブは、均一に描画されたランダムネガティブの前にランク付けされます。
• 均一に描画されたランダムネガティブの前にランク付けされたポジティブの予想される割合。
• ランク付けが均一に描画されたランダムネガティブの直前に分割されます。
• 均一に描画されたランダムポジティブの後にランク付けされたネガティブの予想される割合。
• ランキングが均一に描画された直後に分割された場合の予想される偽陽性率ランダムに正の値で描画されます。

AUROCの計算

ロジスティック回帰などの確率的バイナリ分類器があります。 ROC曲線（=受信者動作特性曲線）を提示する前に、混同行列の概念を理解する必要があります。バイナリ予測を行う場合、4種類のエラーが発生する可能性があります。

• クラスは実際には0である必要がありますが、0を予測します。これは True Negative 、つまり、クラスが負（0）であると正しく予測します。たとえば、アンチウイルスは無害なファイルをウイルスとして検出しませんでした。
• クラスは実際には1である必要がありますが、0を予測します。これは False Negative 、つまり、クラスが負（0）であると誤って予測します。たとえば、アンチウイルスがウイルスを検出できませんでした。
• クラスは実際には0である必要がありますが、1を予測します。これは、偽陽性<と呼ばれます。 / span>、つまり、クラスが正であると誤って予測します（1）。たとえば、アンチウイルスは無害なファイルをウイルスと見なしました。
• クラスは実際には1である必要がありますが、1と予測します。これはと呼ばれます。 True Positive 、つまり、クラスが正であると正しく予測します（1）。たとえば、アンチウイルスがウイルスを正しく検出しました。

混同行列を取得するために、モデルによって行われたすべての予測を調べ、これら4種類のエラーのそれぞれの回数をカウントします。発生：

この混同行列の例では、分類された50個のデータポイントのうち、45個が正しく分類されています。 5つは誤分類されています。

2つの異なるモデルを比較する場合、複数のメトリックよりも単一のメトリックを使用する方が便利な場合が多いため、混同行列から2つのメトリックを計算し、後で1つに結合します。

• 真陽性率（ TPR ）、別名。感度、ヒット率、およびTPTP + FNとして定義されるリコール。直感的に、このメトリックは、すべての正のデータポイントに関して、正と正しく見なされる正のデータポイントの割合に対応します。つまり、TPRが高いほど、見逃すポジティブデータポイントが少なくなります。
• 偽陽性率（ FPR ）、別名。 フォールアウト。これはFPFP + TNとして定義されています。直感的に、このメトリックは、すべての負のデータポイントに関して、誤って正と見なされた負のデータポイントの割合に対応します。つまり、FPRが高いほど、誤分類される負のデータポイントが多くなります。

FPRとTPRを1つのメトリックに組み合わせるには、最初に2つの以前のメトリックをさまざまな方法で計算しますロジスティック回帰のしきい値（たとえば、0.00; 0.01,0.02、…、1.00）を、横軸にFPR値、縦軸にTPR値を使用して、単一のグラフにプロットします。結果の曲線はROC曲線と呼ばれ、考慮されるメトリックはこの曲線のAUCであり、AUROCと呼ばれます。

次の図は、AUROCをグラフで示しています。

この図では、青い領域は受信者動作特性（AUROC）の曲線下領域に対応しています。対角線の破線は、ランダム予測子のROC曲線を示しています。AUROCは0.5です。ランダム予測子は、モデルが有用かどうかを確認するためのベースラインとして一般的に使用されます。

直接体験したい場合：

• Python：相互検証を使用した受信者動作特性（ROC）
• MATLAB：受信者動作特性（ROC）曲線または分類器出力のその他のパフォーマンス曲線