Learning to Rankと、RankNet、LambdaRank、LambdaMARTなどのアルゴリズムの直感的な説明は何ですか?これらの手法はどのタイプのデータ/変数で使用できますか?それらの長所と制限は何ですか?


ベストアンサー

RankNet、LambdaRank、LambdaMARTはすべて ランク付けの学習 アルゴリズム。

ランク付けの学習とは

ランク付けの学習(LTR)は、教師あり学習を適用する手法のクラスです。 ランキングの問題を解決するための機械学習(ML)。 LTRと従来の教師ありMLの主な違いは、次のとおりです。

  • 従来のMLは、一度に1つのインスタンスで予測問題(分類または回帰)を解決します。例えば。電子メールでスパム検出を行っている場合は、その電子メールに関連するすべての機能を調べて、スパムかどうかに分類します。従来のMLの目的は、クラス(スパムまたは非スパム)またはそのインスタンスの単一の数値スコアを考え出すことです。
  • LTRは、アイテムのリストのランキングの問題を解決します。 LTRの目的は、これらのアイテムの最適な順序を考え出すことです。そのため、LTRは各アイテムが取得する正確なスコアにはあまり関心がありませんが、すべてのアイテム間の相対的な順序には関心があります。

LTRの最も一般的なアプリケーションは検索エンジンです。ランク付けされていますが、ランク付けされたアイテムのリストを作成する必要がある場合はどこでも役立ちます。

LTRモデルのトレーニングデータは、アイテムのリストと各アイテムの「グラウンドトゥルース」スコアで構成されます。検索エンジンのランキングの場合、これはクエリの結果のリストと、クエリに関するこれらの各結果の関連性の評価に変換されます。これらの関連性評価を生成するために主要な検索エンジンで使用される最も一般的な方法は、一連のクエリの結果を評価するように人間の評価者に依頼することです。興味のある方のために、私はここに有人評価システムについて詳しく書いています:Nikhil Dandekarの回答Googleは検索結果の品質をどのように測定しますか?

ランク付けの学習のより技術的な説明についてMicrosoft Researchによるこのペーパーを確認してください:ランク付けの学習の簡単な紹介

内容 RankNet、LambdaRank、LambdaMART

RankNet、LambdaRank、LambdaMARTはすべて、MicrosoftResearchのChrisBurgesと彼の同僚によって開発されたLTRアルゴリズムです。RankNetが最初に開発され、次にLambdaRank、次にLambdaMARTが開発されました。

3つの手法すべてにおいて、ランキングはペアワイズ分類または回帰問題に変換されます。つまり、一度にアイテムのペアを調べ、そのペアのアイテムの最適な順序を考え出し、それを使って思いつくすべての結果の最終ランキング。

各アルゴリズムの詳細は次のとおりです。

RankNet http://research.microsoft.com/en-us/um/people/cburges/papers/ICML\_ranking.pdf

RankNetは元々ニューラルネットですが、基礎となるモデルは異なる可能性があり、ニューラルネットだけに限定されません。 RankNetのコスト関数は、ランキングの反転の数を最小限に抑えることを目的としています。ここで、反転とは、結果のペア間の順序が正しくないことを意味します。つまり、ランク付けされたリストで、評価の低い結果を評価の高い結果よりも上にランク付けした場合です。 RankNetは、確率的勾配降下法を使用してコスト関数を最適化します。

LambdaRank http://research.microsoft.com/pubs/68133/lambdarank.pdf

Burgesset。 al。ランクネットのトレーニング手順では、コストは不要で、モデルスコアに対するコストの勾配(\ lambda)のみが必要であることがわかりました。これらの勾配は、ランク付けされたリストの各ドキュメントに付けられた小さな矢印と考えることができます。 、これらのドキュメントを移動する方向を示します。

さらに、変化によってグラデーションをスケーリングすることがわかりました。ドキュメントの各ペアを交換して見つかった NDCG は、良い結果をもたらしました。LambdaRankの中心的なアイデアは、この新しいコスト関数を使用して、RankNetをトレーニングすることです。実験データセットでは、は、元のランクネットに比べて速度と精度の両方が向上していることを示しています。

LambdaMART http://research.microsoft.com/pubs/102750/LambdaMART\_Final.pdf

LambdaMARTは、LambdaRankとMART(Multiple Additive Regression Trees)を組み合わせたものです。予測タスクに勾配ブースト決定ツリーを使用、La mbdaMARTは、ランク付けタスクを解決するためにLambdaRankから派生したコスト関数を使用して勾配ブースト決定木を使用します。実験データセットでは、LambdaMARTはLambdaRankおよび元のRankNetよりも優れた結果を示しています。

興味がある場合は、Chris Burgesが、RankNetからLambdaRank、LambdaMARTへの進化について詳しく説明した単一の論文をここに掲載しています: RankNetからLambdaRank、LambdaMARTへ:概要

回答

ランク付けの学習は、完全な順序の復元に関連する問題のクラスです。

  • すべてのデータポイントの評価
  • ポイントのペア。ここで、どのポイントを指定するかを指定します。 上位にランク付け

これは回帰問題と見なすことができます-特徴ベクトルのスコアを予測します。または、2つのポイントのどちらが上位にランク付けされるかを予測する必要がある分類問題として 。これらのアプローチはポイントワイズおよびペアワイズと呼ばれ、現時点で最も研究された堅牢な方法です。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です