Melhor resposta
Eu encontrei uma série de aplicações possíveis do Ranking SVM na literatura:
* Regressão ordinal * Otimização AUC * Desequilíbrio de classe * Aprendendo a classificar problemas
Inicialmente, eles foram propostos para regressão ordinal; A otimização AUC é apenas um caso especial disso (duas classes). O desequilíbrio de classe está relacionado à otimização de AUC, uma vez que AUC é uma métrica de desempenho razoável para problemas com desequilíbrio de classe. Ranking SVMs também foi proposto para problemas de Learning 2 Rank no contexto de recuperação de informação. Eles não são um bom ajuste para IMHO porque embora a AUC também possa ser vista como uma métrica de classificação, ela difere de métricas de desempenho de classificação padrão, como NDCG e Precisão média média: as últimas são pesadas no topo; ou seja, eles colocam muita ênfase nos primeiros exemplos na classificação (geralmente os exemplos abaixo das classificações 10 e 20 não importam de forma alguma), enquanto a AUC trata todas as posições na classificação igualmente.
Dito isso, eu ” usei o Ranking SVM para todos os problemas acima e, IMHO, eles nunca foram provados de utilidade – por exemplo. em minha experiência, a ponderação de exemplo geralmente funciona melhor para o desequilíbrio de classe e para aprender a classificar a regressão simples nas pontuações de relevância (+ um modelo não linear) oferece melhor desempenho na maioria dos benchmarks L2R. A diferença no desempenho da AUC entre o svm comum e o svm de classificação é desprezível IMHO.
A aplicação mais interessante de Classificação SVM que encontrei foi por Thorsten Joachims e seu grupo, onde usaram feedback implícito de usuários de um mecanismo de pesquisa na web (ou seja, o usuário clicou na posição 2 primeiro e não na 1) para gerar “pares de exemplo” (doc\_2 – doc\_1) que são alimentados no Ranking SVM – os sinais de treinamento deste formulário só funcionariam para abordagens de pares, como Ranking SVM.
Resposta
O que significa AUC e o que é? :
Abreviações
- AUC = Área sob a curva.
- AUROC = Área sob a curva de característica de operação do receptor .
AUC é usado na maioria das vezes para significar AUROC, o que é uma prática ruim, pois, como Marc Claesen apontou, AUC é ambíguo (pode ser qualquer curva), enquanto AUROC não é.
Interprete ng the AUROC
O AUROC tem várias interpretações equivalentes :
- A expectativa de que um positivo aleatório desenhado de maneira uniforme é classificado antes de um negativo aleatório desenhado de maneira uniforme.
- A proporção esperada de positivos classificados antes de um negativo aleatório desenhado de maneira uniforme.
- A taxa de verdadeiro positivo esperado se a classificação for dividir logo antes de um negativo aleatório distribuído uniformemente.
- A proporção esperada de negativos classificados após um positivo aleatório distribuído uniformemente.
- A taxa de falsos positivos esperada se a classificação for dividida logo após um extraído aleatoriamente positivo.
Calculando o AUROC
Suponha que nós têm um classificador binário probabilístico, como regressão logística. Antes de apresentar a curva ROC (= curva de característica de operação do receptor), o conceito de matriz de confusão deve ser compreendido. Quando fazemos uma previsão binária, isso pode ser 4 tipos de erros:
- Prevemos 0 enquanto deveríamos ter a classe na verdade 0: isso é chamado de Verdadeiro negativo , ou seja, predizemos corretamente que a classe é negativa (0). Por exemplo, um antivírus não detectou um arquivo inofensivo como um vírus.
- Prevemos que 0, embora devêssemos ter a classe, é na verdade 1: isso é chamado de Falso negativo , ou seja, prevemos incorretamente que a classe é negativa (0). Por exemplo, um antivírus falhou em detectar um vírus.
- Prevemos que 1, embora devêssemos ter a classe, é na verdade 0: isso é chamado de Falso positivo , isto é, predizemos incorretamente que a classe é positiva (1). Por exemplo, um antivírus considerado um arquivo inofensivo para ser um vírus.
- Prevemos que 1 enquanto deveríamos ter a classe é na verdade 1: isso é chamado de Positivo verdadeiro , ou seja, predizemos corretamente que a classe é positiva (1). Por exemplo, um antivírus detectou um vírus corretamente.
Para obter a matriz de confusão, revisamos todas as previsões feitas pelo modelo e contamos quantas vezes cada um desses 4 tipos de erros ocorrer:
Neste exemplo de uma matriz de confusão, entre os 50 pontos de dados que são classificados, 45 estão corretamente classificados e os 5 estão mal classificados.
Visto que para comparar dois modelos diferentes, muitas vezes é mais conveniente ter uma única métrica em vez de várias, calculamos duas métricas da matriz de confusão, que mais tarde combinaremos em uma:
- Taxa positiva verdadeira ( TPR ), também conhecida como. sensibilidade, taxa de acerto e recall , que é definido como TPTP + FN. Intuitivamente, essa métrica corresponde à proporção de pontos de dados positivos que são corretamente considerados positivos em relação a todos os pontos de dados positivos. Em outras palavras, quanto maior o TPR, menos pontos de dados positivos perderemos.
- Taxa de falsos positivos ( FPR ), também conhecido como. fall-out , que é definido como FPFP + TN. Intuitivamente, essa métrica corresponde à proporção de pontos de dados negativos que são erroneamente considerados positivos em relação a todos os pontos de dados negativos. Em outras palavras, quanto maior o FPR, mais pontos de dados negativos serão classificados incorretamente.
Para combinar o FPR e o TPR em uma única métrica, primeiro calculamos as duas primeiras métricas com muitas limite (por exemplo 0,00; 0,01,0,02,…, 1,00) para a regressão logística, em seguida, plote-os em um único gráfico, com os valores de FPR na abcissa e os valores de TPR na ordenada. A curva resultante é chamada de curva ROC, e a métrica que consideramos é a AUC dessa curva, que chamamos de AUROC.
A figura a seguir mostra o AUROC graficamente:
Nesta figura, a área azul corresponde à área sob a curva da Receiver Operating Characteristic (AUROC). A linha tracejada na diagonal apresentamos a curva ROC de um preditor aleatório: possui AUROC de 0,5. O preditor aleatório é comumente usado como uma linha de base para ver se o modelo é útil.
Se você deseja obter alguma experiência em primeira mão: