La précision, le rappel et de la matrice de confusion dans l’apprentissage automatique

La précision, le rappel et de la matrice de confusion dans l’apprentissage automatique

La précision, le rappel et de la matrice de confusion dans l'apprentissage automatique Vous avez donc créé un modèle d'apprentissage automatique . Gé

Open DATA, les données ouvertes, le cas du Maroc
Apprentissage automatique – Machine Learning
L’intelligence artificielle change l’industrie de la traduction ?

La précision, le rappel et de la matrice de confusion dans l’apprentissage automatique

Vous avez donc créé un modèle d’apprentissage automatique . Génial. Vous lui donnez vos entrées et cela vous donne une sortie. Parfois, la sortie est correcte et parfois elle est fausse. Vous savez que le modèle prédit avec une précision d’environ 86%, car les prédictions de votre test d’entraînement le disaient.

Mais 86% n’est pas une mesure de précision suffisamment bonne. Avec lui, vous ne découvrez que la moitié de l’histoire. Parfois, cela peut vous donner une mauvaise impression. Précision, rappel et matrice de confusion… maintenant c’est plus sûr. Nous allons jeter un coup d’oeil.

Matrice de confusion

La précision et le rappel peuvent être interprétés à partir de la matrice de confusion, nous commençons donc par là. La matrice de confusion est utilisée pour afficher dans quelle mesure un modèle a fait ses prédictions.

Classification binaire

Prenons un exemple: un modèle est utilisé pour prédire si un conducteur tournera à gauche ou à droite à un feu. Ceci est une classification binaire. Il peut fonctionner sur n’importe quelle tâche de prédiction qui fait une distinction par oui ou non, ou par vrai ou par faux.

Le but de la matrice de confusion est de montrer à quel point le modèle est confus . Pour ce faire, nous introduisons deux concepts: les faux positifs et les faux négatifs .

  • Si le modèle doit prédire le positif (à gauche) et le négatif (à droite), alors le faux positif prédit à gauche lorsque la direction réelle est à droite.
  • Un faux négatif fonctionne dans le sens inverse; le modèle prédit à droite, mais le résultat réel est à gauche.

En utilisant une matrice de confusion, ces nombres peuvent être affichés sur le graphique comme tels:

Matrice de confusion

Dans cette matrice de confusion, il y a 19 prédictions au total. 14 sont corrects et 5 sont faux.

  • La cellule Faux négatif, numéro 3, signifie que le modèle a prédit un négatif et que le réel était un positif.
  • La cellule Faux positif, numéro 2, signifie que le modèle a prédit un positif, mais que le réel était un négatif.

Le faux positif signifie peu pour la direction qu’une personne choisit à ce stade. Mais, si vous ajoutiez des enjeux au choix, comme choisir le bien conduisait à une énorme récompense, et le choisir à tort signifiait une mort certaine, alors maintenant il y a des enjeux dans la décision, et un faux négatif pourrait être très coûteux. Nous ne voudrions que le modèle prenne la décision s’il était sûr à 100% que c’était le choix à faire.

Coût / bénéfice de la confusion

Peser le coût et les avantages des choix donne un sens à la matrice de confusion. L’algorithme Instagram doit mettre un filtre de nudité sur toutes les photos que les gens publient, donc un classificateur de photos nues est créé pour détecter toute nudité. Si une photo nue est publiée et dépasse le filtre, cela pourrait coûter très cher à Instagram. Donc, ils vont essayer de classer plus de choses que nécessaire pour filtrer chaque photo de nu car le coût de l’échec est si élevé.

Classification non binaire

Enfin, les matrices de confusion ne s’appliquent pas uniquement à un classificateur binaire. Ils peuvent être utilisés sur n’importe quel nombre de catégories dont un modèle a besoin, et les mêmes règles d’analyse s’appliquent. Par exemple, une matrice peut être élaborée pour classer les évaluations des gens du débat national démocratique:

  • Très pauvre
  • Pauvres
  • Neutre
  • Bien
  • très bien

Toutes les prédictions faites par le modèle peuvent être placées dans une matrice de confusion:

matrice de confusion

Précision

La précision est le rapport entre les vrais positifs et le total des vrais positifs et des faux positifs. Precision cherche à voir combien de positifs indésirables ont été jetés dans le mélange. S’il n’y a pas de mauvais positifs (ces PF), alors le modèle avait une précision de 100%. Plus il y a de FP dans le mix, plus la précision sera moche.

Pour calculer la précision d’un modèle, nous avons besoin des nombres positifs et négatifs de la matrice de confusion.

Précision = TP / (TP + FP)

Rappel

Le rappel emprunte une autre voie. Au lieu de regarder le nombre de faux positifs prédit par le modèle, le rappel examine le nombre de faux négatifs qui ont été jetés dans le mélange de prédictions.

Rappel = TP / (TP + FN)

Le taux de rappel est pénalisé chaque fois qu’un faux négatif est prédit. Parce que les pénalités de précision et de rappel sont opposées, les équations elles-mêmes le sont aussi. La précision et le rappel sont le yin et le yang de l’évaluation de la matrice de confusion.

Rappel vs précision: l’un ou l’autre ?

Comme vu précédemment, lors de la compréhension de la matrice de confusion, un modèle peut parfois vouloir laisser passer plus de faux négatifs. Cela entraînerait une plus grande précision car les faux négatifs ne pénalisent pas l’équation de rappel. (Là, ils sont une vertu.)

Parfois, un modèle peut souhaiter laisser passer plus de faux positifs, ce qui entraîne un rappel plus élevé , car les faux positifs ne sont pas pris en compte.

En général, un modèle ne peut pas avoir à la fois un rappel élevé et une haute précision. Il y a un coût associé à l’obtention de points plus élevés en rappel ou en précision. Un modèle peut avoir un point d’équilibre où les deux, la précision et le rappel, sont les mêmes, mais lorsque le modèle est ajusté pour serrer quelques points de pourcentage supplémentaires sur sa précision, cela réduira probablement le taux de rappel.

 

COMMENTS