Une métrique est une mesure quantitative utilisée pour évaluer la performance d’un modèle de Machine Learning. Les métriques servent à comparer les prédictions du modèle avec les valeurs réelles (ou attendues) et permettent de déterminer dans quelle mesure le modèle fonctionne bien pour une tâche donnée. Voici quelques exemples de métriques :
-
L’accuracy (ou précision globale): L’accuracy est le rapport entre le nombre de prédictions correctes et le nombre total de prédictions effectuées.
-
Rappel (Recall) : Le rappel est une mesure de la capacité d’un modèle à identifier correctement les instances positives parmi toutes les instances réellement positives. Il s’agit du rapport entre le nombre de vrais positifs (les éléments correctement identifiés comme positifs) et la somme des vrais positifs et des faux négatifs (les éléments qui étaient positifs mais mal classés).
-
Précision (Precision) : La précision mesure la proportion d’instances prédites comme positives qui sont réellement positives. Autrement dit, c’est le rapport entre le nombre de vrais positifs et la somme des vrais positifs et des faux positifs (les éléments prédit comme positifs mais qui sont en réalité négatifs).
-
F1-score : Le F1-score est une moyenne harmonique entre la précision et le rappel. Il combine ces deux métriques en un seul indicateur qui permet de tenir compte à la fois des faux positifs et des faux négatifs. Le F1-score est particulièrement utile lorsque les classes sont déséquilibrées ou lorsque vous avez besoin d’un compromis entre la précision et le rappel.
-
MAE (Mean Absolute Error) : Le MAE est la moyenne des différences absolues entre les valeurs prédites et les valeurs réelles. Il mesure l’erreur moyenne en termes de magnitude, sans tenir compte de la direction (positive ou négative) des erreurs.
-
RMSE (Root Mean Square Error) : Le RMSE est la racine carrée de la moyenne des carrés des erreurs. Contrairement au MAE, le RMSE accorde plus de poids aux grandes erreurs en raison de la mise au carré des écarts.
-
MSE (Mean Squared Error) : Le MSE est la moyenne des carrés des écarts entre les valeurs prédites et les valeurs réelles. Le MSE est similaire au RMSE mais sans la racine carrée, donc il est plus difficile à interpréter directement car il est exprimé en carrés des unités.
-
R² (Coefficient de détermination) : Le R² mesure la proportion de la variance des valeurs réelles qui est expliquée par le modèle. Il varie entre 0 et 1 (ou négatif si le modèle est pire qu’une simple moyenne), où une valeur proche de 1 indique que le modèle explique bien les données.
-
MAPE (Mean Absolute Percentage Error) : Le MAPE est la moyenne des erreurs absolues en pourcentage des valeurs réelles. Il exprime l’erreur relative, donc il est utile lorsque l’on veut comprendre l’erreur en termes de pourcentage par rapport aux valeurs réelles.