Score de Brier ou perte logarithmique : quelle différence ?

Les erreurs très confiantes ne sont pas pénalisées de la même façon

Le score de Brier et la perte logarithmique comparent les probabilités annoncées au résultat observé. Dans la convention de perte utilisée ici, plus le résultat est faible, mieux c’est. Brier repose sur l’erreur quadratique et reste borné. La perte logarithmique croît sans borne lorsque la probabilité attribuée à l’issue qui survient tend vers zéro.

Choisissez la mesure principale avant de regarder les résultats. Deux prévisions peuvent indiquer la même réponse avec des niveaux de confiance différents. Si « oui » se réalise, lui attribuer 51 % donne une perte de Brier binaire de 0,2401 ; lui attribuer 99 % donne 0,0001.

Il s’agit de pertes. Si une source présente le score logarithmique avec le signe opposé, le sens de la comparaison s’inverse.

Formules pour une issue binaire

Notons p la probabilité de « oui » et y le résultat : 1 si « oui » se réalise, 0 sinon. La perte de Brier binaire vaut (p − y)². En logarithme naturel, la perte logarithmique vaut −ln(p) pour « oui » et −ln(1 − p) pour « non ». À poids égaux, additionnez les pertes et divisez par le nombre de prévisions.

Pour 0 < p < 1, la perte logarithmique s’écrit aussi −[y ln(p) + (1 − y) ln(1 − p)]. Aux extrémités, utilisez la formule par cas ou remplacez 0 × ln(0) par sa limite, 0.

Les mêmes trois prévisions, évaluées deux fois

Les données ci-dessous sont fictives. Les prévisions sont enregistrées avant les résultats et ont le même poids. Aucun bornage numérique n’est appliqué à ce calcul.

Pour B, l’issue est « non » : on calcule −ln(0,70). Les moyennes sont calculées avant d’arrondir. Comparer directement 0,370033 à 1,728330 mélange deux échelles. Comparez deux scores de Brier entre eux, ou deux pertes logarithmiques entre elles, sur les mêmes événements et avec les mêmes conventions.

Pourquoi il existe deux échelles pour Brier

La formule binaire ci-dessus utilise seulement la probabilité de « oui ». La somme des erreurs quadratiques pour les deux classes vaut 2(p − y)². Dans l’exemple, la moyenne devient 0,740067 au lieu de 0,370033 sans que les prévisions changent. Doubler toutes les pertes d’une même comparaison ne change pas leur ordre.

Lorsque les classes sont mutuellement exclusives et couvrent toutes les issues, la somme de Brier va de 0 à 2. Pour A, B et C de probabilités 0,70, 0,20 et 0,10, si A survient, la somme est 0,09 + 0,04 + 0,01 = 0,14, ou 0,07 si l’on applique explicitement un facteur 1/2. La perte logarithmique catégorielle est −ln(0,70) = 0,356675. Elle n’ajoute pas un terme distinct pour chacune des classes non observées. L’exemple suppose une seule issue réalisée, et ne s’applique pas tel quel à plusieurs étiquettes simultanées.

Faire la moyenne des trois erreurs au lieu de les additionner constitue une autre convention.

Base du logarithme, probabilité zéro et bornage

Remplacer ln par le logarithme en base 2 divise toutes les pertes par ln(2) : la moyenne passe de 1,728330 à 2,493452. Le classement reste le même si la base est appliquée uniformément. Vérifiez aussi s’il s’agit d’une somme, d’une moyenne ou d’une moyenne pondérée.

Attribuer une probabilité de 1 à l’issue observée donne une perte logarithmique de 0. Lui attribuer 0 donne l’infini positif sans bornage. Les pertes de Brier binaires correspondantes sont 0 et 1. Un programme peut borner les probabilités à l’intervalle [ε, 1 − ε]. Avec ε = 0,000001, une probabilité initialement nulle donne −ln(ε) = 13,815511. Ce seuil est un choix illustratif, non un réglage universel : scikit-learn documente un bornage lié au type numérique. Conservez les valeurs d’origine et indiquez le seuil et le nombre de prévisions concernées.

scikit-learn emploie le logarithme naturel. Consultez la documentation de la version utilisée. Des probabilités distinctes au-delà d’une même borne donnent la même valeur après bornage, ce qui modifie la règle effectivement évaluée.

Le sens d’une règle de score strictement propre

Avec ces deux règles mathématiques, la distribution vraie minimise la perte en espérance. Elle n’obtient pas nécessairement le meilleur résultat sur chaque petit échantillon. Si la vraie probabilité de « oui » est 0,70, annoncer 0,70 donne une perte de Brier attendue de 0,21 ; annoncer 0,90 donne 0,25. Si « oui » se réalise sur un événement isolé, la prévision de 0,90 obtient pourtant une perte observée plus faible.

Évaluez les mêmes événements, dates de prévision, résultats et poids et indiquez les conventions. Une seule mesure ne distingue pas à elle seule la calibration du pouvoir de discrimination et n’explique pas la cause des erreurs. Elle ne promet ni rendement ni résultat futur.

Pour une probabilité réelle q, la perte de Brier binaire attendue vaut q(1 − p)² + (1 − q)p² = q(1 − q) + (p − q)². Elle est minimale uniquement pour p = q. Cette propriété de la règle mathématique ne signifie pas que le bornage distingue de façon unique toutes les prévisions initiales.

Sources et périmètre

• scikit-learn : perte de Brier, formule et échelles.
• scikit-learn : perte logarithmique, logarithme et bornage numérique.
• scikit-learn : calibration probabiliste, interprétation des scores.
• scoringrules : théorie des règles de score, propriétés en espérance.

Le texte anglais d’origine a vérifié ses sources le 22 octobre 2026. Les exemples de ce guide pédagogique sont fictifs et ne décrivent pas de performances de prévision réelles.

HypaForecast publie des guides pédagogiques et exploite un marché de prévision. Ce texte ne recommande aucune opération, ne détermine pas l’admissibilité à un service et ne promet aucun rendement ni résultat.