SHAP : même prédiction, deux références, deux explications

La prédiction reste 31,894 : la base SHAP passe de 42,520 à 56,421 et la contribution de charge de −7,726 à −21,910.

Deux explications SHAP peuvent afficher des contributions différentes pour exactement la même prédiction. Avant de chercher une erreur dans le modèle, vérifiez le jeu de référence. Dans cette expérience, la forêt prédit toujours 31,894. Avec un fond global, la base vaut 42,520 ; avec un fond de charges élevées, elle vaut 56,421. Les contributions compensent ce changement.

Le guide SHAP et LIME explique la décomposition additive. Ici, nous faisons varier une seule décision d’explication : la population à laquelle le cas est comparé. Télécharger le script et les six tests (ZIP gratuit).

À quoi sert le fond de référence ?

Dans le mode interventional utilisé ici, l’explication compare la prédiction du cas à des combinaisons de ses variables et des lignes du fond. La base correspond à la moyenne des prédictions sur ce fond. Choisir une autre population change la question : « en quoi ce cas diffère-t-il de ces observations de référence ? »

L’exemple officiel SHAP sur le changement de fond montre ce mécanisme sur une fonction simple. Notre cas utilise une forêt de régression et deux échantillons tirés de l’apprentissage. Nous ne modifions ni le modèle ni la ligne expliquée entre les deux calculs.

Définir l’expérience avant de regarder les barres

Nous générons 1 000 observations et trois indicateurs artificiels : charge, attente et reprises. Ce sont des variables normales sans unité ; leurs noms sont des repères pédagogiques, pas des mesures physiques ou des nombres de reprises réels. La cible combine un effet linéaire de charge, un effet quadratique d’attente, un effet linéaire de reprises et du bruit.

La forêt est apprise sur 750 lignes ; 250 sont réservées. Ses réglages sont fixés. Le cas expliqué est le premier indice du lot réservé, choisi sans rechercher une explication spectaculaire. Il s’agit de l’observation 521, avec charge −1,147, attente −0,940 et reprises −0,635.

Les deux règles de fond sont fixées à l’avance :

  • Fond global : les 80 premières lignes de l’apprentissage dans l’ordre de la partition aléatoire.
  • Fond à charge élevée : les 80 premières lignes d’apprentissage dont charge > 1.

Le fond « global » est donc un échantillon de 80 lignes, pas tout l’apprentissage et pas une estimation exacte d’une population réelle. Les deux fonds peuvent se recouvrir ; aucun ne contient une ligne du lot réservé. Le sous-groupe est défini par une variable d’entrée, sans utiliser les cibles du test.

Deux décompositions qui reconstituent la même prédiction

Contributions dans l’unité du score synthétique, arrondies à trois décimales.
Élément Fond global Fond charge > 1
Base 42,520 56,421
Charge −7,726 −21,910
Attente −1,715 −1,470
Reprises −1,185 −1,148
Somme des contributions −10,626 −24,527
Base + contributions 31,894 31,894

Le fond à charge élevée a des prédictions moyennes plus hautes. Le cas expliqué a au contraire une charge négative : sa contribution de charge devient plus négative relativement à cette référence. Les autres contributions changent aussi légèrement ; les arbres appris peuvent introduire des interactions, même avec ce mécanisme de génération simple.

La prédiction reste 31,894 : la base SHAP passe de 42,520 à 56,421 et la contribution de charge de −7,726 à −21,910.
Mêmes limites sur les axes pour comparer les amplitudes. Les contributions expliquent un écart à la base choisie, pas un effet causal.

Avec les valeurs non arrondies, l’écart maximal entre reconstruction et prédiction est inférieur à 6 × 10−8. La cible observée vaut environ 32,497 : l’additivité réussie ne supprime pas l’erreur de prédiction. Elle vérifie que l’explication reconstitue la sortie du modèle dans cette convention.

Code complet avec TreeExplainer

Nous spécifions feature_perturbation='interventional' et model_output='raw'. Pour cette forêt de régression, la sortie brute est le score prédit, pas une probabilité ni un log-odds. Exemple exécuté avec Python 3.12.14, scikit-learn 1.9.1 et SHAP 0.52.0.

python -m pip install -r requirements.txt
python shap_deux_references.py
python test_exemple.py
python figure.py
"""Même forêt, même observation, deux populations de référence explicites."""
from pathlib import Path
import json
import numpy as np
import shap
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split

NOMS = ('charge', 'attente', 'reprises')


def experience():
    rng = np.random.default_rng(42)
    X = rng.normal(size=(1000, 3))
    y = 40 + 8 * X[:, 0] + 4 * X[:, 1] ** 2 + 3 * X[:, 2] + rng.normal(size=1000)
    train, test = train_test_split(np.arange(len(y)), test_size=.25, random_state=42)
    modele = RandomForestRegressor(n_estimators=120, max_depth=7, min_samples_leaf=4,
                                   random_state=42, n_jobs=1).fit(X[train], y[train])
    # Règles fixées : premier cas réservé ; premiers 80 cas de chaque population.
    cas = X[test[:1]]
    globaux = train[:80]
    charges_fortes = train[X[train, 0] > 1][:80]
    assert len(charges_fortes) == 80
    references = {'apprentissage_global': globaux, 'charge_superieure_a_1': charges_fortes}
    prediction = float(modele.predict(cas)[0])
    lignes = []
    for nom, indices in references.items():
        fond = X[indices]
        explainer = shap.TreeExplainer(modele, data=fond,
                                      feature_perturbation='interventional', model_output='raw')
        explication = explainer(cas, check_additivity=True)
        base = float(explication.base_values[0])
        valeurs = explication.values[0]
        lignes.append({'reference': nom, 'taille_fond': len(fond), 'base': base,
                       'moyenne_prediction_fond': float(modele.predict(fond).mean()),
                       'contributions': dict(zip(NOMS, valeurs.tolist())),
                       'somme': float(valeurs.sum()), 'reconstruction': float(base + valeurs.sum()),
                       'ecart_additivite': float(abs(prediction - base - valeurs.sum()))})
    return {'X': X, 'y': y, 'train': train, 'test': test, 'cas': cas,
            'modele': modele, 'references': references,
            'resume': {'donnees': 'synthétiques', 'id_cas': int(test[0]),
                       'valeurs_cas': dict(zip(NOMS, cas[0].tolist())), 'prediction': prediction,
                       'cible_observee': float(y[test[0]]), 'lignes': lignes}}


if __name__ == '__main__':
    r = experience()
    Path(__file__).with_name('resultats.json').write_text(json.dumps(r['resume'], indent=2, ensure_ascii=False), encoding='utf-8')
    print(json.dumps(r['resume'], indent=2, ensure_ascii=False))

Vérifier autre chose que l’addition

Une somme correcte est nécessaire, mais ne démontre pas à elle seule que toutes les contributions sont celles attendues. Le test indépendant de l’archive énumère les huit coalitions des trois variables. Pour chaque coalition, il remplace dans les 80 lignes du fond les variables présentes par celles du cas expliqué, puis moyenne les prédictions. Il applique ensuite les poids de Shapley et compare chaque contribution au résultat de TreeExplainer, avec une tolérance numérique.

Les autres tests contrôlent l’origine des fonds, la condition charge > 1, les moyennes de référence, l’alignement des noms et la prédiction inchangée. Ce contrôle est possible à trois variables ; l’énumération de toutes les coalitions devient coûteuse quand leur nombre augmente.

Choisir une référence qui répond à la bonne question

Un fond global convient à une comparaison avec l’ensemble représenté par cet échantillon. Un sous-groupe peut servir une comparaison plus ciblée, à condition de préciser sa règle de sélection et de ne pas le présenter comme la référence générale. Documentez le nombre de lignes, les filtres, la version du modèle et l’espace de sortie.

Changer le fond après avoir vu les contributions pour obtenir une histoire plus flatteuse rend l’analyse fragile. Définissez la question d’abord. Si des variables sont fortement dépendantes, les combinaisons interventional peuvent aussi produire des observations peu plausibles : la décomposition ne prouve alors aucun mécanisme causal. Une autre convention d’explication peut répondre à une autre question.

Rejouez les deux références avec le ZIP gratuit, puis revenez au guide SHAP/LIME pour la fidélité locale et les limites. Si l’exactitude du modèle lui-même est en question, commencez par le protocole de validation : une explication précise d’un mauvais modèle reste l’explication d’un mauvais modèle.

About Salah YAHIAOUI

Salah YAHIAOUI publie sur The Pingouin des tutoriels Python et des décryptages sur l’intelligence artificielle. Les cas pratiques récents précisent leurs données, leurs tests et leurs limites. À propos, méthode éditoriale et contact.

View all posts by Salah YAHIAOUI →