Deux explications SHAP peuvent afficher des contributions différentes pour exactement la même prédiction. Avant de chercher une erreur dans le modèle, vérifiez le jeu de référence. Dans cette expérience, la forêt prédit toujours 31,894. Avec un fond global, la base vaut 42,520 ; avec un fond de charges élevées, elle vaut 56,421. Les contributions compensent ce changement.
Le guide SHAP et LIME explique la décomposition additive. Ici, nous faisons varier une seule décision d’explication : la population à laquelle le cas est comparé. Télécharger le script et les six tests (ZIP gratuit).
À quoi sert le fond de référence ?
Dans le mode interventional utilisé ici, l’explication compare la prédiction du cas à des combinaisons de ses variables et des lignes du fond. La base correspond à la moyenne des prédictions sur ce fond. Choisir une autre population change la question : « en quoi ce cas diffère-t-il de ces observations de référence ? »
L’exemple officiel SHAP sur le changement de fond montre ce mécanisme sur une fonction simple. Notre cas utilise une forêt de régression et deux échantillons tirés de l’apprentissage. Nous ne modifions ni le modèle ni la ligne expliquée entre les deux calculs.
Définir l’expérience avant de regarder les barres
Nous générons 1 000 observations et trois indicateurs artificiels : charge, attente et reprises. Ce sont des variables normales sans unité ; leurs noms sont des repères pédagogiques, pas des mesures physiques ou des nombres de reprises réels. La cible combine un effet linéaire de charge, un effet quadratique d’attente, un effet linéaire de reprises et du bruit.
La forêt est apprise sur 750 lignes ; 250 sont réservées. Ses réglages sont fixés. Le cas expliqué est le premier indice du lot réservé, choisi sans rechercher une explication spectaculaire. Il s’agit de l’observation 521, avec charge −1,147, attente −0,940 et reprises −0,635.
Les deux règles de fond sont fixées à l’avance :
- Fond global : les 80 premières lignes de l’apprentissage dans l’ordre de la partition aléatoire.
- Fond à charge élevée : les 80 premières lignes d’apprentissage dont
charge > 1.
Le fond « global » est donc un échantillon de 80 lignes, pas tout l’apprentissage et pas une estimation exacte d’une population réelle. Les deux fonds peuvent se recouvrir ; aucun ne contient une ligne du lot réservé. Le sous-groupe est défini par une variable d’entrée, sans utiliser les cibles du test.
Deux décompositions qui reconstituent la même prédiction
| Élément | Fond global | Fond charge > 1 |
|---|---|---|
| Base | 42,520 | 56,421 |
| Charge | −7,726 | −21,910 |
| Attente | −1,715 | −1,470 |
| Reprises | −1,185 | −1,148 |
| Somme des contributions | −10,626 | −24,527 |
| Base + contributions | 31,894 | 31,894 |
Le fond à charge élevée a des prédictions moyennes plus hautes. Le cas expliqué a au contraire une charge négative : sa contribution de charge devient plus négative relativement à cette référence. Les autres contributions changent aussi légèrement ; les arbres appris peuvent introduire des interactions, même avec ce mécanisme de génération simple.

Avec les valeurs non arrondies, l’écart maximal entre reconstruction et prédiction est inférieur à 6 × 10−8. La cible observée vaut environ 32,497 : l’additivité réussie ne supprime pas l’erreur de prédiction. Elle vérifie que l’explication reconstitue la sortie du modèle dans cette convention.
Code complet avec TreeExplainer
Nous spécifions feature_perturbation='interventional' et model_output='raw'. Pour cette forêt de régression, la sortie brute est le score prédit, pas une probabilité ni un log-odds. Exemple exécuté avec Python 3.12.14, scikit-learn 1.9.1 et SHAP 0.52.0.
python -m pip install -r requirements.txt
python shap_deux_references.py
python test_exemple.py
python figure.py
"""Même forêt, même observation, deux populations de référence explicites."""
from pathlib import Path
import json
import numpy as np
import shap
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
NOMS = ('charge', 'attente', 'reprises')
def experience():
rng = np.random.default_rng(42)
X = rng.normal(size=(1000, 3))
y = 40 + 8 * X[:, 0] + 4 * X[:, 1] ** 2 + 3 * X[:, 2] + rng.normal(size=1000)
train, test = train_test_split(np.arange(len(y)), test_size=.25, random_state=42)
modele = RandomForestRegressor(n_estimators=120, max_depth=7, min_samples_leaf=4,
random_state=42, n_jobs=1).fit(X[train], y[train])
# Règles fixées : premier cas réservé ; premiers 80 cas de chaque population.
cas = X[test[:1]]
globaux = train[:80]
charges_fortes = train[X[train, 0] > 1][:80]
assert len(charges_fortes) == 80
references = {'apprentissage_global': globaux, 'charge_superieure_a_1': charges_fortes}
prediction = float(modele.predict(cas)[0])
lignes = []
for nom, indices in references.items():
fond = X[indices]
explainer = shap.TreeExplainer(modele, data=fond,
feature_perturbation='interventional', model_output='raw')
explication = explainer(cas, check_additivity=True)
base = float(explication.base_values[0])
valeurs = explication.values[0]
lignes.append({'reference': nom, 'taille_fond': len(fond), 'base': base,
'moyenne_prediction_fond': float(modele.predict(fond).mean()),
'contributions': dict(zip(NOMS, valeurs.tolist())),
'somme': float(valeurs.sum()), 'reconstruction': float(base + valeurs.sum()),
'ecart_additivite': float(abs(prediction - base - valeurs.sum()))})
return {'X': X, 'y': y, 'train': train, 'test': test, 'cas': cas,
'modele': modele, 'references': references,
'resume': {'donnees': 'synthétiques', 'id_cas': int(test[0]),
'valeurs_cas': dict(zip(NOMS, cas[0].tolist())), 'prediction': prediction,
'cible_observee': float(y[test[0]]), 'lignes': lignes}}
if __name__ == '__main__':
r = experience()
Path(__file__).with_name('resultats.json').write_text(json.dumps(r['resume'], indent=2, ensure_ascii=False), encoding='utf-8')
print(json.dumps(r['resume'], indent=2, ensure_ascii=False))
Vérifier autre chose que l’addition
Une somme correcte est nécessaire, mais ne démontre pas à elle seule que toutes les contributions sont celles attendues. Le test indépendant de l’archive énumère les huit coalitions des trois variables. Pour chaque coalition, il remplace dans les 80 lignes du fond les variables présentes par celles du cas expliqué, puis moyenne les prédictions. Il applique ensuite les poids de Shapley et compare chaque contribution au résultat de TreeExplainer, avec une tolérance numérique.
Les autres tests contrôlent l’origine des fonds, la condition charge > 1, les moyennes de référence, l’alignement des noms et la prédiction inchangée. Ce contrôle est possible à trois variables ; l’énumération de toutes les coalitions devient coûteuse quand leur nombre augmente.
Choisir une référence qui répond à la bonne question
Un fond global convient à une comparaison avec l’ensemble représenté par cet échantillon. Un sous-groupe peut servir une comparaison plus ciblée, à condition de préciser sa règle de sélection et de ne pas le présenter comme la référence générale. Documentez le nombre de lignes, les filtres, la version du modèle et l’espace de sortie.
Changer le fond après avoir vu les contributions pour obtenir une histoire plus flatteuse rend l’analyse fragile. Définissez la question d’abord. Si des variables sont fortement dépendantes, les combinaisons interventional peuvent aussi produire des observations peu plausibles : la décomposition ne prouve alors aucun mécanisme causal. Une autre convention d’explication peut répondre à une autre question.
Rejouez les deux références avec le ZIP gratuit, puis revenez au guide SHAP/LIME pour la fidélité locale et les limites. Si l’exactitude du modèle lui-même est en question, commencez par le protocole de validation : une explication précise d’un mauvais modèle reste l’explication d’un mauvais modèle.

