DBSCAN : pourquoi tous mes points sont-ils classés en bruit ?

Même nuage synthétique : 10 % de bruit avec deux coordonnées en mètres, 100 % avec des unités mixtes, 13,75 % après standardisation.

DBSCAN renvoie uniquement l’étiquette -1 : aucun groupe n’a été trouvé. Cela ne signifie pas que toutes vos lignes sont fausses. Dans notre exemple, la conversion d’une seule coordonnée de mètres en millimètres fait passer la fraction de bruit de 10 % à 100 %, sans déplacer les points dans l’espace réel.

Nous allons reproduire ce résultat, contrôler les distances et comparer plusieurs corrections. Le guide DBSCAN expose les points noyaux et les frontières ; ici, nous suivons un diagnostic concret. Télécharger le CSV synthétique, le code et les cinq tests (ZIP gratuit).

Pourquoi un rayon correct devient-il inutilisable ?

Nous générons deux nuages de 180 points et 40 points uniformément répartis autour. Les coordonnées x et y représentent initialement des mètres dans une scène artificielle. Avec eps=0.25 et min_samples=8, le rayon est cohérent avec cette échelle.

Si nous multiplions seulement x par 1 000, tout en gardant y en mètres et le même rayon numérique, la distance euclidienne mélange deux unités. Une variation de 0,1 m sur x devient une variation de 100 dans le tableau : elle ne tient plus dans un rayon de 0,25. Le voisinage se vide.

Avec scikit-learn, min_samples inclut le point lui-même dans le voisinage. Un point noyau doit donc avoir ici au moins huit observations, lui compris, à distance inférieure ou égale au rayon. La documentation de DBSCAN précise cette convention et le rôle des deux paramètres.

Quatre configurations, les mêmes 400 points

Résultats calculés avec min_samples = 8. Les rayons ne sont comparables qu’à l’intérieur d’un même espace de distances.
Configuration eps Groupes Bruit Fraction de bruit Tailles hors bruit
x et y en mètres 0,25 2 40 10,00 % 177, 183
x en mm, y en m 0,25 0 400 100,00 % Aucune
Unités mixtes puis StandardScaler 0,25 2 55 13,75 % 165, 180
Unités mixtes, rayon énorme 1 000 1 0 0,00 % 400

La correction naturelle pour des coordonnées physiques est de remettre les unités en cohérence. Reconvertir x en mètres retrouve la partition initiale. Standardiser chaque colonne est une autre décision : cela change le poids relatif des directions. Elle retrouve ici deux groupes, mais pas exactement la même partition ni les mêmes points de bruit.

À l’inverse, augmenter aveuglément le rayon jusqu’à 1 000 élimine tout le bruit en fusionnant les 400 points. Le compteur de bruit devient flatteur, mais le résultat n’est plus le regroupement recherché. Zéro bruit n’est pas un objectif universel.

Même nuage synthétique : 10 % de bruit avec deux coordonnées en mètres, 100 % avec des unités mixtes, 13,75 % après standardisation.
Les trois panneaux dessinent les mêmes positions en mètres, pour isoler l’effet des distances utilisées dans le calcul. Gris : étiquette −1 ; les couleurs de groupes n’ont pas de sens métier.

Faire varier eps et min_samples dans le bon espace

Après standardisation, nous comparons une petite grille fixée à l’avance. Cette exploration décrit le nuage disponible ; elle ne mesure pas une performance sur de nouvelles observations.

Diagnostic dans l’espace standardisé.
min_samples eps Groupes Fraction de bruit
5 0,12 8 29,00 %
5 0,25 3 10,75 %
5 0,50 2 5,00 %
8 0,12 5 47,75 %
8 0,25 2 13,75 %
8 0,50 2 5,50 %
15 0,12 3 75,25 %
15 0,25 2 21,25 %
15 0,50 2 7,00 %

Le script conserve aussi les tailles et le nombre de points noyaux. À petit rayon, une multiplication de petits groupes peut accompagner davantage de bruit. Un groupe final peut même avoir moins de membres que min_samples, car des points de frontière accessibles à plusieurs groupes sont affectés à un seul lors du parcours ; min_samples définit un voisinage de noyau, pas une taille minimale garantie de chaque groupe final.

Nous calculons enfin la distance au huitième voisin en fournissant explicitement les observations à kneighbors, pour inclure la distance nulle à soi-même. Ses quantiles 50 %, 90 % et 95 % valent environ 0,141, 0,417 et 0,764. Ils situent les échelles de voisinage ; aucun de ces quantiles n’est automatiquement le meilleur rayon.

Code reproductible

Exécuté avec Python 3.12.14, NumPy 2.5.3 et scikit-learn 1.9.1. L’archive contient positions-synthetiques.csv, avec identifiant, x en mètres, y en mètres et x en millimètres.

python -m pip install -r requirements.txt
python dbscan_unites.py
python test_exemple.py
python figure.py
"""DBSCAN sur les mêmes observations, avec une colonne convertie en millimètres."""
from pathlib import Path
import csv,json
import numpy as np
from sklearn.cluster import DBSCAN
from sklearn.metrics import adjusted_rand_score
from sklearn.neighbors import NearestNeighbors
from sklearn.preprocessing import StandardScaler


def donnees():
    rng = np.random.default_rng(42)
    a = rng.normal(size=(180, 2)) * .22 + [-1.5, 0]
    b = rng.normal(size=(180, 2)) * .32 + [1.5, 0]
    fond = rng.uniform([-3, -1.6], [3, 1.6], (40, 2))
    return np.vstack([a, b, fond])


def resumer(X, eps, min_samples):
    modele = DBSCAN(eps=eps, min_samples=min_samples).fit(X)
    labels = modele.labels_
    ids, tailles = np.unique(labels[labels >= 0], return_counts=True)
    return {'eps': eps, 'min_samples': min_samples, 'groupes': len(ids),
            'bruit': int((labels == -1).sum()), 'fraction_bruit': float((labels == -1).mean()),
            'tailles': sorted(tailles.tolist()), 'noyaux': len(modele.core_sample_indices_)}, modele


def experience():
    metres = donnees()
    mixte = metres * [1000, 1]
    z_metres = StandardScaler().fit_transform(metres)
    z_mixte = StandardScaler().fit_transform(mixte)
    configurations = [('metres', metres, .25, 8), ('millimetres_metres', mixte, .25, 8),
                      ('standardise', z_mixte, .25, 8), ('eps_tres_grand', mixte, 1000., 8)]
    lignes, modeles = [], {}
    for nom, X, eps, minimum in configurations:
        ligne, modele = resumer(X, eps, minimum)
        lignes.append(dict(cas=nom, **ligne))
        modeles[nom] = modele
    grille = [resumer(z_mixte, eps, m)[0] for m in (5, 8, 15) for eps in (.12, .25, .5)]
    # Inclure explicitement chaque point lui-même, comme min_samples de DBSCAN.
    distances = NearestNeighbors(n_neighbors=8).fit(z_mixte).kneighbors(z_mixte)[0][:, -1]
    labels_metres = DBSCAN(eps=.25, min_samples=8).fit_predict(z_metres)
    resume = {'donnees': 'synthétiques', 'n': len(metres), 'lignes': lignes, 'grille': grille,
              'ari_standardisations': float(adjusted_rand_score(labels_metres, modeles['standardise'].labels_)),
              'distance_8e_voisin_quantiles': dict(zip(['50%', '90%', '95%'], np.quantile(distances, [.5,.9,.95]).tolist()))}
    return {'metres': metres, 'mixte': mixte, 'z_metres': z_metres, 'z_mixte': z_mixte,
            'modeles': modeles, 'distances': distances, 'resume': resume}


if __name__ == '__main__':
    r = experience()
    out = Path(__file__).resolve().parent
    (out / 'resultats.json').write_text(json.dumps(r['resume'], indent=2, ensure_ascii=False), encoding='utf-8')
    with (out / 'positions-synthetiques.csv').open('w', newline='', encoding='utf-8') as f:
        w = csv.writer(f)
        w.writerow(['id_point', 'x_m', 'y_m', 'x_mm'])
        w.writerows((f'P{i:03d}', x, y, x * 1000) for i, (x,y) in enumerate(r['metres']))
    print(json.dumps(r['resume'], indent=2, ensure_ascii=False))

Une démarche de diagnostic à reprendre

  1. Vérifiez colonnes, unités, valeurs manquantes et distances avant le rayon.
  2. Examinez la fraction de bruit avec le nombre et les tailles des groupes.
  3. Faites varier quelques rayons et densités dans un espace explicitement défini.
  4. Inspectez des points noyaux, de frontière et de bruit pour comprendre le résultat.
  5. Si les densités varient fortement, examinez une méthode adaptée et ses propres limites.

La standardisation rend ici le résultat invariant au changement positif d’unité d’une colonne : les deux versions standardisées donnent un ARI de 1. Cela ne signifie pas qu’il faut standardiser systématiquement des coordonnées géographiques ou physiques. Le choix de la métrique doit conserver le sens de la distance recherchée.

Ce code ajuste DBSCAN sur tout le nuage parce qu’il s’agit d’une exploration. Il ne fournit pas une fonction predict supervisée pour les points futurs. Et l’étiquette −1 signifie seulement que le point n’est rattaché à aucun groupe avec ces réglages : elle ne justifie aucune suppression automatique.

Les cinq tests contrôlent les conversions à la précision numérique, les effectifs, les distances, les noyaux et le retour à la partition initiale. Pour poursuivre, consultez le guide HDBSCAN et le cas de lignes inhabituelles dans un CSV.

About Salah YAHIAOUI

Salah YAHIAOUI publie sur The Pingouin des tutoriels Python et des décryptages sur l’intelligence artificielle. Les cas pratiques récents précisent leurs données, leurs tests et leurs limites. À propos, méthode éditoriale et contact.

View all posts by Salah YAHIAOUI →