SVM, Arbres de Décision et Random Forest en Profondeur

SVM, Arbres de Décision et Random Forest

Ces trois algorithmes constituent le socle du machine learning classique. Ils restent incontournables en 2026 sur les petits et moyens datasets où les réseaux de neurones n'apportent pas de valeur ajoutée.

1. Support Vector Machine : l'hyperplan de séparation maximal

Intuition géométrique

Un SVM cherche l'hyperplan qui sépare les classes avec la marge maximale. Les points les plus proches de l'hyperplan s'appellent les vecteurs de support.

Le paramètre C

• C petit : large marge, quelques erreurs tolérées (underfitting possible)
• C grand : marge étroite, peu d'erreurs d'entraînement (overfitting possible)

2. Le Kernel Trick : projeter en dimension supérieure

Que faire si les données ne sont pas linéairement séparables ?

Le kernel trick calcule le produit scalaire dans l'espace projeté sans jamais calculer la projection explicitement : c'est l'astuce qui rend le SVM scalable.

3. Arbres de Décision : CART et mesures d'impureté

Un arbre divise récursivement l'espace des features en posant des questions binaires (feature <= seuil ?).

Impureté de Gini vs Entropie

• Gini : 1 - Σ pᵢ² : probabilité qu'un échantillon aléatoire soit mal classé
• Entropie : -Σ pᵢ log₂(pᵢ) : mesure du désordre

En pratique, les deux donnent des résultats très similaires. Gini est légèrement plus rapide.

from sklearn.tree import DecisionTreeClassifier, export_text
from sklearn.datasets import load_iris

X, y = load_iris(return_X_y=True)
tree = DecisionTreeClassifier(max_depth=3)
tree.fit(X, y)
print(export_text(tree, feature_names=load_iris().feature_names))

4. Random Forest : la sagesse des foules

Random Forest entraîne N arbres indépendants, chacun sur un sous-échantillon aléatoire. La prédiction finale est le vote majoritaire.

Feature sampling : à chaque nœud, seul un sous-ensemble de features est considéré (sqrt(n_features) par défaut). Cela décorrèle les arbres : si une feature dominante existe, elle ne sera pas dans chaque arbre.

5. Micro-exercice : SVM vs Random Forest sur Breast Cancer

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
import time

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# SVM nécessite une normalisation
scaler = StandardScaler()
X_train_s = scaler.fit_transform(X_train)
X_test_s  = scaler.transform(X_test)

svm = SVC(kernel="rbf", C=1.0, gamma="scale")
rf  = RandomForestClassifier(n_estimators=100, random_state=42)

for name, model, Xtr, Xte in [
    ("SVM", svm, X_train_s, X_test_s),
    ("Random Forest", rf, X_train, X_test)
]:
    t0 = time.time()
    model.fit(Xtr, y_train)
    print(f"\n{name} ({time.time()-t0:.3f}s) :")
    print(classification_report(y_test, model.predict(Xte)))

6. Feature Importance avec Random Forest

import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier

data = load_breast_cancer()
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(data.data, data.target)

importance = pd.Series(rf.feature_importances_, index=data.feature_names)
print(importance.sort_values(ascending=False).head(10))

7. Hyperparamètres clés

8. Quand SVM surpasse le Deep Learning

Sur un dataset de 500 séquences génomiques avec 20 000 features, un SVM linéaire battra un réseau de neurones en précision ET en temps d'entraînement.