Une méthode d'apprentissage supervisé qui trouve une frontière de décision (hyperplan) séparant des classes en maximisant la marge entre les vecteurs de support — les points d'entraînement les plus proches de la frontière — en mappant éventuellement les entrées dans un espace de caractéristiques de dimension supérieure via des noyaux pour gérer la non-linéarité.

Principe

Formuler la classification comme une optimisation convexe : maximiser la marge sous contraintes de classification (la marge souple autorise des écarts pour les erreurs avec régularisation), ou utiliser des représentations noyau pour effectuer la maximisation de marge dans un espace implicite sans coordonnées explicites.

Démonstration

Classification binaire sur données linéairement séparables : la SVM trouve l'hyperplan équidistant des exemples les plus proches de chaque classe ; avec des données non séparables, une SVM à marge souple permet des erreurs tout en les pénalisant via un paramètre de régularisation ; avec un noyau RBF, des frontières non linéaires peuvent être apprises implicitement.

Mauvaise application

Utiliser des SVM sans mise à l'échelle des caractéristiques, choisir des noyaux ou hyperparamètres inappropriés sans validation, appliquer des SVM sur des jeux de données extrêmement volumineux sans approximation, ou interpréter la marge comme des probabilités calibrées sans post‑traitement (les sorties SVM ne sont pas probabilistes par défaut).

Conséquence

Fournit des classifieurs robustes avec bonne généralisation quand marge et noyau sont bien choisis ; produit des solutions clairsemées définies par des vecteurs de support, mais la performance dépend du choix du noyau, du réglage et de l'échelle ; le coût de prédiction croît avec le nombre de vecteurs de support.

Inversion

Remplacer la maximisation de la marge par une minimisation directe du risque empirique sans marge (p. ex. perceptron simple sans régularisation) diminue l'accent sur la robustesse et peut mener au surapprentissage ou à la sensibilité au bruit.

Limite

S'applique à la classification supervisée binaire (et étendue au multiclasses) et à la régression (SVR) ; moins adapté sans noyau pour des sorties fortement structurées, ou lorsque des sorties probabilistes calibrées sont requises sans calibration ; nécessite des représentations de caractéristiques numériques.

Tension sémantique

Parfois confondu avec les méthodes à noyau en général ou avec les idées de large marge ; la SVM est spécifiquement le classifieur à marge maximale résoluble par programmation quadratique convexe (ou formulations équivalentes), tandis que d'autres apprentissages noyaux privilégient d'autres fonctions de perte ou interprétations probabilistes.

Synthèse

Les machines à vecteurs de support recherchent des hyperplans maximisant la marge séparatrice, utilisent des vecteurs de support pour des solutions clairsemées et des noyaux pour la non‑linéarité : un cadre convexe centré sur la marge qui fournit des frontières robustes mais exige un choix attentif de noyau et de régularisation et ne donne pas intrinsèquement des probabilités calibrées.