Apprentissage automatique

L'apprentissage automatique (machine-learning en anglais) est un des champs d'étude de l'intelligence artificielle.

L'apprentissage automatique fait référence au développement, à l'analyse et à l'implémentation de méthodes qui permettent à une machine (au sens large) d'évoluer grâce à un processus d'apprentissage, et ainsi de remplir des tâches qu'il est difficile ou impossible de remplir par des moyens algorithmiques plus classiques.

Voici deux exemples d'applications de l'apprentissage automatique:

• On peut concevoir un système d'apprentissage automatique permettant à un robot, ayant la capacité de bouger ses membres mais ne sachant rien de la coordination des mouvements permettant la marche, d'apprendre à marcher. Le robot commencera par effectuer des mouvement aléatoires, puis, en privilégiant les mouvements lui permettant d'avancer, mettra peu à peu en place une marche de plus en plus efficace.
• La reconnaissance de caractères est une tâche complexe car deux caractères similaires ne sont jamais exactement égaux. On peut concevoir un système d'apprentissage automatique qui apprend a reconnaître des caractères en observant des exemples, c'est à dire des caractères connus.

Il est tentant de s'inspirer des êtres vivants pour concevoir des machines capables d'apprendre. Ainsi, même si l'apprentissage automatique est avant tout un sous-domaine de l'informatique, il est également intimement liée aux sciences cognitivess, aux neuroscience, à la biologie et à la psychologie.

Types d'apprentissage

Les algorithmes d'apprentissage peuvent se catégoriser selon le type d'apprentissage qu'ils emploient:

• L'apprentissage supervisé : un expert (ou oracle) est employé pour étiqueter correctement des exemples. L'apprenant doit alors trouver ou approximer la fonction qui permet d'affecter la bonne étiquette à ces exemples. L'analyse discriminante linéaire ou les SVM sont des exemples typiques.
• L'apprentissage non-supervisé (ou classification automatique): Aucun expert n'est disponible. L'algorithme doit découvrir par lui-même la structure des données. Le clustering et les modèles de mélanges de gaussiennes sont des algorithmes d'apprentissage non supervisés.
• L'apprentissage par renforcementVoir ', chap. 13 Reinforcement Learning, pp. 367-390 : l'algorithme apprend un comportement étant donné une observation. L'action de l'algorithme sur l'environnement produit une valeur de retour qui guide l'algorithme d'apprentissage. L'algorithme de Q-learningVoir ', pp. 373-380 est est un exemple classique.

Les algorithmes que l'on rencontre le plus souvent dans ce domaine sont :

• les machines à vecteur de support
• le boosting
• les réseaux de neuronesVoir , chap. 4 Artificial Neural Networks, pp. 81-127 pour un apprentissage supervisé ou non-supervisé
• la méthode des k plus proches voisins pour un apprentissage supervisé
• les arbres de décisionVoir , chap. 3 Decision Tree Learning, pp. 52-80
• les méthodes statistiques comme par exemple le modèle de mixture gaussienne
• la régression logistique
• l'analyse discriminante linéaire
• la logique floue
• les algorithmes génétiquesVoir , chap. 9 Genetic Algorithms, pp. 249-273 et la programmation génétique

Ces méthodes sont souvent combinées pour obtenir diverses variantes d'apprentissage. L'utilisation de tel ou tel algorithme dépend fortement de la tâche à résoudre (classification, estimation de valeurs, etc.). L'apprentissage automatique est utilisé dans un spectre très large d'applications: moteur de recherche, aide au diagnostic, bio-informatique, détection de fraudes, analyse des marchés financiers, reconnaissance de la parole, de l'écriture manuscrite, analyse et indexation d'images et de vidéo, robotique...

Notes

Bibliographie

• Bishop, C. M. (1995). Neural Networks for Pattern Recognition, Oxford University Press. ISBN 0198538642
• Huang T.-M., Kecman V., Kopriva I. (2006), Kernel Based Algorithms for Mining Huge Data Sets, Supervised, Semi-supervised, and Unsupervised Learning, Springer-Verlag, Berlin, Heidelberg, 260 pp. 96 illus., Hardcover, ISBN 3-540-31681-7[1]
• KECMAN Vojislav (2001), LEARNING AND SOFT COMPUTING, Support Vector Machines, Neural Networks and Fuzzy Logic Models, The MIT Press, Cambridge, MA, 608 pp., 268 illus., ISBN 0-262-11255-8[1]
• Sholom Weiss and Casimir Kulikowski (1991). Computer Systems That Learn, Morgan Kaufmann. ISBN 1-55860-065-5