Lucea, Marc (2006) Modélisation dynamique par réseaux de neurones et machines à vecteurs supports: contribution à la maîtrise des émissions polluantes de véhicules automobiles. PhD thesis Electronique, ESPCI.

Full text available as: - MarcLucea.pdf ( 5341 Kb )

Licence: Copyright

Abstract

La complexité croissante des systèmes employés dans l'industrie automobile, en termes de fonctions réalisées et de méthodes de mise en œuvre, mais aussi en terme de norme d'homologation, amène à envisager des outils toujours plus innovants lors de la conception d'un véhicule. On observe d'ailleurs depuis quelques années une forte augmentation du nombre de brevets déposés, en particulier dans le domaine des systèmes électroniques, dont l'importance ne cesse de croître au sein d'un véhicule automobile moderne. Cette complexité croissante des fonctions réalisées requiert une précision de description accrue pour les dispositifs impliqués, notamment pour les systèmes complexes où une approche analytique est difficilement envisageable. Aux impératifs de précision de la description, qui imposent souvent de prendre en considération les non-linéarités des processus, s'ajoute donc la complexité d'analyse des phénomènes physiques à l'origine des observations que l'on souhaite modéliser.
Les développements qu'ont connus ces dernières années les techniques de modélisation non linéaires par apprentissage (notamment les réseaux de neurones formels et les machines à vecteurs supports), alliés à la croissance de la capacité des ordinateurs et des calculateurs embarqués dans les véhicules automobiles, justifient donc l'intérêt porté par Renault à ces outils.
C'est dans cette optique qu'a été envisagée une étude portant sur les méthodes de modélisation non linéaire par apprentissage, dont l'objectif était d'en tester les secteurs d'applications possibles dans le contexte automobile, et d'en évaluer les difficultés de mise en œuvre ainsi que les gains attendus. Cette étude a fait l'objet d'une collaboration, sous forme d'un contrat de thèse CIFRE, avec le Laboratoire d'Electronique de l'Ecole Supérieure de Physique et de Chimie Industrielles de la Ville de Paris (ESPCI), dirigé par le Professeur Gérard Dreyfus.
De manière générale, les techniques de modélisation par apprentissage permettent d'aborder la modélisation de phénomènes physiques dont la description est ardue, élargissant ainsi le champ des possibles en matière de modélisation, mais également de s'affranchir d'une description physique détaillée pour des processus connus, réduisant ainsi le temps de développement d'un modèle particulier. En contrepartie, l'élaboration de tels modèles par apprentissage requiert la réalisation de mesures sur ledit processus, ce qui implique des coûts qui sont parfois loin d'être négligeables. Notre objectif a donc été d'identifier certains problèmes correspondant à la première approche, c'est-à-dire pour lesquels la réalisation de modèles de connaissance est soit inenvisageable soit particulièrement ardue.
Le premier chapitre de ce mémoire s'attache à rappeler les concepts de base relatifs à la modélisation de processus par apprentissage. Nous y introduirons les notions essentielles que nous serons amenés à employer par la suite. Dans le deuxième chapitre, nous décrivons les principaux outils d'optimisation nécessaires à l'élaboration de modèles par apprentissage. Le troisième chapitre regroupe l'ensemble des travaux menés, au cours de cette thèse, sur le thème des réseaux de neurones. Après avoir rappelé la méthodologie d'élaboration de modèles neuronaux, en particulier dans le cas récurrent, nous présentons les résultats obtenus sur deux applications industrielles: l'estimation de la température en un point particulier de la ligne d'échappement, et l'estimation des émissions de différents polluants en sortie d'échappement. Ces deux applications participent à la maîtrise des émissions polluantes, soit durant l'utilisation habituelle d'un véhicule, car la connaissance de cette température est indispensable à la mise en œuvre des stratégies de dépollution actives, soit au stade de la mise au point du moteur, qui sera facilitée par l'utilisation d'un modèle de prédiction des débits de polluants en fonction des réglages du moteur. Nous décrivons également un système de commande optimale en boucle ouverte, associé à un modèle neuronal, et destiné à réduire les variations rapides de la sortie d'un processus: ce système est susceptible d'être utilisé pour contrôler les à-coups de couple d'un véhicule, consécutifs à une variation rapide de l'enfoncement de la pédale d'accélérateur. Une méthode de calcul exact de la matrice Hessienne, dans le cas de modèles décrits par des équations récurrentes, est alors introduite pour permettre l'utilisation de ce système de commande dans le cas de processus dynamiques. Dans le quatrième chapitre, nous nous intéressons aux méthodes de modélisation par noyaux, dont font partie les machines à vecteurs supports, et tentons de les adapter à la modélisation de processus dynamiques, d'abord par un traitement analytique (pour l'une particulière de ces méthodes), avant de proposer un approche itérative du problème d'apprentissage, inspirée de l'algorithme d'apprentissage semi dirigé utilisé pour les réseaux de neurones récurrents.

Table of content

INTRODUCTION - 1
1 Problématique générale - 1
2 La Direction de la Recherche de Renault - 2
3 Plan du mémoire - 3
CHAPITRE 1: Modélisation de processus - 5
1 Introduction - 5
2 Processus et modèles - 5
2.1 Processus: définition - 5
2.2 Modèle de processus - 6
2.3 Modèle postulé et prédicteur optimal - 7
2.4 Quelques hypothèses usuelles - 8
2.4.1 Hypothèse purement déterministe - 8
2.4.2 Hypothèse bruit de sortie - 9
2.4.3 Hypothèse NARMAX - 9
3 Modélisation par apprentissage: introduction à la théorie statistique de l'apprentissage - 10
3.1 Risque empirique et risque moyen - 11
3.2 Convergence uniforme en probabilité du risque empirique - 12
3.3 Détermination de majorants du risque moyen - 15
3.4 Minimisation du risque structurel - 16
CHAPITRE 2: Outils d'optimisation - 19
1 Introduction - 19
2 Optimisation paramétrique - 19
2.1 Position du problème - 19
2.2 Modèles linéaires vis-à-vis des paramètres - 20
2.3 Modèles non linéaires vis-à-vis des paramètres - 20
2.3.1 Méthodes du premier ordre - 21
2.3.2 Méthodes du second ordre - 22
2.3.3 L'algorithme de BFGS - 23
2.3.4 L'algorithme de Levenberg-Marquardt - 24
3 Optimisation lagrangienne - Le problème dual - 25
3.1 Conditions théoriques d'optimalité - 26
3.1.1 Problème sans contraintes - 26
3.1.2 Problème avec contraintes d'égalité - 27
3.1.3 Problème avec contraintes d'inégalité - 28
3.2 Le problème dual - 30
3.2.1 Conditions de point-selle - 30
3.2.2 Expression du problème dual - 31
4 Conclusion - 31
CHAPITRE 3: Les réseaux de neurones - 34
1 Introduction - 34
2 Définitions et notations - 35
2.1 Réseau de neurones formels - 35
2.2 Propriété d'approximation universelle et forme canonique - 36
2.2.1 Le Perceptron à une couche cachée - 36
2.2.2 Forme canonique des réseaux récurrents - 37
3 Estimation des paramètres - Apprentissage - 39
3.1 Apprentissage de réseaux statiques - 39
3.2 Apprentissage de réseaux récurrents - 41
3.2.1 Apprentissage dirigé / prédicteur non bouclé - 42
3.2.2 Apprentissage semi-dirigé / prédicteur bouclé - 43
3.3 Sélection de modèles - 47
3.3.1 Minima locaux et initialisation des paramètres - 47
3.3.2 Surajustement et dilemme biais-variance - 48
3.4 Quelques méthodes de régularisation - 48
3.4.1 Modération des paramètres - 49
3.4.2 Arrêt prématuré - 49
4 Modélisation de la température après turbine d'un véhicule - 50
4.1 Contexte et motivation - 50
4.2 Choix d'une hypothèse et élaboration d'une base d'apprentissage - 52
4.3 Résultats et discussion - 54
4.3.1 Elaboration du modèle neuronal récurrent - 54
4.3.2 Comparaison à un modèle semi-physique existant - 57
4.3.2.1 Description du modèle: équations physiques - 57
4.3.2.2 Corrections apportées: modèle "boîte grise" - 62
4.3.2.3 Résultats et comparaison - 63
5 Modélisation des émissions polluantes d'un véhicule de série - 64
5.1 Contexte et motivation - 64
5.2 Dispositifs expérimentaux et élaboration de la base de données - 66
5.2.1 Mesure des émissions polluantes - 66
5.2.2 Choix des variables du modèle et élaboration de la base de données - 68
5.3 Elaboration du modèle neuronal - 70
5.4 Résultats et discussion - 72
5.5 Conclusion - 75
6 Système de commande neuronale prédictive en boucle ouverte - 75
6.1 Introduction - 75
6.2 Description du système de commande - 76
6.3 Optimisation de la fonction de coût - 78
6.4 Illustration sur un processus simulé - 79
6.4.1 Description du processus et élaboration d'un modèle neuronal récurrent - 79
6.4.2 Commande prédictive en boucle ouverte du processus simulé - 81
6.5 Conclusion - 83
CHAPITRE 4: Les machines à vecteurs supports et autres méthodes de noyaux pour la régression - 87
1 Introduction - 87
2 Espaces de Hilbert à noyaux reproduisants - 88
2.1 Définition et propriétés - 88
2.1.1 Définition - 88
2.1.2 Propriétés - 88
2.1.3 Exemple: noyaux linéaires - 89
2.1.4 Cas des noyaux non linéaires - 89
2.2 Construction d'un RKHS - 90
2.3 Lien avec la minimisation du risque structurel - 91
2.4 Résumé: apprentissage et noyaux - 92
3 Least Squares SVM (LSSVM) - 93
3.1 Description de la méthode et résolution - 93
3.1.1 Recherche de la solution par utilisation du théorème de représentation - 94
3.1.2 Recherche de la solution par exploitation des conditions de points selle - 96
3.1.3 Recherche de la solution par résolution des équations de Karush, Kuhn et Tucker - 97
3.2 Variante parcimonieuse: Sparse least squares SVM (sLSSVM) - 98
4 Les Machines à Vecteurs Supports (SVM) pour la régression - 100
4.1 Formulation du problème dans le cas linéaire - 100
4.2 Extension au cas non linéaire - 102
4.3 Choix des hyperparamètres - 103
4.4 Choix de la fonction de coût - 104
4.4.1 Fonctions de coût et modèles de bruit associés - 104
4.4.2 Problème d'optimisation pour une fonction de coût générale - 106
5 Quelques autres méthodes de noyaux - 107
5.1 Analyse en Composantes Principales par noyaux (K-PCA) - 107
5.1.1 Principe général - 107
5.1.2 Détermination du nombre de composantes principales - 109
5.1.3 Coordonnées d'un point dans la nouvelle base et reconstruction - 109
5.2 Moindres carrés partiels par noyaux (K-PLS) - 110
6 Apprentissage de modèles récurrents: approche analytique - 112
7 Apprentissage de modèles récurrents: approche algorithmique - 115
7.1 Approche maître-élève pour les modèles de noyaux - 116
7.1.1 Cas des modèles statiques - 117
7.1.2 Cas des modèles dynamiques - 119
7.1.3 Conclusion sur l'approche maître-élève. Critère retenu - 120
7.2 Description de l'algorithme d'apprentissage semi dirigé - 120
7.2.1 Principe - 120
7.2.2 Différentes variantes - 122
7.3 Résultats et conclusion - 124
7.3.1 Algorithme semi dirigé: approche maître-élève - 124
7.3.2 Algorithme semi dirigé: processus dynamique simulé - 130
8 Conclusion - 133
CONCLUSION - 138
ANNEXE 1: calcul exact de la matrice Hessienne d'une fonction réalisée par un réseau récurrent - 141
ANNEXE 2: brevet relatif à l'estimation de la température après turbine - 163

Statistiques de consultation

Repository Staff Only: edit this item