Apprentissage et dimensionnement des reseaux de neurones artificiels

Principe de fonctionnement de la MPC

Le principe de la commande pr´edictive est de s’appuyer sur la prediction des etats futurs d’un syst`eme pour optimiser le signal de commande `a appliquer `a l’instant present sur la base de la minimisation d’une fonction cout generalement not´ee J A chaque instant, la minimisation de la fonction coˆut permet d’obtenir sur un horizon de pr´ediction une s´equence de commande optimale. La MPC fait aussi appel au principe de l’horizon fuyant qui permet, `a son tour, d’extraire le premier element de cette sequence de commande et de l’appliquer pr´ecis´ement au syst`eme `a contrˆoler. Les autres elements du signal de commande peuvent ˆetre n´eglig´es car `a la p´eriode d’echantillonage qui suit, les s´equences est d´ecalee.
L’objectif est de pouvoir maintenir un ´ecart minimal entre la sortie du syst`eme et la r´ef´erence, pour mettre en ´evidence le caract`ere anticipatif de la MPC. La Figure 1.3illustre le principe de fonctionnement de la commande pr´edictive :

Les approches analytiques

La premi`ere cat´egorie d’approches regroupe les methodes d’ajustement des parametres de la MPC `a caract`ere analytique (plus ou moins numeriques). Ces methodes presentent l’avantage de fournir les valeurs optimales des param`etres de r´eglage de la MPC pour des syst`emes multivariables. Par contre, elles demandent un temps de calcul ´elev´e, et ne permettent pas de traiter la probl´ematique de l’adaptabilite.
Les travaux publi´es par (Shridhar et al,) visent `a optimiser les param`etres de la DMC selon une approche analytique exacte d´edi´ee aux syst`emes SISO et MIMO s’´ecrivant sous la forme d’un FOPDT. Leur m´ethode garantit la stabilit´e du proc´ed´e en boucle ouverteen absence de contraintes [148], [151] et [147]. (Gholaminejad et al.) et (Bagueri et al.) ont propos´e une m´ethode qui permet de pr´esenter tout type de processus physique par un mod`ele FOPDT (ce qui est parfois inad´equat).
Ils mettent `a jour les param`etres de la MPC en s’appuyant sur la m´ethode des moindres carr´es r´ecursifs (Recursive Least Square ou RLS). Dans le cas o`u le gain obtenu par le RLS n’est pas r´ealisable, la r´esolution des In´egalit´es Lin´eaires Matricielles (Linear Matrix(ces) Inequality(ies) ou LMI) est faite pour g´en´erer le gain d´esir´e pour des syst`emes monovariables [70] et [18].
Les travaux publi´es par (Turki et al,) permettent de calculer les param`etres optimaux de la MPC applicables aux syst`emes SISO, MIMO avec et sans contraintes [165]. Cette approche se base sur plusieurs hypoth`eses d’optimisation [167] ce qui constitue une probl´ematique pour son application en temps reel.
En synth`ese sur les m´ethodes de r´eglage analytique, ces derni`eres ont l’avantage de fournir les valeurs optimales des param`etres. Seuls quelques articles ont ´et´e publi´es en raison de la complexit´e du probl`eme. La plupart des mod`eles fournis se base sur des hypoth`eses. Cette approximation dans la mod´elisation des syst`emes physiques peut ˆetre restrictive dans le cas de certains systemes industriels.

Les approches experimentales

La deuxi`eme cat´egorie d’approches regroupe les approches exp´erimentales, appel´ees aussi ”empiriques”, o`u les param`etres de la MPC sont d´etermin´es en fonction du retour d’exp´erience du concepteur du syst`eme [33].
Ces approches font parties des approches les plus simples et intuitives pour l’ajustement des param`etres de r´eglage consid´er´es (Nc, N p , λ) mais elles n´ecessitent comme leur nom l’indique l’acc`es `a un banc exp´erimental. (Bursali et al.) ont propos´e une approche qui permet la d´etermination de la valeur du facteur de pond´eration optimal [34]. Cette approche n´ecessite un nombre d’exp´eriences important avec la pr´esence d’un superviseur qui doit acqu´erir une bonne connaissance du syst`eme ´etudi´e. La m´ethode propos´ee est bas´ee sur la conception exp´erimentale statistique et l’optimisation Box-Wilson. Le facteur de pond´eration et le temps d’´echantillonnage sont r´egl´es de fa¸con `a obtenir les meilleures performances de contrˆole. Cette approche a ´et´e ensuite exploit´ee par (Bursali et al.) qui l’a appliqu´ee pour le contrˆole d’un bior´eacteur par lots [34] .

Les approches m´eta-heuristiques

Le r´eglage de la MPC via la r´esolution des diff´erents probl`emes d’optimisation a ´et´e ´egalement ´etudi´e dans la litt´erature. (Benkhoud et al,) ont propos´e une approche sur la d´etermination des param`etres du contrˆoleur pr´edictif en r´esolvant un probl`eme par PSO (Particle Swarm Optimisation) [27]. (Coelho et al,) [53] et (Suzuki et al,) [154] se sont int´eress´es `a l’optimisation par essaim bas´ee sur les distributions de Cauchy et Gaussian et sur le mod`ele ARMA (Auto Regressive Moving Average). Ces approches permettent de faire une optimisation des trois param`etres de r´eglage de la MPC, mais l’une des limites de ces approches est de ne pas prendre en compte les perturbations ext´erieures et la variation param´etrique affectant le syst`eme au cours du temps.

Conclusion

Ce premier chapitre a permis de donner un apercu general sur la commande predictive.
Dans un premier temps, un rappel sur l’historique et les differents domaines d’application de la MPC ont ´et´e pr´esent´es en insistant sur ses particularit´es qui en font une approche efficace et particulierement repandue dans le milieu industriel. Dans un deuxi`eme temps, nous avons pr´esent´e les principes fondamentaux du fonctionnement de la MPC en introduisant la fonction coˆut qui fait appel aux parametres de reglage. Le choix de ces derniers doit ˆetre fait avec une grande attention afin de garantir la poursuite de trajectoire imposee au debut ce qui a motive precis´ement nos travaux.
Dans un troisieme temps, un ´etat de l’art sur les strat´egies de r´eglage de la MPC a ´et´e men´e. L’analyse de cet ´etat de l’art nous a permis d’avoir une id´ee globale sur les approches de r´eglage actuelles et leurs limites. La m´ethode propos´ee dans le chapitre qui suit porte sur une approche totalement nouvelle et innovante. Les limites expos´ees plus hauts seront d´epass´ees notamment en ayant recours aux r´eseaux de neurones artificiels et leurs capacit´es d’apprentissage. La probl´ematique principale dans l’utilisation du RNA r´eside dans la synth`ese de la structure optimale et la construction de la base de donn´ees d’apprentissage.

Rappel sur les reseaux de neurones artificiels

L’objectif de cette partie est de presenter les RNA, leur historique, et principe d’utilisation inspire des neurones biologiques.

D´efinition et principe d’utilisation

Un RNA est une structure d’unit´es ´el´ementaires connect´ees entre elles dont le fonctionnement est inspir´e des neurones biologiques. Grˆace `a sa capacit´e de g´en´eralisation, chaque neurone calcule sa sortie sur la base des informations qu’il re¸coit. Les r´eseaux de neurones sont utilis´es pour r´esoudre certains probl`emes comme la classification de donn´ees, la reconnaissance d’images,… etc. Pour apporter des r´esultats appropri´es, un RNA exige la constitution d’une base de donn´ees, la s´election d’une architecture et la formation du reseau.
Un r´eseau de neurones est g´en´eralement constitu´e d’une couche d’entr´ee, d’une ou plusieurs couches cach´ees et d’une couche de sortie. Chaque couche peut comporter un ou plusieurs neurones.
La Figure 2.1 pr´esente un exemple de RNA comportant une couche d’entr´ee, deux couches de cach´ees et une couche de sortie.

Dimensionnement des r´eseaux de neurones artificiels

Dans cette partie, le focus est fait sur le dimensionnement d’un RNA. En effet, le dimensionnement consiste `a ´etablir la structure optimale du RNA en fonction de la complexit´e de la base d’apprentissage. La complexit´e d’un r´eseau avec plusieurs couches cach´ees est li´ee au nombre de neurones et au nombre de param`etres correspondants `a ajuster. Dans le cas d’un r´eseau neuronal, est mesur´e par le nombre de connexions synaptiques. Ce qui fait que l’addition d’un neurone dans la couche cach´ee augmente le nombre de param`etres `a ajuster.

Etat de l’art sur les methodes de dimensionnement

Dans la litterature, il existe plusieurs methodes de dimensionnement, que l’on peut classer en deux categories : les methodes de dimensionnement statique (hors ligne) et les methodes de dimensionnement dynamique (en ligne). Dans cette partie, un etat de l’art sur les differentes methodes de dimensionnement identifiees dans la litterature est presente.

Methodes de dimensionnement statique

M´ethodes par d´ecomposition SVD

En 2006, (Teoh et al,) ont propos´e une m´ethode qui permet d’augmenter le nombre de neurones dans une seule couche cach´ee du r´eseau de neurones, en utilisant des propri´et´es de la  ´ethode de d´ecomposition en valeurs singuli`eres SVD (Singular Value Decomposition). Cette d´ecomposition permet d’´evaluer la g´en´eralisation du r´eseau avec une seule couche cach´ee [160]. La capacit´e de g´en´eralisation est mesur´ee par le degr´e d’ind´ependance lin´eaire des neurones dans la couche cach´ee, qui peut ˆetre indirectement quantifi´e par les valeurs singuli`eres obtenues.
La d´ecomposition SVD est une g´en´eralisation de la d´ecomposition en ´el´ements propres, qui peut ˆetre utilis´ee pour analyser des matrices rectangulaires (la d´ecomposition en ´el´ements propres est d´efinie seulement pour des matrices carr´ees).
Par analogie, la SVD permet d’´ecrire une matrice en deux matrices simples, l’id´ee principale est de d´ecomposer une matrice rectangulaire en trois matrices simples : deux matrices orthogonales et une matrice diagonale. Une matrice semi-d´efinie positive peut ˆetre obtenue comme le produit d’une matrice par sa transposee.
Cette matrice est evidemment carree et sym´etrique, mais aussi ses valeurs propres sont toutes definies positives ou nulles et les vecteurs propres correspondant aux valeurs propres diff´erentes sont orthogonaux.
Etant donn´ee une matrice r´eelle H , l’application de la SVD aboutit `a la transformation orthogonale H = UV T T , avec U une matrice orthonormee, (U T U = I ), et V une matrice diagonale qui contient les valeurs propres de H .
Pour estimer le nombre de neurones dans la couche cachee, il faut construire l’hyperplan de la matrice H dans le sens geometrique et definir son rang.

Methode de K-moyen o`u algorithme de glouton

C’est une m´ethode d’optimisation propos´ee par (Bang et al,) qui combine deux algorithmes, celui dit ”K-moyen++ (K-Means++)”et celui dit de ”glouton (Greedy algorithm)” [30]. Cette approche permet de retrouver le nombre optimal de neurones de la couche cach´ee d’un r´eseau multi-couches.
L’algorithme de glouton ex´ecute une ´evaluation it´erative de chaque solution. Il rejette ensuite les solutions les moins optimales par rapport `a la solution la mieux connue, en acceptant et mettant ensuite `a jour la solution la mieux connue avec les solutions qui r´ev`elent ˆetre meilleures, qui dans ce cas est les valeurs du nombre de neurones dans la couche cach´ee. Cependant, utiliser l’algorithme de glouton ne produit pas toujours la solution globalement optimale, car il ne consid`ere pas toutes les solutions possibles du probl`eme [44]. La m´ethode propos´ee par (Arthur et al,) a pour but de surmonter cet inconv´enient en utilisant l’algorithme de K-moyen ++ [11], pour limiter l’espace de recherche pour l’algorithme de glouton en se concentrant sur les valeurs de fonction de coˆut qui sont susceptibles de mener au minimum global en renon¸cant aux valeurs qui sont moins susceptibles de faire ainsi. Cette m´ethode aboutira `a plusieurs solutions, ce qui permet d’augmenter ainsi la probabilit´e de l’algorithme de glouton d’obtenir une solution globalement optimale.

Methode PCA et apprentissage par renforcement

Cette m´ethode a pour but de fixer le nombre de neurones de la couche cach´ee, en utilisant deux algorithmes : celui de l’analyse par composante principale PCA (Principal componenent Analysis) et celui d’apprentissage par renforcement RL ( Reinforcement Learning) [109].
Le PCA est un outil de compression de nombre de donn´ees ou de r´eduction de dimensions. Il peut ˆetre utilis´e pour r´eduire un grand ensemble de variables `a un petit ensemble qui contient toujours la plupart des informations dans le grand ensemble.
L’id´ee globale de la PCA est d’´eliminer la corr´elation entre les donn´ees et de projeter les donn´ees originales sur un sous-espace de dimension plus petite.
L’algorithme se fait en quatre ´etapes : relever la moyenne, calculer la matrice de covariance Σ, calculer la valeur propre λ et les vecteurs propres Σ et U et finalement d´eterminer la valeur k pour le PCA.
L’apprentissage des neurones cach´es est compl´et´e par l’approche RL qui est ex´ecut´ee en 2 ´etapes : premi`erement, initialiser trois valeurs de nombre de neurones selon la gamme (taille des composants principaux choisis) calcul´ee par PCA, deuxi`emement, l’approche par RL `a son tour recherche le nombre de neurones le plus performant.
Les m´ethodes pr´esent´ees pr´ec´edemment sont des m´ethodes dites statiques, l’architecture du RNA ´etant ajust´ee dans la phase d’apprentissage. Durant la phase de test ou celle de validation il n’est plus possible d’agir sur le RNA. C’est la raison pour laquelle plus d’importance sera accord´ee aux m´ethodes de dimensionnement dynamique.

Methodes de dimensionnement dynamique

M´ethode Extreme Learning Machine et Factorisation QR

Cette approche est bas´ee sur un algorithme d’apprentissage dit ”ELM” (Extreme Learning Machine) et la factorisation QR [176]. Cette m´ethode est capable de d´eterminer le nombre de neurones dans la couche cach´ee automatiquement par la factorisation QR de la matrice de sortie de la couche cach´ee. Les poids et biais peuvent ˆetre progressivement mis `a jour pendant la croissance de nombre de neurones.
L’ELM est un algorithme d’apprentissage qui a ´et´e propos´e par (Hiang et al,) pour le dimensionnement des r´eseaux ne comportant qu’une seule couche cach´ee [85].
La particularit´e de cette approche est que l’ELM produit al´eatoirement ses poids et biais entre la couche d’entr´ee et la couche cach´ee, et calcule analytiquement les poids entre la couche cach´ee et la sortie par la r´esolution de probl`emes de moindres carr´es.
En 2017, (Yongjiao et al,) ont propos´e des m´ethodes pour d´eterminer le nombre optimal de neurones ainsi qu’une strat´egie de filtrage pendant le processus d’ajout de neurones [178]. Cette approche fusionne deux algorithmes, le premier, Pruning–ELM qui a pour but d’´eliminer les neurones inutiles dans le r´eseau et le second, Incemantal–ELM, qui rajoute les neurones dans le r´eseau. Pour garder l’efficacit´e du r´eseau, l’ELM diminue les neurones dans le r´eseau et maintient uniquement les neurones qui peuvent satisfaire la demande de g´en´eralisation. Ainsi, une m´ethode est d’ajouter une strat´egie automatique dans ELM pour pouvoir ajuster la structure n´ecessaire dans des probl`emes diff´erents et des applications, et ameliorer la flexibilit´e des algorithmes.
Le but de cet algorithme est de garder les neurones efficaces pour resoudre des problemes et de supprimer les neurones inutiles et inefficaces qui influencent negativement sur le RNA.

Methode VC OS-ELM (Variable Complexity Online Sequential-Extreme Learning Machine)

Cette m´ethode est tr`es proche `a celle pr´esent´ee pr´ec´edemment. Elle permet d’enlever ou d’ajouter les neurones dans la couche cach´ee. Cette m´ethode a ´et´e appliqu´ee dans la pr´ediction de d´ebit d’´ecoulement [107].
Pour ´evaluer les performances de VC OS-ELM par rapport `a OS-ELM, des exp´eriences ont ´et´e men´ees sur deux donn´ees hydrom´et´eorologiques de deux sources d’eau « Englishman River station » et « Stave River Station ».

Table des matières
Liste des figures 
Liste des tableaux 
Publications de l’auteur 
Glossaire 
Introduction generale 
Chapitre 1
Etat de l’art sur la commande pr´edictive
1.1 Introduction
1.2 Notions de base sur la commande pr´edictive
1.2.1 Historique
1.2.2 Domaines d’application
1.2.3 Principe de fonctionnement de la MPC
1.2.4 Choix des parametres de reglage de la MPC
1.3 Etat de l’art sur les approches de r´eglage de la commande predictive
1.3.1 Les approches analytiques
1.3.2 Les approches experimentales
1.3.3 Les approches heuristiques
1.3.4 Les approches meta-heuristiques
1.4 Conclusion
Chapitre 2
Apprentissage et dimensionnement des reseaux de neurones artificiels
2.1 Introduction
2.2 Rappel sur les r´eseaux de neurones artificiels .
2.2.1 Definition et principe d’utilisation
2.2.2 Historique des RNA
2.3 Apprentissage des r´eseaux de neurones artificiels
2.3.1 Regles d’apprentissage
2.3.2 Etat de l’art sur les methodes d’apprentissage
2.3.2.1 Apprentissage d’un perceptron
2.3.2.2 Apprentissage des r´eseaux de neurones multi-couches
2.4 Dimensionnement des r´eseaux de neurones artificiels
2.4.1 Etat de l’art sur les m´ethodes de dimensionnement
2.4.1.1 M´ethodes de dimensionnement statique
2.4.1.2 M´ethodes de dimensionnement dynamique
2.5 Apprentissage et dimensionnement du RNA par ELM : application sur le reglage de la MPC
2.5.1 Apprentissage du RNA par l’ELM
2.5.2 Dimensionnement du RNA par l’ELM
2.6 Application de l’ELM au r´eglage de la MPC
2.6.1 Application sur 20 donn´ees dans la base d’apprentissage et 500 tests
2.6.2 40 donnees dans la base d’apprentissage et 500 tests
2.6.3 300 donnees dans la base d’apprentissage et 500 tests
2.7 Conclusion
Chapitre 3
Proposition d’une approche de reglage de la commande predictive par RNA
3.1 Introduction
3.2 Formulation math´ematique de la commande pr´edictive
3.2.1 Repr´esentation d’´etat augment´ee `a temps discret
3.2.2 Formulation de la commande pr´edictive `a base d’´etat en absence de contraintes
3.2.3 Formulation mathematique de la commande predictive a base d’etat en presence de contraintes
3.2.3.1 Contraintes sur les entrees de commande
3.2.3.2 Contraintes sur les increments de commande
3.2.3.3 Contraintes sur les sorties
3.2.3.4 Formulation des contraintes
3.3 Strategie de reglage des parametres de la MPC basee sur des RNA
3.3.1 Structure du RNA
3.3.1.1 Les entrees du RNA
3.3.1.2 Les sorties du RNA
3.3.2 Construction de la base de donn´ees d’apprentissage du RNA par PSO
3.3.2.1 Principe de formulation math´ematique du PSO
3.3.2.2 Formulation du probl`eme de r´eglage de la MPC par PSO
3.4 Application en simulation de l’approche proposee
3.4.0.1 Application num´erique `a un syst`eme SISO
3.4.0.2 Application num´erique `a un syst`eme SISO retarde
3.4.0.3 Application num´erique sur un syst`eme MIMO retarde
3.5 Conclusion
Chapitre 4
Robustesse en performances de la commande predictive
4.1 Introduction
4.2Etat de l’art sur les approches de robustification de la commande predictive
4.2.1 Approches bas´ees sur la repr´esentation polynomiale
4.2.2 Approches bas´ees sur la repr´esentation d’etat
4.2.3 Synth`ese comparative des approches de robustification de la commande predictive
4.3 Influence des param`etres de r´eglage sur la robustesse de la commande predictive
4.3.1 Comparaison entre la MPC r´egl´ee par RNA et la GPC non robustifiees
4.3.2 Comparaison entre la MPC r´egl´ee par RNA et la GPC avec robustification
4.3.3 Comparaison entre la MPC r´egl´ee par RNA avec et sans robustification
4.4 Conclusion
Chapitre 5
Application de la MPC reglee par RNA sur un drone QTW
5.1 Introduction
5.2 Drone convertible ”QTW”
5.2.1 Structure et modes de vol
5.2.2 Mod´elisation dynamique des drones QTW
5.3 Mod´elisation T-S des syst`emes non lin´eaires
5.3.1 Repr´esentation d’etat des mod`eles T-S
5.3.2 Obtention du mod`ele T-S
5.3.3 Stabilite des syst`emes T-S
5.4 Mod´elisation T-S du drone QTW en vol vertical
5.4.1 Construction du mod`ele T-S du drone convertible en mode de vol vertical
5.4.2 Validation du modele
5.5 Application de la MPC r´egl´ee par RNA au drone QTW
5.6 Conclusion
Conclusion generale et perspectives 
Bibliographie

Lire le rapport complet