Cette thèse étudie le développement de techniques d'apprentissage par renforcement quantique par l'intégration de l'informatique quantique dans les algorithmes d'apprentissage par renforcement. Basée sur trois articles connexes, l'étude est divisée en trois approches principales : 1. Des méthodes basées sur l'algèbre linéaire quantique sont développées pour l'itération de politique quantique, qui alternent entre l'évaluation de politique quantique et les étapes d'amélioration de politique quantique. Des méthodes efficaces pour construire des encodages de bloc des paramètres et des politiques du processus de décision de Markov sont présentées, et l'approche est généralisée à l'itération de politique approximative utilisant une approximation de fonction de valeur linéaire. Dans certains cas, cette approche offre des accélérations asymptotiques par rapport aux algorithmes d'itération de politique classiques. 2. Des couches et architectures de réseaux neuronaux quantiques sont proposées, passant des techniques basées sur l'algèbre linéaire quantique aux méthodes d'apprentissage par renforcement utilisant des réseaux neuronaux quantiques. La contribution clé réside dans la formulation de couches orthogonales utilisant des portes RBS et de couches composées utilisant des portes FBS. Plusieurs ansatzes pour des couches orthogonales et des procédures de chargement de données pour les matrices sont décrits, et des architectures de réseaux neuronaux quantiques pour l'incorporation d'images et de séquences sont proposées. Les architectures quantiques montrent une efficacité en termes de paramètres et offrent des performances compétitives sur les tâches de classification d'images. 3. Des méthodes d'apprentissage par renforcement profond quantique sont développées, intégrant des réseaux neuronaux quantiques avec des couches orthogonales et composées. Deux méthodes principales sont étudiées : un algorithme de recherche de politique pour des environnements classiques qui utilise des réseaux neuronaux orthogonaux quantiques, et une approche entièrement quantique basée sur un modèle acteur-critique qui utilise des réseaux neuronaux quantiques avec des couches composées, s'inspirant de l'apprentissage par renforcement distributionnel. Le cadre est évalué sur des processeurs quantiques à ions piégés, démontrant une performance supérieure pour les modèles acteur-critique distributionnels. Les contributions clés de cette thèse résident dans la formulation de méthodes d'apprentissage par renforcement quantique sur mesure et dans l'évaluation de leurs performances à la fois classiquement et sur du matériel quantique. Elle démontre le potentiel d'amélioration de l'apprentissage par renforcement grâce à l'intégration de l'informatique quantique. Cependant, la validation expérimentale des approches sur des ordinateurs quantiques plus grands et l'étude d'autres problèmes d'apprentissage par renforcement qui pourraient bénéficier des techniques quantiques restent des travaux futurs.
Cette thèse étudie le développement de techniques d'apprentissage par renforcement quantique par l'intégration de l'informatique quantique dans les algorithmes d'apprentissage par renforcement. Basée sur trois articles connexes, l'étude est divisée en trois approches principales : 1. Des méthodes basées sur l'algèbre linéaire quantique sont développées pour l'itération de politique quantique, qui alternent entre l'évaluation de politique quantique et les étapes d'amélioration de politique quantique. Des méthodes efficaces pour construire des encodages de bloc des paramètres et des politiques du processus de décision de Markov sont présentées, et l'approche est généralisée à l'itération de politique approximative utilisant une approximation de fonction de valeur linéaire. Dans certains cas, cette approche offre des accélérations asymptotiques par rapport aux algorithmes d'itération de politique classiques. 2. Des couches et architectures de réseaux neuronaux quantiques sont proposées, passant des techniques basées sur l'algèbre linéaire quantique aux méthodes d'apprentissage par renforcement utilisant des réseaux neuronaux quantiques. La contribution clé réside dans la formulation de couches orthogonales utilisant des portes RBS et de couches composées utilisant des portes FBS. Plusieurs ansatzes pour des couches orthogonales et des procédures de chargement de données pour les matrices sont décrits, et des architectures de réseaux neuronaux quantiques pour l'incorporation d'images et de séquences sont proposées. Les architectures quantiques montrent une efficacité en termes de paramètres et offrent des performances compétitives sur les tâches de classification d'images. 3. Des méthodes d'apprentissage par renforcement profond quantique sont développées, intégrant des réseaux neuronaux quantiques avec des couches orthogonales et composées. Deux méthodes principales sont étudiées : un algorithme de recherche de politique pour des environnements classiques qui utilise des réseaux neuronaux orthogonaux quantiques, et une approche entièrement quantique basée sur un modèle acteur-critique qui utilise des réseaux neuronaux quantiques avec des couches composées, s'inspirant de l'apprentissage par renforcement distributionnel. Le cadre est évalué sur des processeurs quantiques à ions piégés, démontrant une performance supérieure pour les modèles acteur-critique distributionnels. Les contributions clés de cette thèse résident dans la formulation de méthodes d'apprentissage par renforcement quantique sur mesure et dans l'évaluation de leurs performances à la fois classiquement et sur du matériel quantique. Elle démontre le potentiel d'amélioration de l'apprentissage par renforcement grâce à l'intégration de l'informatique quantique. Cependant, la validation expérimentale des approches sur des ordinateurs quantiques plus grands et l'étude d'autres problèmes d'apprentissage par renforcement qui pourraient bénéficier des techniques quantiques restent des travaux futurs.
Algorithmes quantiques pour l'apprentissage par renforcement Cette thèse étudie le développement de techniques d'apprentissage par renforcement quantique par l'intégration de l'informatique quantique dans les algorithmes d'apprentissage par renforcement. Basée sur trois articles connexes, l'étude est divisée en trois approches principales : 1. Des méthodes basées sur l'algèbre linéaire quantique sont développées pour l'itération de politique quantique, qui alternent entre l'évaluation de politique quantique et les étapes d'amélioration de politique quantique. Des méthodes efficaces pour construire des encodages de bloc des paramètres et des politiques du processus de décision de Markov sont présentées, et l'approche est généralisée à l'itération de politique approximative utilisant une approximation de fonction de valeur linéaire. Dans certains cas, cette approche offre des accélérations asymptotiques par rapport aux algorithmes d'itération de politique classiques. 2. Des couches et architectures de réseaux neuronaux quantiques sont proposées, passant des techniques basées sur l'algèbre linéaire quantique aux méthodes d'apprentissage par renforcement utilisant des réseaux neuronaux quantiques. La contribution clé réside dans la formulation de couches orthogonales utilisant des portes RBS et de couches composées utilisant des portes FBS. Plusieurs ansatzes pour des couches orthogonales et des procédures de chargement de données pour les matrices sont décrits, et des architectures de réseaux neuronaux quantiques pour l'incorporation d'images et de séquences sont proposées. Les architectures quantiques montrent une efficacité en termes de paramètres et offrent des performances compétitives sur les tâches de classification d'images. 3. Des méthodes d'apprentissage par renforcement profond quantique sont développées, intégrant des réseaux neuronaux quantiques avec des couches orthogonales et composées. Deux méthodes principales sont étudiées : un algorithme de recherche de politique pour des environnements classiques qui utilise des réseaux neuronaux orthogonaux quantiques, et une approche entièrement quantique basée sur un modèle acteur-critique qui utilise des réseaux neuronaux quantiques avec des couches composées, s'inspirant de l'apprentissage par renforcement distributionnel. Le cadre est évalué sur des processeurs quantiques à ions piégés, démontrant une performance supérieure pour les modèles acteur-critique distributionnels. Les contributions clés de cette thèse résident dans la formulation de méthodes d'apprentissage par renforcement quantique sur mesure et dans l'évaluation de leurs performances à la fois classiquement et sur du matériel quantique. Elle démontre le potentiel d'amélioration de l'apprentissage par renforcement grâce à l'intégration de l'informatique quantique. Cependant, la validation expérimentale des approches sur des ordinateurs quantiques plus grands et l'étude d'autres problèmes d'apprentissage par renforcement qui pourraient bénéficier des techniques quantiques restent des travaux futurs.
Les systèmes quantiques ont le potentiel d'améliorer les techniques informatiques classiques de pointe, grâce à des propriétés telles que la superposition et l'intrication. Leur combinaison avec des cadres d'intelligence artificielle pourrait améliorer de nombreux domaines du traitement des données quantiques, tels que la reconnaissance automatique des états quantiques et le contrôle des dispositifs quantiques. Malgré des résultats prometteurs obtenus avec les réseaux de neurones quantiques, des défis majeurs subsistent : (i) la mise en œuvre d'architectures comportant un grand nombre de neurones et de paramètres entraînables sur le matériel quantique actuel, et (ii) l'entraînement fiable de ces modèles, où des problèmes tels que les 'barren plateau' dans les fonction de coût peuvent supprimer les gradients et entraver l'apprentissage.En effet, la résolution de tâches complexes nécessite un grand nombre de neurones densément connectés par de nombreux paramètres entraînables, ce qui est difficile à réaliser sur du matériel quantique.Dans cette thèse, nous envisageons la mise en œuvre de réseaux de neurones quantiques avec des modes bosoniques couplés. Nous obtenons un grand nombre de neurones en considérant les probabilités d'état de Fock comme caractéristiques de sortie, et des paramètres entraînables en couplant paramétriquement les modes, grâce à différents processus de mélange à trois ondes tels que la conversion cohérente de photons et le squeezing entre deux modes. Afin d'entraîner le système quantique, nous explorons deux approches : (i) le calcul par réservoir, qui contourne l'entraînement des paramètres physiques, et (ii) l'entraînement direct des couplages paramétriques par descente de gradient. La dynamique intrinsèque des modes bosoniques étant linéaire, la non-linéarité ne provient que des mesures d'états de Fock. Nous constatons que cette non-linéarité induite par la mesure est remarquablement expressive : en utilisant seulement deux oscillateurs quantiques, nous pouvons extraire un ensemble suffisant de caractéristiques non linéaires pour apprendre des tâches qui nécessitent généralement environ 20 neurones dans un réseau classique, notamment la classification de signaux sinus/carré et la prédiction de séries temporelles Mackey-Glass.Cependant, le calcul quantique par réservoir se heurte à deux limites principales : comme tous les poids entraînables résident uniquement dans le post-traitement classique des résultats de mesure, obtenir de bonnes performances nécessite de mesurer un grand nombre de caractéristiques, et son expressivité est limitée par son architecture monocouche. Pour remédier à cela, nous entraînons directement les paramètres de mélange à trois ondes; pour une simulation efficace, nous limitons la dynamique interne aux modes gaussiens et utilisons la rétro-propagation pour l'optimisation. Nous montrons que cette approche apprend efficacement : bien que le nombre de paramètres entraînables évolue linéairement avec le nombre de modes, le nombre de caractéristiques mesurées requis baisse par rapport au calcul par réservoir, l'expressivité augmente et, avec le même nombre de modes, nous résolvons des tâches plus difficiles que la base de référence du réservoir.Cette thèse a démontré que les réseaux de neurones quantiques bosoniques constituent une voie prometteuse vers un apprentissage efficace sur le plan matériel et a fourni des outils théoriques permettant de comprendre comment ils apprennent, et améliorer leurs performances. À l'avenir, l'addition dans l'Hamiltonien de non-linéarités d'ordre supérieur telles que les processus Kerr permettrait de pousser le système au-delà du régime gaussien, libérant ainsi des ressources non gaussiennes et un espace de caractéristiques effectif plus vaste. Dans une perspective plus large, il sera important d'étudier leur susceptibilité aux barren plateaus et d'identifier les conditions dans lesquelles le dimensionnement du gradient reste favorable.
L'informatique quantique, l'un des voyages scientifiques les plus passionnants de notre époque, offre un potentiel remarquable en promettant de résoudre rapidement des problèmes computationnels. Cependant, la mise en œuvre pratique de ces algorithmes représente un défi immense, avec un ordinateur quantique universel et tolérant aux erreurs restant insaisissable. Actuellement, des dispositifs quantiques à court terme émergent, mais ils sont confrontés à des limitations majeures, notamment un niveau élevé de bruit et une capacité d'intrication limitée. L'efficacité pratique de ces dispositifs, en particulier en raison du bruit quantique, suscite des débats. Motivée par cette situation, cette thèse explore l'impact profond du bruit sur les algorithmes d'apprentissage quantique en trois dimensions clés. Tout d'abord, elle examine l'influence du bruit sur les algorithmes quantiques variationnels, en particulier les méthodes quantiques "à noyaux". Nos résultats révèlent des disparités marquées entre le bruit unital et non-unital, remettant en question les conclusions antérieures sur ces algorithmes bruyants. Ensuite, elle aborde l'apprentissage des dynamiques quantiques avec des mesures binaires bruyantes de l'état de Choi-Jamiolkowski, en utilisant des requêtes statistiques quantiques. L'algorithme Goldreich-Levin peut être implémenté ainsi, et nous prouvons l'efficacité de l'apprentissage dans notre modèle. Enfin, la thèse contribue à la confidentialité différentielle quantique, montrant comment le bruit quantique peut renforcer la sécurité statistique. Une nouvelle définition d'états quantiques voisins capture la structure des encodages quantiques, offrant des garanties de confidentialité plus strictes. Dans le modèle local, une équivalence est établie entre les requêtes statistiques quantiques et la confidentialité différentielle quantique locale, avec des applications à des tâches telles que le test d'hypothèse asymétrique. Les résultats sont démontrés avec l'efficacité de l'apprentissage des fonctions de parité dans ce modèle, comparé à une tâche classique exponentiellement exigeante.
Cette thèse présente de nouveaux algorithmes quantiques pour l'apprentissage automatique. L'ordinateur quantique permet un nouveau paradigme de calcul qui exploite les lois de la mécanique quantique pour offrir une accélération des calculs par rapport aux ordinateurs classiques. Récemment, la communauté scientifique a produit plusieurs algorithmes quantiques liés la résolution de problèmes d'algèbre linéaire. Puisqu’une grande partie de l'apprentissage automatique se réduit à multiplier des matrices ou à les inverser, il est possible d'obtenir dans certains cas une version quantique de nombreux algorithmes en lien avec l'apprentissage automatique. Malgré tout, l'écriture d’un nouvel algorithme quantique n’est en général pas du tout une tâche aisée. Dans cette thèse, je propose des algorithmes quantiques pour l'apprentissage de certains modèles d'apprentissage classique. Les algorithmes conçus et analysés dans cette thèse sont les suivants : Slow Feature Analysis, un algorithme de réduction de dimension utilisé pour éviter phénomène d'overfitting dans le cadre de l'apprentissage supervisionné. Dans le cadre de l'apprentissage non supervisé, une version quantique de l'algorithme de clustering k-means et sa généralisation dans le model Gaussian Mixture Models. Ces algorithmes sont itératifs, et représentent la contrepartie quantique de l’algorithmique classique Expectation-Maximization très répandu. Spectral Sum, un algorithme calculant des quantités liées à la somme des valeurs singulières d'un matrice, et ses applications. Les nouveaux algorithmes quantiques développés ont été implémentés et simulés sur des ordinateurs classiques à base d’HPC, avec les jeux de donnés couramment utilisés pour l’apprentissage automatique classique. Je démontre ainsi que ces algorithmes ont effectivement le potentiel de concourir contre les meilleurs algorithmes classiques pour l’analyse de donnés.
Bruit et capacité d'apprentissage en apprentissage automatique quantique Cette thèse est consacrée à l'exploration de l'interface entre l'informatique quantique et l'apprentissage automatique, en mettant l'accent sur les effets du bruit et de la décohérence. Dans la première partie, nous étudions l'utilisation de systèmes quantiques ouverts pour la réalisation de tâches classiques de reconnaissance des formes. En particulier, nous nous intéressons à l'impact du bruit sur les machines à noyau quantique dans une configuration de calcul à réservoir. Les modèles que nous considérons sont basés sur l'utilisation d'un système quantique de grande taille et non contrôlé, un réservoir, qui est excité par un signal d'entrée à traiter. Des mesures sont ensuite effectuées sur le système et une combinaison linéaire des résultats est optimisée afin de réaliser la tâche souhaitée. Dans le cadre théorique associé aux méthodes à noyau, nous analysons l'effet de la dissipation sur l'expressivité de ces modèles. Nous montrons que le bruit affectant le réservoir peut agir comme une régularisation implicite qui aide à prévenir l'ajustement excessif. Ces résultats sont accompagnés d'une étude numérique d'un ensemble de machines à noyaux bruitées basées sur des chaînes de spins quantiques sujets à de la décohérence, et dont l'évolution markovienne est décrite par une équation maîtresse de type Lindblad. Dans la deuxième partie de la thèse, nous nous concentrons sur les algorithmes quantiques variationnels. Nous y présentons un schéma de simulation classique efficace pour estimer des quantités moyennées à la sortie d'un circuit quantique paramétré dont les paramètres de rotation sont choisis aléatoirement. Nous étudions d'abord les canaux quantiques associés aux moyennes de rotations aléatoires d'un et de deux qubits autour d'un axe Z. Sous certaines hypothèses, nous montrons que ces canaux peuvent être décomposés en sommes convexes de canaux associés à des transformations unitaires de Clifford. Ce résultat peut être interprété comme un effet de décohérence artificiel induit par le choix aléatoire des angles de rotation. Il nous permet construire un schéma de simulation efficace basé sur le célèbre théorème de Gottesman-Knill. Cette méthode permet notamment d'estimer efficacement l'amplitude moyenne du gradient de la fonction de coût par des simulations classiques avec une complexité polynomiale en le nombre de qubits. Elle peut donc être utilisée pour explorer des stratégies de conception de circuits variationnels quantiques permettant d'éviter les difficultés d'entrainement due à une disparition du gradient.
La recherche en informatique quantique a pris de l’ampleur dans les deux dernières décennies, notamment grâce aux financements massifs des gouvernements et de l’industrie dans les technologies quantiques. L’ordinateur quantique promet de résoudre des problèmes qui jusqu’à présent restaient insurmontables à cause du temps déraisonnable qu’il faudrait pour les résoudre sur les ordinateurs classiques les plus puissants. L’idée de l’ordinateur quantique consiste à utiliser des propriétés quantiques de la matière, telles que l’intrication et la superposition quantique des états, pour effectuer des calculs d’une nouvelle manière. L’informatique quantique requiert un nouveau type d’ordinateur où les bits d’information classique, généralement représentés par la présence ou non de courant à l’entrée d’un transistor, sont remplacés par des bits quantiques aussi appelés qubits, et qui sont représentés par l’état d’un système quantique. De plus, il est nécessaire de développer de nouveaux algorithmes capables d’être implémentés sur un ordinateur quantique et capables de tirer parti de l’avantage quantique. Cette thèse porte sur ces deux composantes complémentaires : la construction de portes logiques, un bloc fondamental de tout ordinateur, et la création de meilleurs algorithmes pour résoudre des problèmes pertinents sur ces machines. Parmi les plateformes les plus avancées pour l’ordinateur quantique, on trouve les circuits supraconducteurs, qui sont la plateforme sur laquelle ont misé Google, IBM, Alice&Bob, Nord Quantique et bien d’autres compagnies. Malgré les avancées des dernières décennies, de nombreux défis restent à être relevés pour que les machines existantes soient en mesure de résoudre des problèmes pertinents et surpassent les ordinateurs classiques. L’un des défis auquel cette thèse s’attaque est la réalisation de portes logiques à deux qubits rapides et à haute fidélité. La rapidité est cruciale pour pouvoir réaliser le plus d’opérations possible avant que les qubits ne perdent leur cohérence quantique, et une haute fidélité est requise pour minimiser les erreurs de calcul et permettre d’implémenter de la correction d’erreurs quantiques. De plus, certains qubits supraconducteurs sont connus pour être affectés par une interaction indésirable, l’interaction ZZ qui, même si relativement faible, affecte la fidélité des portes logiques quantiques, empêchant d’atteindre des fidélités supérieures à 99.9% nécessaires à la correction d’erreurs. En parallèle avec l’amélioration des composantes de l’ordinateur quantique, il est important de développer des applications pour ce nouveau type de machine. Parmi les approches étudiées, les algorithmes quantiques variationnels (VQA) sont ceux qui sont les plus susceptibles d’être déployés sur les ordinateurs quantiques de petites tailles existants. Ce sont des algorithmes hybrides qui nécessitent à la fois de la puissance de calcul classique et quantique. Ces algorithmes semblent prometteurs pour résoudre de nombreux problèmes concrets d’intérêt industriel, comme obtenir les propriétés de molécules ou trouver les solutions de problèmes d’optimisation combinatoire. En effet, ces problèmes peuvent être formulés sous forme d’un Hamiltonien et résolus en déterminant son état fondamental. Dans ce but, les VQAs utilisent un circuit quantique paramétré appelé ansatz, dont les paramètres sont optimisés pour s’approcher de l’état fondamental. Un premier défi consiste à trouver un ansatz qui permette, pour un problème donné, de converger le plus efficacement possible vers la solution. Un deuxième défi est de trouver un circuit fait de portes logiques facilement implémentables sur les plateformes physiques actuelles. Les travaux effectués dans cette thèse apportent des contributions à ces deux défis. Dans la première partie de la thèse, nous introduisons le dispositif que nous avons conçu et qui permet de réaliser des portes d’intrication paramétrique entre deux qubits supraconducteurs. Cette approche a permis à nos collaborateurs du groupe d’Andrew Houck de l’Université de Princeton de réaliser expérimentalement une opération de type √iSWAP en 15 ns avec une fidélité de 98.8%, et ce dans un dispositif où l’interaction ZZ est supprimée. Dans la seconde partie de la thèse, nous avons développé un ansatz pour les VQAs permettant de résoudre le modèle de Fermi Hubbard. Ce nouvel ansatz utilise les avantages de deux ansätze préexistants, et permet d’obtenir l’énergie et l’état fondamental du FHM avec une précision de plusieurs ordres de grandeur supérieure aux ansätze standards, et ce en réduisant significativement le nombre de portes d’intrication CNOT qui sont généralement imparfaites et longues à implémenter.