Le travail de cette these consiste a etudier theoriquement et experimentalement l'influence du bruit de phase d'un laser a semi-conducteurs sur les performances ultimes de son asservissement en frequence sur une resonance optique. Trois references sont choisies : un interferometre de mach-zender, une cavite fabry-perot et une vapeur atomique. Afin de tester les limites de certains modeles usuels de description des fluctuations de phase du laser, j'utilise une theorie generale impliquant l'interferometre de mach-zender et basee sur le modele du champ laser a diffusion de phase sans restriction sur les valeurs relatives des largeurs de raies du laser et de la reference. Je montre que le processus de modulation-demodulation, en presence du bruit de phase du laser, genere deux types d'exces de bruit par rapport au bruit de grenaille de photons : bruit de conversion et bruit d'intermodulation. Ces exces de bruit s'ajoutent au signal d'erreur et limitent la stabilite du laser asservi. Les predictions theoriques confirmees par des resultats experimentaux montrent que la reponse frequentielle d'un systeme atomique a deux niveaux en regime de faible saturation interroge par un champ laser bruyant est identique a celle d'une cavite fabry-perot eclairee par le meme laser. Je montre que dans les conditions typiques d'asservissement la purete spectrale du laser asservi est principalement limitee par l'exces de bruit d'intermodulation. Cet effet, initialement mis en evidence dans le domaine micro-onde, peut etre reduit avec un choix convenable de la configuration de detection et de la frequence de modulation. Ainsi une source laser de haute purete spectrale compatible avec nos applications peut etre realisee. Les resultats de ce memoire peuvent mener a d'interessantes etudes sur les phenomenes de bruit dans les domaines de la metrologie des frequences, la spectroscopie a haute resolution, le refroidissement d'atomes par laser et le pompage optique.
Nous avons étudié les fluctuations quantiques du champ électromagnétique ayant interagi avec un nuage d'atomes froids placé à l'intérieur d'une cavité optique. Proche de résonance, le milieu atomique se comporte comme un milieu non-linéaire en raison de la saturation de la transition optique. Lorsque le faisceau incident est polarisé linéairement, cette saturation se traduit par un effet de type Kerr sur le champ moyen et de type Kerr-croisé sur le mode vide orthogonal. Ces effets non-linéaires modifient les fluctuations de ces modes du champs. Nous avons alors pu observer la réduction du bruit sous la limite quantique standard sur ces deux modes. Nous avons interprété la réduction de bruit sur le mode vide orthogonal en terme de réduction du bruit de polarisation du faisceau. Les fluctuations de polarisation ont été caractérisées par la mesure des fluctuations des paramètres de Stokes. Par ailleurs, nous avons étudié les corrélations quantiques produites par le système. Ces corrélations ont été estimées à l'aide d'un critère de nonséparabilité, valable pour les variables continues. Nous avons alors montré que les modes polarisés à °45° (par rapport au champ moyen) sont intriqués en quadrature. Cette intrication a ensuite été utilisée pour produire deux faisceaux intriqués en polarisation.
Nous avons etudie les fluctuations quantiques de champs electromagnetiques et d'atomes interagissant dans une cavite de grande finesse. La partie theorique concerne le calcul de ces differentes fluctuations dans un modele du type ondes planes. Pour caracteriser la production d'etats atomiques comprimes, les fluctuations atomiques sont comparees avec celles de l'etat atomique coherent qui definit le bruit quantique standard. On s'interesse d'abord a la production d'etats atomiques comprimes lors de l'interaction d'atomes a deux niveaux avec un champ quasi resonnant. Lorsque le champ incident sur la cavite est dans un etat coherent, la reduction du bruit atomique peut atteindre 50% en presence d'un tres grand nombre d'atomes, en regime d'interaction non lineaire. Lorsque le champ incident est comprime, il peut transferer partiellement la reduction de ses fluctuations aux atomes en regime lineaire. On a ensuite etudie le cas d'un systeme atomique a trois niveaux en v interagissant avec deux champs, et realise le calcul complet des fluctuations des atomes et des champs reflechis par la cavite. Nous montrons en particulier la possibilite de reduire les fluctuations du spin associe a la coherence entre etats excites. Dans notre montage experimental, un faisceau pompe interagit avec un nuage d'atomes de cesium produit par un piege magneto optique fonctionnant en continu, a l'interieur d'une cavite lineaire. On enregistre les fluctuations quantiques du mode correspondant a la pompe reflechie par la cavite (bruit normal) et du mode du champ orthogonal (bruit de polarisation). Lorsque la polarisation de la pompe incidente est circulaire on a obtenu une reduction du bruit normal de 20%, et on a reconstruit la fonction de wigner associee. Pour une pompe incidente de polarisation lineaire, on a mesure une reduction du bruit de polarisation de 10%. Un modele a quatre niveaux permet d'interpreter qualitativement l'ensemble des resultats obtenus pour cette polarisation.