Des travaux furent entrepris en 1817, sous la Restauration. L'année suivante le Pavillon de Breteuil fut l'objet de plusieurs propositions : le comte de Pradel, directeur de la Maison du roi, le donna au comte de Hoguerté. A la même époque, le marquis de Vernon, premier écuyer du roi, le sollicita pour un écuyer du comte d'Artois. Malgré les réparations de l'année précédente, le Pavillon de Breteuil n'était pas encore habitable. Des travaux considérables et dispendieux s'imposaient, et aucun mobilier ne subsistait. Il fut même suggéré d'utiliser le Pavillon de Breteuil comme communs pour des écuries.

En 1820, le garde des Sceaux de Serre, trouvant ses appartements au château de Saint-Cloud inadaptés quand la Cour y résidait, exprima le désir de loger au Pavillon de Breteuil et demanda que des travaux y soient effectués. Quelques mois auparavant, il avait été question de mettre le pavillon à la disposition de la duchesse de Berry, mais elle voulait qu'il soit entièrement redécoré, ce qui aurait coûté plus de 7000 francs. La dépense fut jugée excessive et l'idée fut abandonnée. M. de Serre fut moins exigeant, et se limita aux réparations indispensables et fit tapisser les murs de papier ordinaire pour éviter de refaire les peintures. La dépense se monta à 1500 francs.

En 1822 le Pavillon de Breteuil fut affecté au service du gouverneur du château de Saint-Cloud, le vicomte d'Agoult, un émigré qui avait servi dans l'armée des princes pendant la campagne de 1792, et accompagna Louis XVIII à Vérone, Mittau puis en Angleterre. Promu lieutenant-général lors de la restauration des Bourbons, il devint le premier écuyer de la duchesse d'Angoulême et fut nommé en 1821 gouverneur de Saint-Cloud. Le Pavillon de Breteuil fut à nouveau remis en état pour sa venue. La même année, la princesse Esterházy, épouse de l'ambassadeur d'Autriche à Paris, fit de courts séjours au Pavillon de Breteuil. La duchesse d'Angoulême, qui résidait au château de Saint-Cloud, lui rendit alors de fréquentes visites.

En 1823-1824, le duc de Blacas d'Aulps, premier gentilhomme de la Chambre du roi, résida au Pavillon de Breteuil avec sa famille. Lui aussi émigré, il avait été à la Restauration nommé ministre de la Maison du roi, secrétaire d'État, grand-maître de la garde-robe et intendant général des bâtiments de la couronne. Comme ministre de la Maison du roi il avait été chargé du réaménagement du château de Saint-Cloud à l'occasion de la première visite de Louis XVIII en 1816.

Le Pavillon de Breteuil fut habité pendant quelques mois en 1830-1831 par Maréchal, gouverneur provisoire du château. A son départ le bâtiment resta inoccupé, à l'exception d'un gardien qui veillait sur le mobilier de valeur. En 1831 le Pavillon de Breteuil fut mis à la disposition du duc de Castries, gouverneur du château de Meudon, qui avait été obligé de céder ses appartements de Meudon à Dom Pedro, empereur du Brésil, lors de son séjour en France. Nous n'entendons plus parler du Pavillon de Breteuil jusqu'en 1842, date à laquelle il est affecté au service du comte de Montalivet qui, après avoir quitté le ministère de l'Intérieur en 1839, fut nommé « Intendant de la liste civile », poste qu'il occupa jusqu'en 1848. En novembre 1842 un entrefilet du Journal des débats nous informe que le comte de Montalivet était retenu au Pavillon de Breteuil par un accès de goutte !