Jusqu'à la Révolution, les jardins étaient relativement sommaires, composés de prairies fleuries et arborées, descendant en pente douce vers la rivière du Leguer.

C'est sous le Second Empire, en 1860, que les 4 hectares de jardins sont totalement réorganisés sous l'impulsion de Charles Huon de Penanster, nouvel acquéreur du domaine.

Passionné de paysagisme, il compose un jardin dont les multiples facettes font écho aux trois principales façades du château :

- au Nord, les parterres s'accordent volontier à la sobriété de la façade Renaissance (XV et XVIe).

- à l’Est, un jardin à la française, devant la façade du XVIIe siècle s'organise sur une terrasse plane que Charles fonde de toute pièce.

- au sud, un jardin sinueux, à l'anglaise, pour épouser le style "Louis XVI".

Autrefois agrémentés de nombreux arbres anciens datant pour la plupart des XVIIIe et XIXe siècle, les jardins de Kergrist ont été dévastés par la tempête d'octobre 1987 et ses rafales à plus de 170km/heure.

Régis Huon de Penanster, actuel propriétaire, paysagiste de métier, a depuis lors entrepris un colossal travail de restauration des jardins historiques, tout en créant de nouveaux espaces paysagés, à l'instar du "jardin des roches" où l'éfleurement des blocs de granit interprètent d'une manière contemporaine l’art du paysage dans un esprit désertique naturel.