Originellement bâti au XVe siècle par Jehan de Kergrist et sa femme Gilette le Cozic sous la forme d'un manoir breton typique de la Renaissance Bretonne, le bâtiment se composait d'une tour octogonale, enserrée par deux corps de logis principaux.

Au centre, un passage vouté reliait la cour intérieure Nord, au potager clos de murs, situé au Sud.

Au XVIème siècle, la seconde tour, s'érige d'une manière plus costaude. La famille prospère. 

Au XVII et XVIIIe siècle, Kergrist passe aux mains des Kergariou (descendants des Kergrist). Le manoir devient château.

A l'Est, Une façade classique s'érige 

Un escalier à double volées droites mène au jardin français.

Au Sud, la façade édifiée à la fin du XVIIIème siècle, s'inspire de sa voisine à l'Est, mais dans une conception simplifiée.