C'est d'abord monsieur Yves de Kerguelen, pépiniériste, qui décida d'y implanter des variétés rares et extraordinaires de rhododendrons.

Il était missionné dans les années 1970 par le Conseil Général du Finistère pour rapporter des variétés de rhododendrons de collection au domaine de Trévarez. Allant pour cela en Grande-Bretagne, il rapportait cinq spécimens de chaque variété et en gardait deux pour le Kergoat. 

C'est aujourd'hui à son fils, Alain de Kerguelen de continuer l'embellissement et l'entretien du jardin qui s'étend sur un hectare.