Le Rusquec fut autrefois une place forte gardienne de routes franchissant ou longeant la montagne. Saint Herbot est un lieu que les moines du prieuré et les seigneurs du Rusquec s'efforcèrent d'humaniser. Tandis que les premiers faisaient de ce val perdu l'une des places dévotes de basse Bretagne, les seconds plantaient, défrichaient, traquaient les loups, protégeaient les marchands qui venaient étaler à la grande foire du pardon.

De beaux restes subsistent aujourd'hui mais le visiteur n'a pas vraiment le sentiment de s'avancer vers un pan de forteresse.
Le double porche est toujours accueillant, mais la muraille, quasiment aveugle, flanquée au sud d'une vieille tour du XIVe siècle et au nord d'une échauguette, rappelle la vocation première du lieu.

Sur la pelouse une énorme et étrange coupe attire l'attention. Sa partie haute, naguère fendue en trois et maintenant rejointée, pèse neuf tonnes. La légende prétend que c'est la coupe dont se servait le géant pour boire. Il s'agit en fait d'une vasque à laquelle manque le jet d'eau ; les seigneurs l'avaient mise là pour leur plaisir et pour immortaliser leurs alliances : en effet, trois armoiries de mariage ornent le bord extérieur du bassin.

Coté cour, la partie restaurée du manoir forme un ensemble coquet avec sa galerie à colombage au dessus de l'entrée, où veillait la garde. Un puits ajoute un élément indispensable à la vie du château : l'eau.

Deux colombiers ajoutent un autre élément nécessaire à la table des seigneurs. En effet, le colombier était le garde-manger du château : en cas de visite impromptue, un cochon ou un mouton n'étaient pas immédiatement consommables, à plus forte raison un boeuf, tandis que l'oiseau était rapidement attrapé, plumé, rôti et servi. Du plus ancien colombier ne subsistent que quelques niches dans un vieux mur envahi de lierre. Le plus récent d'age respectable cependant, présente plus de 1500 alvéoles pouvant abriter autant de couples de pigeons. Cela donne une idée des terres dépendant du Rusquec, puisqu'il ne fallait pas plus de deux couples par hectare, sinon le pigeon écornait de trop la nourriture des paysans et le revenu du seigneur.

Au Sud des bâtiments actuels, le champ, avec une petite vasque en son centre, semble bien avoir servi une place d'armes. A sa limite Sud, un mur surplombe les restes d'une douve et à ses angles deux tours de garde, dont l'une fort ancienne, veillent encore à la tranquillité des lieux.
Aujourd'hui, la visite du Rusquec forme le corollaire obligé de celle de l'église de Saint Herbot.

Depuis une trentaine d'années, ses propriétaires successifs ont entrepris la restauration du domaine : réfection des toitures et charpentes, étayages... Mais il y a encore beaucoup à faire et bien des énigmes restent à résoudre...