Do castelo subsistem algumas ruínas, sendo de salientar diversos cubelos e uma dupla muralha, a interior toda de granito lavrado e recinto oval, com o comprimento de 279,4 m, a largura de 2,64 m e a sua altura varia atingindo, por vezes, os 6,60 m. Esta muralha tem uma porta Sul, de arco, ladeada por duas imponentes torres, estando a do flanco esquerdo arruinada. Para Nascente desta entrada, a curta distância, situa-se uma torre e, mais adiante, outra - a Torre dos Lameiros - que se encontra totalmente destruída.

Próximo está o Postigo da Traição por onde, segundo a tradição, fugiram os mouros aquando da conquista do castelo pelas forças cristãs, sendo aqueles perseguidos e mortos num vale junto a uma ribeira entre Seixo de Ansiães e Vilarinho da Castanheira.

O vale ficou a ser conhecido por Vale de Osseira porque, durante bastante tempo, encontravam-se à vista as ossadas dos que ali pereceram. A Poente daquele postigo está a Torre de Menagem e, logo a seguir, uma grande torre, bem conservada, donde se vislumbra um belo panorama. Existe próximo uma cisterna bastante funda, que tinha cobertura em abóbada de pedra, e uma porta do lado Sul, com arco de 17,6 m de alto. Podem ver-se os vestígios de um passeio em pedra, com assentos em redor e restos de divisões de instalações e casas de habitação. Na muralha exterior localiza-se a Porta da Fonte Vedra, assim designada por permitir o acesso a uma fonte com o mesmo nome. A Nascente fica a Porta da Vila ou Porta Principal. Ainda naquele sentido encontrava-se outra grande torre. No lado Norte, a Porta de S. Francisco era servida por uma estrada romana que ligava a Selores, tendo esta sido destruída e substituída por outra de asfalto. Mais para Norte, a muralha exterior liga à interior visto que, daí para a frente, o reduto defensivo era protegido pela aspereza da própria natureza. Intra-muros e próximo da Porta de S. Salvador, encontram-se as ruínas de um templo românico com o mesmo nome.

LOPES, Flávio (coord.), Património Classificado - Arquitectónico e Arqueológico - inventário, vol. I, Lisboa, IPPAR, 1993.