A construção da fortaleza foi efetuada no reinado de D. Afonso III, com autorização dada (em Guimarães a 3 de abril de 1266) pelo monarca ao Bispo D. Egas Fafes para construir uma torre. O castelo situado na parte mais alta do monte, ocupa aproximadamente 2265 metros quadrados.

Foi reedificado por D. Dinis e enquadrava-se no auxílio da defesa da fronteira; destaque para essa função durante a crise que se instalou no território após a morte de D. Fernando, aqui se combateu pela coroa contra os castelhanos.

Também durante a restauração, o castelo cumpriu o dever. No castelo, de granito, salientam-se a Torre de Menagem ameada (podem ser vistos, ainda, vestígios da construção medieval) e a magnífica janela manuelina, geminada, atribuída a João Fernandes Cabral, enquadrada no pano poente das muralhas.

Uma porta de arco redondo, que faz parte das ruínas do Solar de Fernão Cabral, pai de Pedro Álvares Cabral, é encimada por esfera armilar e pela pedra de armas cabralinas. O monumento, com efeito, fora doado por D. Afonso V, em 20 de setembro de 1446, a esta família. No interior, junto à entrada principal observam-se grandes arcos que suportam maciço lageado que serviu de piso à residência senhorial. Do lado direito da entrada principal, existe uma construção, dos séc. XVIII-XIX, que foi alvo de obras em 1939.

Atualmente, o edifício tem funções turísticas e culturais, tendo sido construído um anfiteatro ao ar livre e a Torre de Menagem e Sala Oitocentista adaptadas a espaços museológicos dedicados à história do Concelho e do Castelo.