Trata-se de um castelo medieval que foi construído sobre as ruinas de um castro pré-romano. Foi importante para a defesa dos ataques muçulmanos em 1140 e 1155, e castelhanos em 1384.

Esta edificação militar é formada por uma forte linha de muralhas ao longo das quais se encontram distribuídos cinco torreões, tendo uma das torres servido de capela aos defensores, tendo por orago Santa Bárbara. Em 1160 foi alvo de uma reedificação da responsabilidade de D. Afonso Henriques e mais tarde restaurada, respectivamente, em 1282, 1377 e 1530. É classificado desde 1921 como Monumento Nacional e viu as suas torres reconstituídas em 1940.

A sua Torre de Menagem de origem provavelmente árabe é invulgar pela sua forma piramidal.

A muralha medieval, edificada por D. Dinis, no ano de 1282, está coroada por merlões que terminam em lancetas. As torres de planta quadrangular, que as defendiam colocadas ao longo destas muralhas eram em número de quinze. Das quatro portas existentes salientam-se as de El Rei e as do Prado encimadas por pedra de armas com as cinco quinas. No Séc. XIX os arcos destas portas foram cortados para melhorar o acesso das carruagens apresentando actualmente a forma de arcos abatidos. As muralhas incluem ainda três postigos destacando-se o "Olhinho de Sol" e o "Boeirinho".