O castelo, de origem castreja, foi restaurado em 1200 por D. Sancho I e está localizado na antiga linha de fronteira, anterior ao Tratado de Alcanices (1297). Em 1295 foi ampliado e reconstruído por D. Dinis.
A traça actual data de 1559, altura em que era regente D. Catarina, mãe de D. Sebastião.
A linha de muralhas que rodeia a antiga povoação, possui dois postigos e duas portas, respectivamente, a Porta do Anjo da Guarda e a Porta do Monte, e quatro torres, com um conjunto de edificações no seu interior, actualmente em ruínas, das quais se salientam: o Paço, a Câmara, o Tribunal e Cadeia.
Podem ainda observar-se o Pelourinho, a Cisterna, a Torre de Menagem e duas igrejas.
Numa das entradas do castelo está inscrito o côvado.