O castelo foi reconstruído por D. Dinis e, mais tarde, D. Manuel I manda reforçar as muralhas da vila. Destacam-se como principais pontos de interesse histórico: os restos de alguns panos da muralha com habitações adossadas, uma porta com uma torre num dos seus lados (a Porta da Muralha) e o eixo que a partir daí se prolonga até ao largo da Igreja matriz (setecentista); o largo do poço d'El-Rei; o largo do poço da escada; a capela de S. Martinho (a meio da encosta da subida para o castelo); a fonte de chafurdo junto ao enchido; as cruzes da Procissão dos Passos desde o calvário até à Igreja.

Está em fase de aprovação o projecto de recuperação das antigas escolas e os arranjos exteriores do largo da Igreja.