Do castelo subsistem apenas pequenos panos de muralha. A NW e SE vestígios de eventuais torres e a NE troços construídos de taipa, de origem islâmica.
Uma parte do muro que fecha a escadaria monumental assenta na composição do Castelo. No local encontra-se a pequena igreja medieval de Nossa Senhora do Castelo que tem esta denominação desde 1510, tendo sido referida na visitação da Ordem de Santiago como Ermida de Santa Maria do Castelo, em 1482.