As obras de construção do Paço-Acastelado, (vulgo Castelo de Alvito), foram iniciadas em 1494.  D. João Fernandes da Silveira, 1º Barão de Alvito e de todo o reino, recebera licença de construção de fortaleza na sua vila de Alvito, por parte de D. Afonso V, em 1481.

Foi portanto já no tempo de D. Diogo Lobo, que veio a ser o 2º Barão, que as obras tiveram lugar.
Trata-se de uma edificação com ar de fortaleza apalaçada. Dispõe de quatro torres circulares a que, na primeira metade do século XVI se juntou mais uma, a de Menagem. 
 
Em planta, é um rectângulo pouco alongado, que se organiza em torno de um pátio ou praça de armas, ficando três lados ocupados por zonas habitacionais e outro livre, só com um muro alto virado às hortas.

É um magnífico exemplar da arquitectura doméstica manuelina, já que antes das obras que o transformaram em Pousada, era o único palácio senhorial que se mantinha intacto desde há cinco séculos.

Classificado como Monumento Nacional em 1910, foi adaptado a Pousada e constitui um dos principais motivos de visita ao concelho de Alvito.