O Castelo de Abrantes foi, ao longo dos séculos, local de proteção da cidade. Apresenta fisionomia da arquitetura medieval, ajustado a novas funções defensivas e residenciais nos séculos XVII, XVIII e XIX.

O Castelo de Abrantes, localizado numa elevação estratégica, tem uma longa ocupação, desde a Idade do Bronze Final (séc. XII- VII a.C.), com a construção de um primeiro reduto amuralhado; Idade do Ferro (séc. VII- V a.C.); período Romano (séc. I a.C.- III d.C.) uma função mais simbólica e cultual; e nos séculos VII/IX até ao século XII, o morro parece ter voltado a ser habitado por populações islâmicas.

Com a reconquista cristã construíram o perímetro muralhado sobre o afloramento rochoso, e com D. Afonso III é erguida a Torre de Menagem. Em 1432-33, o alcaide D. Diogo de Almeida inicia a construção do Paço dos Alcaides (ou Palácio dos Governadores). No conjunto, os paramentos são espessos, rasgados por canhoneiras, assentes em baluarte terraplenado em talude, as baterias rodeando o castelo alternam com troços adaptados ao traçado urbano da povoação. O terramoto de meados do séc. XVI provoca o desmoronamento da Torre de Menagem, que foi reconstruída só pela metade da sua altura. Durante a Guerra de Restauração foram reforçadas as estruturas fortificadas. Entre 1718 e 1733 o palácio dos Almeidas foi modificado por D. Rodrigo de Almeida e Meneses, Iº Marquês de Abrantes, originando o atual conjunto de edifícios, e o antigo castelo é transformado em palácio. Depois da Guerra Fantástica de 1756-1763 e saída da família Almeida para a capital, a fortaleza acolhe o regimento de artilharia e depois a Legião do Marquês de Alorna, em 1798.

Durante as guerras napoleónicas e depois de daqui ser expulsa a guarnição francesa em 14 de agosto de 1809, o castelo torna-se na praça de abastecimento de artilharia do exército luso-britânico do Duque de Wellington, sendo novamente a estrutura reforçada, até a batalha de Vitória em 1812; seria transformada em quartel do regimento de artilharia N.8 e do regimento de artilharia contra aeronaves N.º 2.