A Kassen árabe sucedeu à Miróbriga romana (abandonada no século VI).
Tomada por D. Afonso Henriques em 1158, foi perdida em 1190 para o califado almoada. Em 1217 Afonso II reconquista o castelo confirmando a doação do seu pai à Ordem de Sant'Iago. Entre 1315 e 1336 o castelo esteve na posse de Dona Vetácia, aia e amiga da rainha Santa Isabel (mulher do rei D. Dinis), tendo depois regressado à Ordem de Sant'Iago, situação em que se manteve até 1594, data em que Filipe II o doou aos Duques de Aveiro.
 
Em 1759 passou para a posse da coroa. De planta rectangular, alguns panos de muralha conservam ainda a técnica de construção islâmica. Possui dez torres e cubelos que robustecem a muralha e conserva ainda, quase integralmente, o perímetro da barbacã de onde se disfruta de um agradável passeio seguindo os passos da antiga ronda. Este castelo, com acesso limitado ao interior por aí se situar desde o séc. XIX o cemitério da vila, é sobre-tudo usufruido do exterior realçando majestosa-mente na planície alentejana.

O castelo tem anexa a igreja matriz fundada no séc. XIII pelos cavaleiros da Ordem de Sant'Iago de que se conserva o portal sul romano-gótico com interessantes motivos zoo-mórficos.

A Lenda Da Princesa Bizantina
"Conta a lenda que uma nobre mulher chamada Bataça Lascaris, fugindo do Mediterrâneo oriental, comandava aguerrida esquadra por ela mesmo armada. Desem- barcou em Sines e à frente do exército marchou para Sul e atacou a vila islâmica, governada por um certo Kassen. A princesa guerreira deu-lhe combate, matou Kassen e tomou o castelo no dia de Sant'Iago (25 de Julho) e por isso lhe pôs o nome de Sant'Iago de Kassen."
(Júlio Gil em "Os Mais Belos Castelos de Portugal").