O castelo, de planta quadrangular, crê-se de fundação anterior ao domínio árabe. Foi conquistado por D. Sancho II em 1240 e reedificado, bem como as muralhas, por D. Dinis em 1304. No séc. XV apresentava-se de novo degradado, mas só no séc. XVII, com as guerras da Restauração, se fizeram novas reparações. Em torno do castelo existia uma cerca de muralhas com uma área de cerca de 2700 m2, na qual se rasgavam três portas que ainda restam: uma que dá acesso para o rio Guadiana, uma chamada de Tavira, e a outra de Mértola. Junto da Porta de Tavira há uma inscrição que diz "Alfonsus VI rex Portugaliae et Algarbiorum 1661". Neste castelo D. Fernando I firmou, a 31 de Março de 1371, tratado de paz com Henrique II de Castela, que ficou conhecido como Paz de Alcoutim, e que foi confirmado em Toro a 10 de Agosto do mesmo ano.