Em documentação do séc.VI é mencionada a existência de uma sede paroquial no lugar de Carantonis, o qual tem sido associado a Cantonha, junto ao Mosteiro de Santa Marinha da Costa. Neste local encontrar-se-ia uma das mais antigas paróquias do noroeste peninsular, contemporânea da ação evangelizadora de S. Martinho de Dume. Não possuímos, nos dias de hoje, qualquer vestígio desse período, sendo do período moçárabe as estruturas mais antigas ali visitáveis, como a antiga torre sudoeste. O Mosteiro, pelo menos a partir do séc. XI, terá pertencido à ordem dos Cónegos Regrantes de Sto. Agostinho, tendo, a partir do séc. XVI, passado para os Jerónimos.

Com sucessivas intervenções ao longo dos tempos, quer a igreja quer os espaços conventuais mostram registos de obras diversas, com especial atenção para o claustro maneirista, no qual ainda são visíveis alguns vestígios anteriores. No final do séc. XVII e durante o séc. XVIII, o monumento sofreu uma profunda intervenção barroca claramente visível na igreja, ao nível da fachada, efusivamente decorada, e da talha interior, nomeadamente a do coro, da autoria de Frei António Vilaça. No edifício conventual, além dos painéis azulejares de valor excecional, destaca-se a varanda alpendrada no topo do edifício, com o seu chafariz, conhecida como varanda de S. Jerónimo. O conjunto completa-se com a cerca, na qual se encontra um jardim de buxo com linhas geométricas e a mata, com um grande lago circular.

No séc. XX, a área conventual foi adaptada a pousada, tendo a obra ficado a cargo do Arquiteto Fernando Távora.