O recolhimento dos religiosos paulistas da Congregação da Serra de Ossa surgiu graças ao auxílio do cardeal-infante D. Henrique, através de licença papal de Gregório XVIII, o qual adquiriu, em 1578, o devoluto paço do Fidalgo Rui Palha de Almeida, conselheiro de D. Manuel.
Desse antigo paço subsistem, embebidos nos alçados, algumas portas e janelas geminadas quinhentistas, em estilo gótico, de granito, e do mosteiro a arcada da portaria, com abóbada revestida de pinturas a fresco, datadas de 1689, com ornatos barrocos, de brutescos, laçaria e alegorias de monges eremitas, assim como a casa do lavabo e o refeitório. Estes apresentam coberturas artesoadas e o último um lambrim de azulejos monócromos, com motivos de açafates e de figura avulsa, dos séculos XVII e XVIII.
Da austera fachada, voltada para a antiga Praça do Peixe (Sertório) subsiste, profanada, a igreja colegial, com cobertura pintada ao estilo pompeiano e perspectivado, da tradição italiana do séc. XVIII, e, no alto rodapé, uma interessante barra de azulejos policromos, do tipo tapete e com motivos invulgares, do séc. XVII.