Este convento foi edificado em 1664 ou 1666 e pertenceu aos frades Agostinhos Descalços (os frades "grilos"). Foi fundado pelo Padre Fr. Manuel da Conceição, que conseguiu para a obra as boas graças da rainha D. Luisa de Gusmão, já viúva de D. João IV, e então regente do Reino. Tinha a invocação de Nossa Senhora do Monte Olivete. A 23 de Outubro de 1683 sofreu um violento incêndio, o qual destruiu parte do convento e da igreja. Logo a seguir começaram as obras de reconstrução mas, devido ao terramoto de 1755, voltou a ser atingida; no entanto, não foi vítima de incêndio e facilmente foi restaurada. Após a extinção das ordens religiosas instalou-se neste convento o Recolhimento de Nossa Senhora do Amparo que anteriormente se encontrava na Mouraria. No primeiro átrio, ou portaria, encontram-se guarnições ou silhares de azulejos do final do séc. XVII, representando cenas bíblicas com legendas latinas, muito bem conservados. Aí se encontra, igualmente, uma inscrição relativa a um antigo colégio (Colégio dos Meninos Órfãos) da Mouraria, ao qual sucedeu, nesse bairro, o Recolhimento do Amparo, para aqui transferido em 1835. Segue-se um outro vestíbulo, mais alto, igualmente guarnecido de boa cerâmica azul. Desse vestíbulo nasce a Escadaria do Convento, semelhante à de um palácio pelo seu nobre traçado. As paredes dos lanços da escadaria são revestidas por azulejos com cenas da Corte, de caça e do campo, do tipo de S. Vicente, assim como representando alguns passos da vida de S. Francisco Xavier, numa mistura de aspectos místicos e profanos. O tecto é em estuque, talvez de João Grossi ou da sua escola, datando de 1746; foi restaurado em 1870, assim como parte do edifício. Os corredores do Recolhimento mantém a feição conventual; é um edifício rico em azulejos, sendo as portas das celas (hoje aposentos das idosas recolhidas) guarnecidas de cerâmica do séc. XVIII, e podendo ver-se nas sobreportas expressivas legendas latinas de versículos do Novo Testamento. A igreja passou a servir de sede à paroquial de S. Bartolomeu (igreja destruída pelo Terramoto), a qual anteriormente se encontrava no Beato. A sua fachada mantém o aspecto inicial do séc. XVII, com três arcos de acesso à galilé, cinco janelas que iluminam o interior da igreja e ostenta, no seu alto tímpano um medalhão com coroa real. A igreja é de uma só nave e tem seis capelas laterais (três de cada lado) e duas colaterais no transepto. Do lado esquerdo, encontra-se a capela de S. Sebastião, onde se encontrava a imagem de Nossa Senhora da Atalaia, a seguir a capela de Nossa Senhora das Barraquinhas ou de Nossa Senhora do Bom Despacho, imagem principal da capela; segue-se a capela do Santíssimo, com a imagem de Nossa Senhora da Soledade. Do lado direito, encontram-se as capelas do Senhor dos Passos, de Nossa Senhora do Carmo e do Senhor do Horto, anteriormente a de Nosso Senhor da Cana Verde, outra pitoresca invocação. As capelas do transepto são, do lado esquerdo, a do Coração de Jesus, antiga Nossa Senhora da Graça e, do lado direito, de Nossa Senhora das Dores, antiga da Soledade. A capela-mor é decorada com materiais nobres e o altar-mor é ornado com colunas salomónicas enfloradas, em mármore policromo e coroado de armas reais. Neste altar encontram-se as imagens de Nossa Senhora do Monte Olivete, orago do convento, de S. Bartolomeu, orago da paróquia e de Santo Agostinho. O tecto da igreja não tem grande interesse (estuque em abóbada de arco de cesto). Na sacristia encontram-se azulejos historiados, de boa qualidade, do séc. XVIII, assim como dois quadros, de um autor conhecido como Joaquim Rafael (?), representando Nossa Senhora da Boa Viagem e a Fuga para o Egipto.