Trata-se de uma edificação setecentista, posterior ao terramoto de 1755. Este palácio (com uma bela quinta anexa) foi mandado construir em 1760 por D. João Carlos de Bragança de Sousa Ligne Tavares Mascarenhas da Silva, mais tarde, em 1779, 2º Duque de Lafões, a quem se deve a criação da Academia de Ciências. Era filho segundo do Infante D. Miguel, o qual era filho de D. Pedro II. D. João Carlos, em 1761, quando morreu seu irmão, o 1º Duque, e não se encontrando nas boas graças de D. José, ou seja, do Marquês de Pombal, foi viver para Inglaterra. Percorreu todas as cortes europeias, assim como viajou pela Ásia e África, só tendo regressado quando D. Maria I subiu ao trono, e recebendo então o título de 2º Duque. Foi estadista e homem público, e aos 82 anos ainda era general-marechal comandante do exército português. Em 1801, regressou ao seu palácio e quinta do Grilo. Na fachada do palácio, virada para a Rua do Grilo, existe uma pedra que diz "S. Bto de Xabregas", o que atesta que os terrenos onde foi edificada esta propriedade pertenciam aos frades de S. Bento (depois do Beato António), cujo convento ficava próximo. O edifício pertence à Casa de Lafões e as suas salas foram restauradas; há cerca de cento e oitenta anos que têm sido feitas algumas reedificações, o que tem tornado confuso o conjunto dos corpos e dependências. Este palácio foi sumptuoso e tinha uma verdadeira galeria de arte, assim como uma preciosa biblioteca. A fachada do lado norte, virada para a quinta, é bastante graciosa, ao gosto setecentista. O interior do palácio ainda conserva bons quadros a óleo, sobretudo retratos de família, entre os quais se encontra uma boa composição que lembra o pincel de Domingos Sequeira. Os jardins e o resto da quinta apresentam um aspecto de abandono. Está para ser classificado como Imóvel de Interesse Público.