O palácio encontra-se um pouco descaracterizado relativamente à primitiva construção. A fachada apresenta-se rebocada a amarelo-forte e inclui a pedra de armas dos Van-Zeller num dos cunhais. De salientar também, a torre-mirante, que hoje se mostra remodelada e serve o bar do Centro Cultural e Bedeteca que estão a funcionar neste palácio.

É considerado ter sido nesta construção que se localizava a "Toca", residência do Craft no romance Os Maias de Eça de Queirós; local esse onde se desenrolou o cenário dos amores de Carlos e Maria Eduarda. No entanto, existem dúvidas pois a planta do edifício não corresponde à descrição feita em Os Maias.

Actualmente a Quinta do Palácio do Contador-Mor, acolhe nos seus terrenos uma horta, designada por Quinta Pedagógica, onde são dados a conhecer ao visitante aspectos práticos relacionados com o meio rural.

TORRES, Helena; PORTAS, Catarina; FREIRE, Adriana, Olivais - Retrato de um Bairro, Liscenter, 1995.