De acordo com a tradição, em 1182, depois do milagre de Nossa Senhora da Nazaré, D. Fuas Roupinho mandou construir a Ermida da Memória. Foi demolido o altar primitivo sobre o qual estava a imagem e soterrada a gruta.

Em 1370, o rei D. Fernando, mandou fechar os quatro arcos da Ermida para resguardar da ação do tempo, das chuvas e da maresia, o precioso tesouro.

Em 1616, Frei Bernardo de Brito, cronista do Reino, monge de Alcobaça, conhecido erudito e historiógrafo, veio ao Sítio, em cumprimento de um voto, e procurou pôr a descoberto a gruta onde se encontrava a imagem.

Por cima da porta de entrada, encontra-se o escudo real, em azulejo, que é um marco da presença régia. Ao nível do telhado encontra-se um baixo-relevo em pedra calcária, sendo este uma réplica do original, do século XIV. O verdadeiro baixo-relevo pode ser visitado no Museu Reitor Luís Nési, anexo ao Santuário.

Na fachada virada para a praia da Nazaré, podemos contemplar um painel de azulejo alusivo ao milagre.

O interior da Ermida da Memória é totalmente revestido a azulejos do séc. XVIII, da autoria do Mestre António Oliveira Bernardes, compostos por azulejos de figura avulsa e tapete, apresentando também alguns medalhões figurativos alusivos à simbologia mariana.

Seis degraus de lioz conduzem-nos ao pavimento inferior onde existe uma pequena janela que ilumina a cripta, fazendo incidir um feixe de luz sobre o nicho gradeado em que repousava a imagem original, e onde hoje se observa uma réplica. Na abóbada da cripta podemos também contemplar um belíssimo painel de azulejos representativo do milagre de Nossa Senhora da Nazaré ao Cavaleiro D. Fuas Roupinho.

De ambos os lados da entrada encontram-se duas inscrições gravadas em lioz. A da direita contém um texto da autoria de Frei Bernardo de Brito transcrito da "Monarquia Lusitana", em latim, referente a Nossa Senhora da Nazaré e à origem do seu culto nestas paragens. A inscrição da esquerda é uma tradução do texto da direita.

No altar azulejado estava exposta a imagem de Nossa Senhora da Conceição, que por motivos de conservação, se encontra atualmente no Museu Reitor Luís Nési.