O convento de Nossa Senhora do Desterro foi fundado em 1631 por Pero da Silva, o Mole, que depois foi vice-rei da Índia.
Diz a lenda, que ainda hoje subsiste, que a fundação deste convento se deve ao cumprimento de uma promessa, feita no alto mar por dois navegantes que se achavam em perigo, de construírem ambos uma igreja no lugar da terra de Portugal que primeiro avistassem do mar.
Diz também a lenda que o fundador trouxera consigo da Índia uma pequena imagem da Nossa Senhora, em marfim, imagem que, depois da sua morte, os frades veneravam como relíquia, até que, para a salvar do vendaval de 1834, um deles a escondeu debaixo do hábito e foi pedir a uma senhora, que a recolhesse.
Atualmente, as ruínas do Convento de Nossa Senhora do Desterro erguem-se num lugar muito aprazível, rodeada de arvoredo, de onde se desfruta de um dos mais belos panoramas desta encantadora região.
De arquitectura Manuelina, o edifício do convento era um quadrilátero, sendo o lado oriental constituído pelo primeiro átrio (onde se encontra o brasão de armas em que se compreende ainda o leão dos Silvas), corpo da igreja e capela-mor, o lado norte pela antiga sacristia e ruínas de uma antiga capela, o lado poente, pela frente desta capela e celas, e o sul, também ocupado por celas, a frente da igreja e a torre.
No centro situa-se, o antigo claustro e, sob os toscos arcos do lado sul, a porta da casa mortuária. Por cima e por baixo desta arcada, seguia em volta um corredor, vendo-se ainda algumas cruzes da Via Sacra, em azulejos.
O átrio chamado a «Portaria» era segundo a tradição, o local onde os pobres da vila iam receber os caldos que os frades lhes davam.
A poente, havia outra entrada, onde se localizava o refeitório com as toscas mesas ao lado. Ao fundo havia uma mesa mais pequena que, segundo se diz, era destinada ao superior do convento e a mais um ou dois membros mais graduados da comunidade. Estas mesas eram constituídas por grossos pranchões de madeira assentes em pés de alvenaria. Por detrás da mesa do superior, na parede, existia um belo quadro de azulejos, representando «A Última Ceia», de Leonardo da Vinci. No canto esquerdo, à entrada, ficava o púlpito para a leitura e à direita situava-se a cozinha do convento.
A imagem de Nossa Senhora do Desterro, orago do Convento, encontra-se atualmente na ermida de S. Sebastião.
Um pouco abaixo das ruínas, na quinta do convento, encontra-se a Fonte dos Passarinhos, em tempos revestida com azulejos mostrando aves em diversas posições, e uma bela magnólia, árvore multicentenária, que se pensa ter sido trazida da Índia pelo fundador do convento em 1631. Esta árvore encontra-se classificada como de Interesse Público.
