O mosteiro de S. José do Carmo ficava situado na antiga rua da Infesta, hoje largo dedicado ao arqueólogo vimaranense Martins Sarmento.O negociante Francisco Antunes quis fundar um convento, para religiosas, em honra de Santa Teresa, a primeira pedra foi lançada em 26 de Março de 1685, sendo dita a primeira missa ainda antes de acabarem as obras, em 1687, ano em que algumas senhoras tomaram o hábito carmelitano, com o título de recolhidas dos carmelitas.Por volta de 1704, estando o edifício concluído, receberam a bula do papa autorizando as religiosas a tomarem o véu das carmelitas calçadas, trocando a primitiva evocação de Santa Teresa pela de S. José. No entanto, como na igreja deste convento o lugar central do altar era ocupado pela imagem de Nossa Senhora do Carmo ficou conhecido por esse nome.Esta comunidade de carmelitas viveu até 1743, debaixo da obediência do provincial dos carmelitas calçados sustentando repetidas e complicadas demandas por falta de jurisdição consistente e aceite de quem haveria de depender este convento. Sabe-se que no governo do arcebispo de Braga, D. Rodrigo de Moura Teles, em 1726, foi instaurado às freiras um interdito, por haverem tomado, de uma forma livre e contra seu desejo, véu preto. Contudo em 1748 esta comunidade aceitou a plena jurisdição do Ordinário no episcopado de D. José de Bragança. A este devem a construção da sua capela-mor, a edificação do mirante, a extensão da cerca e o alargamento do terreiro fronteiro à igreja.A última freira, D. Catarina Angélica do Amor Divino, faleceu em 1854, vinte anos depois da extinção das Ordens religiosas em Portugal, ficando o edifício propriedade nacional. Mais tarde, devido aos esforços do relançamento da fé, clérigos e leigos constituem-se em associação, lavram os seus estatutos e “chamam a si a fábrica da Igreja” e reconstituem a ordem do Carmo. A 27 de Julho de 1866, por Breve Apostólico a Irmandade do Carmo foi elevada à categoria de Ordem Terceira do Carmo, confirmado, pelo geral da Ordem Carmelitana em Roma a 30 de Julho de 1868.O convento foi concedido ao Ministério de Guerra instalando-se nele o Batalhão de Caçadores 7, que foi mais tarde para Valença. Sabe-se também que funcionou nas suas dependências o Hospital Militar.Finalmente, as instalações foram cedidas, por decreto de 30 de Maio de 1860, para o Asilo de Infância Desvalida de Santa Estefânia-Amor de Deus e do Próximo, que ainda lá se mantém, e cuja comissão tomou posse em 27 de Agosto de 1862.