Visų Šventųjų bažnyčia ir sandaluotųjų karmelitų vienuolynas pastatyti 1620-1631 m. laikotarpiu. Bažnyčia bazilikinė, trinavė, saikingų baroko formų. 1748 m. sudegė jos vidus. 1754 m. visi jos altoriai, sakykla ir balkonai, vienuolių chorai buvo rekonstruoti vėlyvojo vilnietiško baroko stiliumi, panaudojus dirbtinį marmurą, daug skulptūrų (matyt, pagal J.K. Glaubico projektą)

Atskirai stovinti varpinė (pastatyta 1743 m.) dekoruota perdėm žaismingomis smulkiomis formomis, yra gana svetima rimtam bažnyčios fasadui. Bažnyčioje išliko 13 altorių. 1948 m. bažnyčią uždarė ir pavertė bakalėjos prekių sandėliu. Ministrų Taryba nutarė vietoj uždaromos Šv. Jėzaus Širdies bažnyčios šią grąžinti tikintiesiems. Tačiau nutarimo neįvykdė. 1967-1975 m. restauruota bažnyčia ir varpinė. 1975 m. įrengta Dailės muziejaus liaudies meno ekspozicija

1991 m. grąžinta tikintiesiems. Prie jos veikia valgykla benamiams vaikams.