Kościół Wszystkich Swiętych i klasztor karmelitów trzewiczkowych zbudowano w okresie lat 1620-1631. Kościół jest bazylikowy, trójnawowy, o powściągliwych kształtach barokowych. W 1748 r. spłonęło jego wnętrze. W 1754 r. wszystkie ołtarze, ambona i balkony, chóry zakonne zostały zrekonstruowane w stylu późnego baroku wileńskiego z zastosowaniem sztucznego marmuru, licznych rzeźb (prawdopodobnie według projektu Glaubitza). Osobno stojąca przesadnie udekorowana dzwonnica (zbudowana w 1743 r.) niezbyt harmonizuje z poważną fasadą kościoła. Zachowało się w nim 13 ołtarzy. W 1948 r. kościół zamknięto i przekształcono w magazyn artykułów spożywczych. Rada Ministrów postanowiła oddać ten kościół wiernym zamiast zamykanego kościoła Najśw. Serca Jezusowego. Słowa nie dotrzymała. W latach 1967-1975 pod kierunkiem Aldony Švabauskiene odrestaurowano kościół i dzwonnicę. W 1975 r. urządzono tu ekspozycję twórczości ludowej Akademii Sztuk Pięknych. W 1991 r. kościół zwrócono wiernym. Działa przy nim stołówka dla dzieci bezdomnych.