Костел Всех Святых и монастырь обутых кармелитов построены в 1620-1631 гг. Костел имеет форму базилики, состоит из трех нев и выполнен в форме умеренного барокко. В 1748 г. пожаром уничтожена внутренняя часть храма. В 1754 г. его алтари, костёльная кафедра и балконы, хоры для монахов реконструированы в стиле позднего вильнюсского барокко, при использовании искусственного мрамора, с множеством скульптур (вероятно, по проекту И. К. Глаубица).

Построенная в 1743 г., отдельно стоящая колокольня украшена многочисленными мелкими элементами, диссонирующими с серьезным фасадом костела. В костеле сохранилось 13 алтарей. В 1948 г. костел был закрыт и использовался в качестве склада бакалейных товаров. Совет министров постановил вернуть этот костел верующим взамен закрывающегося костела Св. Сердца Христова, но решение не было приведено в исполнение. В 1967-1975 гг. под руководством архитектора Алдоны Швабаускене костел и колокольня были отреставрированы. В 1975 г. здесь размещалась экспозиция народного искусства Художественного музея.