Во времена, когда на Литовские земли нападали татары и отношения с Россией ухудшались, Великий князь литовский Александр в 1503 г. предоставил Вильно (теперь Вильнюс) привилегию построить каменные укрепления вокруг всего города. Говорят, что краеугольный камень стены был заложен там, где путь шел в Мядининкай, и далее - через Ошмяны в сторону Минска. После освящения камня началось строительство ворот, позже получивших название Аушрос (Зари). Когда было закончено строительство каменных стен, неизвестно, однако уже в 1522 г. весь город был опоясан каменной стеной.

Ворота, в которых сейчас находится часовня иконы Матери Милосердной, впервые упомянуты в 1514 г. и названы Мядининкскими воротами. Название Porta Acialis (лат.), Ostra brama (польск.), то есть „Острые ворота“, впервые встречается в 1594 г. Почему эти ворота получили такое название – неизвестно. Литовцы из окрестностей Вильно использовали название Ашмянские (лит. Ашмянс) ворота. Есть предположения, что это связано с названием города Ошмяны (белор. Ашмяны), которое иноязычными людьми было понято дословно (лат. acies, лит. ašmenys – остриё) и переведено на латинский и польский языки. С каких пор их стали называть по-литовски „ворота Аушрос (Зари)“ и почему „Зари“ – тоже неизвестно. Возможно, такое название ворот возникло в связи с образом Девы Марии как „Звезды Зари“.

Образ Матери Милосердной оказался под защитой часовни не сразу. Сначала икона Пресвятой Девы висела на внутренней стороне ворот в небольшой нише как пара висевшему снаружи образу „Спасителя мира“. Оба образа были в собственности города. Икона не имела ни подходящей часовни, ни соответствующего чудотворной иконе убора. Так было до тех пор, пока в город не прибыли босые кармелиты. Они получили участок для постройки монастыря и церкви около Острых ворот.

Церковь кармелиты строили долго, освятили ее лишь в 1654 г. Святыня посвящена великой испанской монахине-мистику, духовной учительнице и реформатору кармелитского монашества св. Терезе Авильской. С самого их обоснования внимание кармелитов привлекал образ, висевший на городских воротах. Монахи организовывали около него богослужения, таким образом поощряя набожность горожан. В 1668 г. городские власти препоручили заботу о образе Богоматери кармелитам, а в 1671 г. заботами монаха-кармелита Святого Духа отца Кароля для образа построена деревянная часовня. Во время строительства образ находился в костеле св. Терезы, позже был торжественно перенесен и установлен в часовне.

В 1702 г. после занятия Вильнюса шведами, было запрещено публично поклоняться образу и вообще собираться на улице. При освобождении ворот пострадал и образ Богоматери – его пробила пуля. В 1711 г. деревянная часовня сгорела, поэтому в 1712–1715 гг. была построена каменная, сохранившаяся до наших дней, часовня, в 1829 г. приобретшая черты позднего классицизма. Часовня была построена таким образом, чтобы верующие могли молиться перед иконой на улице, поскольку попасть в часовню можно было из монастырского сада, и мирянам, особенно женщинам, не разрешалось в нее входить. В 1828–1829 гг. во время ремонта боковые окна увеличены до уровня пола. В 1785 г. было запрещено торговать на улице во время богослужения в Острых воротах. От всех прохожих, независимо от их вероисповедания, требовалось от ворот до часовни Поцеев идти с непокрытой головой.

В 1844 г. за помощь восставшим кармелиты были изгнаны, монастырь передан православным, а часовня передана епархиальному духовенству. С тех пор вход в нее стал открытым. Еще перед открытием часовни, в 1789–1799 гг. по проекту Пьетро де Росси для богомольцев была построена галерея с внутренней лестницей. Это двухэтажная постройка в стиле классицизма с закрытой галереей внутреннего верхнего этажа и открытой нижнего. Первоначально и верхняя аркада была открытой. Во время ремонта 1830 г. бывшая деревянная балюстрада была заменена каменными парапетами и проёмы закрыты окнами, перестроена лестница внутри галереи. Сейчас на верхнем этаже галереи установлен орган (раньше он был по обе стороны алтаря), а сама галерея соединена с часовней.

В 2002 г. здание часовни было тщательно отреставрировано, открыты закрашенные детали декора XIX в.