Считается, что в 1529 г. в Бирштонасе уже стояла церковь (ведь в официальных документах Бирштонас называется городом). В начале XVII в. на старосту Пренай и Бирштонаса Каспараса Хорвартаса было возложено обязательство по восстановлению костёла, пришедшего в упадок, с тем, чтобы сделать его филией (филиальным, приписным костёлом) Пренайского костёла (филия (лат. filia – дочь) – в крупном католическом приходе второй, вспомогательный костел с постоянным священником – викарием ил др., постоянно проживающим при филии. Находится в ведомстве настоятеля приходского костёла, располагает ограниченной территорией. Создавались в отдаленных от приходского костёла местностях для облегчения пастырского попечения. Обслуживающий филию священник обладает полномочиями управлять имуществом прихода, сочетать браком, вести метрические книги. Отношения филии с приходским костёлом устанавливаются епископом-ординарцем). Затем, в середине XVII в., Король Польши и Великий Князь Литовский Владислав IV подарил филии Пренайского костёла 7 деревенский усадеб вместе с крепостными. Во время Северной войны (в 1655 г.) костёл сгорел, поэтому было необходимо снова восстановить его. Заботами старосты Пренай князя Казимира Сапеги и на его средства новый костёл построен в 1787 г. Бирштонасский приход восстановлен в 1795 г. Новый каменный костёл в 1900 году был спроектирован знаменитым архитектором Вацловасом Михнявичюсом. Краеугольный камень костёла был заложен в 1903 г. Работы возглавлял настоятель Бирштонасского приходского костёла Йонас Карвялис, а строительный надзор осуществлялся архитектором Эдмундасом Фрикасом. В 1909 г. костёл освящён под титулом Св. Антония Падуанского. Бирштонасский костёл с высокой башней возведён в неоготическом стиле. Внутри он трёхнефовый, сводчатый, а его мозаичный пол выложен каменными плитами.

Храм украшает картина художника Никодемаса Силванавичюса «Св. Иуда Фаддей». Другая картина, «Св. апостол Симон», принадлежит кисти неизвестного литовского художника. В центральном алтаре костёла находится картина Пресвятой Девы Марии из Святых Ворот (Ворот Зари) (автор Стансловас Гобята), а расположенная в левом боковом алтаре картина «Св. Иосиф с Младенцем», как считают, дошла до нас из костёла XVIII века.

Костёл украшен впечатляющими витражами. В 1984-1986 годах священник тогдашнего костёла Миколас Мариёнас Пяткявичюс, призвав на помощь знаменитого литовского витражиста Витаутаса Шварлиса и художника Андрюса Гедримаса, увековечил 500-летнюю годовщину Крещения Литвы (1387 г.) и 500-летие со дня смерти Св. Казимира, покровителя Литвы (1484 m.). На витражах изображены крестители Литвы князья Миндаугас (1251) и Витаутас Великий (1386), епископы Мотеюс Валанчюс и Валериёнас Протасявичюс (литовский просветитель XVI в.). На других витражах изображены: Св. Георгий, архангел Михаил, Св. Максимилиан Кольбе (мученик XX в.).

Орган в костёле был установлен примерно в 1908 г. хорошо известным в то время органным мастером из Каунаса Йонасом Гаралявичюсом Йонас Гаралявичюс. Автор органного проспекта - Адомас Каралюс (1908 г.). Большинство металлических труб органа - фабричного производства, разные части исполнительского пульта, что было нередким для Литвы конца XIX в. – начала XX в., куплены в Германии или соседних странах Западной Европы, деревянные трубы и большинство механических устройств изготовлено в Литве. В 1959 г. капитальный ремонт органа был проведен Станисловасом и Людвикасом Черняускасами. В 1999 г. орган отреставрирован органным мастером Пикутисом Лаймонасом из Вильнюса.

Передняя часть костёльного двора опоясана металлической оградой с металлическими воротами, отлитыми во Влоцлавике (Польша).
В костёле празднуются храмовые праздники Св. Антония Падуанского, Пресвятой Девы Марии Скапулярии, Пресвятой Богородицы, Божьей, проходят концерты сакральной музыки.