Костёл визитации Пресвятой Девы Марии был построен в 1615 году при финансовой помощи владельца местечка, Виленского каштеляна (градоначальника) Иеронима Ходкевича. Автором этого величественного строения в стиле барокко был знаменитый архитектор польского короля Сигизмунда III Джованни Баттиста Тревано (создатель знаменитого костёла Петра и Павла в Кракове).
По утверждению архивных документов, уже в 1615 году при костёле существовала церковно-приходская школа, а с 1794 года и больница для убогих.
В 1621 году в здании костёла в специальном саркофаге было захоронено сердце прославленного военачальника Яна Кароля Ходкевича, одержавшего победу в 40-дневной кровопролитной битве с турками под Хотином в 1621 году и предотвратившим нашествие янычар на Западную Европу и распространение на христианских землях ислама. В дальнейшем костёл выполнял функцию некрополя. Под зданием костёла находится крипта, в которой хоронили самых знатных владельцев Берестовицы.
В1741 году проведена значительная реконструкция здания, что породило со временем утверждения, якобы он построен в 1741 году.
В Большой Берестовице действовала революционно-демократическая организация, созданная Кастусем Калиновским, направленная против власти Российской империи на территории Царства Польского и Западного края. Восстание было направлено на восстановление Речи Посполитой в границах 1772 года. В организацию входили настоятель местного костёла Игнатий Козловский, землемер Феликс Рожанский и несколько других жителей Берестовицы. Костёл служил пристанищем для революционеров, которые в подвальных помещениях печатали номера знаменитой агитационной газеты «Мужицкая правда». После подавления восстания в1865 году костёл был закрыт. Здание передано православному приходу и было перестроено под православную церковь. В1920 году храм опять был передан католикам. Но в это время в местечке уже был построен новый костёл, поэтому служба в старом костёле проводилась только 2 раза в год.
Во время Великой Отечественной войны здесь некоторое время помещались советские, а потом и немецкие военнопленные. После войны в костёле было зернохранилище, затем складские помещения райпотребсоюза. В середине 1980-х годов была разработана документация на его реставрацию, но перестройка приостановила этот процесс. А в конце августа 1991 года вспыхнул пожар, в результате которого сгорели леса и крыша.
