1647 m. apylinkes valdžiusių Karolio ir Marijos Rastauskų iniciatyva pastatyta nauja medinė bažnyčia, turėjusi 5 altorius, o senajai parapijai padovanotas palivarkas. Dėl to Pabiržė kurį laiką net buvo vadinama Rastauskyne. Ilgainiui šis šventorius buvo apleistas, tad klebono Gasparo Antano Šarkevičiaus rūpesčiu nuspręsta miestelį papuošti mūrine bažnyčia.
Buvusio piliakalnio vietoje 1772 m. baigti paskutiniai šventoriaus statymo darbai – vietoj senosios pastatyta nauja bebokštė vėlyvojo baroko bažnyčia su iškeltais geležiniais kryžiais. Šventoriaus pašonėje glaudėsi sandėliukas – lavoninė. Tokio tipo statinys Lietuvoje vienintelis. Netrukus pastatyta originali, miestelio tylą savo gaudesiu budinusi varpinė, įrengta mūrinė klebonija. Rašytiniuose šaltiniuose minima, kad parapijoje veikė mokykla, į kurią susirinkdavo apie 30 mokinių. Vėliau, šventoriaus sienoms pradėjus skilti, jis buvo nugriautas.
1910 m. išmūryta nauja – jau ketvirta – Švenčiausiosios Trejybės vardą turinti neogotikinė bažnyčia. Šiomis dienomis išlikęs architektūrinis ansamblis yra Tatulos kraštovaizdžio draustinyje, o čia stovėjusių pirmųjų Pabiržės bažnytėlių vietos pažymėtos paminkliniu akmeniu.