Pirmieji maldos namai šioje vietoje iškilo dar 1720 m. Tai buvo kunigo Juozo Šarkevičiaus įkurta medinė bažnyčia, turinti 3 altorius su 8 registrų vargonais, XIX a. vid. gavusi 20 žemės dešimtinių iš dvarininko Koscialkovskio. Ilgainiui šventorius šiek tiek išsiplėtė: į bokštą buvo įkelti 2 varpai, kunigo Mykolo Januškevičiaus iniaciatyva pastatyti ūkiniai trobesiai, pradėtos rašyti metrikų knygos.
XIX a. pab. maldos namų teritorija apjuosta akmenų mūru, J.Viksvos pastangomis pastatyta nauja klebonija, užsėtas didelis sodas. 1907 m. buvo pastatyta nauja medinė, dvibokštė, trijų altorių bažnyčia. Ji lygiai po 40 m. supleškėjo ugnyje kartu su klebonija ir visais komplekse buvusiais ūkiniais pastatais.
Po Antrojo pasaulinio karo čia iškilo gyvenamąjį namą primenantis šventorius, kuris 2001 m. spalio 12 d. taip pat sudegė. Kurį laiką buvo abejojama, ar Suostui tikrai reikia dar vienos šventovės, tačiau apylinkės žmonės pabrėžė tokio statinio svarbą netoli bažnyčios palaidotam iškiliausiam Lietuvos knygnešiui Jurgiui Bieliniui atminti.
2004 m. buvo palaimintas kertinis akmuo šių dienų šv.Kristaus Išaukštinimo bažnyčiai, į kurios pradėtus pamatus buvo įdėta kapsulė su šventoriaus statybų rėmėjų pavardėmis ir parašais. Bažnyčią pašventino Panevėžio vyskupas Jonas Kauneckas ir apaštalinis Nuncijus arkivyskupas Peter Stephan Zurbriggen.
Suosto kapinės – tai
amžino poilsio vieta, priglaudusi ne vieną žymų Lietuvos žmogų.
Jos išsidėsčiusios aplink šv.Kryžiaus Išaukštinimo bažnyčią,
o čia esantis kuklus paminklas iš lauko akmenų patraukia ne vieno
lankytojo dėmėsį. Tai memorialas skirtas vienam iškiliausių
Lietuvos knygnešių Jurgiui Bieliniui ir jo žmonai Onai atminti.
1931 m. kalvio J. Korsako padirbtą paminklą statė šauliai,
pavasarininkai, skautai ir tautininkai.
Netoliese
palaidoti pirmojo Lietuvos prezidento Antano Smetonos bei ilgamečio
Lietuvos premjero Juozo Tūbelio uošvių, Antano ir Marijos
Chadauskų, palaikai. 2006 m. čia iškilo Z.Pipirienės
suprojektuotas jiems skirtas memorialas. Be to, kaimelio šventoriuje
palaidoti ir tokie žmonės kaip kunigas Daukša, diakonas
Brazauskas, Sebentiškio dvarininkai Kriauzos.