Estijoje gimęs S.Paberžis per savo karjerą rungtyniavo Šiaulių, Klaipėdos, Kauno ir Vilniaus miestų komandoms, 19 kartų gynė Lietuvos futbolo rinktinės garbę.
Baigęs karjerą S.Paberžis treniravo Vilniaus „Spartako“, „Žalgirio“ ir „Saliuto“ komandas, o 1956 metais tapo Lietuvos futbolo rinktinės treneriu.
Kurį laiką S.Paberžis dirbo Lietuvos futbolo federacijoje, vėliau ėmėsi plunksnos - rašė laikraščio „Sportas“ priede „Futbolas“.
Savo gyvenimą su futbolu susiejo ir S.Paberžio sūnus Gediminas - ilgą laiką jis žaidė Vilniaus "Žalgirio" komandoje, o baigęs karjerą tapo treneriu.