Žilvinas iš pirmosios santuokos turi 17-metę dukrą Anną Gretą. Ji gimė Vokietijoje, kai jam buvo 25-eri. Ž. Grigaitis nesileidžia į detales dėl savo skyrybų su žmona, sako tik tiek, kad jie puikiai bendrauja iki šiol.
Žilvinas mėgdavo sakyti, kad daugiau gyvenime neves. Tačiau ne kartą užsiminė, kad labai nori sūnaus ir net juokaudavo, kad prie altoriaus ves tą, kuri pagimdys jam sūnų.