Tačiau nepaisant uždirbtų turtų, J.Oliveris savo keturis vaikus – tris dukras ir sūnų – pasiryžęs auginti nesuteikdamas jiems jokių privilegijų ir nelepindamas. Per BBC radijo interviu kulinaras pareiškė, kad kai kiekvienam iš vaikų sueis dešimt metų, šeštadieniais bei sekmadieniais jie po tris valandas turės dirbti virtuvėje.
J.Oliveris nori savo vaikus išmokyti vertinti darbą ir pinigus. „Noriu būti tikras, kad jei gyvenime jie ko nors panorės, dėl to atkakliai dirbs, – sakė 35 metų kulinaras. – Ir jokių kišenpinigių. Atrodytų, tai banalios tiesos, bet taip elgėsi ir mano tėvas.“
J.Oliveris auklėjimo ir ugdymo problemomis susidomėjo jau seniai. Savo restorane „Fifteen“ jis įdarbina probleminius paauglius, kad jie išmoktų dirbti virtuvėje. Be to, garsusis virėjas jau kelerius metus ragina mokyklas vaikams tiekti tik šviežią ir natūralų maistą.