Canisius koledže krepšininko karjerą pradėjęs J.McCarthy dukart padėjo savo mokyklai prasimušti į NCAA lemiamas akistatas, tačiau koledžas taip ir nelaimėjo svarbiausių rungtynių.
185 cm ūgio J.McCarthy NBA žaidė šešis sezonus ir triskart su Sent Luiso „Hawks“ klubu siekė čempiono titulo, tačiau finale nusileido tuomet karaliavusiam „Boston Celtic“.
Iš viso Bostono ekipa praėjusio amžiaus penktame ir šeštame dešimtmečiuose NBA pirmenybėse triumfavo 11 kartų.
1958-aisiais „Hawks“ finale įveikė „Celtics“, tačiau J.McCarthy tuomet tarnavo kariuomenėje.
Be to, J.McCarthy du sezonus atstovavo naujokų biržoje jį pasirinkusiai „Rochester Royals“ ekipai bei sezoną – „Boston Celtics“. Būtent su šia ekipa J.McCarthy tapo NBA čempionu 1964-aisiais ir po sezono baigė karjerą, trukusią nuo 1956-ųjų.
Jis buvo vienas iš keturių krepšininkų, kuris debiutinėse atkrintamosiose rungtynėse sugebėjo pasižymėti trigubu dviženkliu – mače su „Minneapolis Lakers“ 1960-ųjų kovo 16 dieną jis pelnė 13 taškų, atsikovojo 11 kamuolių ir tiek pat atliko rezultatyvių perdavimų.
Tokį debiutą pakartoti sugebėjo tik Magicas Johnsonas (1980 m.), LeBronas Jamesas (2006 m.) ir Nikola Jokičius praėjusį sezoną.
Per karjerą NBA J.McCarthy sužaidė 316 rungtynių, vidutiniškai įmesdamas 7,8 taško ir atlikdamas 3,7 rezultatyvaus perdavimo.
NCAA čempionate jis iš viso pelnė 1160 taškų ir pateko tarp geriausių 24 žaidėjų Canisius koledžo istorijoje.
J.McCarthy daugiau kaip 30 metų dirbo Canisius koledže, treniravo krepšinio ekipas.
Buvęs krepšininkas mirė savo namuose Bufale.
