1992–1996, 1996–2000, 2000–2004, 2004–2008 ir nuo 2008 metų jis buvo Seimo narys. 2001–2004 meais - Europos reikalų komiteto pirmininko pavaduotojas. Nuo 2004 metų - Užsienio reikalų komiteto pirmininkas.
Dažnai kviesdavo į delegacijas
V. Adamkus prisiminė, kaip J. Karosas daug kartų buvo jo delegacijų vizitų užsienyje nariu ir padėdavo jam itin sudėtingų derybų su kitų valstybių vadovais metu: „Jis turėjo šviesų ir protingą užsienio tarptautinės politikos supratimą. Todėl stengdavausi jį pasikviesti į tuos vizitus ar derybas, kurios vykdavo ne plačiose auditorijose, o kartais tik prie kelių žmonių ir jų metu reikėdavo šalia turėti išmintingą patarėją, sugebantį rasti išeitį iš pačios sudėtingiausios ar labai konfliktiškos situacijos. J.Karosas, kaip reta tarp politikų, mokėdavo sušvelninti derybų įtampą taikliu žodžiu ar pajuokavimu ataušinti diskusijų temperatūrą.“
Prezidentas taip pat prisipažino jaučiantis J. Karosui pagarbą ir dėkingumą už tai, kad jis savo įvairias pažintis bei draugystę su įtakingais užsienio politikais panaudodavo ne kokiems nors asmeniniams ar siauriems politiniams tikslams, o Lietuvos naudai: „J. Karosas buvo žmogus, pasitarnavęs Lietuvos tarptautinio prestižo stiprinimui, o kartais, kai situacija atrodydavo iš tikrųjų be išeities, per daug nekalbėdamas paskambindavo arba pakalbėdavo su kokiu noriu savo įtakingu pažįstamu. Juk kartais ne kalbėjimas ar rėkavimas iš aukštų tribūnų numalšina pačias didžiausias politines audras ar konfliktus, o šilti asmeniniais politikų santykiai.“
V. Adamkus atkreipė dėmesį ir į tai, kad J. Karosas sugebėdavo visada labai blaiviai įvertinti tarptautinių ar užsienio reikalų problemas: „Jis tai darydavo nesvajodamas, kad kažkas galėtų pasikeisti, jei maža Lietuva griebtųsi gąsdinimų ar konfrontacijos.
Jo įžvalgos, ieškant sprendimų, visa būdavo pasvertos, išmąstytos, objektyvios. Tik gaila, kad ne visi tai suprasdavo ir ne visada pavykdavo tai įgyvendinti.“
Laiko save politiniu sūnumi
Druskininkų merui Ričardui Malinauskui, artimai bendravusiam su J. Karosu daugiau nei dešimtmetį, jo netektis itin skaudi: „Džiaugiuosi, kad man teko laimė bendrauti su viena iškiliausių Lietuvos asmenybių, žmogumi iš didžiosios raidės visomis prasmėmis. Tik jo dėka ir jo paragintas atėjau į politiką. Todėl laikau save jo politiniu sūnumi ir tuo didžiuojuosi. Apie tai esu kalbėjęs ir jo žmonos, ir dviejų dukterų akivaizdoje.“
Pasak R. Malinausko, J. Karosas jo atmintyje dar išliks, ir kaip tolerancijos, supratimo bei tarnavimo ne asmeniniams, o tik valstybiniams interesams pavyzdžiu.
Prisimindamas savo, kaip politiko, karjeros pradžią 2000 metais, R. Malinauskas pasakojo, kad tuo metu prie Druskininkų buvo prijungtos kaimiškosios vietovės, tarp jų ir Grūtas, kur jis kartu su tėvu gyveno ir turėjo savo verslą.
„Tada Druskininkai merdėjo ir buvo vadinamas be jokių perspektyvų pensininkų miestu, o politikai ieškojo mąstančių asmenybių, kurios ateitų į politiką ir savo patirtimi atsvertų pseudopatriotų politikavimus. Kai buvau išrinktas į Druskininkų tarybą ir man buvo siūloma kandidatuoti į mero postą, profesorius J. Karosas buvo tas žmogus, kuris mane labiausiai tokiam žingsniui akino ir padėjo derybose su labiau patyrusiais politikais. Todėl aš ir leidžiu sau jį vadinti savo mokytoju bei politiniu tėvu.“ .
Dar planavo daug darbų
R. Malinauskas su J. Karosu atvirai pasikalbėdavo ne tik apie politiką ar Druskininkų reikalus, bet ir apie sveikatos problemas: „Apie tai kalbėjomės ir prieš metus, ir pastaruoju metu. Bet mūsų pokalbiai būdavo tik akis į akį. Paskutinį kartą matėmės prieš porą savaičių. Tada irgi įdomiai diskutavome, o profesoriaus sveikata buvo tokia, kad kartu planavome ir miesto šventę atidaryti, ir centrinį parką, ir fontaną. Gaila, kad jo sveikata taip staiga pablogėjo.“