Setho Forsgreno ir Hayko Martiroso sukurtas projektas „Riffusion“ veikia generuodamas sonogramas, kuriose garsas įrašomas į dvimatį vaizdą. Sonogramoje X ašis rodo laiką (dažnių atkūrimo eiliškumą iš kairės į dešinę), o Y ašis – garsų dažnį. Tuo tarpu kiekvieno vaizdo pikselio spalva atspindi garso amplitudę tam tikru laiko momentu.
Kadangi sonograma yra tam tikros rūšies vaizdas, Stabilioji difuzija gali jį apdoroti. S.Forsgrenas ir H.Martirosas apmokė pasirinktą Stabiliosios difuzijos modelį naudodami sonogramų pavyzdžius, susietus su juose vaizduojamų garsų ar muzikos žanrų aprašymais.
Turėdamas šias žinias, „Riffusion“ gali momentaliai sukurti naują muziką, remdamasi vartotojo įvesta tekstine užklausa, apibūdinančia norimą išgirsti muzikos ar garso tipą – pavyzdžiui, „jazz“, „rock“ ir pan. (aprašymai turi būti pateikti anglų kalba). Taip galima sintezuoti ir netikėtus, originalius hibridus – pavyzdžiui „thrash metal trumpet“ ar „hard house norwegian fiddle“.
Sukūręs sonogramos vaizdą, „Riffusion“ naudodamas „Torchaudio“ sonogramą pakeičia į garsą.
„Riffusion“ svetainės lankytojai gali eksperimentuoti su dirbtinio intelekto modeliu naudodamiesi interaktyvia programa, kuri realiuoju laiku generuoja interpoliuotas sonogramas (sklandžiai sujungtas, kad būtų galima nepertraukiamai groti) – o kairėje puslapio pusėje nuolat vizualizuojama spektrograma.
Parengta pagal „Ars Technika“.
