Hudba generovaná umelou inteligenciou (AI) sa už stala realitou. Nástroje AI teraz dokážu vytvárať hudbu iba pomocou textovej výzvy a výsledky prekračujú všetky očakávania.
To však neznamená, že nástroje AI môžu priamo vytvárať hudbu. Namiesto toho hudba prechádza cez generátory obrázkov AI, ktoré vytvárajú spektrogramy hudby. Tieto spektrogramy potom môžete previesť na zvukové klipy. Znamená to, že hudba vytvorená umelou inteligenciou v budúcnosti nahradí hudbu vytvorenú ľuďmi?
Umelá inteligencia založená na obrázkoch učí počítačové algoritmy rozpoznávať obrázky miest a objektov. Potom sa používajú algoritmy na reprodukciu podobných, ale jedinečných obrázkov. Dobrými príkladmi sú DALL-E a Stable Diffusion. V súčasnosti môžete pomocou týchto programov vykresliť čokoľvek, čo chcete. Všetko cez text!
Takže nástroj AI, ktorý dokáže vytvárať spektrogramy, sa nazýva Riffusion. Ide o najnovší projekt AI a vo svojej podstate ide o generátor obrázkov z textu na báze stabilnej difúzie (Stable Diffusion). Ale ako sa stal schopným tvoriť hudbu?
Za Riffusion stoja robotik Heik Martiros a softvérový vývojár Seth Forsgren. Chceli otestovať, či moderné programy AI dokážu fungovať v oblasti zvuku. Tak sa začala hudobná cesta Riffusion. Forsgren o technológii hovorí takto: „Hake a ja spolu hráme v malej kapele a začali sme projekt len preto, že milujeme hudbu. Po tom, čo sme videli úžasné výsledky Stable Diffusion pre generovanie obrazu, položili sme si otázku, ako by vyzeralo použitie difúzneho prístupu na tvorbu hudby?
Aby to zistil, tím dvoch trénoval open-source Stable Diffusion na spektrogramových obrázkoch. Boli kombinované s textom. Potom bol program schopný vytvoriť spektrogramy hudby na základe určitých indícií.
Najprv nevedeli, či architektúra modelu Stable Diffusion dokáže vytvoriť obraz spektrogramu s dostatočnou presnosťou na konverziu na zvuk, ale ukázalo sa, že to dokáže a ešte viac. Martiros a Forsgren zverejnili svoje výsledky na oficiálnej stránke Riffusion. Najprv to bol hobby projekt. Teraz však môžu návštevníci pridávať svoje vlastné textové tipy. To prinúti Riffusion generovať spektrogram. Neskôr ho môžu návštevníci použiť ako zvukový klip a prehrať si ho na stránke.
Výsledky v tejto fáze nemusia byť veľmi kvalitné. Rozhodne to však nie je také zlé, ako si možno myslíte.
Riffusion sa tiež môže pokúsiť prehrať skladby, ktoré obsahujú rap v štýle Eminema a K-Pop. Ale funkcia generovania textov nie je taká dobrá. Namiesto textu budete počuť melodický ľudský gýč. Ale najzaujímavejšie je, že tento gýč stále zodpovedá tónu piesne.
Táto technológia ešte nie je pripravená nahradiť ľudskú hudbu. Projekt nám však ukázal, že algoritmy spracovania obrazu AI majú stále veľký potenciál. Čoskoro sa môže stať pomocníkom pre autorov hudby. Možno na získanie inšpirácie na napísanie piesne.
Môžete pomôcť Ukrajine v boji proti ruským útočníkom. Najlepším spôsobom, ako to urobiť, je darovať finančné prostriedky Ozbrojeným silám Ukrajiny prostredníctvom Zachrániť život alebo cez oficiálnu stránku NBU.
Tiež zaujímavé: