Tím z Tokijskej univerzity predstavil Alter3, humanoidného robota, ktorý dokáže vykonávať pohyby pomocou GPT-4 Large Language Model (LLM). Alter3 používa najnovší nástroj Otvorte AI dynamicky zaujať rôzne pózy, od selfie pózy až po ghosting, a to všetko bez potreby predprogramovaných záznamov v databáze.
„Reakcia Alter3 na konverzačný obsah pomocou výrazov tváre a gest je významným pokrokom v humanoidnej robotike, ktorá je ľahko prispôsobiteľná iným androidom s minimálnymi zmenami,“ uviedli vedci.
V oblasti integrácie LLM s robotmi sa pozornosť sústreďuje na zlepšenie základnej komunikácie a modelovanie realistických reakcií. Výskumníci tiež skúmajú schopnosti LLM, ktoré umožňujú robotom porozumieť a vykonávať zložité inštrukcie, čím zvyšujú ich funkčnosť.
Tradične riadenie na nízkej úrovni roboty je viazaný na hardvér a leží mimo kompetencie LLM korporácií. To vytvára ťažkosti pre priame riadenie prác založených na LLM. Na vyriešenie tohto problému japonský tím vyvinul metódu prevodu prejavov ľudských pohybov do kódu zrozumiteľného pre Android. To znamená, že robot môže nezávisle generovať sekvencie akcií v priebehu času bez toho, aby vývojári museli individuálne programovať každú časť tela.
Počas interakcie môže osoba zadávať príkazy Alter3, ako napríklad „Urobte si selfie so svojím iPhone“. Následne robot iniciuje sériu požiadaviek na GPT-4, aby získal pokyny pre potrebné kroky. GPT-4 preloží to do kódu Python, ktorý umožní práci „porozumieť“ a vykonať potrebné pohyby. Táto inovácia umožňuje Alter3 pohybovať hornou časťou tela, zatiaľ čo spodná časť tela zostáva nehybná, pripevnená k stojanu.
Alter3 je treťou iteráciou zo série humanoidných robotov Alter od roku 2016, ktorá sa môže pochváliť 43 ovládačmi zodpovednými za výrazy tváre a pohyby končatín poháňanými stlačeným vzduchom. Táto konfigurácia poskytuje širokú škálu výrazových gest. Robot nevie chodiť, ale dokáže napodobňovať typické pohyby chôdze a behu.
Alter3 tiež preukázal schopnosť kopírovať ľudské pózy pomocou fotoaparátu a rámca OpenPose. Robot prispôsobí svoje kĺby pozorovaným polohám a vydarené napodobeniny si uloží na neskoršie použitie. Interakcia s človekom viedla k rôznorodejším pozíciám, čo podporuje myšlienku, že rôzne pohyby pochádzajú z napodobňovania človeka, podobne ako sa novorodenci učia napodobňovaním.
Pred LLM museli vedci starostlivo kontrolovať všetkých 43 ovládačov, aby znovu vytvorili pózu osoby alebo simulovali správanie, ako je podávanie čaju alebo hranie šachu. To si vyžadovalo početné manuálne úpravy, ale AI pomohol oslobodiť tím od tejto rutiny. „Očakávame, že Alter3 sa efektívne zapojí do dialógu zobrazovaním výrazov tváre a gest, ktoré sú relevantné z hľadiska kontextu. Preukázala schopnosť zrkadliť emócie, napríklad prejaviť smútok alebo šťastie ako odpoveď, čím sa s nami podelí o emócie,“ uvádzajú vedci.
Prečítajte si tiež: