Vývoj humanoidných robotov sa počas väčšej časti dvoch desaťročí pohyboval pomalým tempom, no v poslednej dobe sme v tejto oblasti svedkami čoraz väčšieho prelomu. Ako sme nedávno písali, na MWC 2024 bol predstavený AI robot AMECa ďalší vývoj, Unitree H1, prekonal rýchlostný rekord medzi humanoidnými robotmi. A teraz sa na internete objavil veľkolepý výsledok spolupráce medzi spoločnosťami Figure AI a OpenAI – úžasné video humanoidného robota, ktorý teraz dokáže viesť rozhovory s ľuďmi.
Startup Figure AI zverejnil video ukazujúce robota Figure 01, ktorý pracuje s novým modelom Visual Language Model (VLM). V ňom postava 01 stojí pri stole, na ktorom je tanier, jablko a pohár. Naľavo je sušička. A na otázku človeka, čo vidí robot pred sebou, odpovedá podrobným popisom všetkého, čo leží na stole.
A potom sa muž opýta, či môže niečo zjesť, a robot odpovie: „Samozrejme“, a potom obratným plynulým pohybom vezme jablko a podá ho mužovi. Potom nasleduje ďalšia ohromujúca ukážka – muž vysype z koša pred Obrázok 01 pokrčené odpadky a požiada robota, aby vysvetlil, prečo to urobil, a zároveň pozbiera odpadky do koša. A svoju „myšlienku“ vysvetľuje, keď papier vracia späť do koša. "Tak som ti dal jablko, pretože je to jediný jedlý predmet, ktorý ti môžem dať zo stola," povedal robot.
Zástupcovia spoločnosti vysvetlili, že obrázok 01 používa vopred pripravený multimodálny model OpenAI, VLM, porozumieť obrázkom a textom a pri generovaní odpovedí sa spolieha na hlasové výzvy. Toto sa líši, povedzme, od OpenAI GPT-4, ktorý sa zameriava na písané výzvy.
Používa tiež to, čo spoločnosť nazýva „naučené bimanuálne manipulácie na nízkej úrovni“. Systém koordinuje presnú kalibráciu obrazu (až na úroveň pixelov) so svojou neurónovou sieťou pre riadenie pohybu. "Tieto siete prijímajú obrázky pri 10 Hz a generujú 24-DOF akcie (pózy zápästia a uhly kĺbov prstov) pri 200 Hz," uviedol vo vyhlásení Figure AI.
Spoločnosť tvrdí, že každé správanie vo videu je založené na učení systému, takže nikto v zákulisí neťahá za nitky z obrázku 01. Samozrejme, existuje nuansa - nie je známe, koľkokrát robot prešiel týmto postupom. Možno to bolo po stý raz, čo vysvetľuje jeho presné pohyby. Ale v každom prípade tento úspech vyzerá veľkolepo a trochu fantasticky.
Obrázok 01 teraz plní úlohy v reálnom svete
Všetko je autonómne:
-Autonómna navigácia a manipulácia založená na sile
- Naučený model videnia na detekciu a stanovenie priorít
-Reaktívna manipulácia so zásobníkom (robustná na variáciu polohy)
-Zovšeobecniteľné na iné úlohy typu pick/place obr.twitter.com/0wFmYnq0GC— Figúrka (@Figure_robot) Februára 26, 2024
Prečítajte si tiež: