){kind=link}
Výskumníci Apple vyvinuli systém umelej inteligencie s názvom ReALM (Reference Resolution as Language Modeling), ktorého cieľom je radikálne zlepšiť spôsob, akým hlasoví asistenti rozumejú príkazom a reagujú na ne.
Vo výskumnej práci Apple opisuje nový rámec toho, ako veľké jazykové modely riešia problém rozlíšenia odkazov, ktorý zahŕňa dešifrovanie nejednoznačných odkazov na objekty na obrazovke, ako aj pochopenie konverzačného kontextu a kontextu na pozadí. Výsledkom je, že ReALM môže viesť k intuitívnejšej a prirodzenejšej interakcii so zariadeniami.
Rozpoznávanie odkazov je dôležitou súčasťou pochopenia prirodzeného jazyka, čo umožňuje používateľom používať zámená a iné nepriame odkazy v konverzácii bez zmätku. Pre digitálnych asistentov bola táto schopnosť historicky významnou výzvou, ktorá bola obmedzená potrebou interpretovať širokú škálu verbálnych signálov a vizuálnych informácií. Systém ReALM od Apple si kladie za cieľ vyriešiť tento problém premenou zložitého procesu rozpoznávania odkazov na úlohu čisto jazykového modelovania. Týmto spôsobom môže porozumieť odkazom na vizuálne prvky zobrazené na obrazovke a integrovať toto pochopenie do toku konverzácie.
ReALM rekonštruuje vizuálnu štruktúru obrazovky pomocou textových reprezentácií. To zahŕňa analýzu objektov obrazovky a ich usporiadanie tak, aby sa vytvoril textový formát, ktorý odráža obsah a štruktúru obrazovky. Výskumníci Apple zistili, že táto stratégia v kombinácii so špeciálnym ladením jazykových modelov pre problémy s rozlíšením benchmarkov výrazne prekonáva tradičné metódy, vrátane schopností OpenAI GPT-4.
ReALM môže používateľom umožniť oveľa efektívnejšiu interakciu s digitálnymi asistentmi na základe toho, čo je práve zobrazené na obrazovke, bez potreby presných a podrobných pokynov. Vďaka tomu by mohli byť hlasoví asistenti oveľa užitočnejšími v rôznych situáciách, napríklad pomáhať vodičom pri navigácii v informačných systémoch počas jazdy alebo pomáhať používateľom so zdravotným postihnutím poskytovaním jednoduchších a presnejších prostriedkov nepriamej interakcie.
Apple už publikoval niekoľko výskumných prác v oblasti AI. Minulý mesiac spoločnosť predstavila novú metódu učenia veľkých jazykových modelov, ktorá hladko integruje textové aj vizuálne informácie. Očakáva sa to Apple predstaví množstvo funkcií AI na júnovej konferencii WWDC.
Prečítajte si tiež: