Meta platformy na každoročnom podujatí Meta Connect v Kalifornii представила niekoľko nových funkcií AI pre svoje obľúbené aplikácie Facebook, Instagram a WhatsApp, no najpôsobivejšia inovácia od technologického giganta si možno mnohí nevšimli. Hovoríme o modeli Llama 2 Long AI.
Tím výskumníkov zo spoločnosti Meta akosi potichu zverejnil článok, v ktorom predstavil nový model umelej inteligencie Llama 2 Long, schopný generovať koherentné a relevantné odpovede na dlhé otázky používateľov. Tvrdia, že nanajvýš prekonáva niektorých z najlepších konkurentov v tomto odvetví.
Llama 2 Long je rozšírenie Lama 2, open source model AI Meta vydaný v lete, ktorý sa môže učiť z rôznych zdrojov údajov a vykonávať rôzne úlohy, ako je kódovanie, matematika, porozumenie jazyka a ďalšie. Llama 2 Long však bola trénovaná na viacerých údajoch obsahujúcich dlhšie texty a tento algoritmus bol upravený tak, aby zvládal dlhšie sekvencie informácií. To mu umožňuje prekonať OpenAI GPT-3.5 Turbo a Claude 2, ktoré majú limity na množstvo kontextu, ktoré môžu použiť na generovanie odpovedí.
Výskumníci meta používa rôzne verzie Llama 2 - od 7 miliárd do 70 miliárd parametrov, t.j. hodnôt, ktoré môže model AI zmeniť učením sa z údajov. Pridali ďalších 400 miliárd tokenov (jednotiek textu) údajov, ktoré obsahovali dlhšie texty ako pôvodný modelový súbor údajov. Tiež mierne vylepšili architektúru modelu AI pomocou techniky Rotary Positional Embedding (RoPE), aby model mohol generovať presné a užitočné odpovede s použitím menšieho množstva informácií a pamäte ako iné metódy.
Tím použil posilňovacie učenie z ľudskej spätnej väzby (RLHF), metódu, kde je model AI odmenený za správne odpovede a opravovaný ľudskými hodnotiteľmi a syntetické údaje sú generované samotným chatom Llama 2. na zlepšenie jeho výkonu v rôznych úlohách. .
Dokument tvrdí, že model dokáže generovať vysokokvalitné odpovede na výzvy používateľov s dĺžkou až 200 40 znakov, čo zodpovedá približne 2 stranám textu. Vedci tvrdia, že Llama XNUMX Long je krokom k vytvoreniu všeobecnejších a všestrannejších modelov AI, ktoré dokážu splniť komplexné a rôznorodé potreby používateľov. Uvedomujú si aj potenciálne etické a sociálne dôsledky takýchto modelov a vyzývajú na ďalší výskum a dialóg o tom, ako ich používať zodpovedne a prospešne.
Prečítajte si tiež: