Model umelej inteligencie Phi od Microsoft - malý, lacný a netrpí "halucináciami". Toto hovoria o novom jazykovom modeli, ktorému sa predpovedá veľká budúcnosť.
GPT je úplne super, no zároveň je strašne drahé a nemôže byť dokonalé pre každého. Z týchto a mnohých ďalších dôvodov Microsoft experimentuje s oveľa menšími modelmi AI. Phi-3-mini vraj dokonca zahanbí prácu inžinierov OpenAI.
Tiež zaujímavé: Tranzistory budúcnosti: Čaká nás nová éra čipov
ChatGPT nie je všeliek
ChatGPT je vynález, ktorý je financovaný, kurátorovaný a vylepšený Microsoft. Vlastne sa to nepatrí Microsoft, a spoločnosť OpenAI, ktorá Microsoft nevlastní (je popredným, aj keď nie najväčším investorom). Jazykový model GPT dal Microsoft obrovská výhoda oproti zvyšku veľkých technologických korporácií, ktoré sa teraz ponáhľajú dohnať. S GPT je však obrovské množstvo problémov, z ktorých mnohé zatiaľ nie je možné vyriešiť.
V prvom rade ide o jazykový model veľmi náročný na zdroje. Web orientovaný Microsoft OpenAI Copilot alebo ChatGPT generujú veľmi vysoké prevádzkové náklady Microsoft. Toto je vlastnosť nielen GPT, ale aj všetkých hlavných jazykových modelov. Okrem toho je spoločnosť GPT, podobne ako jej konkurenti, náchylná na „halucinácie“, to znamená, že môže generovať odpovede na otázky, ktoré obsahujú nepravdivé alebo zavádzajúce informácie. Čím viac údajov takýto model absorbuje, tým viac má tendenciu generovať podobný obsah. Halucinácie a nepravdivé tvrdenia preto nie sú mýtus vycucaný z digitálneho prsta. Používatelia často poznamenávajú, že veľké jazykové modely sa často mýlia, poskytujú nepresné údaje a pracujú na neexistujúcich faktoch.
Oba problémy sú veľmi vážne, a preto OpenAI, Microsoft, Meta, Google a ďalší pracujú na vývoji nielen technológie Large Language Model, ale aj Small Language Model, ktorý v praxi dokáže priniesť oveľa lepšie výsledky.
Asistent digitálneho účtovníka toho o kvantovej fyzike veľa vedieť nemusí. Môže byť oveľa menší a menej komplexný (a teda lacnejší) a trénovaním len na údajoch nevyhnutných na jeho účel by mal teoreticky menej halucinovať. Aj keď sa to ľahšie povie, ako urobí. Technológia GenAI je stále divokým IT podnikom. A hoci práce napredujú bezprecedentným tempom, stále je ťažké prakticky robiť prelomy v zásadných otázkach. Ale spoločnosť Microsoft nedávno ohlásil takýto prelom. Hovoríme o malom jazykovom modeli Microsoft Phi.
Tiež zaujímavé: Ako Taiwan, Čína a USA bojujú o technologickú dominanciu: veľká vojna čipov
O čom sa vie Microsoft phi
V prvom rade je potrebné poznamenať, že experiment sa uskutočnil bez účasti spoločnosti OpenAI. To znamená, že ide o vývoj inžinierov Microsoft.
Modelky Microsoft Phi je séria malých jazykových modelov (SLM), ktoré dosahujú výnimočné výsledky v rôznych testoch. Prvý model, Phi-1, mal 1,3 miliardy parametrov a dosiahol najlepšie výsledky kódovania Python spomedzi existujúcich SLM.
Vývojári sa potom zamerali na porozumenie jazyka a myslenie, vytvorili model Phi-1.5, ktorý mal tiež 1,3 miliardy parametrov a vykazoval výkon porovnateľný s modelmi s päťnásobne vyššími parametrami.
Phi-2 je model s 2,7 miliardami parametrov, ktorý demonštruje vynikajúce schopnosti uvažovania a porozumenia jazyku, pričom funguje na úrovni najlepších základných modelov s 13 miliardami parametrov. Phi-2 sa odlišuje od ostatných modelov vďaka svojim inováciám v oblasti škálovania modelov a tréningu správy údajov.
Je dostupný v katalógu modelov Azure AI Studio, ktorý uľahčuje výskum a vývoj v oblasti jazykových modelov. Phi-2 bol spustený v decembri 2023. Vývojári ubezpečujú, že funguje rovnako dobre ako Mistral alebo lama 2 od Meta. A Phi-3 funguje ešte lepšie ako predchádzajúca verzia.
Model Phi-3, ktorý bol práve ohlásený, je však v kvalite úplne nový. Aspoň tak to môžete posúdiť z poskytnutých informácií Microsoft. Podľa spoločnosti, podľa ukazovateľov všetkých známych benchmarkov, Phi-3 funguje lepšie ako ktorýkoľvek iný model podobnej veľkosti, vrátane jazykovej analýzy, programovania alebo matematickej práce.
Phi-3-mini, najmenšia verzia tohto modelu, je práve dostupná pre všetkých záujemcov. To znamená, že je k dispozícii od 23. apríla. Phi-3-mini má 3,8 miliardy parametrov a podľa meraní Microsoft, dvakrát efektívnejší ako ktorýkoľvek iný model rovnakej veľkosti. Nájdete ho v katalógu modelov AI cloudovej služby Microsoft Azure, modelová platforma strojového učenia Hugging Face, a Ollama, rámec na spúšťanie modelov na lokálnom počítači.
Ako tvrdí Microsoft, Phi-3-mini nevyžaduje výkonné čipy Nvidia. Model môže pracovať na bežných počítačových čipoch. Alebo sa zmestí aj na telefón, ktorý nie je pripojený k internetu.
Menej výkonu tiež znamená, že modely nebudú také presné. Phi-3 nebude vhodný pre lekárov ani daňových účtovníkov, ale pomôže pri jednoduchších úkonoch. Napríklad na cielenie reklamy alebo zhrnutie recenzií na internete.
Keďže menšie modely vyžadujú menej spracovania, pre súkromné spoločnosti ich používanie bude lacnejšie. Teda v Microsoft bude viac zákazníkov, ktorí by chceli zapojiť AI do svojej práce, ale považovali to za príliš drahé. Zatiaľ však nie je jasné, koľko budú stáť.
Kedy sa objavia malé a stredné modely, zatiaľ nie je známe. Ten druhý však bude výkonnejší a drahší. Aj keď je už známe, že Phi-3-small bude mať 7 miliárd parametrov a Phi-3-medium bude mať až 14 miliárd parametrov.
Prečítajte si tiež:
- Vďaka grafénovým mikročipom budú telefóny rýchlejšie a jednoduchšie
- O kvantových počítačoch jednoduchými slovami
Ako používať Phi-3-mini?
GPT-4 Turbo vyžaduje výkonné AI čipy, ktoré sú stále veľmi drahé. Malý rečový model Phi-3 dokáže fungovať offline, bez cloudu aj s čipom v mobilnom telefóne.
Phi-3 nie je produktom pre koncových používateľov, ale technológiou, ktorú budú môcť vývojári využiť a implementovať do svojich aplikácií – ako cloudových, teda vzdialene umiestnených, tak aj tých, ktoré fungujú lokálne a offline. Očakáva sa bezproblémová spolupráca so zariadeniami a ich komponentmi, ako sú mobilné telefóny, autá a ich informačno-zábavné systémy, či dokonca senzory internetu vecí. V niektorých scenároch môže byť táto technológia neoceniteľná.
Microsoft dokonca uvádza konkrétny príklad, aby sme nemuseli namáhať svoju predstavivosť. Predstavte si, že farmár kontroluje svoju úrodu a vidí príznaky choroby na listoch, stonkách a konároch. Keďže je ďaleko od telekomunikačných stožiarov, bude musieť len vybrať telefón, odfotiť poškodenie, vložiť ho do aplikácie, ktorá využíva technológiu Phi-3 – a model rýchlo a offline analyzuje fotografiu a poradí, ako ako presne s touto chorobou bojovať.
Ako vysvetľuje Microsoft, kľúčom k úspechu GPT bolo prinesenie obrovského množstva údajov na školenia. Pri takýchto veľkých súboroch údajov vysoká kvalita údajov neprichádza do úvahy. Medzitým sa pri trénovaní modelu Phi použil úplne opačný prístup OpenAI. Namiesto naplnenia modelu informáciami sa pozornosť sústredila na postupné a dôkladné učenie.
Namiesto použitia nespracovaných internetových údajov výskumníci Microsoft vytvoril súbor údajov TinyStories, ktorý generoval milióny miniatúrnych „detských“ príbehov. Tieto príbehy boli použité na trénovanie veľmi malých jazykových modelov. Výskumníci potom išli ďalej vytvorením súboru údajov CodeTextbook, ktorý používal starostlivo vybrané, verejne dostupné údaje, ktoré boli filtrované na vzdelávaciu hodnotu a kvalitu obsahu. Tieto údaje sa potom niekoľkokrát filtrovali a privádzali späť do veľkého jazykového modelu (LLM) na ďalšiu syntézu.
To všetko umožnilo vytvoriť pole údajov dostatočné na trénovanie schopnejšieho SLM. Okrem toho bol pri vývoji modelu Phi-3 použitý viacúrovňový prístup k riadeniu a zmierňovaniu rizík, vrátane hodnotenia, testovania a manuálnych úprav. Vo výsledku, ako tvrdí Microsoft, môžu vývojári využívajúci rodinu modelov Phi-3 využiť sadu nástrojov dostupných v Azure AI na vytváranie bezpečnejších a spoľahlivejších aplikácií.
Prečítajte si tiež: Teleportácia z vedeckého hľadiska a jej budúcnosť
Microsoft Nahradí Phi modely typu ChatGPT?
Vôbec nie. Malé jazykové modely (SLM), aj keď sú trénované na vysokokvalitných údajoch, majú svoje obmedzenia a nie sú určené na hlboké učenie. Veľké jazykové modely (LLM) prekonávajú SLM v komplexnom uvažovaní vďaka svojej veľkosti a výpočtovej sile. LLM sú a naďalej budú obzvlášť užitočné v oblastiach, ako je objavovanie liekov, kde je potrebné prehľadávať rozsiahle zbierky vedeckých prác a analyzovať zložité vzorce. Na druhej strane, SLM možno použiť na jednoduchšie úlohy, ako je zhrnutie hlavných bodov dlhého textového dokumentu, vytváranie obsahu alebo napájanie chatbotov zákazníckych služieb.
Microsoft, povedala, už interne používa sady hybridných modelov, kde LLM preberá vedúcu úlohu a smeruje určité dopyty, ktoré vyžadujú menší výpočtový výkon, na SLM, zatiaľ čo iné, zložitejšie dotazy spracováva sám. Phi je umiestnený pre výpočtovú techniku na zariadeniach bez použitia cloudu. Stále však bude existovať priepasť medzi malými jazykovými modelmi a úrovňou inteligencie, ktorú možno získať pomocou veľkých modelov v cloude. Je nepravdepodobné, že táto medzera vďaka pokračujúcemu rozvoju LLM tak skoro zmizne.
Phi-3 ešte musia overiť externé nezávislé strany. Microsoft niekedy hovorí o 25-krát vyššej účinnosti alebo v extrémnych prípadoch o energetickej účinnosti v porovnaní s konkurenciou, čo znie celkom famózne. Aj keď na druhej strane nemožno zabudnúť, že tieto roky prešli Microsoft nás trochu odnaučil od toho, že je jasným lídrom v IT inováciách a možno práve preto tomu veľmi neveríme. Programy založené na AI, ktoré okamžite reagujú a namiesto generovania bežia offline? To by bolo dôstojným vyvrcholením súčasnej revolúcie. Bohužiaľ je tu jeden kľúčový problém.
Prečítajte si tiež: Všetko o čipe Neuralink Telepathy: čo to je a ako to funguje
Phi-3 od Microsoft rozumie len anglicky
Phi-3 nezhltla masovo vyhodené petabajty. Starostlivé a svedomité trénovanie modelu zahŕňa jeden menší problém. Phi-3 bol vyškolený s informáciami v angličtine a zatiaľ nemá predstavu o inom jazyku. Nielen ukrajinčina, ale aj nemčina, španielčina, francúzština či čínština. To samozrejme výrazne znižuje jeho príťažlivosť pre väčšinu používateľov na celom svete.
Ale v Microsoft ubezpečil, že sa pracuje na jeho vývoji a zlepšovaní. Aj keď by ste sa nemali klamať tým, že ukrajinský trh je prioritou žiadnej z veľkých korporácií. Na podporu ukrajinského jazyka si preto budeme musieť ešte veľmi dlho počkať. Ale táto skutočnosť nikdy nezastavila nadšencov a tých, ktorí chcú držať krok s pokrokom.
Prečítajte si tiež: