OpenAI má za sebou DevDay. Predstavila niekoľko veľkých noviniek

Spoločnosť OpenAI predstavila na vývojárskej konferencii v San Franciscu významné aktualizácie svojho API rozhrania, ktoré podporia vývoj sofistikovanejších aplikácií založených na umelej inteligencii.

Cieľom je pritiahnuť pozornosť vývojárov a ukázať výhody svojej API platformy, ktorá si už získala vyše 3 milióny používateľov. V snahe zvýšiť atraktivitu výrazne znížila náklady na jej využívanie, čím sa priblížila konkurentom, ako sú Meta a Google.

Destilácia modelov

Jednou z hlavných noviniek je metóda destilácie modelov, ktorá zlepšuje výkon menších jazykových modelov, ako je napríklad GPT-4o mini.

Táto technika umožňuje menším modelom učiť sa z výstupov väčších modelov, čím dosahujú vyššiu kvalitu a relevanciu generovaných textov.

"AI teaching other AIs"

I think the most interesting news from the recent OpenAI Dev Day is ‘Model Distillation.’

Model Distillation allows users to have a more advanced (and expensive) model, like GPT 4o or o1, train (i.e., fine-tune) a less capable but more cost-effective… pic.twitter.com/WeSkKbuChO

— Daniel Friis (@daniel_friis) October 2, 2024

Optimalizácia nákladov na API

Aby vývojári mohli efektívnejšie využívať svoje zdroje, OpenAI zaviedla funkciu ukladania výziev do vyrovnávacej pamäte.

Táto funkcia umožňuje uloženie dlhých predpon, ktoré sa často používajú na usmernenie odpovedí modelov, a pri opakovanom použití týchto predpon poskytuje zľavu. Konkurenčná spoločnosť Anthropic pritom oznámila podobnú funkciu už v auguste.

2. Prompt caching is now available

50% discount with no effect on latency. pic.twitter.com/rNpmChiQ7S

— Aadit Sheth (@aaditsh) October 2, 2024

Rozšírené možnosti vnímania

Model GPT-4o teraz lepšie zvláda interakciu s vonkajším prostredím, čo je užitočné pre aplikácie vo vizuálnom vyhľadávaní, detekcii objektov v autonómnych vozidlách, inteligentných mestách alebo pri presnej analýze lekárskych snímok.

Napríklad startup Coframe využil tieto schopnosti na vylepšenie asistenta, ktorý generuje kód pre webové stránky.

5. Vision for Fine-Tuning the API

Vision support added for fine-tuning models. Enhance with up to 1M tokens/day free. pic.twitter.com/a1JQhTYzIy

— Alamin (@iam_chonchol) October 2, 2024

Multimodálnosť a Realtime API

OpenAI tiež výrazne zjednodušila proces vývoja multimodálnych aplikácií. Predtým bolo potrebné prepisovať zvuk, odovzdávať text z prepisu modelu a následne prevádzať výstup späť na reč. Vďaka API rozhraniu RealtimeAPI sa zvuk okamžite bez potreby integrácie viacerých aplikácií, čím sa výrazne urýchľuje celý proces.

API podporuje aj volacie funkcie, čo umožňuje vývojárom vytvárať aplikácie, ktoré môžu napríklad objednať pizzu alebo naplánovať stretnutie.

OpenAI plánuje, že Realtime API bude čoskoro podporovať multimodálne zážitky vrátane videa.

hey everyone! super excited play a small role in the @OpenAI Realtime API launch today.

we have launched an open source repo, the Realtime Console — a React app you can hack apart and start building with immediately.

here's a demo! thanks @pbbakkum @landakram @DustMason pic.twitter.com/zRKcPFvaP1

— keith (@keithwhor) October 1, 2024

Zdroje: Inc