Společnost Anthropic, přední firma v oblasti umělé inteligence, oznámila zavedení funkce ukládání výzev do mezipaměti ve svém API Claude. Tato významná aktualizace umožní vývojářům používajícím platformu Anthropic zvýšit efektivitu a snížit náklady při interakci s neuronovou sítí.
Díky nové funkci ukládání do mezipaměti bude systém Claude pamatovat dotazy a data, se kterými dříve pracoval. To umožní snížit počet přímých dotazů na neuronovou síť o 90 % a snížit náklady o 90 %, stejně jako zkrátit prodlevy odpovědí až o 85 %. Ukládání výzev do mezipaměti je již dostupné v public beta verzi Claude 3.5 Sonnet a Claude 3 Haiku a bude k dispozici i v Claude 3 Opus.
Tato možnost je obzvláště užitečná v případech, kdy uživatel potřebuje odeslat neuronové síti velké množství informací pro kontext a poté se k nim opakovaně vracet. Systém si tyto údaje zapamatuje a bude je opakovaně používat místo vytváření nových dotazů. To umožní výrazně urychlit práci aplikací, jako jsou:
- Konverzační chatboti
- Asistenti pro programátory
- Systémy pro složité dotazy a analýzu dokumentů
Funkce ukládání do mezipaměti bude zpoplatněna, přičemž cena bude záviset na množství uložených tokenů a četnosti jejich používání. Zápis do mezipaměti bude o 25 % dražší než základní cena vstupního tokenu, ale používání mezipaměti bude 10krát levnější. Podle Anthropic budou muset vývojáři jednorázově investovat trochu více, ale v budoucnu budou moci výrazně ušetřit na sérii opakovaných dotazů.
Někteří časní uživatelé již funkci ukládání do mezipaměti implementovali a zaznamenali výrazné zrychlení provozu svých aplikací. Například vývojáři Notion AI integrovali ukládání do mezipaměti založené na Claude, což, jak uvádějí, umožnilo urychlit generování odpovědí.
Nová funkce ukládání do mezipaměti od společnosti Anthropic tak otevírá široké možnosti pro vývojáře používající platformu Claude. Umožní jim významně zvýšit efektivitu a snížit náklady při interakci s neuronovou sítí, což je obzvláště důležité pro aplikace vyžadující častý přístup k velkým objemům dat.
