Společnost Perplexity AI představila aktualizovanou verzi svého vyhledávacího modelu Sonar, který pracuje 1,5× rychleji než předchozí modely. Základem se stal neuronový systém Llama 3.3 70B od Meta, doplněný o dodatečné trénování pro vyšší přesnost a srozumitelnost odpovědí. Jak se ukázalo, v testech Sonar překonal modely GPT-4o mini a Claude 3.5 Haiku v uživatelském hodnocení, u některých úkolů se přiblížil i prémiovým řešením jako GPT-4o.
Pro dosažení rekordní rychlosti 1200 tokenů za sekundu (token = textová jednotka, např. slovo nebo jeho část) Perplexity spolupracovala s Cerebras Systems. Tato společnost vyvíjí neobvyklé čipy: místo malých procesorů využívá celistvé křemíkové desky velikosti talíře. Takzvané „wafer-scale enginy“ (WSE) umožňují téměř okamžité zpracování dat. Zatímco francouzský startup Mistral nedávno představil podobnou rychlost u funkce Flash Answers, ta není specializovaná na vyhledávání.
Nejzajímavější je, že Sonar nejen generuje odpovědi, ale také automaticky ověřuje jejich věrohodnost. Například pokud má model pochybnosti o přesnosti informace, provede kontrolu zdrojů. Funkce je zatím dostupná pouze pro uživatele Pro verze, společnost však slibuje rozšíření přístupu v příštích měsících.
Perplexity již dříve používala upravenou verzi Llama 3.1 pod stejným názvem Sonar. Nová verze, podle vývojářů, představuje „evoluční skok“ díky optimalizaci softwaru i hardwaru. Tým zdůrazňuje, že i přes nárůst rychlosti se spotřeba energie nezměnila.
