NVIDIA ve spolupráci s Mistral AI představila nový jazykový model Mistral-NeMo-Minitron 8B, který je označován jako „jeden z nejdokonalejších otevřených modelů ve své velikostní třídě“. Tento model je optimalizovanou verzí většího modelu Mistral NeMo 12B, přičemž si zachovává vysokou přesnost práce.
Výhody nového modelu
Hlavní výhodou Mistral-NeMo-Minitron 8B je jeho schopnost pracovat v reálném čase na široké škále zařízení. Model efektivně funguje jak na osobních počítačích s moderními grafickými kartami NVIDIA RTX, tak na cloudových serverech.
„Díky tomu Mistral-NeMo-Minitron 8B poskytuje přesnost srovnatelnou s původním modelem při nižší výpočetní zátěži,“ – poznamenal Bryan Catanzaro, viceprezident pro aplikovaný výzkum v oblasti hlubokého učení ve společnosti NVIDIA.
Technické vlastnosti a srovnání s konkurencí
Pro vytvoření modelu byly použity dvě metody optimalizace AI:
- Prořezávání (pruning)
- Destilace (distillation)
V porovnávacích testech Mistral-NeMo-Minitron 8B prokázal převahu nad konkurenty, včetně modelu Gemma 7B od Google, když ukázal lepší přesnost minimálně v devíti populárních testech pro jazykové modely AI.
NVIDIA také zmínila existenci ještě kompaktnějšího modelu Nemotron-Mini-4B-Instruct, optimalizovaného pro práci s omezeným objemem paměti a poskytujícího rychlou odezvu na zařízeních s grafickými kartami NVIDIA GeForce RTX.
Váhy modelu Mistral-NeMo-Minitron 8B jsou dostupné v repozitáři NVIDIA na platformě Hugging Face. Další technické informace lze najít na blogu společnosti.
