Vývojový tým EXO Labs představil bezplatný nástroj Exo pro distribuované spouštění umělé inteligence. Řešení umožňuje využít výkon více zařízení najednou – od chytrých telefonů po jednodeskové počítače Raspberry Pi – tam, kde jednotlivá zařízení nestačí.
Technologie funguje na principu peer-to-peer sítě, tedy přímého propojení bez centrálního serveru, podobně jako torrenty. Exo automaticky rozděluje vrstvy AI modelu mezi dostupná zařízení s ohledem na jejich operační paměť a výkon. Příklady:
- Model vyžadující 16 GB paměti lze spustit na dvou noteboocích s 8 GB RAM;
- Náročný DeepSeek R1 (1,3 TB paměti) teoreticky zvládne cluster ze 170 Raspberry Pi 5.
Program podporuje známé jazykové modely, například DeepSeek, Mistral, LlaVA a Qwen. Pro instalaci je potřeba:
-
- Minimální verze Pythonu 3.12.0;
- Dodatečné komponenty pro zařízení s Linuxem a grafickými kartami Nvidia.
Rychlost práce závisí na kvalitě připojení. Slabší zařízení mohou proces zpomalit, ale každé nově připojené zařízení celkový výkon zvýší.
Exo se jeví jako alternativa ke cloudovým službám. Na rozdíl od pronájmu serverů umožňuje využít stávající techniku – od domácích počítačů po mobilní zařízení.
Aplikace zatím není dostupná pro Windows. Autoři nesdělili termín vydání verze pro tuto OS, ale zdůrazňují, že hlavní cílovou skupinou Exo jsou uživatelé otevřených platforem.
