Notizia · · Per tutti
DeepSeek rende open source DeepInfer, il software con cui serve i suoi modelli
Il 20 ottobre DeepSeek ha pubblicato su GitHub, con licenza Apache 2.0, DeepInfer: il motore che usa in produzione per far girare DeepSeek-V4.1-Flash. Funziona su GPU Nvidia Blackwell e sui chip Huawei Ascend 950; per ora mancano il servizio online, la gestione della cache e il bilanciamento del carico.
Fonte: SiliconANGLE ↗
Perché conta
Per chi sviluppa è raro vedere il software reale con cui un laboratorio serve un modello di frontiera aperto. Le prestazioni, oltre 25.000 token al secondo per GPU, sono misurate da DeepSeek stessa.
Non è uno strumento per tutti: richiede hardware recente e supporta un solo modello, la versione 1017 di V4.1 Flash di cui abbiamo scritto pochi giorni fa. Il supporto ai chip Huawei conferma che i modelli aperti cinesi possono girare anche senza Nvidia. Chi vuole usare un modello sui propri server trova le nostre scelte nella pagina Strumenti.
Commento della redazione di Radar IA