DEEPSEEK V4 SGLANG+MILES

DeepSeek-V4 è stato rilasciato e l’ecosistema open source si sta già adattando.

SGLang + Miles dichiarano supporto Day-0 per inferenza e training RL, con ottimizzazioni per caratteristiche architetturali specifiche come hybrid sparse attention, mHC e pesi expert FP4.

📊 Dai benchmark pubblicati:
- throughput di decoding superiore rispetto ad altri engine OSS testati
- risultati variabili in base a hardware, configurazione e versione del modello
- test condotti su contesto da 30K token, single batch e speculative decoding

Da considerare:
i risultati sono legati alle condizioni di test e potrebbero differire in scenari reali di deployment.

In sintesi, è un passo rilevante per l’ottimizzazione open source dell’inferenza e del training su modelli LLM di nuova generazione.

#DeepSeekV4 #LLM #AI #OpenSourceAI #Inference #MachineLearning #SGLang #GPU

Видео DEEPSEEK V4 SGLANG+MILES канала Learn by Doing with Steven