CYBER WATCH / EQUINOXE INTELLIGENCE

← Tous les articles

CUDA : fusion des opérations gate/up NVFP4 et GLU dans MMQ (#31296)

llama.cpp Releases · 2026-11-05 08:00:35

Cette mise à jour améliore le support CUDA pour NVFP4 en fusionnant les opérations gate/up et GLU dans MMQ, en respectant la précision demandée, en partageant les vérifications d’échelle, en sautant les noyaux FP4 inutilisés, en testant le MMQ fusionné W4A8 sans échelles et avec des lots, en nettoyant les noms et en vérifiant gate_scale avant de charger l’échelle fusionnée.

Consulter la source ↗