CYBER WATCH / EQUINOXE INTELLIGENCE
← Tous les articles
CUDA : MMQ à quelques lignes pour BS 2‑24
llama.cpp Releases · 2026-11-13 06:01:11
Une nouvelle version du noyau MMA int8 a été ajoutée pour les multiplications matricielles quantifiées avec 2‑24 colonnes de source 1, ce qui permet notamment la décodage spéculatif. Elle prend en charge les formats Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL et IQ4_XS sur les GPU NVIDIA à partir d’Ampere. Des corrections de bugs ont été apportées, notamment un correctif de protection CUDA pour le MMQ à quelques lignes, un ajustement du drapeau de poids dans les tests, une amélioration de la somme DS4 des valeurs quantifiées, ainsi que des clarifications pour les aborts HIP/MUSA et l’ordre de dispatch du MMVQ.Consulter la source ↗