CYBER WATCH / EQUINOXE INTELLIGENCE

← Tous les articles

b12285 : CUDA – prise en charge des tailles de tête MMA 40 et 72 (#30285)

llama.cpp Releases · 2026-11-11 18:01:13

Ajout du support FlashAttention MMA pour les tailles de tête 40 et 72, utilisées dans les towers vision de Gemma 3/4 et Qwen3‑VL. Avant, ces tailles étaient exclues des branches de dispatch tensor‑core et utilisaient le kernel tile. Le fragment MMA fp16 couvre 16 éléments, donc la géométrie interne est alignée sur 16 (40 → 48, 72 → 80). Les tableaux de registres, les strides de mémoire partagée et les bornes de boucle MMA utilisent la taille alignée, tandis que les chargements et stockages mémoire globale utilisent la taille réelle. Activé sur NVIDIA Turing et plus récents ; Volta et AMD restent sur le kernel tile. Les lignes de configuration RDNA/CDNA et les spécialisations mma_tile_sizes sont nécessaires car les instanciations explicites sont compilées pour chaque cible. Tests ajoutés pour la performance du encodeur avec taille de tête 40. Révision d’adresse des commentaires sur les kernels de taille 40 et 72.

Consulter la source ↗