CYBER WATCH / EQUINOXE INTELLIGENCE
← Tous les articles
b12180 : modèle : ajout du modèle texte Kimi‑K3.1‑Pro (#31779)
llama.cpp Releases · 2026-11-07 02:01:50
Cette mise à jour introduit le modèle texte Kimi‑K3.1‑Pro, basé sur K3 mais avec les couches MLA à pleine attention remplacées par DSA. 24 des 93 couches utilisent un indexeur « lightning » (32 têtes × 128, top_k = 2048, sans rope). Le reste de l’architecture K3 (résidus inter‑couches, MoE latent, etc.) reste inchangé, ce qui permet de réutiliser le graphe et le convertisseur existants. L’indexeur applique un masque additive sur tout le cache, réutilisant le chemin d’attention flash sparse, et introduit quatre tenseurs d’indexeur par couche DSA ainsi qu’une mémoire hybride. La conversion passe par KimiK31Model et KimiK31ForConditionalGeneration, et la configuration d’indexeur est exposée via attention.indexer.{head_count,key_length,top_k,types}. Les paramètres d’indexeur (q_b, k, proj) ne sont pas quantifiés pour préserver la précision du top‑k. La version a été vérifiée contre le checkpoint HF : 38 tenseurs, métadonnées d’indexeur et sélection de top‑k concordent, avec une perplexité identique au-delà de la longueur de contexte. Tous les tests d’architecture passent.Consulter la source ↗