CYBER WATCH / EQUINOXE INTELLIGENCE

← Tous les articles

b12191 : llama_moe_cache : exécuter les experts manquants sur le CPU, ajouter un script de réglage (#30966)

llama.cpp Releases · 2026-11-07 22:01:10

La mise à jour introduit la prise en charge du CPU pour les experts manquants du cache MoE, permettant de calculer une partie des pertes sur le CPU via l’option –moe-cache-cpu-share. Le graphe construit les FFN des experts deux fois : une fois sur l’appareil à partir des emplacements du cache et une autre sur le CPU à partir des experts hôtes, puis combine les résultats. Un nouveau script moe-cache-tune.py est ajouté pour tester différentes tailles de cache et partages CPU, ajuster les vitesses d’upload et de CPU, et recommander les paramètres –moe-cache-mib et –moe-cache-cpu-share. D’autres améliorations incluent la suppression de la logique backend du CPU dans le graphe, l’optimisation du transfert asynchrone, la mise à jour de la gestion du cache dans llama_context::process_ubatch, et l’ajout de la synchronisation backend pour la file d’attente de transfert. Le projet ajoute également un nouveau propriétaire de code (am17an) pour le cache MoE.

Consulter la source ↗