CYBER WATCH / EQUINOXE INTELLIGENCE
← Tous les articles
b12128 : tests : correction des plantages CI de TOPK_MOE causés par des égalités proches (#31426)
llama.cpp Releases · 2026-11-05 14:00:47
Le correctif élimine les plantages intermittents des tests CI de TOPK_MOE qui se produisaient lorsqu’un logit uniforme générait deux experts à moins d’un ulp l’un de l’autre, surtout avec la fonction de passage sqrt_softplus. Les différences de précision entre le CPU et d’autres back‑ends faisaient que chaque backend choisissait un expert différent, entraînant l’échec du test. Le patch régénère les logits jusqu’à ce qu’une marge relative de 1e‑4 soit atteinte, construit les logits en inversant la fonction de passage et aligne les décisions d’experts sur tous les back‑ends. Les probabilités softmax sont normalisées pour rester cohérentes, évitant ainsi la recomputation du routage.Consulter la source ↗