CYBER WATCH / EQUINOXE INTELLIGENCE

← Tous les articles

b12284 : CUDA : Ajout du support FP8 OCP (#28413)

llama.cpp Releases · 2026-11-11 12:01:57

Le PR b12284 introduit le support FP8 dans la version CUDA de llama.cpp. Il ajoute des intrinsics FP8, optimise le noyau GEMV pour FP8, gère les conversions et les copies stridées, et intègre un fallback vers cuBLAS pour les cartes Hopper et autres SKU. Des ajustements de précision, de gestion des espaces de travail et de la fusion de multiplications de poids sont également inclus, ainsi que des tests de performance sur un RTX PRO 4500.

Consulter la source ↗