The Pingouin · 11 novembre 2026
Quelle marge de mémoire pour Qwen3 ?
Choisissez un fichier officiel Q4_K_M et adaptez le calcul à votre mémoire vidéo libre. Le scénario suppose une seule séquence, les poids sur le GPU et un cache K/V en FP16.
Méthode et limites
Un Gio vaut 1 073 741 824 octets. La taille réelle d’un fichier GGUF sert d’approximation de la place des poids. Pour le cache, multipliez les clés et valeurs (2) par les octets en FP16 (2), le nombre de couches, de têtes K/V, la dimension de tête et le contexte alloué.
Le sous-total laisse de côté les tampons de calcul et les allocations du moteur. La VRAM déjà occupée est à déduire de la capacité de la carte avant de saisir la mémoire disponible. Une marge positive doit encore couvrir ces tampons. Le calcul ne mesure ni le débit ni la latence.