Vous pouvez faire tourner Llama 3.1 70B juste devant vous, sur un petit PC IA, qu’il soit sur votre bureau ou dans un petit local professionnel. Un fichier de 70B reste toutefois exigeant : plus que le logo « NPU », ce sont la quantité de RAM et la vitesse de la mémoire qui comptent, ainsi que les bons pilotes et fichiers de modèle.
Sur du matériel AMD, partez d’un contexte réduit et de beaucoup de mémoire. Ce guide vous montre comment configurer AMD ROCm et faire quelques vérifications. Pour cette tâche, un mini PC peut suffire ; s’il vous faut des réponses rapides ou de longs prompts pour plusieurs personnes, un ordinateur de bureau avec une GPU dédiée haut de gamme fera mieux.
Pourquoi utiliser un mini PC IA pour les LLM en local ?
Quand vous exécutez un modèle en local, conversations, notes, fichiers sources et documents restent sur le mini PC : les données ne quittent pas l’appareil. Vous ne payez rien par requête envoyée et, même si la connexion tombe, tout continue de fonctionner. Pour un home lab ou un petit bureau, ce boîtier compact est plus pratique qu’une grande tour.
La question n’est pas seulement « à quelle vitesse », mais « où ça tourne » : le travail peut revenir au GPU ou au CPU, selon le logiciel, l’APU AMD et la mémoire libre. Les exécutions réparties entre CPU et GPU paraissent lentes à certains, mais conviennent très bien aux tests. En revanche, pour répondre à plusieurs personnes ou gérer de longs prompts, un système de bureau à GPU dédié reste supérieur.
Un mini PC peut-il vraiment faire tourner Llama 3.1 70B ?
Oui, mais jusqu’à un certain point. D’après les données de Meta, Llama 3.1 70B compte 70 milliards de paramètres et un contexte allant jusqu’à 128k tokens : trop pour la plupart des PC compacts. La solution est d’utiliser une copie quantifiée en GGUF, en général Q4 ou Q5, qui fait gagner beaucoup d’espace.
Le guide de quantification de llama.cpp indique que le Q4_K_M de ce modèle pèse environ 43,1 Go. C’est la taille du fichier, pas la mémoire totale utilisée : à cela s’ajoutent le runtime, le système d’exploitation, l’affichage et la conversation active.
C’est pourquoi 128 Go constituent un meilleur point de départ pour tester un 70B en Q4. Avec 64 Go, l’erreur est vite arrivée : le fichier peut s’ouvrir, mais la marge est mince. Le guide de Hugging Face pour Llama 3.1 indique que le cache FP16 de la conversation réclame environ 4,9 Go pour 16 000 tokens et 39 Go pour 128 000. Testez d’abord à 4k, puis montez.
Un réglage « facile » ne garantit pas une bonne expérience : runtime, vitesse de la mémoire, répartition CPU/GPU et température influent tous sur le ressenti à l’usage.
Prérequis matériels : ce qu’il faut à votre mini PC
La mémoire est le vrai goulot d’étranglement
Regardez d’abord la mémoire, le reste ensuite. Une copie GGUF en Q4 réclame de 40 à 43 Go rien que pour les poids. La partie graphique des mini PC IA AMD est intégrée et utilise la mémoire système partagée : partager la RAM n’équivaut pas à la large bande passante d’une VRAM dédiée haut de gamme, mais un APU doté de beaucoup de mémoire peut charger une portion de modèle plus grande qu’un petit GPU.
Un APU ou un GPU avec un support ROCm vérifié
Si un processeur AMD possède une partie graphique Radeon, ne présumez pas qu’il est prêt pour ROCm. Des cibles graphiques précises, des versions de ROCm, des systèmes d’exploitation, des noyaux et des pilotes doivent tous être pris en charge. Consultez d’abord la dernière matrice de compatibilité d’AMD ROCm.
Pour la meilleure voie APU, cherchez une plateforme Ryzen AI ou Ryzen AI Max figurant dans la liste. Un exemple compatible est le GEEKOM A9 Mega avec Ryzen AI Max+ 395 et 128 Go. Selon GEEKOM, il embarque une partie graphique Radeon 8060S et prend en charge le déploiement local de modèles comme DeepSeek R1 70B. C’est le positionnement du fabricant, pas la garantie que tous les 70B fonctionnent bien.
Stockage et dissipation pour une inférence prolongée
Prévoyez de la place pour de nombreux fichiers de modèle sur un SSD NVMe rapide. Sur un disque de 2 To tiennent plusieurs téléchargements de 40 Go ou plus, des documents et des outils de développement. La vitesse du disque joue surtout sur les temps de chargement, pas sur la vitesse des réponses.
Soignez aussi la dissipation : placez l’appareil dans un endroit aéré, choisissez le bon mode d’alimentation et mesurez les performances sur quelques minutes, pas sur un seul prompt.
| Élément à vérifier | Point de départ | Pourquoi c’est important |
|---|---|---|
| Mémoire système | 128 Go pour une marge utile avec un 70B Q4 | Système d’exploitation, poids, cache de contexte et tampons de runtime occupent tous de l’espace. |
| GPU/APU AMD | Un appareil Ryzen AI ou AI Max figurant dans la release ROCm choisie | ROCm dépend de l’appareil et de la version logicielle ; ce n’est pas une fonction Radeon valable pour tous les appareils. |
| Stockage | SSD NVMe de 2 To recommandé | Les gros fichiers GGUF s’accumulent vite et un stockage rapide réduit les temps de chargement. |
| Dissipation et profil d’alimentation | Bon flux d’air et mode à performances soutenues | Les charges d’inférence prolongées peuvent ralentir en cas de surchauffe. |
Configurer un mini PC avec AMD ROCm
Installer ROCm sur un mini PC AMD demande de la rigueur. Pour un APU Ryzen AI ou AI Max officiellement listé, le mieux est de partir d’un Ubuntu natif avec le noyau et le pilote exacts pris en charge par AMD. Certaines fonctions ROCm pour APU Ryzen existent sous Windows, mais pas toutes.
Vérifier la compatibilité ROCm de votre APU ou GPU
Notez le nom exact du processeur et de la partie graphique intégrée, puis comparez-le à la liste d’AMD. Seules les combinaisons de système d’exploitation et de noyau indiquées dans la matrice de support ROCm pour Ryzen sous Linux sont prises en charge. Un système n’utilisera pas ROCm simplement parce qu’il a une partie graphique Radeon.
Installer ROCm avec le pilote et le toolkit correspondants
Évitez de copier une vieille URL de paquet trouvée sur un forum : utilisez le guide d’installation de ROCm pour Ryzen avec les versions correspondantes. Le processus officiel pour APU Ryzen utilise le noyau OEM requis par AMD, le pilote inbox et une commande d’installation spécifique aux APU :
sudo amdgpu-install -y --usecase=rocm --no-dkmsAvant de la lancer, vérifiez que vous remplissez les prérequis de build d’AMD. L’installation d’une carte Radeon séparée suit une autre voie. Pour le dépannage futur, notez la version d’Ubuntu, du noyau, de ROCm et du BIOS.
Vérifier que ROCm voit le matériel
Après le redémarrage et les éventuelles étapes de permissions de groupe décrites dans le guide d’AMD, lancez ces vérifications :
rocminfo | grep -i 'Marketing Name:'
amd-smi versionLa première commande vérifie si ROCm détecte un agent. Les anciens guides mentionnaient ROCm-SMI, mais AMD pousse vers amd-smi. Aucune des deux commandes ne prouve que le modèle utilise réellement le GPU.
Choisir et quantifier le modèle
Avec la quantification, on utilise moins de bits par poids : on sacrifie un peu d’espace et peut-être un peu de qualité pour un fichier qui occupe moins de mémoire. La plupart des fichiers llama.cpp sont au format GGUF.
| Format | Mémoire des poids (environ) | Ce que cela implique sur un mini PC |
|---|---|---|
| FP16/BF16 | Environ 140 Go avant les coûts de runtime | Mauvaise voie pour un 70B sur un mini PC classique, mais utile comme référence. |
| Q5 GGUF | Souvent plus de 50 Go ; vérifiez la conversion précise | Sur un système de 128 Go, envisageable, mais il faut plus de marge. |
| Q4_K_M GGUF | Poids autour de 42–43 Go | Idéal pour une configuration locale avec beaucoup de mémoire. |
| Q4_K_S GGUF | Certaines conversions autour de 40 Go | Qualité et performances parfois moindres, mais un peu plus de mémoire économisée. |
Utilisez une page de modèle fiable sur Hugging Face. Lisez la licence et notez la conversion exacte : un GGUF est une conversion, pas le téléchargement original de Meta. Une grande fenêtre de contexte peut occuper plus de mémoire que le fichier du modèle ; gardez donc le contexte petit au début.
Comment exécuter Llama 3.1 70B en local : pas à pas
Commencez avec un contexte de 4k et un prompt court. Assurez-vous que le mini PC fonctionne avant de l’étendre.
Option A — Ollama sur AMD : la voie la plus simple
Vous pouvez l’installer en suivant les instructions d’Ollama pour Linux. Choisissez ensuite un tag 70B à jour. Le téléchargement Q4_K_M de 43 Go est inclus dans la fiche llama3.3:70b. Ne présumez pas qu’un ancien tag de Llama 3.1 est encore disponible : vérifiez la bibliothèque à jour.
ollama pull <current-70b-model-tag>
ollama run <current-70b-model-tag>
ollama psLa colonne PROCESSOR affichera 100% GPU, 100% CPU ou une répartition : vous savez ainsi où le modèle tourne réellement. La seule détection de ROCm ne prouve pas que le modèle utilise le GPU.
Option B — llama.cpp avec ROCm
Vous aurez un meilleur contrôle sur le fichier GGUF, l’offload GPU et le contexte. Compilez la version HIP en suivant les instructions à jour du projet, puis adaptez les options à votre matériel :
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_HIP=ON
cmake --build ./build --config Release --parallel
./build/bin/llama-cli -m /models/your-llama-3.1-70b-q4.gguf -ngl 999 -c 4096 -p "Scrivi una breve nota su come usare un LLM in locale."-ngl 999 dans llama.cpp tente de placer sur le GPU le plus de couches possible ; cela ne signifie pas qu’elles tiendront toutes. Si le fichier ne se charge pas, baissez d’abord le contexte, puis vérifiez le fichier du modèle et la RAM libre. Des réponses lentes viennent souvent d’une limite de bande passante ou d’une exécution répartie.
Comment obtenir de meilleurs résultats sur un mini PC
Une réponse rapide n’apprend pas grand-chose sur une configuration 70B : testez plutôt quelques prompts réels. Séparez la vitesse de réponse et le temps de lecture du prompt, car ils mesurent des choses différentes.
En partant de 4k, changez un seul réglage à la fois. Avec moins de contexte, le cache de la conversation a plus de place. Un quant plus gros, si vous avez assez de mémoire, peut améliorer la qualité. Parfois, utiliser tous les threads du CPU à la fois ralentit. Vous pouvez aussi voir combien de couches arrivent au GPU : pour contrôler l’offload ou essayer un autre nombre de threads, ces notes de performance de llama.cpp aident.
Pour de meilleurs résultats, laissez l’alimentation au maximum et assurez un bon flux d’air. Le résultat dépend de la RAM, du fichier de modèle, de la quantité de données en conversation, du runtime et de la température : c’est pourquoi le seul nombre de tokens par seconde ne dit pas tout d’un mini PC.
Problèmes fréquents (et comment les résoudre)
ROCm ne voit aucun matériel graphique.
Revérifiez la matrice de compatibilité AMD. Installer des paquets au hasard en espérant que ça marche n’est pas une bonne idée : partez de la cible graphique de l’APU, de la dernière version d’Ubuntu, du noyau et du pilote.
Ollama utilise le CPU.
Après avoir chargé le modèle, lancez ollama ps. Comparez le pilote AMD installé aux conseils à jour d’Ollama sur le support GPU. Le modèle peut retomber sur le CPU même si ROCm est visible.
Le modèle sature la mémoire.
Réduisez d’abord le contexte et le parallélisme. Si cela ne suffit pas, passez à un système avec plus de RAM ou à un modèle plus petit. Dans les configurations à mémoire partagée, vous ne pouvez pas ajouter de mémoire au-delà de la limite.
Réponses trop lentes ou trop rares.
Vérifiez si l’exécution est 100% GPU, 100% CPU ou mixte. Avec peu de RAM, réduisez le contexte. Ne baissez les couches sur le GPU que si vous devez libérer de la mémoire, puis passez à un mode d’alimentation soutenu plus frais. Pour l’usage quotidien, un modèle plus petit est parfois simplement plus pratique.
Ce mini PC est-il adapté à la tâche ?
Si la mémoire est suffisante, que la plateforme AMD correspond à la release ROCm, que le fichier Q4 ou Q5 a du sens et que l’offload a été vérifié, un mini PC IA capable peut gérer un 70B en local. Le seul logo NPU et le téléchargement de 43 Go ne répondent pas à ces questions.
Parmi les systèmes GEEKOM compacts, le A9 Mega est le plus adapté grâce à sa mémoire plus généreuse. Avant d’acheter, vérifiez la configuration exacte disponible dans votre région. En alternative, côté AMD, il y a l’A9 Max 2026 Edition : il exécute des modèles en local et dispose d’une mémoire extensible, mais ce n’est pas la même configuration 70B/ROCm. Vous trouverez plus de détails sur la page PC IA de GEEKOM.
Pour arbitrer entre capacité et bande passante, notre article Mémoire unifiée vs VRAM pour un LLM en local complète bien cette lecture.
FAQ
Un mini PC peut-il faire tourner Llama 3.1 70B ?
Il faut beaucoup de mémoire pour les poids, le cache de la conversation, le runtime et le système d’exploitation, et le modèle doit être correctement quantifié. Un système doté de beaucoup de mémoire est préférable à un mini PC standard de 32 ou 64 Go. Charger le modèle est une chose ; obtenir des réponses rapides en est une autre.
Combien de RAM faut-il pour Llama 3.1 70B ?
Il faut environ 40 à 43 Go pour les poids en Q4, avant le cache de la conversation et la surcharge système. Une configuration de 128 Go offre bien plus de marge. Le besoin exact dépend de la quantité de données en conversation, du fichier de modèle et de la configuration du logiciel.
Laurent Chammas
Laurent Chammas est le créateur de Laurent's Choice, une chaîne YouTube consacrée à la technologie et son site web associé. Il produit des tests de matériel informatique, des analyses approfondies de composants, de courts tutoriels et de l'actualité tech, en se concentrant particulièrement sur les cartes mères, les processeurs et les PC gamer sur mesure. Son contenu allie essais pratiques et explications accessibles, adaptées aussi bien aux passionnés qu'aux monteurs de PC et aux joueurs.
