A9 Mega Mini PC avec AMD Ryzen™ AI Max+ 388/395

La configuration 128 Go exécute des modèles de 70 milliards de paramètres (70B) en quantification 4 bits et des modèles à mélange d'experts (MoE) de classe ~120B, comme gpt-oss-120b, entièrement en local. La configuration 64 Go convient surtout aux modèles MoE d'environ 35 milliards de paramètres. Les modèles d'images comme Stable Diffusion et Flux sont également pris en charge. La compatibilité réelle dépend de la quantification et de la longueur de contexte.

La plateforme AMD Ryzen AI Max+ (strix halo) repose sur une mémoire unifiée partagée entre le CPU et le GPU. Sous Windows, vous pouvez attribuer jusqu'à 96 Go au GPU sur la configuration 128 Go, ou jusqu'à 48 Go sur la configuration 64 Go, via la fonction Variable Graphics Memory d'AMD Software. Sous Linux, la mémoire du GPU est partagée dynamiquement, et cette limite peut être relevée via les paramètres du noyau.

Oui. CUDA est exclusif à NVIDIA, mais des outils d'IA locale populaires comme LM Studio, llama.cpp et ComfyUI s'exécutent sur le GPU Radeon 8060S de l'A9 Mega via AMD ROCm ou Vulkan. Ollama fonctionne lui aussi, même si sous Windows son accélération GPU doit être activée manuellement. Les projets qui reposent uniquement sur CUDA ne fonctionneront pas sans modification.

Principalement l'architecture du modèle, la quantification et la longueur de contexte. Les modèles MoE génèrent du texte bien plus vite que des modèles denses de taille comparable, car seule une partie du modèle est active par token. Les grands modèles denses sont limités par la bande passante mémoire théorique de 256 Go/s, et les prompts longs ajoutent un délai avant la première réponse. La plupart des applications LLM s'exécutent sur le GPU : la valeur de 126 tops ne reflète donc pas directement la vitesse de génération.

Vérifiez ces réglages dans l'ordre : attribuez suffisamment de mémoire GPU via Variable Graphics Memory ; réduisez la longueur de contexte ; déchargez toutes les couches du modèle sur le GPU ; essayez d'alterner entre les backends Vulkan et ROCm ; et sélectionnez le mode d'alimentation hautes performances. Dans Ollama sous Windows, activez le GPU via une variable d'environnement, sans quoi il bascule sur le CPU.

Oui. Une fois téléchargés, les modèles fonctionnent sans connexion Internet : vos prompts et vos documents restent sur l'appareil. LM Studio et Ollama peuvent exposer une API compatible OpenAI, permettant à vos collègues d'utiliser le modèle sur votre réseau local via les doubles ports Ethernet 2,5 G. Le système a passé 330 heures de tests en continu à pleine charge.

Choisissez en fonction du plus gros modèle que vous comptez exécuter. 64 Go convient surtout aux modèles MoE d'environ 35 milliards de paramètres et aux questions-réponses sur documents (RAG) ; 128 Go s'adresse aux modèles de classe 70B et aux modèles MoE de classe ~120B, ou à l'exécution de plusieurs modèles simultanément. La mémoire est soudée et ne peut pas être mise à niveau, tandis que le stockage peut atteindre 8 To via deux emplacements M.2 PCIe 4.0.

Pour l'inférence en local, le RAG et les agents d'IA, c'est un excellent choix. Ses 128 Go de mémoire unifiée permettent d'exécuter entièrement sur le GPU des modèles plus volumineux que la VRAM d'une carte graphique classique, dans un châssis de 171 × 171 mm qui consomme environ 120 W en charge soutenue. Si votre modèle tient dans la VRAM d'une carte graphique haut de gamme, ou si votre travail repose sur CUDA ou sur de l'entraînement à grande échelle, une station de travail à GPU dédié reste le meilleur choix.