Quoi qu’on en pense, l’intelligence artificielle s’impose de plus en plus dans notre quotidien. En particulier les LLM, les incroyables modèles de langage tels que Gemini, Chat GPT ou Grok à qui nous demandons de plus en plus chaque jour. Au gré de leurs progrès, rapides, et des nôtres, car en tirer le meilleur requiert une certaine expertise. En quelques années à peine, l’IA est devenue une discipline à part entière de l’informatique, comme la programmation ou le réseau. Et les LLM l’une de ses principales composantes. Pour tout fan de PC, en particulier les passionnés de hardware, l’envie d’en savoir plus et de faire davantage avec sa machine est grande. C’est en réponse à de multiples mails de lecteurs, reçus à l’adresse contact@uberhardware.com, que nous vous avons concocté ce dossier spécialement consacré aux LLM locaux, de leur installation à leur optimisation en passant par l’analyse des besoins matériels. On vous invite d’ailleurs à le lire entièrement même si vous n’avez que faire de jouer et d’héberger un LLM local, rien que pour mieux comprendre le fonctionnement des grands modèles de langage que vous utilisez chaque jour dans le cloud.
Pourquoi installer un LLM sur PC ?
L’intérêt de basculer vers une IA locale réside avant tout dans la réappropriation de sa souveraineté numérique puisque, en traitant l’information directement sur son propre matériel, on s’assure qu’aucune donnée sensible ou privée ne part alimenter les serveurs de géants de la tech. Cette démarche garantit une confidentialité absolue, mais offre également une liberté d’usage totale en s’affranchissant des filtres de modération souvent restrictifs des services en ligne, tout en éliminant les frais d’abonnement récurrents et la nécessité d’une connexion internet permanente. En faisant ce choix, l’utilisateur passe du statut de simple locataire d’une technologie à celui de propriétaire de son outil de travail, bénéficiant d’une puissance de calcul disponible à tout instant et totalement imperméable aux changements arbitraires ou aux pannes des fournisseurs de services cloud. Pour le particulier, c’est surtout un sujet d’étude, quoiqu’on puisse imaginer de réels usages comme la rédaction d’un roman ou aider les enfants à réviser en se basant sur leurs propres cours. Pour les professionnels, les usages sont multiples, du cabinet d’avocat qui souhaite synthétiser des centaines de pièces sans faire fuiter la moindre information au SAV de n’importe quelle marque désireuse de mettre en place un chatbot d’accueil performant afin de répondre à ses clients. Pour illustrer ce dossier, nous utiliserons cinq LLM de référence : Phi 4 Mini, Llama 3.1 et 3.3, Mistral Small et Command R+, tout en vous expliquant comment les utiliser vous-même. Milliards de paramètres, quantification, fine tuning, on vous dit tout !
Un banc d’essai à 10 PC !
Afin d’estimer au mieux les besoins des LLM locaux et leurs capacités en fonction du matériel dont vous disposez, nous avons assemblé/réuni un sacré nombre de PC ! Pas moins de dix machines en tout ! Ça va du modeste Core i5-10500 avec une ARC B580 à la toute puissante workstation IA proposée dans le dossier configs du mois dernier et son couple Ryzen 9 9900X/RTX 5090, en passant par des PC portables et même un mini PC spécial IA basé sur la puce Nvidia GB10 ! Nous n’avons pas inclus d’anciens GPU avec moins de 8 Go de VRAM car c’est la valeur minimale pour espérer faire quelque chose d’utile avec des chatbots, du moins en bénéficiant du boost de vitesse que procure la VRAM comparée à la RAM standard. Car, au cas où vous ne le sauriez pas encore, c’est avant tout et surtout la mémoire (en premier la mémoire vidéo, en second la RAM) qui conditionne le plus les capacités et performances des ordinateurs pour l’inférence. En parlant de mémoire vive, ces PC ont entre 16 et 48 Go de RAM, de la DDR4, de la DDR5 ou de la LPDDR5x selon l’ordinateur, à l’exception de la machine GB10 qui bénéficie de 128 Go de mémoire unifiée (partagée entre la partie CPU et GPU de son SoC). Nous aurions pu mettre 64 Go dans la Workstation IA, voire davantage, mais vu le contexte actuel de pénurie de RAM, ne soyons pas trop gourmands.
Cet article est réservé à nos abonnés
