Mon IA à la maison : passer à la vitesse supérieure avec mon LLM
Les modèles chargés localement sur votre smartphone ont fait long feu — vos mains en brûlent encore — et vous sentez que LM Studio et Qwen3.5 ont un réel potentiel, mais qu'ils sont limités ? Pour cette deuxième partie, nous allons avancer sur plusieurs axes : d'abord un peu de vulgarisation des termes les plus courants, puis je vous apporterai de l’aide sur la manière de bien choisir votre modèle selon ce que vous voulez accomplir. Nous ajouterons ensuite deux extensions simples, mais bien pratiques à LM Studio pour augmenter le champ des possibles et même l'interroger depuis l'extérieur avec un iPhone.
Un peu de vision d'ensemble
Tout d'abord, lorsque l'on parle de LLM dans des lieux un peu avertis, des acronymes des plus étranges surgissent : inférence, prompt, MLX, température… et cela peut désorienter. Pour la pédagogie de l'article et éviter les maux de crâne, nous simplifierons grandement les explications techniques de cet article.
Prenons exemple sur le modèle que j'utilise, Qwen3.6-35b-A3b, et décortiquons-le. Il fait partie de la famille Qwen, des modèles conçus par le géant chinois Alibaba, dans la version 3.6. « 35B » signifie qu’il comprend 35 milliards de paramètres au total… mais seulement 3 milliards activés à la demande (« A3b »). On appelle cette technique le Mixture of Experts : les paramètres ne sont pas tous utilisés simultanément, seuls des « experts » sont appelés à la volée suivant la demande faite. Parfait pour améliorer la vitesse du modèle.
Toujours au sujet de la nature des modèles, nous avons déjà évoqué dans le premier article MLX, le framework d'exécution natif Apple. Il est conçu spécifiquement pour les puces Apple Silicon et fonctionne avec un format de modèle dédié. C'est moins flexible que le format GGUF multi-plateforme et très répandu, mais les performances sont au rendez-vous.
Dans l’IA, tout tourne autour des tokens : on essaye d’en générer le plus rapidement possible, d’en prendre en charge un maximum simultanément, etc. Mais c’est quoi au fait un token ? C’est l’unité de base dans ce domaine. Cela peut être un petit fragment de texte, quelques pixels d'une image, un petit morceau audio… Voici quelques ordres de grandeur approximatifs :
| 1 token | ~ 0,75 mot en français |
|---|---|
| 256 000 tokens | ~ 180 000 mots ≈ un roman de 600 pages |
| 1 million de tokens | ~ 700 000 mots ≈ 5 romans entiers |
| 10 millions de tokens | ~ 7 millions de mots ≈ 50 romans |
Un élément crucial est le « contexte de tokens », c’est-à-dire la quantité de tokens utilisables par le LLM, qui dépend autant de ses capacités intrinsèques que de la mémoire disponible. Plus le contexte est grand, plus le LLM se souvient des messages précédents et peut accumuler informations et outils pour répondre à une question, mais plus ça consomme de RAM. Vous avez sûrement remarqué dans LM Studio cette petite indication en bas de la fenêtre de chat (du type « 465/4096 »). Ce sont les tokens consommés (465) sur le maximum que la session peut utiliser (4096).
Voici deux tables pour aider à bien comprendre le duo « poids du modèle » et « contexte utilisable ». La première donne une idée de ce que l’on peut espérer par rapport à la mémoire vive.
| RAM | Poids modèle | Taille fichier | Fenêtre LM Studio (contextWindow) |
|---|---|---|---|
| 16 Go | 3B–8B | 8 Go | 24 576 |
| 24 Go | 8B–14B | 8 à 12 Go | 32 768 – 57 344 |
| 32 Go | 7B–14B | 8 à 16 Go | 32 768 – 81 920 |
| 64 Go | 14B–32B | 16 à 30 Go | 32 768 – 131 072 |
| 128 Go+ | 32B–70B | 30 à 60 Go | 131 072 – 256 000 |
La seconde vous donne une référence sur les poids des modèles.
| Catégorie | Paramètres | Exemples |
|---|---|---|
| Petits | 3B - 8B | Phi-4 Mini (3.8B), Gemma 3 4B, Qwen 3 8B |
| Moyens | 14B - 27B | Llama 3.3 70B, Qwen 3 32B, Gemma 3 27B |
| Grands | 100B - 400B | Llama 4 Scout (109B), DeepSeek V3.2 (671B), Qwen 3.5 122B |
| Très grands | 400B+ | Llama 4 Maverick (400B), GLM-5 (744B), Qwen 3.5 397B |
Inutile de vous dire que si vous pouvez faire tourner un modèle de 100B chez vous, vous êtes déjà dans la cour des grands.
Parlons à présent de cette fameuse inférence. C’est la seconde phase de la vie d'un modèle : d'abord vient l'entraînement, durant laquelle il apprend à partir d'immenses quantités de données, puis vient l'inférence, c'est-à-dire le moment où il répond à vos questions.
Lorsque vous téléchargez un modèle, tout l’apprentissage a déjà été réalisé : ses connaissances sont encodées dans des milliards de paramètres, aussi appelés « poids ». À chaque requête, le modèle découpe votre texte en tokens, puis prédit le token suivant le plus probable en s'appuyant sur ces poids et sur tout le contexte de la conversation. Il répète cette opération des centaines, voire des milliers de fois, jusqu'à produire une réponse complète.
Cette phase d'inférence peut être ajustée de plusieurs manières pour influencer la qualité et la vitesse de la réponse. C’est ce que nous avons d'ailleurs fait dans le premier article lors de la mise en route du modèle :
- Temperature : plus c'est élevé, plus le modèle est « créatif » (il ose des réponses inattendues). Plus c'est bas, plus il est précis et prévisible. Tout dépend de ce que vous voulez lui faire faire.
- Top-K et Top-P : ces deux réglages déterminent comment le modèle choisit le mot suivant. Top-K ne conserve que les K mots les plus probables (par exemple les 40 meilleurs candidats). Top-P, lui, conserve autant de mots que nécessaire pour couvrir un certain pourcentage de probabilité (par exemple 90 %). Ils permettent de trouver un équilibre entre des réponses très prévisibles et des réponses plus variées.
- Thinking (si présent dans les capacités du modèle) : ce paramètre contrôle si le modèle « réfléchit » avant de répondre. Il prend le temps d'analyser la question en profondeur (plus lent, plus précis, surtout des sujets complexes). Désactivé, il répond directement (plus rapide, moins approfondi, plus des sujets quotidiens).
Et le System Prompt ? C'est assez simple : il s'agit d'un ensemble d'instructions, un peu comme un prompt normal, mais qui est réinjecté à chaque échange avec le modèle. Cela consomme des tokens, mais ce coût est inclus dans le budget total de votre requête. En échange, vous obtenez… Siri en face de vous, dans notre exemple, ou alors une série de règles que vous ne lui rappellerez plus (ton, conduite, environnement technique, informations utiles, etc.).
Une précision aussi sur ce que l'on appelle la « hiérarchie des instructions ». Quand vous parlez à un modèle, vos mots ne sont pas les seuls à compter. Il y a plusieurs couches d'instructions qui s'empilent, et leur ordre importe :
- Le système : les instructions intégrées au modèle, celles qu'il a reçues dès sa conception. C'est le socle.
- Le system prompt : les instructions personnalisées que vous configurez (ton, rôle, règles, contexte…). C'est ce qui fait qu'un modèle se comporte comme un assistant plutôt que comme un perroquet.
- L’environnement : les règles injectées par l'application (comme un MCP ou des instructions dynamiques).
- Votre message : ce que vous tapez dans le champ de saisie.
Plus une instruction est proche du message utilisateur, plus elle a de poids dans l'immédiat. Mais le système garde un pouvoir de veto : il peut refuser d'exécuter une demande qui contredit ses règles fondamentales. En d'autres termes, votre prompt est important, mais il ne fait pas tout. Si vous lui demandez des instructions pour fabriquer une bombe thermonucléaire, le LLM refusera (en théorie) de répondre. Pas parce que votre message est moins important, mais parce que ses créateurs ont placé des garde-fous au-dessus de tout le reste. Et soyez certains que vous préférez qu'ils soient là.