À retenir
- Faire tourner une IA en local, c'est héberger le modèle sur votre propre infrastructure : vos données ne quittent jamais votre périmètre.
- Les modèles open source (Mistral, Llama, Qwen…) ont rattrapé l'essentiel de l'écart avec les API commerciales pour la plupart des usages métier.
- La stack est aujourd'hui 100 % open source et installable en quelques jours : Ollama, une interface type Open WebUI/AnythingLLM, une base vectorielle pour le RAG.
- Côté RGPD, plusieurs obligations disparaissent ou se simplifient (pas de transfert hors UE, pas de sous-traitant IA à référencer, Cloud Act inapplicable).
- Budget : à partir de quelques centaines d'euros par mois en infogéré, avec un coût fixe et prévisible(contrairement à la facturation au token).
.svg){kind=logo}
Depuis deux ans, l'IA générative s'est installée dans les entreprises : rédaction, synthèse, analyse de documents, support client. Mais dans la grande majorité des cas, vos données transitent par les serveurs d'OpenAI, Google ou Anthropic aux États-Unis.
Pour une entreprise qui manipule des données confidentielles (dossiers clients, contrats, brevets, données RH ou de santé, stratégie commerciale), c'est un vrai sujet juridique et concurrentiel. La bonne nouvelle : en 2026, il existe une autre voie, devenue accessible aux PME. Faire tourner ses propres modèles, sur ses propres serveurs, en France.
On vous explique comment ça marche, sans jargon inutile et sans qu'il faille être data scientist.
C'est quoi, une « IA locale » ?
Un modèle de langage (LLM), c'est un logiciel. « En local » signifie qu'il tourne dans votre environnement au lieu d'être appelé via une API externe. Concrètement, vous installez le modèle sur une machine (un serveur dédié, un poste bien équipé, ou un cloud privé français) et il génère ses réponses sans envoyer un seul octet à l'extérieur.
Nous avions déjà abordé le sujet avec l'arrivée de Gemma : notre article Gemma 4 : l'IA locale sérieusement accessible aux TPE & PME montrait qu'un modèle ouvert récent tournait déjà correctement sur un laptop moderne. Ce guide va plus loin : comment passer du test à un assistant interne en production.
Pourquoi une PME s'y met (au-delà de la mode)
Cinq raisons reviennent systématiquement sur le terrain :
- Confidentialité : les données sensibles ne quittent jamais votre infrastructure.
- Conformité simplifiée : le RGPD (et l'AI Act) deviennent nettement plus faciles à documenter.
- Exigences clients : de plus en plus de cahiers des charges B2B et de marchés publics imposent que les données restent sur le territoire européen.
- Coût maîtrisé : un coût fixe d'infrastructure plutôt qu'une facture au token qui grimpe avec l'usage.
- Indépendance technologique : vous n'êtes plus suspendu à la politique tarifaire ou aux conditions d'un fournisseur.
Les briques d'une IA locale (la stack)
Faire tourner un LLM en local, c'est assembler quelques composants tous open source :
t
Avec Ollama, lancer un modèle tient littéralement en une commande (ollama run mistral). Open WebUI ou AnythingLLM transforment ensuite ce moteur en une interface complète : historique, comptes multi-utilisateurs, gestion des rôles, prompts partagés, et upload de documents.
Le RAG : l'IA qui répond depuis VOS documents
C'est le cœur du sujet pour une entreprise. Un LLM « brut » répond à partir de ses connaissances génériques. Avec le RAG (Retrieval-Augmented Generation, ou « génération augmentée par récupération »), il répond à partir de vos propres documents.
Le principe, en une ligne :
Question de l'utilisateur → recherche des passages pertinents dans vos documents → injection dans le prompt → réponse générée par le LLM local → réponse affichée avec ses sources.
En pratique, vos documents (PDF, Word, emails, tickets, procédures) sont découpés en fragments, convertis en vecteurs (des « empreintes numériques ») et stockés dans la base vectorielle. Quand quelqu'un pose une question, le système retrouve les fragments utiles et les donne au modèle pour qu'il compose une réponse en citant les sources, et sans qu'une seule ligne de ces documents ne sorte de votre infrastructure.
Le résultat : un assistant qui connaît vos contrats, vos fiches produits, vos procédures internes. Une PME industrielle croulant sous la rédaction manuelle de devis, par exemple, peut brancher un LLM local sur son CRM pour générer des devis à partir de ses références internes.
Quel matériel faut-il vraiment ?
C'est là que beaucoup surestiment la facture. Un GPU dédié n'est pas un achat automatique : il devient utile quand il faut répondre vite, servir plusieurs utilisateurs en même temps ou faire tourner un gros modèle.
L'important : dimensionner selon l'usage réel, pour éviter la plateforme trop chère… ou sous-dimensionnée.
On-premise, cloud privé ou hybride ?
Trois grandes options, selon votre niveau de sensibilité et vos ressources :
ApprochePrincipePour quiUltra-localLe modèle tourne sur un poste/serveur interneTests, petites équipes, données très sensiblesVPC souverainInfra isolée chez un cloud françaisPME/ETI voulant de la souplesse sans gérer le matérielHybrideOn-premise pour le sensible + débordement vers un VPC pour les picsStructures avec des données de sensibilité variable
En France, trois hébergeurs disposent de la qualification SecNumCloud de l'ANSSI : OVHcloud, Outscale (Dassault Systèmes) et Scaleway. De quoi cocher les cases de localisation les plus exigeantes.
RGPD : ce que le local simplifie (et ce dont vous restez responsable)
Héberger le modèle chez vous fait tomber ou allège fortement plusieurs obligations :
- Aucun transfert hors UE : les articles du RGPD sur les transferts vers pays tiers deviennent sans objet.
- Pas de sous-traitant IA à référencer : sans envoi de données à un fournisseur externe, pas de DPA à signer.
- Cloud Act inapplicable : aucune entreprise américaine n'héberge vos données.
- DPIA simplifiée : l'analyse d'impact est allégée.
Attention toutefois : le local ne règle pas tout. Vous restez responsable du traitement. Restent à votre charge : la sécurité du serveur (chiffrement des disques, accès restreints, mises à jour), la journalisation des accès, le droit de suppression sur les conversations stockées, et l'inscription du traitement au registre (article 30). Le local est un atout de conformité, pas un blanc-seing.
Bon à savoir : dans le cadre du plan « Osez l'IA », l'État constitue justement un catalogue de solutions d'IA souveraines pour les PME/ETI. La souveraineté n'est plus un argument de niche c'est une orientation nationale. Notre article sur les aides « Osez l'IA » en 2026 fait le point sur les financements mobilisables.
Local vs cloud : combien ça coûte vraiment ?
Le calcul dépend surtout du volume. Un agent qui traite 500 emails par jour via une API cloud peut représenter 800 à 2 000 € par mois de tokens, selon la longueur des contextes. Passé un certain seuil d'usage, l'infrastructure privée devient moins chère et surtout, son coût est fixe et prévisible.
Comment démarrer (la méthode)
Un projet d'IA interne se joue en deux temps héberger la plateforme et héberger le modèle souvent menés en parallèle. On peut même commencer par un RAG branché à une API cloud, puis remplacer l'API par un modèle local une fois la valeur prouvée.
La feuille de route type :
- Cadrer le cas d'usage prioritaire (assistant documentaire ? support interne ? génération de devis ?).
- Choisir le modèle adapté à ce cas (inutile de viser le 70B pour un usage conversationnel léger).
- Monter la stack (moteur + interface + base vectorielle) en conteneurs.
- Alimenter le RAG avec vos documents, tester, ajuster.
- Ouvrir aux équipes et superviser (sécurité, performances, mises à jour).
C'est aussi le moment où la surcouche métier fait la différence : brancher proprement l'IA à votre CRM, votre ERP ou votre site, gérer les accès, et former vos équipes. Déployer un LLM, c'est une chose ; le faire tourner en production avec les performances et la sécurité attendues, c'en est une autre.
Vous manipulez des données sensibles et vous voulez une IA qui reste chez vous ? C'est précisément notre terrain de jeu. Chez La Dinguerie, on conçoit des assistants et des agents IA souverains du cadrage à la mise en production, formation des équipes incluse. Discutons de votre cas.
Une dinguerie souveraine à partager !