En une phrase
La vidéo promeut l'adoption des LLM locaux pour les entreprises, soulignant des avantages significatifs en termes de réduction des coûts et de confidentialité, et expliquant comment les infrastructures hardware et logicielles actuelles rendent cette approche viable et performante.
Points clés
- Avantages financiers et de confidentialité : L'exécution de LLM en local (on premise) est environ cinq fois moins coûteuse qu'une solution cloud pour un usage intensif, et assure une meilleure confidentialité des données, particulièrement cruciale dans certains secteurs comme le droit ou la défense, au vu du contexte géopolitique.
- Architecture hybride et LLM gateway : Il est recommandé d'utiliser des LLM locaux pour les opérations courantes et de réserver les modèles cloud pour des besoins très spécifiques, via des "LLM gateway" qui optimisent l'intégration, la surveillance (guardel), la compression de prompt et le cache sémantique pour améliorer la performance et réduire la consommation de tokens.
- Hardware performant pour le local : Des machines comme le NVIDIA DJX Spark (128 Go de mémoire, capable de clusteriser pour des modèles de 500 milliards de paramètres) ou les Mac Studio de type M3 Ultra (128 Go RAM) avec des couches comme MLX, permettent de faire tourner des modèles très volumineux et de gérer de nombreux accès concurrentiels avec des outils comme VLLM.
- Optimisation des bases de connaissances (RAG) : La qualité du "retrieval" dans le RAG (Retrieval Augmented Generation) est primordiale ; une base de connaissances bien structurée, enrichie de métadonnées par NLP et d'une "couche d'intelligence" pour cibler l'information, permet d'utiliser des modèles LLM locaux de plus petite taille (ex: GPT OSS) avec des performances excellentes.
- Recherche web et qualité des sources : L'intégration de la recherche web via des API (Google Search) ou des webs scrappers alimentant un datalake, combinée à une classification de la qualité des sources et des données, est essentielle pour enrichir les LLM internes.
- L'IA en local sur postes clients : L'évolution des APU sur les ordinateurs personnels, avec l'augmentation de la mémoire (standard à 64 Go), rendra l'IA locale de plus en plus réaliste pour des applications comme le développement (Open Code, Codex) ou la traduction (Gema Translate), réduisant drastiquement la consommation de tokens sur le cloud à moyen terme.
Ressources
- ChatGPT — un modèle de langage d'OpenAI
- Microsoft Copilot Studio — outil d'intégration et de personnalisation de Copilot
- Swift — société mentionnée
- Google — société technologique
- Microsoft — société technologique
- ANSSI — Agence nationale de la sécurité des systèmes d'information
- Mythos — modèle de LLM mentionné
- LLM gateway — outil d'intégration et d'optimisation pour les LLM
- NVIDIA DJX Spark — machine permettant de faire tourner de gros modèles de LLM (NVIDIA DGX Systems)
- Exo — outil pour clusteriser des Mac
- MLX — couche IA de Macintosh
- Elastic Search — moteur de recherche et d'analyse distribué
- GPU — processeur graphique, utile pour l'accélération du calcul
- SharePoint — plateforme de collaboration et de gestion de contenu de Microsoft
- CMS — Content Management System
- ECM — Enterprise Content Management
- Google Search — service de recherche web de Google
- GPT OSS — modèles GPT Open Source Software
- Mac Studio — ordinateur professionnel d'Apple
- VLLM — bibliothèque pour servir des LLM avec un débit élevé
- NVIDIA RTX 6000 Pro — carte graphique professionnelle (NVIDIA RTX 6000 Ada Generation)
- Gemini — modèle de langage de Google
- Open Code — outil de développement mentionné
- Codex — outil de développement mentionné
- Gema Translate — modèle de traduction mentionné
- APU — Accelerated Processing Unit