En une phrase
La vidéo évalue Devstral 2 123B de Mistral pour le code via Ollama, révélant sa déception quant à la qualité du code généré, le non-respect des instructions et la performance inférieure face à Claude Sonnet, malgré sa taille imposante et son coût.
Points clés
- Test de Devstral 2 123B : Le modèle "frontière" de Mistral (123B, 75 Go, 256 000 en contexte), censé être "top notes" pour le code, est testé "brut de décoffrage" via Ollama et Open Code, sans optimisation particulière, sur un MacBook Pro M3 Pro.
- Qualité du code et non-respect des instructions : Devstral 2 123B génère une landing page "très très basique" en 2 minutes, ignorant des consignes comme le "clean code", les "composants réutilisables" (tout dans une page) et "sans librairie externe" (utilise "Lucide React"), et présentant des erreurs TypeScript.
- Comparaison défavorable avec Claude Sonnet : Pour la même tâche de création de landing page, Claude Sonnet produit un résultat "très très propre" et "sympa" en 3 minutes, jugé nettement supérieur à celui de Devstral 2, bien qu'il puisse être plus coûteux.
- Coût et comportement linguistique : La création de la landing page avec Devstral 2 123B a coûté 20858 tokens (0,5% d'usage mensuel). Il est noté que Mistral, un modèle français, consomme des tokens supplémentaires pour traduire les prompts du français vers l'anglais.
- Exigences techniques : Avec une taille de 75 Go, Devstral 2 123B nécessite une "très très grosse machine" ou un compte Ollama Pro pour être exécuté.
Ressources
- Ollama — exécuter des LLM en local et via un compte pro
- Open Code — UI de type "close code IS" pour prompter et modifier le code
- Mistral — entreprise développant les modèles Devstral et Mistral Large
- Devstral 2 123B — modèle de Mistral testé
- MacBook Pro M3 Pro — machine utilisée pour le test
- Mistral Large 3 — autre modèle de Mistral mentionné
- Entropique — entreprise mentionnée pour ses "derniers modèles frontières"
- Claude Sonnet — modèle utilisé pour la comparaison
- Gemma 4 12B — modèle mentionné en comparaison
- projet exest — type de projet sur lequel la landing page a été construite
- TypeScript — langage de programmation
- Lucide React — librairie externe utilisée par Devstral 2 malgré les instructions
- Recharts — librairie de graphes demandée pour le second test
- Cursor — environnement de développement où Claude Sonnet est utilisé