bytevyte
bytevyte
Language
EN DE ES FR PT IT
ai-beats-fr —

IBM dévoile Granite Embedding Multilingual R2 avec une fenêtre de contexte étendue à 32K

Granite Embedding Multilingual R2

IBM a publié le Granite Embedding Multilingual R2, une nouvelle génération de modèles de text embedding conçus pour gérer des ensembles de données massifs dans des centaines de langues. Cette mise à jour, annoncée cette semaine, introduit une fenêtre de contexte de 32 768 jetons. Il s'agit d'une augmentation de 64 fois par rapport à la version R1 précédente. En étendant la quantité de données que le modèle peut traiter en un seul passage, IBM cible les besoins des entreprises pour la recherche de documents longs et l'analyse de données complexes.

La version comprend deux variantes distinctes : un modèle complet de 311 millions de paramètres et un modèle compact de 97 millions de paramètres. Les deux versions sont disponibles sous licence Apache 2.0 sur Hugging Face. Ces modèles prennent en charge plus de 200 langues et incluent un entraînement spécialisé pour la recherche d'informations dans 52 langues et neuf langages de programmation. Cela les rend applicables au développement de logiciels mondiaux et aux environnements d'entreprises multinationales.

Efficacité technique et déploiement flexible

Le Granite Embedding Multilingual R2 repose sur l'architecture ModernBERT, qui intègre Flash Attention 2.0 et des rotary position embeddings pour maintenir les performances lors des opérations à contexte long. Une caractéristique clé du modèle 311M est l'utilisation du Matryoshka Representation Learning. Cette technique permet aux développeurs de tronquer les embeddings de 768 dimensions à 128 dimensions. Cette flexibilité permet de réduire les coûts de stockage et d'augmenter la vitesse de recherche avec un impact minimal sur la précision.

Pour l'edge computing et les scénarios à haut débit, le modèle de 97M de paramètres offre une alternative légère. IBM affirme que cette version plus petite surpasse de nombreux concurrents plus volumineux de sa catégorie sur les benchmarks MTEB. Les données d'entraînement pour les deux modèles ont été sélectionnées pour éviter les ensembles de données avec des restrictions non commerciales. Cela garantit que les entreprises peuvent déployer ces outils sans complications juridiques concernant la provenance des données.

Impact stratégique sur la recherche en entreprise

Le passage à une fenêtre de contexte de 32K résout un goulot d'étranglement dans les systèmes de Retrieval-Augmented Generation (RAG). La plupart des modèles d'embedding standard sont limités à 512 jetons, ce qui oblige les développeurs à diviser les documents en petits segments. Avec le Granite Embedding Multilingual R2, les organisations peuvent traiter des manuels techniques entiers ou des contrats juridiques comme des unités uniques. Cela améliore la pertinence des réponses générées par l'IA.

La décision d'IBM d'utiliser la licence Apache 2.0 positionne ces modèles comme une alternative directe aux offres propriétaires des fournisseurs de sources fermées. L'entreprise s'adresse aux CTO et aux responsables technologiques qui privilégient la souveraineté des données et une mise à l'échelle rentable. L'inclusion de la prise en charge des langages de programmation suggère un accent mis sur le codage assisté par l'IA et la modernisation des systèmes hérités.

Les modèles sont actuellement accessibles pour test et intégration via la plateforme Hugging Face. Les développeurs peuvent désormais intégrer ces embeddings dans des flux de production nécessitant le traitement de contenus multilingues de longue durée avec des tailles de vecteurs efficaces.

Bien que nous nous efforcions d'être précis, bytevyte peut commettre des erreurs. Il est conseillé aux utilisateurs de vérifier toutes les informations de manière indépendante. Nous déclinons toute responsabilité en cas d'erreurs ou d'omissions.

✔Human Verified

Share