IA : l’entraînement décentralisé des modèles fait une percée

Des chercheurs de Prime Intellect ont présenté OpenDiLoCo, une implémentation open-source d’une méthode d’apprentissage distribué développée par DeeMind (DiLoCo). Objectif : permettre à l’échelle l’entraînement distribué de modèles d’intelligence artificielle. Dans leur étude, les auteurs assurent avoir entraîné avec succès un modèle à travers deux continents et trois pays en réduisant la communication de 500 fois, tout en maintenant un taux d’utilisation des capacités de calcul de 90 % à 95 %. “Les implications sont immenses : démocratisation de l’IA (formation de modèles géants sans infrastructure centralisée coûteuse), confidentialité accrue (les données restent locales pendant l’entraînement) et efficacité énergétique (optimisation drastique des ressources de calcul et réseau)“, souligne Julien Maldonato, associé digital trust leader chez Deloitte.

À noter : “Les grands modèles de langage ont révolutionné l’IA, mais leur entraînement nécessite traditionnellement des clusters de calcul massifs et centralisés [les Big Tech ont la capacité de déployer des systèmes H100 représentant chacun plusieurs centaines de milliers de GPU interconnectés, Ndlr]. Cette concentration des ressources a limité le nombre de personnes pouvant participer au développement de l’IA et a ralenti le rythme de l’innovation”, considèrent les experts de Prime Intellect.