IA : l’entraînement décentralisé des modèles fait une percée

Des chercheurs de Prime Intellect ont présenté OpenDiLoCo, une implémentation open-source d’une méthode d’apprentissage distribué développée par DeeMind (DiLoCo). Objectif : permettre à l’échelle l’entraînement distribué de modèles d’intelligence artificielle. Dans leur étude, les auteurs assurent avoir entraîné avec succès un modèle à travers deux continents et trois pays en réduisant la communication de 500 fois, tout en maintenant un taux d’utilisation des capacités de calcul de 90 % à...