OpenAI semble être à court de données d'entraînement de qualité pour l'entraînement GPT-5

Le développement du GPT-5 OpenAI a été sérieusement entravé par des coûts élevés et des problèmes techniques, bien que le projet soit en cours depuis plus de 18 mois.

Ce que nous savons

Auparavant, Microsoft espérait que le nouveau modèle serait prêt pour la mi-2024, mais le délai ne sera pas respecté.

Selon le Wall Street Journal, chaque formation GPT-5 coûte à l'entreprise plus de 500 millions de dollars rien qu'en puissance de calcul, mais le résultat n'a pas encore répondu aux attentes. Par rapport à GPT-4, seules des améliorations mineures ont été réalisées, et elles ne suffisent pas à justifier des dépenses aussi importantes.

L'un des principaux problèmes est le manque de données de haute qualité pour entraîner le modèle. L'internet public ne peut pas fournir suffisamment de données diverses et de qualité pour obtenir les résultats souhaités. Pour résoudre ce problème, l'OpenAI a invité des experts à créer de nouveaux supports de formation, tels que des codes logiciels et des problèmes mathématiques. Toutefois, ce processus est très lent.

Par exemple, la formation GPT-4 a nécessité 13 billions de jetons, ce qui représente une énorme quantité de texte qui ne peut être collectée en peu de temps.

Les problèmes internes de l'entreprise ont également exacerbé la situation : plus de deux douzaines de cadres clés ont quitté OpenAI en 2024, y compris le scientifique en chef Ilya Sutskever et le directeur technique Mira Murati. Outre GPT-5, l'entreprise travaille sur d'autres projets tels que o1 et Sora.

Le PDG d'OpenAI, Sam Altman, a confirmé que GPT-5 n'apparaîtra pas en 2024, ce qui retarde considérablement les plans de l'entreprise pour le développement de l'intelligence artificielle.

Source : WSJ WSJ