La dernière IA phare d'Anthropic n'a peut-être pas été incroyablement coûteuse à former

Le nouveau modèle phare d'IA d'Anthropic, Claude 3.7 Sonnet, a coûté « quelques dizaines de millions de dollars » à entraîner en utilisant moins de 10^26 FLOPs de puissance de calcul.

C'est ce qu'a déclaré le professeur Ethan Mollick de Wharton, qui a relayé dans un post X lundi une clarification qu'il avait reçue du service de relations publiques d'Anthropic. « J'ai été contacté par Anthropic qui m'a dit que Sonnet 3.7 ne serait pas considéré comme un modèle 10^26 FLOP et coûterait quelques dizaines de millions de dollars », a-t-il écrit , « même si les modèles futurs seront beaucoup plus gros. »

TechCrunch a contacté Anthropic pour confirmation mais n'avait pas reçu de réponse au moment de la publication.

En supposant que la formation de Claude 3.7 Sonnet ne coûte que « quelques dizaines de millions de dollars », sans compter les dépenses connexes, cela montre à quel point il devient relativement bon marché de sortir des modèles de pointe. Le prédécesseur de Claude 3.5 Sonnet, sorti à l'automne 2024, a également coûté quelques dizaines de millions de dollars à former , a révélé le PDG d'Anthropic, Dario Amodei, dans un essai récent.

Ces totaux se comparent assez favorablement aux prix de formation des meilleurs modèles de 2023. Pour développer son modèle GPT-4, OpenAI a dépensé plus de 100 millions de dollars, selon le PDG d'OpenAI, Sam Altman. Dans le même temps, Google a dépensé près de 200 millions de dollars pour former son modèle Gemini Ultra, selon une étude de Stanford.

Cela étant dit, Amodei s'attend à ce que les futurs modèles d'IA coûtent des milliards de dollars . Les coûts de formation ne tiennent certainement pas compte de travaux tels que les tests de sécurité et la recherche fondamentale. De plus, à mesure que le secteur de l'IA adopte des modèles de « raisonnement » qui fonctionnent sur des problèmes pendant des périodes prolongées , les coûts informatiques liés à l'exécution des modèles continueront probablement d'augmenter.