Les grands modèles de langage : de l’abstraction à la réalité

21 octobre 2024

<strong>Les grands modèles de langage : de l’abstraction à la réalité</strong>

Par Chris Gannatti, Global Head of Research, WisdomTree

Le problème avec les grands modèles de langage (LLM), c’est qu’il est difficile pour un ingénieur non spécialiste des logiciels de visualiser de quoi il s’agit. C’est encore plus difficile lorsque l’on découvre que le développement et la formation des plus grands LLM coûtent plusieurs centaines de millions de dollars.

Nous constatons pourtant que les PDG de certaines des plus grandes entreprises au monde indiquent que leur groupe dépensera plus de 1 000 milliards de dollars au cours des prochaines années dans la construction de nouvelles infrastructures informatiques, afin de pouvoir exécuter ces modèles plus facilement[1]&[2].

Nous sommes toujours à la recherche de cas d’utilisation ou de témoignages nous permettant de transcrire cette abstraction en quelque chose de concret, par exemple en illustrant le véritable impact d’un LLM pour une entreprise. Si nous découvrions suffisamment de cas d’utilisation, nous pourrions commencer à voir ces impacts s’intégrer dans les statistiques plus larges de la productivité économique.

C’est pourquoi nous avons été intéressés par la déclaration d’Andy Jassy, PDG d’Amazon, concernant le système Q de l’entreprise, qui est pour l’essentiel un LLM capable de générer du code logiciel[3] :

La durée moyenne de mise à niveau d’une application vers Java 17 est passée de 50 jours de développement à seulement quelques heures. Nous estimons que cela nous a permis d’économiser l’équivalent de 4 500 années de travail de développement (oui, ce chiffre est incroyable mais vrai).

En moins de six mois, nous avons été en mesure de mettre à niveau plus de 50 % de nos systèmes Java de production vers des versions Java modernisées, en une fraction du temps et des efforts habituellement nécessaires. Par ailleurs, nos développeurs ont expédié 79 % des révisions de code générées automatiquement sans modifications supplémentaires.

Les avantages s’étendent au-delà des efforts économisés pour les développeurs. Les mises à niveau ont en effet amélioré la sécurité et réduit les coûts d’infrastructure, ce qui a permis d’estimer les gains d’efficience annualisés à 260 millions de dollars.

Une économie de 4 500 années de développement ??? Des gains d’efficience annualisés de 260 millions de dollars ??? Ces chiffres sont absolument vertigineux. Nous avons conscience que la révolution de l’IA ne fait que commencer, mais la conceptualisation formulée par Jassy concernant l’impact de l’IA sur les développeurs de son équipe conduit d’autres personnes à publier en détail des témoignages similaires.

Une feuille de route conceptuelle pour l’évolution de l’IA[4]

L’illustration 1 est selon nous essentielle pour permettre à chacun de rapidement visualiser d’une autre manière l’intérêt de tous ces LLM. Tous les professionnels de la connaissance peuvent comprendre que leur travail se compose de différents ensembles de tâches, et que chacun de ces ensembles peut impliquer des quantités de temps très différentes.

Les versions actuelles des LLM sont capables de répondre à des questions ou à des e-mails simples, mais il est beaucoup moins certain que ces systèmes puissent créer à partir de zéro des rapports entièrement nouveaux ou des idées originales. Cela ne signifie pas qu’ils ne sont pas en capacité de le faire, mais simplement qu’à un certain stade le niveau d’analyse nécessaire pour des réponses ou des questions simples est très différent du niveau d’analyse nécessaire pour un tout nouveau diaporama susceptible de contenir 60 diapositives originales, toutes créées par l’IA.

Illustration 1 : Une feuille de route conceptuelle pour l’évolution de l’IA

Source : Stanley, Edward et al. « Mapping AI’s Rate of Change. » Morgan Stanley Research. 4 juin 2024

Les LLM sont-ils des logiciels, des infrastructures, ou les deux ?

Certains qualifient les LLM de « modèles fondamentaux ». Le terme « fondamental » suscite la réflexion dans la mesure où, dans de nombreux contextes, un fondement est une base sur laquelle vous pouvez bâtir quelque chose. Si nous prenons l’exemple de la création de valeur dans plusieurs écosystèmes :

  • Qu’est-ce qui confère de la valeur aux ordinateurs ? On pourrait considérer tous les composants matériels et additionner la valeur de chacun d’entre eux pour déterminer la valeur d’un ordinateur. Or, si l’on songe à la manière dont les ordinateurs ont été adoptés au fil de leur histoire, il fut un temps où l’on pensait que les individus pourraient construire leurs propres ordinateurs. La facilité d’utilisation que Microsoft a apportée à l’expérience d’exécution de tâches précises grâce aux ordinateurs a été extrêmement précieuse, tout comme le fait que de nombreux utilisateurs aient adopté ces progiciels et appris à les utiliser tous simultanément.
  • Qu’est-ce qui confère de la valeur à Internet ?Beaucoup répondront qu’Internet permet aux êtres humains d’échanger des informations à l’échelle mondiale beaucoup plus facilement. Or, dans ce cas, que penser de Google, un exemple d’entreprise qui cherchait à organiser les informations disponibles sur Internet afin que vous puissiez obtenir ce dont vous aviez besoin beaucoup plus rapidement ? Comment pensez-vous que nous nous en sortirions si nous devions utiliser Internet sans moteurs de recherche ?
  • Si l’on prend l’exemple de l’iPhone, la valeur de l’appareil réside-t-elle dans les composants du téléphone et dans ce que la technologie peut spécifiquement accomplir, ou dans l’ensemble des applications intégrées dans le logiciel iOS ?

Dans chacun de ces cas, la réponse consiste probablement à considérer que tout revêt une certaine valeur, mais la raison pour laquelle nous faisons souvent référence aux produits et services proposés par des entreprises dont la capitalisation boursière dépasse les 1 000 milliards de dollars réside dans le fait que différents effets se répercutent et se multiplient de manière exponentielle. Des effets de réseau considérables entrent également en jeu : rien ne génère plus d’utilisateurs et de croissance qu’une immense base initiale d’utilisateurs.

Les illustrations 2a et 2b présentent des tendances que nous avons déjà observées :

  • L’illustration 2a indique la relation entre les revenus d’IBM, de Microsoft, et le nombre d’unités de PC vendus à l’échelle mondiale. Dans un premier temps, IBM vend logiquement des PC, ou permet à d’autres entreprises de concevoir et commercialiser ce que l’on appelait les clones IBM. Le nombre de PC augmente et, après un certain temps, une fois que la base d’utilisateurs de PC atteint un certain niveau, les revenus de Microsoft décollent dans la mesure où tous ces utilisateurs de PC en entendent parler, et recherchent les avantages de l’utilisation des systèmes d’exploitation de Microsoft. Il aurait été absurde que le système de Microsoft prenne de la valeur avant que les PC ne se retrouvent sur la quasi-totalité des bureaux.
  • L’illustration 2b établit la relation entre l’adoption d’Internet et les revenus de Cisco et d’Amazon.com. Les appareils Cisco permettent à un plus grand nombre d’entreprises et de personnes d’utiliser Internet. À mesure que de plus en plus de personnes profitent de l’Internet, la valeur de l’offre d’Amazon.com – le commerce électronique – devient de plus en plus évidente. Il n’aurait pas été logique que les efforts de commerce électronique d’Amazon.com revêtent de la valeur avant l’adoption d’Internet par une masse critique d’utilisateurs.
  •  

Illustration 2a : Relation entre le nombre d’unités de PC vendus à l’échelle mondiale et les revenus d’IBM et de Microsoft au fil du temps

Source : WisdomTree, Bloomberg. Les données relatives au nombre d’unités de PC vendus proviennent de « Total Share: Personal Computer Market Share 1975-2010, Jeremy Reimer » et de Gartner. Les performances historiques ne garantissent pas les résultats futurs, et tout investissement est susceptible de perdre de la valeur.

Illustration 2b : Relation entre l’adoption d’Internet aux États-Unis et les revenus de Cisco et d’Amazon.com au fil du temps

Source : WisdomTree, Bloomberg, Banque mondiale. Les performances historiques ne garantissent pas les résultats futurs, et tout investissement est susceptible de perdre de la valeur.

Conclusion : Que développerons-nous sur la base des modèles fondamentaux ?

Ce qui est intéressant avec les modèles fondamentaux, du moins au deuxième semestre 2024, c’est que seules les entreprises mondiales les plus grandes et les plus rentables disposent des ressources pour continuer de les développer et de les faire progresser. Même s’il semble que certains de ces modèles fassent partie d’entreprises indépendantes, les plus grandes sociétés au monde ont tendance à acquérir d’importantes participations financières permettant les investissements croissants nécessaires dans les talents et l’infrastructure informatique.

Nous ignorons de quoi l’avenir sera fait, et il s’agit sans doute d’une question à mille milliards de dollars. Ce que nous savons, en revanche, c’est que les individus ont tendance à privilégier des tâches personnelles discrètes, et qu’ils n’auront pas nécessairement besoin d’accéder à un modèle capable de passer n’importe quel examen de haut niveau. Nous aimons cependant l’idée d’interfaces plus spécialisées, axées sur des tâches plus spécifiques, et susceptibles ensuite d’utiliser certaines parties des modèles plus larges pour accomplir le travail.

Quelle que soit l’évolution de la situation, nous pensons que les plus grandes entreprises mondiales connectées à ces modèles fondamentaux auront un rôle important à jouer dans les années à venir.

[1] Goldman Sachs, https://www.datacenterdynamics.com/en/news/goldman-sachs-1tn-to-be-spent-on-ai-data-centers-chips-and-utility-upgrades-with-little-to-show-for-it-so-far/

2 Nvidia, https://www.linkedin.com/posts/leeps_nvidia-ceo-predicts-1-trillion-will-be-spent-activity-7101349410281836544-hB72/

3 Source : Extrait d’une publication LinkedIn du PDG d’Amazon, Andy Jassy, à laquelle il est fait référence sur le lien https://nextbigteng.substack.com/p/hello-ai-world-evolution-of-developer-economy-in-the-age-of-ai.

4 Source : Stanley, Edward et al. « Mapping AI’s Rate of Change. » Morgan Stanley Research. 4 juin 2024

Retrouvez l’ensemble de nos article Business

Recommandé pour vous

A la Une
OAK WINE & GRILL : Une table d’exception
Photo © OAK WINE & GRILL Le OAK WINE & GRILL s’impose comme une adresse …
A la Une
La Fed devrait réduire ses taux en décembre,tout en conservant une certaine marge de...
Commentaires de Michael Krautzberger, Global CIO Fixed Income chez AllianzGI, en…
A la Une
Muzinich & Co.: Weekly Update – L’équipe de coupe
La semaine dernière a été marquée par une activité importante des banques centra…
A la Une
Prévision du FOMC de décembre: les incertitudes demeurent, la Fed n’est pas pressée de...
Photo Christian Scherrmann © DWS Par Christian Scherrmann, économiste américain …
A la Une
Capital-investissement : Des opportunités pour chaque investisseur
Par Dr Michel Degosciu Les investissements en private equity : des rendements at…
A la Une
Réunions de décembre des banques centrales : pic de pessimisme et pic d’optimisme
Par Kevin Thozet, membre du comité d’investissement Banque nationale suisse (BNS…