Message de Gate News, 29 avril — La chercheuse en IA Aran Komatsuzaki a mené une analyse comparative de l’efficacité de la tokenisation sur six grands modèles d’IA en traduisant le papier fondateur de Rich Sutton « The Bitter Lesson » dans neuf langues et en les traitant avec les tokenizers d’OpenAI, Gemini, Qwen, DeepSeek, Kimi et Claude. En utilisant le nombre de tokens de la version anglaise sur OpenAI comme base (1x), l’étude a révélé d’importantes disparités : traiter le même contenu en chinois nécessitait 1,65x tokens sur Claude, contre seulement 1,15x sur OpenAI. L’hindi a montré un résultat encore plus extrême sur Claude, dépassant la base de plus de 3x. Anthropic est arrivé en dernière position parmi les six modèles testés.
Critiquement, lorsque le même texte chinois identique a été traité sur différents modèles—tous mesurés par rapport à la même base anglaise—les résultats ont divergé de manière spectaculaire : Kimi n’a consommé que 0,81x tokens (même en dessous de l’anglais), Qwen 0,85x, tandis que Claude en demandait 1,65x. Cet écart révèle un problème pur d’efficacité de tokenisation, pas une question intrinsèque de langue. Les modèles chinois ont démontré une efficacité supérieure pour le traitement du chinois, ce qui suggère que la disparité provient d’optimisations du tokenizer plutôt que de la langue elle-même.
Les implications pratiques pour les utilisateurs sont considérables : une consommation accrue de tokens augmente directement les coûts des API, prolonge la latence des réponses des modèles et épuise plus rapidement les fenêtres de contexte. L’efficacité de la tokenisation dépend de la composition linguistique des données d’entraînement d’un modèle—les modèles entraînés principalement sur l’anglais compressent l’anglais plus efficacement, tandis que les langues moins représentées sont tokenisées en fragments plus petits et moins efficaces.
La conclusion de Komatsuzaki souligne un principe fondamental : la taille du marché détermine l’efficacité de la tokenisation. Les marchés plus vastes bénéficient d’une meilleure optimisation, tandis que les langues sous-représentées font face à des coûts de tokens nettement plus élevés.
Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'
avertissement.
Articles similaires
Le chercheur multimodal de DeepSeek laisse entendre un nouveau modèle de vision le 29 avril
Le 29 avril, le chercheur de l’équipe multimodale de DeepSeek, Xiaokang Chen, a publié sur X : « Maintenant, nous te voyons », accompagné de deux images du mascotte baleine de DeepSeek — l’une avec les yeux fermés, l’autre avec les yeux ouverts. La publication semble faire allusion à un futur modèle de vision, en lien avec le rôle de Chen en tant que chercheur au sein de l’équipe multimodale de Dee
GateNewsIl y a 9m
LG étend son partenariat avec Nvidia vers l’IA physique, couvrant la robotique et les centres de données
Message de Gate News, 29 avril — Le géant sud-coréen LG Electronics a annoncé, lors de sa conférence sur les résultats du 1er trimestre 2026, qu’il étend sa collaboration avec Nvidia vers l’IA physique, avec des projets prévus en robotique, mobilité et centres de données.
LG prévoit d’intégrer son robot domestique CLOiD avec Nvidia
GateNewsIl y a 27m
Les analystes des semi-conducteurs voient une tendance haussière de l’IA : « au moins encore trois ans » : le conditionnement avancé est le principal goulot d’étranglement de l’industrie
Bubble Boi : Comme le cycle d’investissement en IA est encore en début de phase, il prévoit qu’il y aura encore au moins trois ans de hausse, et il n’a pas l’intention de clôturer ses profits. Il pense que l’emballage avancé est le véritable goulot d’étranglement du secteur des semi-conducteurs : il faut intégrer davantage de HBM et des puces plus grandes dans le même module. Il est haussier sur la NAND/Flash, et les prix pourraient continuer à monter ; à l’avenir, il pourrait aussi intégrer une chaîne d’approvisionnement liée aux flash. Sa stratégie personnelle consiste à emprunter des fonds pour accroître sa position, et à comprendre les détails techniques grâce à son expérience en pratique d’ingénierie, ce qu’il considère comme un avantage.
ChainNewsAbmediaIl y a 1h
AWS étend l’intégration d’OpenAI dans Amazon Bedrock
Amazon Web Services a annoncé le 29 avril une expansion significative de son partenariat avec OpenAI, intégrant les dernières capacités d’OpenAI dans son infrastructure cloud. L’expansion apporte trois nouvelles offres à Amazon Bedrock : les derniers modèles d’OpenAI (limités en aperçu), la programmation Codex
CryptoFrontierIl y a 1h
Chercheurs d’OpenAI : les systèmes d’IA pourraient gérer la plupart des travaux de recherche dans deux ans
Message de Gate News, 29 avril — Les chercheurs d’OpenAI Sébastien Bubeck et Ernest Ryu affirment que les systèmes d’IA pourraient accomplir la plupart des travaux de recherche réalisés par des humains dans les deux prochaines années, en présentant les mathématiques comme une mesure claire des progrès de l’IA. Contrairement aux tests de performance vagues, les problèmes mathématiques offrent une vérification précise : les réponses sont soit correctes, soit incorrectes, sans place pour l’ambiguïté :
GateNewsIl y a 1h
Le roi Charles III rencontre six PDG de la tech américaine, dont Jensen Huang, Jeff Bezos et Tim Cook, pour discuter du financement des start-ups au Royaume-Uni
Message de Gate News, 29 avril — Lors de sa visite d’État aux États-Unis, le roi Charles III a rencontré à Blair House, à Washington, six éminents dirigeants américains de la technologie : le PDG de NVIDIA Jensen Huang, le fondateur d’Amazon Jeff Bezos, le PDG d’Apple Tim Cook, le PDG d’AMD Su Zifeng, le PDG de Salesforce Marc Benioff, et
GateNewsIl y a 2h
