Mensagem do Gate News, 29 de abril — a investigadora de IA Aran Komatsuzaki realizou uma análise comparativa da eficiência de tokenização em seis dos principais modelos de IA, traduzindo o artigo seminal de Rich Sutton “The Bitter Lesson” para nove línguas e processando-o através dos tokenizadores da OpenAI, Gemini, Qwen, DeepSeek, Kimi e Claude. Usando a contagem de tokens da versão em inglês na OpenAI como base (1x), o estudo revelou disparidades significativas: ao processar o mesmo conteúdo em chinês, eram necessários 1.65x tokens no Claude, em comparação com apenas 1.15x na OpenAI. O hindi apresentou um resultado ainda mais extremo no Claude, superando a base em mais de 3x. A Anthropic ficou em último lugar entre os seis modelos testados.
De forma crucial, quando o mesmo texto chinês foi processado em diferentes modelos — todos medidos em relação à mesma base em inglês — os resultados divergiram dramaticamente: o Kimi consumiu apenas 0.81x tokens (até menos do que o inglês), o Qwen 0.85x, enquanto o Claude exigiu 1.65x. Esta diferença revela um problema puro de eficiência de tokenização, e não uma questão inerente ao idioma. Os modelos de chinês demonstraram maior eficiência ao processar chinês, sugerindo que a disparidade decorre da otimização do tokenizador e não do próprio idioma.
As implicações práticas para os utilizadores são substanciais: o aumento do consumo de tokens eleva diretamente os custos da API, aumenta a latência de resposta do modelo e esgota mais rapidamente as janelas de contexto. A eficiência de tokenização depende da composição linguística dos dados de treino de um modelo — modelos treinados predominantemente em inglês comprimem o texto em inglês com maior eficiência, enquanto idiomas com menor representação nos dados são tokenizados em fragmentos menores e menos eficientes.
A conclusão de Komatsuzaki sublinha um princípio fundamental: o tamanho do mercado determina a eficiência de tokenização. Mercados maiores recebem melhor otimização, enquanto os idiomas sub-representados enfrentam custos de tokens significativamente mais elevados.
Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a
Isenção de responsabilidade.
Related Articles
Investigadora Multimodal da DeepSeek Sugere um Novo Modelo de Visão a 29 de abril
A 29 de abril, a investigadora da equipa multimodal da DeepSeek, Xiaokang Chen, publicou no X: "Agora, vemos-te", acompanhado por duas imagens do mascote da baleia da DeepSeek—uma com os olhos fechados e a outra com os olhos abertos. A publicação parece sugerir um modelo de visão que está para breve, em linha com o papel de Chen como investigadora na Deep
GateNews14m atrás
A LG Expande a Parceria com a Nvidia para a IA Física, Abrangendo Robótica e Centros de Dados
Mensagem da Gate News, 29 de abril — A LG Electronics, da Coreia do Sul, anunciou durante a sua conferência de resultados do 1.º trimestre de 2026 que está a expandir a sua colaboração com a Nvidia para a IA física, com projetos planeados em robótica, mobilidade e centros de dados.
A LG planeia integrar o seu robô doméstico CLOiD com a Nvidia
GateNews32m atrás
Analista de semicondutores optimista com a corrida da IA “pelo menos mais três anos”: o empacotamento avançado é o verdadeiro gargalo da indústria
Bubble Boi 指 que o ciclo de investimento em IA ainda está numa fase inicial, prevendo pelo menos mais três anos de subida, e não pretende encerrar posições para realizar lucros. Ele acredita que a embalagem avançada é o verdadeiro gargalo da indústria de semicondutores, e que é necessário integrar mais HBM e chips maiores no mesmo encapsulamento. Está otimista em relação a NAND/Flash, e considera que os preços poderão continuar a subir; no futuro, poderá também ser integrado na cadeia de fornecimento de flash. A sua estratégia pessoal é contrair empréstimos para aumentar a posição e, com uma formação de base em prática de engenharia, compreender os detalhes técnicos, entendendo que isto é uma vantagem.
ChainNewsAbmedia1h atrás
A AWS Alarga a Integração com a OpenAI no Amazon Bedrock
A Amazon Web Services anunciou a 29 de abril uma expansão significativa da sua parceria com a OpenAI, integrando as mais recentes capacidades da OpenAI na sua infraestrutura cloud. A expansão traz três novas ofertas ao Amazon Bedrock: os modelos mais recentes da OpenAI (limited preview), a Codex para programação
CryptoFrontier1h atrás
Investigadores da OpenAI: os sistemas de IA poderiam lidar com grande parte do trabalho de investigação em dois anos
Mensagem do Gate News, 29 de abril — Os investigadores da OpenAI, Sébastien Bubeck e Ernest Ryu, afirmam que os sistemas de IA poderiam executar a maior parte do trabalho de investigação humana no prazo de dois anos, apresentando a matemática como uma medida clara do progresso da IA. Ao contrário de testes de desempenho pouco concretos, os problemas matemáticos oferecem uma verificação precisa: as respostas são ou correctas ou incorrectas, sem espaço para ambiguidades:
GateNews2h atrás
Carlos III reúne-se com seis CEOs de tecnologia dos EUA, incluindo Jensen Huang, Jeff Bezos e Tim Cook, para discutir o financiamento de startups no Reino Unido
Mensagem do Gate News, 29 de abril — Durante a sua visita de Estado aos Estados Unidos, o rei Carlos III reuniu-se com seis destacados líderes de tecnologia americanos na Blair House, em Washington: o CEO da NVIDIA, Jensen Huang, o fundador da Amazon, Jeff Bezos, o CEO da Apple, Tim Cook, o CEO da AMD, Su Zifeng, o CEO da Salesforce, Marc Benioff, e
GateNews2h atrás
