Повідомлення Gate News, 29 квітня — AI-дослідник Аран Комацузаки провів порівняльний аналіз ефективності токенізації на базі шести провідних AI-моделей, переклавши фундаментальну працю Річа Саттона “The Bitter Lesson” дев’ятьма мовами та обробивши їх токенізаторами OpenAI, Gemini, Qwen, DeepSeek, Kimi та Claude. Виходячи з кількості токенів в англійській версії в OpenAI як базового рівня (1x), дослідження виявило суттєві відмінності: обробка того самого контенту китайською вимагала 1.65x токенів у Claude, тоді як у OpenAI — лише 1.15x. Хінді показав ще більш екстремальний результат у Claude, перевищивши базовий рівень більш ніж у 3 рази. Anthropic посів найнижче місце серед шести протестованих моделей.
Критично важливо: коли ідентичний китайський текст обробляли в різних моделях — усі результати, порівняні з однією й тією самою англійською базою — результати різко розійшлися: Kimi спожив лише 0.81x токенів (навіть менше, ніж англійська), Qwen — 0.85x, тоді як Claude потребував 1.65x. Цей розрив свідчить про чисту проблему ефективності токенізації, а не про властиві мовні особливості. Китайські моделі демонстрували вищу ефективність під час обробки китайської, що вказує: відмінність зумовлена оптимізацією токенізатора, а не самою мовою.
Практичні наслідки для користувачів суттєві: зростання споживання токенів безпосередньо підвищує API-витрати, збільшує затримку відповіді моделі та швидше виснажує контекстні вікна. Ефективність токенізації залежить від лінгвістичного складу навчальних даних моделі: моделі, натреновані переважно на англійській, стискають англійський текст ефективніше, тоді як мови з нижчою представленістю токенізуються на менші, менш ефективні фрагменти.
Висновок Комацузаки підкреслює фундаментальний принцип: розмір ринку визначає ефективність токенізації. Більші ринки отримують кращу оптимізацію, а мови, представлені недостатньо, стикаються зі значно вищими токен-витратами.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Дослідник мультимодального напрямку DeepSeek натякає на нову візійну модель 29 квітня
29 квітня дослідник мультимодальної команди DeepSeek Сяокан Чень опублікував на X: «Тепер ми бачимо вас», супроводивши це двома зображеннями китового талісмана DeepSeek — одне з заплющеними очима, а інше з розплющеними. Пост, схоже, натякає на майбутню візійну модель, що відповідає ролі Ченя як дослідника в Dee
GateNews14хв. тому
LG розширює партнерство з Nvidia до фізичного ШІ, охоплюючи робототехніку та центри обробки даних
Повідомлення Gate News, 29 квітня — південнокорейська LG Electronics оголосила під час телефонної конференції щодо фінансових результатів за перший квартал 2026 року, що розширює співпрацю з Nvidia у напрямі фізичного ШІ, плануючи проєкти в робототехніці, мобільності та центрах обробки даних.
LG планує інтегрувати свого домашнього робота CLOiD із Nvidia
GateNews32хв. тому
Напівпровідникові аналітики налаштовані оптимістично щодо ринку AI «принаймні ще на три роки»: передове складання є вузьким місцем галузі
Bubble Boi вважає, що цикл AI-інвестицій усе ще перебуває на ранній стадії: очікується принаймні ще три роки зростання, і він не планує фіксувати прибуток. На його думку, передові корпусні (advanced packaging) технології є справжньою вузькою ланкою в напівпровідниках; потрібно в межах одного корпусу інтегрувати більше HBM і більші кристали. Він налаштований оптимістично щодо NAND/Flash, ціни можуть і надалі зростати, а в майбутньому, можливо, буде додано флеш-ланцюг постачання. Його особиста стратегія — позичати кошти для докупівлі, а також розуміти технічні деталі, спираючись на інженерний практичний досвід; він вважає, що це є перевагою.
ChainNewsAbmedia1год тому
AWS Розширює інтеграцію OpenAI в Amazon Bedrock
Amazon Web Services оголосила 29 квітня про суттєве розширення своєї партнерської співпраці з OpenAI, інтегрувавши найновіші можливості OpenAI в свою хмарну інфраструктуру. Розширення додає три нові пропозиції до Amazon Bedrock: найновіші моделі OpenAI (обмежений прев’ю), програмування Codex
CryptoFrontier1год тому
Дослідники OpenAI: системи ШІ можуть впоратися з більшою частиною дослідницької роботи протягом двох років
Повідомлення Gate News, 29 квітня — дослідники OpenAI Себастьєн Бюбек і Ернест Рю кажуть, що системи ШІ зможуть виконувати більшість людської дослідницької роботи вже протягом двох років, представляючи математику як чітку міру прогресу ШІ. На відміну від розмитих тестів продуктивності, математичні задачі дають точну перевірку: відповіді або правильні, або неправильні, тож без двозначностей.
GateNews2год тому
Чарльз III зустрівся з шістьма гендиректорами технологічних компаній США, зокрема Дженсеном Хуангом, Джеффом Безосом і Тімом Куком, щоб обговорити фінансування стартапів у Великій Британії
Повідомлення Gate News, 29 квітня — Під час свого державного візиту до Сполучених Штатів король Чарльз III зустрівся у Blair House у Вашингтоні з шістьма відомими американськими лідерами технологічної індустрії: генеральним директором NVIDIA Дженсеном Хуангом, засновником Amazon Джеффом Безосом, генеральним директором Apple Тімом Куком, генеральним директором AMD Су Цзифеном, генеральним директором Salesforce Марком Беніоффом та
GateNews2год тому
