LongCat-Next, відкритий командою Meituan Longcat, — це мультимодальна модель на основі архітектури MoE, яка інтегрує п'ять можливостей: розуміння тексту, розуміння зображень, генерацію зображень та мовлення. Її основний дизайн DiNA забезпечує уніфіковану обробку завдань через дискретні токени, а у візуальній частині використовується dNaViT, який забезпечує відмінну продуктивність генерації зображень. У порівнянні з аналогічними моделями LongCat-Next демонструє передові результати за всіма тестами, що часто експлуатується в її перевагами в области мультимодального розуміння та генерації.

Cursor опублікував технічний звіт Composer 2, який описує повний план навчання його архітектури Kimi K2.5 MoE, включаючи двофазове навчання та власний еталон CursorBench. Після навчання продуктивність Composer 2 значно покращилася і показує переваги в плані витрат на інференцію порівняно з іншими передовими моделями.

Cursor випустив технічний звіт Composer 2 25 березня, розкривши схему навчання моделі Kimi K2.5, яка використовує архітектуру MoE з параметрами обсягом 1,04 трильйона. Навчання складається з двох етапів, із застосуванням моделювання реальних сценаріїв для навчання з підкріпленням. Остаточно модель досягла 61,3 балів на еталоні CursorBench, що являє собою підвищення на 70%, водночас витрати на виведення нижче, ніж у інших API великих мовних моделей.

Команда LongCat компанії Meituan відкрила вихідний код LongCat-Flash-Prover 21 березня — MoE-моделі з 560 мільярдами параметрів, спеціалізованої на формальному доведенні теорем у Lean4. Модель поділяється на три можливості: автоматична формалізація, генерація ескізів і генерація повного доведення, інтегруючи інструменти висновків та компілятор Lean4 для перевірки в реальному часі. Навчання використовує Hybrid-Experts Iteration Framework та алгоритм HisPO для запобігання шахрайству з винагородами. Результати тестування показують, що модель встановила нові рекорди серед відкритих важельних моделей у автоматичній формалізації та доведенні теорем.

Mistral AI випустила open-source агента коду Leanstral, спеціально розробленого для формальної верифікації Lean 4, який може генерувати код і докази, що автоматично перевіряються. Модель використовує архітектуру розрідженої MoE, показує кращі результати порівняно з іншими провідними моделями та пропонує безплатне завантаження та виклики API.