فريق Meituan Longcat مفتوح المصدر LongCat-Next هو نموذج متعدد الأنماط قائم على معمارية MoE، والذي يدمج خمس قدرات تشمل معالجة النصوص والفهم البصري وتوليد الصور والكلام. يحقق تصميمه الأساسي DiNA معالجة المهام الموحدة من خلال tokens منفصلة، وتستخدم الجانب البصري dNaViT الذي يجعل أداء توليد الصور متفوقة. بمقارنته مع النماذج المماثلة، يتقدم LongCat-Next في جميع المقاييس المرجعية، مما يعكس مزاياه في مجال الفهم والتوليد متعدد الأنماط.

نشرت Cursor تقرير تقنية Composer 2، والذي يقدم الحل التدريبي الكامل لبنية Kimi K2.5 MoE الخاصة بها، بما في ذلك التدريب ثنائي المراحل والمعيار المطور ذاتياً CursorBench. بعد التدريب، أظهرت Composer 2 تحسناً ملحوظاً في الأداء وتفوقت على نماذج الحدود الأخرى من حيث تكاليف الاستدلال.

أصدرت Cursor في 25 مارس تقرير تكنولوجيا Composer 2، والذي كشف عن خطة التدريب لنموذج Kimi K2.5، حيث استخدمت معمارية MoE بإجمالي معاملات يصل إلى 1.04 تريليون. تم تقسيم التدريب إلى مرحلتين، باستخدام محاكاة السيناريوهات الحقيقية للتعلم المعزز، وحققت في النهاية درجة 61.3 على معيار CursorBench، بتحسن نسبته 70%، كما أن تكاليف الاستدلال أقل من واجهات برمجة التطبيقات الأخرى للنماذج الكبيرة.

فريق Meituan LongCat قام بفتح مصادر LongCat-Flash-Prover في 21 مارس، وهو نموذج MoE بـ 560 مليار معامل، مركز على إثبات النظريات الرسمية في Lean4. ينقسم النموذج إلى ثلاث قدرات: الإضفاء الرسمي التلقائي، وإنشاء الرسومات التخطيطية، وإنشاء البراهين الكاملة، ويجمع بين أدوات الاستدلال ومترجم Lean4 للتحقق في الوقت الفعلي. يستخدم التدريب إطار Hybrid-Experts Iteration Framework وخوارزمية HisPO لمنع الغش في المكافآت. تظهر الاختبارات المعيارية أن النموذج حقق أرقاماً قياسية جديدة لنماذج الأوزان مفتوحة المصدر في الإضفاء الرسمي التلقائي وإثبات النظريات.

أطلقت Mistral AI وكيل الكود مفتوح المصدر Leanstral، مصمم خصيصاً للتحقق الرسمي من Lean 4، وقادر على توليد الكود والإثباتات التي يمكن التحقق منها تلقائياً. يستخدم النموذج بنية MoE�疏 (Mixture of Experts)، ويتفوق على النماذج الرائدة الأخرى، ويوفر التنزيل المجاني واستدعاءات واجهة برمجية.