دعم ثورة الذاكرة المفتوحة المصدر في الصين، والذكاء الاصطناعي أخيرًا يمتلك ذاكرة طويلة المدى بمستوى الإنسان!

نطاق سياق 100 مليون توكن، نموذج صغير بــ 4 مليار يتفوق على RAG بــ 235 مليار! EverMind يفتح مصدر MSA وأحدث ضجة
هل فكرت يومًا: أن سعة ذاكرة الإنسان خلال حياته تقريبًا 2-3 مليار توكن، بينما GPT وClaude اليوم تتأرجح عند 200 ألف إلى مليون، وإذا زادت تتعطل؟ لا يمكن لأي قاعدة بيانات متعددة الأبعاد أن تنقذ الأمر. البحث دائمًا هو وظيفة إضافية، والتفكير متعدد الخطوات ينسى بمجرد توقفه؛ تدريب نموذج سياق طويل مرة واحدة يستهلك ذاكرة غالية جدًا، والتخمين يتعطل بشكل رهيب.
EverMind-AI يضرب ضربة قوية، ويكسر حاجز الأداء. قاموا بفتح مصدر MSA (الانتباه المتناثر للذاكرة)، وهو بنية ذاكرة طويلة المدى أصلية، مدمجة، وقابلة للتدريب من النهاية للنهاية، بحيث تصل سعة ذاكرة LLM إلى 100,000,000 توكن، مع تدهور دقة لا يتجاوز 9%!
هذه ليست مجرد خدعة سياق طويل زائف، بل ثورة في تصميم يدمج الحصين مباشرة في Transformer.
//
ما الذي يجعل MSA مميزًا جدًا؟ ثلاث طرق تتفوق على جميع الأسلاف
1. انتباه متناثر + RoPE خاص بالمستند
RoPE التقليدي يبدأ في الانحراف عند طول المدى، وMSA يعيد تعيين عداد الموقع لكل مستند بشكل مستقل، أثناء التدريب يمكن أن يمتد من 64K إلى 100 مليون بسلاسة. التعقيد من O(n²) يتحول إلى تقريبا O(n)، مما يجعل التدريب والتخمين خطيًا وقابلًا للتوسع.
2. ضغط طبقات ذاكرة KV + التوازي في الذاكرة
مفاتيح التوجيه (نسخة مضغوطة جدًا) تبقى دائمًا على GPU، بينما يتم تخزين كامل KV في ذاكرة CPU. أثناء التخمين، يتم سحب المستندات الضرورية فقط باستخدام Top-k، ويمكن لبطاقتين A800 تشغيل 100 مليون توكن! الاختبارات الرسمية تظهر أن الأداء ارتفع بشكل كبير.
3. آلية تداخل الذاكرة Memory Interleave
لم تعد عملية استرجاع واحدة، بل تجعل النموذج يفكر بشكل تكراري: توليد → استرجاع → توليد مرة أخرى → استرجاع مرة أخرى. يحدد ديناميكيًا عدد المستندات المطلوبة، والتفكير متعدد الخطوات (مثل HotpotQA، 2Wiki) يعيد الحياة للمهمة، وأظهرت تجارب الإزالة أن الدقة تنخفض بنسبة 19%+ عند إزالتها.
ملخص بكلمة واحدة: MSA يدمج الذاكرة والتفكير بشكل كامل في دائرة مغلقة قابلة للتفاضل، وليس مجرد استرجاع المعلومات ثم الإجابة، بل تفكير واسترجاع في آن واحد. هذه هي الطريقة التي يجب أن يمتلكها الذكاء الاصطناعي العام. البيانات لا تكذب: نموذج 4 مليار يتفوق على كل شيء
استخدمت الشركة Qwen3-4B-Instruct كقاعدة، بالمقارنة مع RAG بنفس الحجم، وأفضل RAG، وHippoRAG2 وغيرها:
• متوسط درجة QA في سياق طويل: MSA يتفوق على نفس القاعدة RAG بنسبة 16%، وعلى أقوى RAG بنسبة 11.5%.
• MS MARCO (أكثر من 70 مليون توكن): MSA حصل على 4.141 نقطة، متفوقًا بشكل كبير على سلسلة RAG.
• مجموعات البيانات متعددة الخطوات (HotpotQA، 2Wiki): الفارق أكبر بكثير.
• NIAH (نقطة في كومة القش) 1 مليون توكن: النماذج التقليدية تنهار إلى أقل من 25%، وMSA لا تزال تحافظ على أكثر من 94% من الدقة.
• من 16K إلى 100M توكن طوال العملية: تدهور الدقة أقل من 9%، بينما باقي الحلول كانت تنهار بشكل حاد منذ زمن.
الأكثر جنونًا: نموذج MSA بــ 4 مليار يتفوق على نظام RAG بعدد معاملات يزيد عن 60 ضعفًا. هذا يعني أنه في المستقبل، لن يحتاج الوكيل إلى نماذج ضخمة بــ 200 مليار+، فقط مع تركيب MSA يمكنه أن يمتلك ذاكرة تقارب حياة الإنسان.
فريق EverMind واضح أنه جعل امتلاك الوكيل لذاكرة شخصية مهمة أساسية، وMSA هو أول هدية لهم للعالم.
فتح المصدر على GitHub: