المحكّم الأعمى عن السياق (Reaper) وبوابة قابلية الدحض: تدقيق 360/394 إحالة مرجعية ومعمارية منع الهلوسة
توثيق هندسي لسبب عجز النموذج اللغوي عن التحكيم النزيه في مخرجاته داخل السياق نفسه، وكيف تمكّن المحكّم المعزول (Reaper) وبوابة الدحض البوبرية من كشف 25 إحالة مختلقة من بين 394 مرجعاً خارجياً.
ملخص تنفيذي (TL;DR)
- الفصل الصارم بين المُنتِج والحَكَم: عندما يراجع النموذج اللغوي مخرجاته داخل نافذة السياق ذاتها، ينحاز انتباهه الذاتي إلى تبرير استنتاجه السابق. لذلك تفرض معمارية Atlas تنحي أي وكيل تلقائياً عن التحكيم في أي فرضية أو شيفرة أو تقرير قام بتوليده.
1. وهم المراجعة الذاتية: لماذا لا يصلح الوكيل المُنتِج ليكون حَكَماً؟
من الأخطاء الشائعة في هندسة الوكلاء مطالبة جلسة النموذج نفسها بمراجعة مخرجاتها. وكما تُظهر أبحاث حدود التصحيح الذاتي في النماذج اللغوية (arXiv:2310.01798) وانحياز المجاملة (arXiv:2310.13548)، تفشل المراجعة داخل السياق ذاته لسببين بنيويين:
- الانحياز التأكيدي داخل السياق: تعتمد آلية الانتباه الذاتي على الرموز المولَّدة للتو بوصفها مقدمات مرجحة، فتعتبر المعرّفات المختلقة أو الحالات الحدية المغفلة متسقةً مع تبريرها السابق.
- تلوث النية والتبرير: يطّلع الوكيل المُنتِج على ضغط الوقت ومبرراته الوسيطة مما يخفض عتبة النقد.
تحسم بنية Atlas هذه المعضلة عبر فصل السلطات المعماري بالاعتماد على التدقيق المتقاطع متعدد الوكلاء (arXiv:2305.14325) وطبقة التحكيم المستقلة (arXiv:2306.05685).
2. بنية المحكّم الأعمى عن السياق (Reaper): فحص طرق النظام المحلية وفئات التحقق الخمس
يفصل Reaper بين طبقتين مختلفتين: (1) أداة فحص طرق النظام المحلية kosucu/reaper_denetci.py، و(2) جولات تدقيق الإحالات المرجعية في المخرجات البحثية (rapor/kivilcim/SEKTOR_MAKALESI_1018/reaper_kaynak.md وdata/reaper_karne.json).
تعمل أداة kosucu/reaper_denetci.py وفق جدول com.ustakil.reaper_denetci.plist كل 6 ساعات (4 جولات يومياً في الساعات 03:15 و09:15 و15:15 و21:15) وعند صدور أمر صريح على اللوحة. ملاحظة شفافية: لا يوجد إطلاق تلقائي قبل كل نشر؛ فقد نُشرت النسخة الأولى من مذكرات الإثبات الثلاث هذه (commit 2ce9cc4، 19 أكتوبر 2026 الساعة 11:46) دون المرور المسبق بـ Reaper، ثم سُحبت من النشر العام (commit cf672cf) بعد أن كشفت جولة Reaper الأولى (rapor/denetci/kanit_yazilari_denetim_1019.md) 5 ادعاءات خاطئة.
لا تستعلم أداة kosucu/reaper_denetci.py (الأسطر 1–35) من واجهات خارجية، بل تفحص الملفات والسجلات المحلية وتصنّف كل طريقة من طرق النظام الـ 58 في خمس فئات محلية:
CANLI(حية): الطريقة موجودة على القرص وأنتجت مخرجات قياس حية موثقة.AKSAK(متعثرة): الطريقة تعمل لكنها أظهرت انتهاء مهلة جزئياً أو تغطية دون العتبة.ÖLÜ(ميتة): مذكورة في الوثائق لكنها غائبة أو معطلة في التشغيل الفعلي.İDDİA(ادعاء): خاصية مذكورة دون بوابة ميكانيكية أو دون العتبة المستهدفة (مثلsite-beyan-olcu = İDDİAبنسبة72.3% < 80%).ÖLÇÜLEMEDİ(غير مقاس): طريقة تفتقر إلى خطاف قياس آلي (الهدف:0 ÖLÇÜLEMEDİ).
ويخضع kosucu/reaper_denetci.py --selftest في كل دورة لاختبار حقن 3 أعطال متعمدة، حيث يلتقط 3/3 أعطال محقونة ويجتاز 8/8 اختبارات ذاتية (REAPER_DENETCI_OK 8/8)، مسجلاً في اليوم الثاني (19 أكتوبر 11:13) عبر 58 طريقة: 47 CANLI · 7 AKSAK · 1 ÖLÜ · 3 İDDİA · 0 ÖLÇÜLEMEDİ.
3. تدقيق 394 إحالة عبر 10 نماذج: كشف 25 مرجعاً مختلقاً
في جولة تدقيق المراجع المستقلة للدراسة القطاعية المكونة من 24 سؤالاً، فُحصت الإحالات الواردة من 10 أصوات لنماذج خارجية (S1–S10) مقابل واجهة Crossref REST API وPubMed/NCBI E-utilities وarXiv (موثقة في rapor/kivilcim/SEKTOR_MAKALESI_1018/reaper_kaynak.md وdata/reaper_karne.json:85-135؛ علماً أن الأداة البرمجية المحلية الوحيدة على القرص هي kosucu/reaper_denetci.py). وتُصنَّف المراجع في الفئات: DOĞRULANDI · DOĞRULANAMADI · UYDURMA (Ağır / Hafif) · EZBER.
data/reaper_karne.json:113-135): من أصل 394 إحالة عبر الأصوات العشرة، ثبّت Reaper صحة 360 إحالة موثقة (91.4%)، وصنّف 9 إحالات غير قابلة للتحقق (2.3%)، وكشف 25 إحالة مختلقة (6.3%)—منها 18 اختلاقاً جسيماً (معرّفات DOI أو أبحاث وهمية بالكامل) و7 اختلاقات طفيفة في الصوت S10 تتمثل في 5 معرّفات PMID مختلقة و2 معرّف DOI مختلق أُلصقت بأبحاث حقيقية (data/reaper_karne.json:132). ومع إضافة قاعدة المؤلف الأولية (S0: 26/26 موثقة) بلغت الحصيلة 420 إحالة ← 386 موثقة.
اجتازت 5 أصوات خارجية (S1 وS2 وS3 Astra 38/38 وS4 133/133 وS5 Sonnet 77/77) الفحص بصفر اختلاق، بينما استبعد Reaper تلقائياً 20 إجابة ملوثة موزعة على الأصوات الـ 5 الأخرى (S6:3 · S7:6 · S8:3 · S9:3 · S10:5).
4. بوابة قابلية الدحض، سجل الشرارة (67 جولة) ورفض التشغيل الظلي (O-002)
تحكم بوابة قابلية الدحض (Düşer Testi) الفرضيات المستقبلية استناداً إلى معيار القابلية للدحض التجريبي، حيث تُقاس بثلاثة سجلات:
- سجل الشرارة (Kıvılcım) لتصادم الأصوات (
data/kivilcim_karnesi.jsonl:1-73): عبر 67 جولة تصادم جدلي (73 سطراً في السجل)، قُبلت 13 فرضية كما هي (نعم، الخام 14)، وصُقلت 44 فرضية تحت النقد (احتدّت)، ورُفضت 3 فرضيات (لا). (ملاحظة: سلسلة التقارب0.30 → 0.48 → 0.68المذكورة في الملخصات السابقة لا يوجد لها ملف حساب خام تحتdata/أوrapor/ولذلك صُنفت من قِبل Reaper بوصفهاغير مقاسة / ÖLÇÜLEMEDİ (سجل نصي فقط).) - تقييم التشغيل الظلي ورفض منح صلاحية التنفيذ (
bot/olgular.json:O-002): في تجربة التشغيل الظلي n = 168 نافذة مقفلة، أظهر الذراع الظلي حتمية100%، لكنه سجل توافقاً بنسبة2%فقط مع الذراع الحي وخسر أمام خط الأساس النسخي (98.8%) بفارق-80.5نقطة في معيارK5′(“iyi çıkmadı”)؛ وبناءً على ذلك أغلقت بوابة الدحض المسار ولم تُفتح صلاحية التنفيذ الحي. - ذاكرة الفرضيات الساقطة (
bot/olgular.json:O-004): يحتفظ النظام بسجل دائم يضم 9 فرضيات ساقطة (6 دُحضت بالبيانات التجريبية و3 برفض معماري بشري).
5. بطاقة الأدلة والقياسات الحية (موثقة بالملف والسطر)
ترتبط جميع أرقام التدقيق وقابلية الدحض مباشرة بملفات النظام الحية مع سمات data-kaynak:
| طبقة التدقيق / المعيار | القيمة الحية المقاسة | أثر البوابة / القاعدة | المصدر (ملف:حقل · تاريخ) |
|---|---|---|---|
| تدقيق إحالات الأصوات العشرة (S1–S10) | 394 إحالة ← 360 موثقة (91.4%) · 9 غير محققة · 25 مختلقة (6.3%) | 18 اختلاقاً جسيماً + 7 طفيفة (5 PMID + 2 DOI مختلقة لأبحاث حقيقية في S10) | data/reaper_karne.json:113-135 · 2026-10-19 |
| السجل الموحد والأصوات الخالية من الاختلاق | 420 إحالة ← 386 موثقة (S0: 26/26 + 5 أصوات خارجية بصفر اختلاق) | 5 أصوات (S1, S2, S3 38/38, S4 133/133, S5 77/77) اجتازت؛ واستبعاد 20 إجابة في 5 أصوات |
data/reaper_karne.json:85-125 · 2026-10-19 |
بطاقة طرق النظام المحلية (reaper_denetci.py) |
58 طريقة: 47 CANLI · 7 AKSAK · 1 ÖLÜ · 3 İDDİA · 0 ÖLÇÜLEMEDİ | launchd كل 6 ساعات (4 جولات يومياً: 03:15, 09:15, 15:15, 21:15) · 3/3 أعطال · selftest 8/8 |
kosucu/reaper_denetci.py:1-35 · com.ustakil.reaper_denetci.plist · 2026-10-19 |
| سجل تصادم الشرارة (Kıvılcım) | 67 جولة (73 سطراً): 44 احتدّت · 13 نعم (الخام 14) · 3 لا | سلسلة التقارب (0.30→0.48→0.68): غير مقاسة / ÖLÇÜLEMEDİ (لا يوجد ملف حساب خام) |
data/kivilcim_karnesi.jsonl:1-73 · 2026-10-19 |
| رفض التشغيل الظلي (O-002) وذاكرة الأفكار الساقطة (O-004) | n = 168 تشغيلاً ظلياً (100% حتمية، توافق 2%، فارق -80.5 ← رفض) · 9 فرضيات ساقطة | خسر الذراع الظلي أمام خط الأساس النسخي (98.8%) ولم تُفتح صلاحية التنفيذ؛ 6 بالبيانات + 3 برفض بشري |
bot/olgular.json:30-50,69-85 · 2026-10-18 |
6. الأسئلة الشائعة (FAQ)
كيف يختلف المحكّم الأعمى عن السياق عن المراجعة الذاتية التقليدية للنموذج؟
في المراجعة الذاتية التقليدية يرى النموذج سجل محادثته وتبريراته السابقة مما يوقع في الانحياز التأكيدي. أما Reaper فيفصل بين أداة فحص طرق النظام المحلية kosucu/reaper_denetci.py (4 جولات يومياً كل 6 ساعات؛ 5 فئات: CANLI, AKSAK, ÖLÜ, İDDİA, ÖLÇÜLEMEDİ) وبين تدقيق الإحالات المرجعية الخارجية (data/reaper_karne.json).
ماذا كشف Reaper عند تدقيق 394 إحالة مرجعية من 10 نماذج ذكاء اصطناعي؟
ثبّت صحة 360 إحالة من أصل 394 (91.4%)، وحدد 9 كغير قابلة للتحقق، وكشف 25 إحالة مختلقة (6.3%: 18 اختلاقاً جسيماً و7 اختلاقات طفيفة في الصوت S10 تتمثل في 5 معرّفات PMID و2 DOI مختلقة لأبحاث حقيقية). اجتازت 5 أصوات (S1, S2, S3 38/38, S4 133/133, S5 77/77) الفحص بصفر اختلاق، واستُبعدت 20 إجابة ملوثة في 5 أصوات.
كيف تعاملت بوابة قابلية الدحض مع تجربة التشغيل الظلي (O-002، n = 168)؟
في سجل bot/olgular.json:O-002 (n = 168)، رغم تحقيق الذراع الظلي حتمية بنسبة 100%، بلغ توافقه مع الذراع الحي 2% فقط وخسر أمام خط الأساس النسخي (98.8%) بفارق -80.5 نقطة في معيار K5′، ولذلك لم تُمنح صلاحية التنفيذ الحي.
كيف يتم التأكد من أن وكيل التدقيق Reaper نفسه لا يغفل عن الأخطاء؟
يُختبر kosucu/reaper_denetci.py --selftest في كل دورة عبر حقن 3 أعطال متعمدة؛ ويشترط لقبول بطاقة أدائه أن يلتقط 3/3 من الأعطال المحقونة ويجتاز 8/8 من الاختبارات الذاتية.
المصادر (Kaynaklar)
المراجع التقنية الأولية ووثائق واجهات التحقق التي تستند إليها قياسات التدقيق المعزول عن السياق في هذه الصفحة:
- Large Language Models Cannot Self-Correct Reasoning Yet (arXiv:2310.01798)
- Towards Understanding Sycophancy in Language Models (arXiv:2310.13548)
- Improving Factuality and Reasoning in Language Models through Multiagent Debate (arXiv:2305.14325)
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv:2306.05685)
- Scientific Method and Empirical Falsifiability Criterion (Stanford Encyclopedia of Philosophy)
- REST API - Crossref Bibliographic Metadata Verification Documentation
دراسات تقنية ذات صلة: قارن آليات التدقيق المعزول عن السياق مع صفحة قياسات ريبير، والبوابة العربية، وسجل المهام task_bus.jsonl، وجولة الشرارة متعددة الأصوات، وبوابات QAJAN للتسجيل المسبق والدحض.