أطلقت GitHub في 17 نوفمبر 2026 معاينة عامة لأداة GitHub Copilot Evals، وهي طريقة لإجراء اختبارات قابلة للتكرار على مهارات Copilot ووكلائه المخصصين وأدوات MCP المتصلة به. سبب الاهتمام بها أن الوكيل قد ينجح مرة في إصلاح مشكلة برمجية ثم يفشل في محاولة مشابهة بعد تغيير النموذج أو التعليمات. لذلك لا تكفي لقطة شاشة لرد جميل لتقييم الجودة. المطلوب تعريف مهمة واقعية وشروط نجاح واضحة وإعادة تشغيل القياس بعد كل تغيير مهم في بيئة العمل.
ما المقصود باختبار تقييم للوكيل؟
تصف GitHub التقييم بأنه حالة اختبار تصف المهمة المراد إنجازها وما ينبغي أن تكون عليه النتيجة، مع النظر إلى مسار العمل أيضاً وليس المخرجات فقط. يمكن للتقييم مقارنة أداء مهارة أو وكيل أو أداة MCP قبل تعديل تعليماتها وبعده، وتحديد أي فحص نجح وأي فشل. تستخدم الأداة محرك تقييم محلياً يسمى Vally وفق إعلان GitHub. وبما أن مخرجات النماذج قد تتباين، فمن الأفضل تكرار السيناريوهات الأساسية وعدم اعتماد تجربة فردية بوصفها دليلاً علمياً على تحسين الأداء.
اختيار سيناريو آمن وذي معنى
ابدأ بمهمة منخفضة المخاطر مثل تحديد سبب فشل اختبار وحدة أو اقتراح تحسين على استعلام بطيء في نسخة تجريبية. جهز مستودعاً يمكن التخلص من التغييرات فيه، واكتب نتيجة متوقعة قابلة للفحص: تحديد ملف بعينه، أو اقتراح إصلاح يمر باختبار معروف، أو عدم الوصول إلى أسرار غير لازمة. لا تجعل المقياس مجرد طول الرد أو ثقة الوكيل في نفسه. ضع كذلك معايير للفشل غير المقبول مثل اختلاق API، تعديل ملفات خارج النطاق، أو استخدام أداة ذات صلاحية أوسع من المطلوب.

خطوات البدء مع Copilot Evals
1. ثبّت الامتداد في بيئة متوافقة
تذكر GitHub إمكان استخدام Copilot Evals عبر إضافة Visual Studio Code أو مكون Copilot CLI الإضافي أو تثبيت سوق github/evals داخل تطبيق GitHub Copilot. اختر المسار الذي يطابق بيئتك، واتبع تعليمات المشروع الرسمية بدلاً من نسخ أمر تثبيت من مصدر غير موثوق. المعاينة مذكورة لخطط Copilot Individual وBusiness وEnterprise. تحقق من الصلاحيات الممنوحة للإضافة ومن مصدر الملفات التي ستختبرها، وابق الاختبارات بعيداً عن مفاتيح الإنتاج وبيانات العملاء.
2. عرّف اختباراً قابلاً للتكرار
يمكن وصف المطلوب بلغة طبيعية أو استخدام أمر /eval وفق إعلان GitHub. اكتب المهمة والمدخلات وشروط التحقق بدقة: مثلاً يجب على الوكيل تحديد سبب الفشل قبل اقتراح تعديل، ولا يجوز له تغيير إعداد النشر أو تثبيت حزم بلا موافقة. احفظ نسخة المدخلات ونتائج الاختبارات حتى تصبح المقارنة عادلة. وافق على تشغيل التقييم عندما تعرضه الأداة، لأن GitHub تشير إلى أن كل تشغيل يحتاج موافقة قبل البدء. لا تخلط بين نجاح خطوة داخلية واكتمال السيناريو النهائي.
3. قارن التغيير وليس الانطباع
شغّل التقييم بإعدادات الوكيل الحالية، ثم عدّل عاملاً واحداً فقط مثل ملف المهارة أو وصف أداة MCP أو اختيار النموذج، وأعد التشغيل على مجموعة الحالات نفسها. ادرس أسباب الفحوص الفاشلة وطريقة استعمال الأدوات، ولا تكتف بزيادة عدد الإجابات الصحيحة إذا رافقها وصول غير ضروري أو تغييرات جانبية. عند ظهور تحسن، وسع الاختبار إلى حالات حدودية: ملف كبير، غياب وثائق، استجابة أداة ناقصة، ومحاولة كتابة في مسار غير مصرح به.
الأخطاء الشائعة ومعايير النجاح
الخطأ الأول تصميم حالة تقييم تتطلب كلمات محددة بدلاً من تحقق سلوكي مفيد. والثاني تعديل عدة متغيرات دفعة واحدة، فلا تستطيع تفسير سبب النجاح. والثالث اعتبار مرور التقييم إذناً بالنشر المباشر. راجع النتائج مع مطور مسؤول، وشغّل اختبارات البرنامج المعتادة وفحوص الأمان خارج أداة التقييم أيضاً. عندما يوثق الفريق مجموعة صغيرة من السيناريوهات المتكررة، يستطيع استخدام Copilot Evals كحاجز جودة يحسن عمل الوكلاء تدريجياً مع معرفة حدود القياس وما لم يتم اختباره بعد.
0 Responses
Share your perspective and continue the conversation.
No responses yet
Be the first to share your thoughts.
Join the conversation