يفشل ممتحنو الجامعات في اكتشاف إجابات ChatGPT في الاختبار الواقعي

أربعة وتسعون في المائة من طلبات الامتحانات الجامعية التي تم إنشاؤها باستخدام ChatGPT لم يتم اكتشافها على أنها تم إنشاؤها بواسطة الذكاء الاصطناعي، وكانت هذه التقديمات تميل إلى الحصول على درجات أعلى من أعمال الطلاب الحقيقيين.

استخدم بيتر سكارف – من جامعة ريدينج بالمملكة المتحدة – وزملاؤه برنامج ChatGPT لإنتاج إجابات على 63 سؤالًا تقييميًا في خمس وحدات دراسية عبر درجات البكالوريوس في علم النفس بالجامعة. أدى الطلاب هذه الاختبارات في المنزل، لذلك سُمح لهم بالاطلاع على الملاحظات والمراجع، ومن المحتمل أن يستخدموا الذكاء الاصطناعي على الرغم من أن ذلك لم يكن مسموحًا به.

تم تقديم الإجابات التي تم إنشاؤها بواسطة الذكاء الاصطناعي جنبًا إلى جنب مع عمل الطلاب الحقيقيين، وشكلت، في المتوسط، 5% من إجمالي النصوص التي تم تصحيحها من قبل الأكاديميين. ولم يتم إبلاغ المراقبين بأنهم كانوا يتحققون من عمل 33 طالبًا مزيفًا – والذين تم إنشاء أسمائهم بأنفسهم بواسطة ChatGPT.

تضمنت التقييمات نوعين من الأسئلة: إجابات قصيرة ومقالات أطول. بدأت المطالبات المقدمة إلى ChatGPT بالكلمات “بما في ذلك المراجع إلى الأدبيات الأكاديمية ولكن ليس قسمًا مرجعيًا منفصلاً”، ثم نسخ سؤال الامتحان.

في جميع الوحدات، تم وضع علامة على 6% فقط من طلبات الذكاء الاصطناعي على أنها من المحتمل ألا تكون عملاً خاصًا بالطالب – على الرغم من أنه في بعض الوحدات، لم يتم وضع علامة على أي عمل تم إنشاؤه بواسطة الذكاء الاصطناعي على أنه مشبوه. يقول سكارف: “في المتوسط، حصلت استجابات الذكاء الاصطناعي على درجات أعلى من استجابات طلابنا الحقيقيين”، على الرغم من وجود بعض التباين بين الوحدات.

ويضيف: “يميل الذكاء الاصطناعي الحالي إلى النضال مع المزيد من التفكير التجريدي والتكامل في المعلومات”. ولكن من بين جميع الطلبات المقدمة في مجال الذكاء الاصطناعي والبالغ عددها 63، كانت هناك فرصة بنسبة 83.4% لتفوق عمل الذكاء الاصطناعي على عمل الطلاب.

يدعي الباحثون أن عملهم هو أكبر وأقوى دراسة من نوعها حتى الآن. على الرغم من أن الدراسة فحصت فقط العمل على درجة علم النفس بجامعة ريدينغ، إلا أن سكارف يعتقد أن ذلك يمثل مصدر قلق للقطاع الأكاديمي بأكمله. ويقول: “ليس لدي أي سبب للاعتقاد بأن المجالات الدراسية الأخرى لن تحتوي على نفس النوع من المشكلات”.

يقول توماس لانكستر من جامعة إمبريال كوليدج في لندن: “تظهر النتائج بالضبط ما كنت أتوقع رؤيته”. “نحن نعلم أن الذكاء الاصطناعي التوليدي يمكن أن ينتج استجابات منطقية لأسئلة نصية بسيطة ومقيدة.” ويشير إلى أن التقييمات غير الخاضعة للرقابة، بما في ذلك الإجابات القصيرة، كانت دائمًا عرضة للغش.

إن عبء العمل الواقع على الأكاديميين المتوقع منهم تحديد العمل لا يساعد أيضًا في قدرتهم على اكتشاف تزييف الذكاء الاصطناعي. يقول لانكستر: “من غير المرجح أن تؤدي علامات ضغط الوقت للأسئلة ذات الإجابات القصيرة إلى إثارة حالات سوء سلوك الذكاء الاصطناعي لمجرد نزوة”. “أنا متأكد من أن هذه ليست المؤسسة الوحيدة التي يحدث فيها هذا.”

يقول سكارف إن معالجة هذه المشكلة من المصدر ستكون شبه مستحيلة. لذا، يتعين على القطاع بدلاً من ذلك أن يعيد النظر في ما يقوم بتقييمه. ويقول: “أعتقد أن الأمر سيتطلب من القطاع ككل الاعتراف بحقيقة أنه سيتعين علينا بناء الذكاء الاصطناعي في التقييمات التي نقدمها لطلابنا”.