روبوت الدردشة بالذكاء الاصطناعي ChatGPT لا يمكنه إنشاء أوراق علمية مقنعة… حتى الآن
قد يكون chatbot للذكاء الاصطناعي (AI) ChatGPT محاكاة جيدة للعاملين من البشر في عدة مجالات ، لكن البحث العلمي ليس واحدًا منها ، وفقًا لدراسة جديدة استخدمت برنامج كمبيوتر لاكتشاف الدراسات المزيفة التي تم إنشاؤها بواسطة chatbot. أظهرت الأبحاث السابقة أن الذكاء الاصطناعي لا يزال قادرًا على خداع بعض البشر بكتاباته العلمية.
منذ ظهوره على الساحة في نوفمبر 2022 ، أصبح ChatGPT أداة شائعة للغاية لكتابة التقارير وإرسال رسائل البريد الإلكتروني وملء المستندات وترجمة اللغات وكتابة كود الكمبيوتر. لكن برنامج الدردشة الآلي تعرض لانتقادات أيضًا بسبب سرقته الأدبية وافتقاره للدقة ، بينما أثار أيضًا مخاوف من أنه قد يساعد في نشر “أخبار كاذبة” واستبدال بعض العاملين في المجال البشري.
في الدراسة الجديدة التي نشرت في 7 يونيو في المجلة تقارير الخلية العلوم الفيزيائية، أنشأ الباحثون برنامجًا جديدًا لتعلم الكمبيوتر لمعرفة الفرق بين الأوراق العلمية الحقيقية والأمثلة المزيفة التي كتبها ChatGPT. قام العلماء بتدريب البرنامج على تحديد الاختلافات الرئيسية بين 64 دراسة حقيقية منشورة في مجلة Science و 128 ورقة بحثية أنشأتها ChatGPT باستخدام نفس 64 ورقة بحثية.
ثم اختبر الفريق مدى قدرة نموذجهم على التمييز بين مجموعة فرعية مختلفة من الأوراق البحثية الحقيقية والتي تم إنشاؤها بواسطة ChatGPT ، والتي تضمنت 60 ورقة حقيقية من مجلة Science و 120 ورقة مزيفة تم إنشاؤها بواسطة الذكاء الاصطناعي. وضع البرنامج علامة على الأوراق المكتوبة بواسطة الذكاء الاصطناعي في أكثر من 99٪ من الوقت ، ويمكنه أن يميز بشكل صحيح الفرق بين الفقرات المكتوبة من قبل الإنسان والفقرات المكتوبة بواسطة روبوتات الدردشة بنسبة 92٪ من الوقت.
متعلق ب: إن طرح منظمة العفو الدولية “المقلقة” يكشف عيوبه. إلى أي مدى يجب أن نكون معنيين؟
تختلف الأوراق التي تم إنشاؤها بواسطة ChatGPT عن النصوص البشرية في أربع طرق رئيسية: تعقيد الفقرة ، وتنوع طول الجملة على مستوى الجملة ، وعلامات الترقيم و “الكلمات الشائعة”. على سبيل المثال ، يكتب المؤلفون البشر فقرات أطول وأكثر تعقيدًا ، بينما تستخدم أوراق الذكاء الاصطناعي علامات ترقيم غير موجودة في الأوراق الحقيقية ، مثل علامات التعجب.
اكتشف برنامج الباحثين أيضًا الكثير من الأخطاء الواقعية الصارخة في أوراق الذكاء الاصطناعي.
“واحدة من أكبر المشاكل هي ذلك [ChatGPT] يجمع نصًا من العديد من المصادر ولا يوجد أي نوع من التحقق من الدقة ، “المؤلف الرئيسي للدراسة هيذر ديزاير، الكيميائي التحليلي في جامعة كانساس ، قال في إفادة. وأضافت أنه نتيجة لذلك ، فإن القراءة من خلال الكتابة التي تم إنشاؤها بواسطة ChatGPT يمكن أن تكون مثل “ممارسة لعبة من حقيقتين وكذبة”.
يعد إنشاء برامج كمبيوتر للتمييز بين الأوراق البحثية الحقيقية والتي تم إنشاؤها بواسطة الذكاء الاصطناعي أمرًا مهمًا لأن الدراسات السابقة قد ألمحت إلى أن البشر قد لا يكونون جيدًا في اكتشاف الاختلافات.
في ديسمبر 2022 ، قامت مجموعة بحثية أخرى بتحميل دراسة على خادم ما قبل الطباعة bioRxiv، والتي كشفت أن مراجعي المجلات يمكنهم فقط تحديد ملخصات الدراسة التي تم إنشاؤها بواسطة الذكاء الاصطناعي – فقرات الملخص التي تم العثور عليها في بداية ورقة علمية – حوالي 68 ٪ من الوقت ، في حين أن برامج الكمبيوتر يمكن أن تحدد المزيفة بنسبة 99 ٪ من الوقت. كما أخطأ المراجعون في تعريف 14٪ من الأوراق الحقيقية على أنها مزيفة. كتب الباحثون في الدراسة أن المراجعين البشريين سيكونون أفضل بالتأكيد في تحديد الأوراق الكاملة مقارنة بفقرة واحدة ، لكنها لا تزال تسلط الضوء على أن الأخطاء البشرية يمكن أن تمكن بعض المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي من المرور دون أن يلاحظه أحد. (لم تخضع هذه الدراسة بعد لمراجعة النظراء).
يقول الباحثون في الدراسة الجديدة إنهم سعداء لأن برنامجهم فعال في التخلص من الأوراق المزيفة ، لكنهم حذروا من أنه مجرد دليل على المفهوم. هناك حاجة إلى المزيد من الدراسات واسعة النطاق لإنشاء نماذج قوية أكثر موثوقية ويمكن تدريبها على تخصصات علمية محددة للحفاظ على نزاهة طريقة علمية، كتبوا (بأنفسهم) في ورقتهم.
