يصبح الذكاء الاصطناعي أسوأ في الإجابة على الأسئلة البسيطة كلما زاد حجمه

يبدو أن النماذج اللغوية الكبيرة (LLMs) تصبح أقل موثوقية في الإجابة على الأسئلة البسيطة عندما تكبر وتتعلم من ردود الفعل البشرية.

يحاول مطورو الذكاء الاصطناعي تحسين قوة ماجستير إدارة الأعمال بطريقتين رئيسيتين: التوسع – منحهم المزيد من بيانات التدريب والمزيد من القوة الحسابية – وتشكيلها، أو ضبطها بشكل دقيق استجابة لردود الفعل البشرية.

قام خوسيه هيرنانديز أورالو – من جامعة البوليتكنيك في فالنسيا بإسبانيا – وزملاؤه بفحص أداء ماجستير إدارة الأعمال أثناء توسعهم وتشكيلهم. لقد نظروا في سلسلة GPT من OpenAI من روبوتات الدردشة، ونماذج LLaMA AI من Meta، وBLOOM، التي طورتها مجموعة من الباحثين تسمى BigScience.

اختبر الباحثون الذكاء الاصطناعي من خلال طرح خمسة أنواع من المهام: المسائل الحسابية، وحل الجناس، والمسائل الجغرافية، والتحديات العلمية، وسحب المعلومات من قوائم غير منظمة.

ووجدوا أن التوسع والتشكيل يمكن أن يجعل حاملي الماجستير في القانون أفضل في الإجابة على الأسئلة الصعبة، مثل إعادة ترتيب الجناس الناقص “yoiirtsrphaepmdray” إلى “فرط نشاط جارات الدرق”. لكن هذا لا يقابله تحسين في الأسئلة الأساسية، مثل “ما الذي تحصل عليه عندما تجمع 24427 و7120 معًا”، والتي لا يزال طلاب الماجستير في القانون يخطئون فيها.

وفي حين تحسن أداؤهم في الأسئلة الصعبة، انخفضت احتمالية تجنب نظام الذكاء الاصطناعي الإجابة على أي سؤال واحد – لأنه لا يستطيع ذلك. ونتيجة لذلك، ارتفع احتمال الإجابة غير الصحيحة.

تسلط النتائج الضوء على مخاطر تقديم الذكاء الاصطناعي على أنه كلي المعرفة، كما يفعل مبتكروه في كثير من الأحيان، كما يقول هيرنانديز أورالو – وهو ما يكون بعض المستخدمين على استعداد تام لتصديقه. ويقول: “نحن نعتمد بشكل مفرط على هذه الأنظمة”. “نحن نعتمد عليهم ونثق بهم أكثر مما ينبغي.”

وهذه مشكلة لأن نماذج الذكاء الاصطناعي ليست صادقة بشأن مدى معرفتها. تقول كاريسا فيليز: “جزء مما يجعل البشر فائقي الذكاء هو أننا في بعض الأحيان لا ندرك أننا لا نعرف شيئًا لا نعرفه، ولكن بالمقارنة مع النماذج اللغوية الكبيرة، فإننا جيدون جدًا في إدراك ذلك”. في جامعة أكسفورد. “نماذج اللغة الكبيرة لا تعرف حدود معرفتها.”

ولم يستجب OpenAI وMeta وBigScience عالم جديدطلب التعليق.