النتيجة مذهلة.. مجموعة معايير جديدة تختبر نماذج إجابات الذكاء الاصطناعي
في خطوة غير مسبوقة، كشفت شركة “جوجل ديب مايند” ،عن مجموعة معايير جديدة تسمى "FACTS Benchmark Suite"، والتي تقيس مدى موثوقية نماذج الذكاء الاصطناعي في إنتاج إجابات دقيقة في الحقيقة.
تختبر هذه المعايير نماذج الذكاء الاصطناعي في أربعة مجالات:
- الإجابة عن أسئلة معلوماتية من خلال المعرفة الداخلية
- استخدام البحث عبر الإنترنت بفعالية
- إثبات دقة الإجابات بوثائق طويلة
- تفسير الصور.
أفضل نموذج بدقة 69%!
وقد حقق أفضل نموذج، وهو جيميني 3 برو من "جوجل"، دقة بلغت 69%، بينما كانت دقة النماذج الرائدة الأخرى أقل بكثير من ذلك،وفقا لما ذكره موقع "بيزنس إنسايدر".
وحسب الموقع يجب أن يكون لهذا الرقم أهمية للشركات التي تراهن على الذكاء الاصطناعي، فبينما تتفوق النماذج في السرعة والطلاقة، لا تزال موثوقيتها في تقديم المعلومات الواقعية أقل بكثير من التوقعات البشرية، لا سيما في المهام التي تتطلب معرفةً متخصصةً، أو تفكيرًا معقدًا، أو الدعم الدقيق للإجابات بالمصادر.
وحتى الأخطاء الصغيرة في الحقائق قد تكون لها عواقب كبيرة في قطاعات مثل المالية، والرعاية الصحية، والقانون.
الخلاصة:
تعد مجموعة المعايير الجديدة "FACTS Benchmark Suite" تحذيرًا، ولكنها أيضًا بمثابة خارطة إرشادية؛ فمن خلال تحديد مواطن قصور النماذج وكيفية حدوثها، تأمل "جوجل" في تسريع وتيرة التقدم، لكن في الوقت الراهن، تظل الحقيقة الوحيدة هي أن الذكاء الاصطناعي يتحسن، ولكنه لا يزال يخطئ في حوالي ثلث الحالات.
والجدير بالذكر أن في وقت سابق طور فريق متصفح كروم التابع لشركة جوجل متصفحًا تجريبيًا جديدًا يحمل اسم ديسكو (Disco)،قادرعلى تلقي استفسار أو طلب وفتح عدة علامات تبويب ذات صلة تلقائيًا، بالأضافة الى يمكنه أيضًا أن ينشئ تطبيقات مخصصة لمهام محددة.
مثال:
إذا طلبت نصائح للسفر، سيقوم بإنشاء تطبيق مخطط للرحلات، وإذا احتجت مساعدة في الدراسة، فسيُنشئ نظام بطاقات تعليمية، وفقا لما ذكرته شركة جوجل.
صفحات غنية بالمعلومات
وحسب الشركة يعمل ديسكو بميزة تسمي "GenTabs"، وهي صفحات غنية بالمعلومات تُنشئها نماذج الذكاء الاصطناعي جيميني.
يستطيع نموذج جيميني 3، الذي أطلق مؤخرًا، إنشاء واجهات تفاعلية بشكل فوري، بدلًا من تقديم نصوص أو صور فقط، ومع ديسكو، تصبح هذه القدرة هي الوظيفة الأساسية لمتصفّح الويب.