شات جي بي تي بين البساطة والدقة: هل يصلح لتلخيص الأبحاث العلمية؟
تلخيص الأوراق العلمية لقراء غير متخصصين هو عمل يومي للصحفي العلمي، وغالبًا ما يُعتبر من أفضل استخدامات نماذج اللغة الكبيرة. لكن عندما حاولت تلك النماذج، وبالتحديد "شات جي بي تي"، أن تنتج ملخّصات تشبه ما يقدِّمه فريق "SciPak" التابع للجمعية الأميركية لتقدّم العلوم، برزت مشكلة أساسية: سهولة اللغة على حساب الدقة.
ووفقا لما ذكره موقع "Ars Technica" فإن الجمعية الأميركية لتقدّم العلوم أطلقت تجربة غير رسمية امتدت عامًا كاملًا لاختبار قدرة "شات جي بي تي" على إنتاج ملخصات موجزة مشابهة لملخصات SciPak. الهدف كان معرفة ما إذا كان روبوت المحادثة يستطيع نقل الفرضية والمنهج والسياق بصورة مبسّطة ومفيدة للصحفيين الآخرين لكن من دون التضحية بـ الدقة.
منهج الدراسة
من ديسمبر 2023 إلى ديسمبر 2024، اختار الباحثون ما يصل إلى ورقتين بحثيتين أسبوعيًا. ركّزوا على أوراق تحتوي عناصر صعبة: مصطلحات تقنية، نتائج مثيرة للجدل، اكتشافات رائدة، مشاركون في تجارب، وصيغ غير تقليدية. الملخّصات أنتِجت بواسطة نسخة "Plus" من أحدث نماذج GPT المتاحة خلال فترة الدراسة، مع تدرّجٍ في محاور البحث ودرجات متفاوتة من الدقة وكل ذلك تحت مراقبة مطوّري SciPak ومراجعيهم للحفاظ على الدقة.
حجم العيّنة وتقييمها
بإجمالي 64 ورقة بحثية، أُنشِئت ملخّصات وجرى تقييمها كميًا ونوعيًا من قِبل كتاب SciPak أنفسهم، الذين أعدّوا الملخصات الأصلية أيضًا. النتيجة الرقمية كانت صارخة: متوسط التقييم لإمكانية دمج ملخصات "شات جي بي تي" مع عمل الصحفيين حصل على 2.26 من مقياس 1 إلى 5، بينما جاذبية الملخّصات حصلت على 2.14 مؤشّر واضح أن البساطة جاءت أحيانًا على حساب الدقة.
انتقادات المراجعين
المراجعات النوعية كشفت نمطًا متكررًا: الخلط بين الارتباط والسببية، فشل في وضع السياق، والمبالغة في الأوصاف عبر كلمات مثل "مبتكر" و"جديد". نقد آخر بارز: الروبوت جيد في "نسخ" ما كُتب في الورقة إذا كانت بسيطة، لكنه ضعيف في "ترجمة" النتائج عندما تستدعي المنهجيات أو القيود أو الدلالات الكبيرة شرحًا دقيقًا وهذا بالضبط مكان تُختبر فيه درجة الدقة.
أين يظهر ضعف النموذج؟
المشكلات برزت بشدّة مع الأوراق التي تُقدم نتائج متعددة أو مع طلب تلخيص ورقتين مرتبطتين في ملخّص واحد. في هذه الحالات، فقد الملخّص قدرة الحفاظ على التفاصيل الدقيقة والتفريق بين النتائج المستندية والقيود المنهجية، فتراجعت قيمة الملخّص علميًا وحتى عمليًا، بينما بقي السؤال مفتوحًا حول مدى اعتماد الصحفي على تلك الملخّصات دون مراجعة بشرية لضمان الدقة.
نتيجة العلماء والكتّاب
معلّقة على التجربة، قالت أبيجيل آيزنشتات من الجمعية الأميركية لتقدّم العلوم إن هذه التقنيات قد تكون أدوات مساعدة للكتّاب العلميين، لكنها "ليست جاهزة للاستخدام بشكل أساسي" لفرق مثل SciPak في الوقت الحالي. الخلاصة العملية: يمكن أن تُستخدم كمساعِد للتصويب أو لتوليد مسودات، لكن لا ينبغي أن تُعوَّل عليها وحدها للحفاظ على الدقة التحريرية والعلمية.