جوجل لديها أعلن إنها تختبر أداة بحث جديدة مدعومة بالذكاء الاصطناعي، مختبرات العلماء، والتي تم تصميمها للإجابة على أسئلة البحث التفصيلية. لكن عرضها سلط الضوء على سؤال أكبر حول العثور على دراسات علمية “جيدة”. إلى أي مدى سيثق العلماء في أداة تتخلى عن الطرق النموذجية لقياس شعبية الدراسة لدى المؤسسة العلمية لصالح قراءة العلاقات بين الكلمات للمساعدة في إبراز البحث الجيد؟
تستخدم أداة البحث الجديدة الذكاء الاصطناعي لتحديد المواضيع والعلاقات الرئيسية في استعلام المستخدم وهي متاحة حاليًا لمجموعة محدودة من المستخدمين الذين قاموا بتسجيل الدخول. أظهر الفيديو التجريبي من Scholar Labs سؤالاً حول واجهات الدماغ والحاسوب (BCIs). لدي درجة الدكتوراه في BCIs، لذلك كنت متشوقًا لرؤية ما توصلت إليه Scholar Labs.
وكانت النتيجة الأولى عبارة عن ورقة مراجعة لأبحاث BCI نُشرت عام 2024 في مجلة تسمى العلوم التطبيقية. تتضمن Scholar Labs تفسيرات لسبب تطابق النتائج مع الاستعلام، لذا أشارت إلى أن الورقة تناقش البحث في إشارة غير باضعة تسمى مخطط كهربية الدماغ وتستقصي بعض الخوارزميات الرائدة في هذا المجال.
لكنني لاحظت أن Scholar Labs تفتقر إلى مرشحات المقاييس الشائعة المستخدمة لفصل الدراسات “الجيدة” عن الدراسات “غير الجيدة”. أحد المقاييس هو عدد المرات التي تم فيها الاستشهاد بدراسة من قبل دراسات أخرى منذ نشرها، وهو ما يترجم بشكل فضفاض إلى شعبية الورقة البحثية. ويرتبط أيضًا بالوقت: قد لا تحتوي دراسة منشورة مؤخرًا على أي اقتباسات أو قد يصل عددها إلى المئات في غضون بضعة أشهر؛ دراسة من التسعينيات قد تروج للآلاف. مقياس آخر هو “عامل التأثير” للمجلة العلمية. تتمتع المجلات التي تنشر دراسات يتم الاستشهاد بها على نطاق واسع بعامل تأثير أعلى، وبالتالي تتمتع بسمعة طيبة لكونها أكثر صرامة أو ذات معنى للمجتمع العلمي. العلوم التطبيقية التقارير الذاتية أ عامل التأثير 2.5. طبيعةللمقارنة، يقول عامل التأثير الخاص به هو 48.5.
يحتوي الباحث العلمي من Google الأصلي على خيار لتصنيف الدراسات حسب “الملاءمة” ويسرد عدد الاستشهادات لكل نتيجة. وقالت المتحدثة باسم جوجل، ليزا أوجويكي، إن الهدف من مختبرات Scholar Labs الجديدة هو البحث عن “الأبحاث الأكثر فائدة لبحث المستخدم”. الحافة وهي تفعل ذلك من خلال تصنيف الأوراق البحثية بنفس الطريقة التي يتبعها الباحثون أنفسهم، كما تقول جوجل، من خلال “وزن النص الكامل لكل وثيقة، ومكان نشرها، ومن كتبها، بالإضافة إلى عدد مرات الاستشهاد بها ومؤخرًا في المؤلفات العلمية الأخرى”.
ومع ذلك، فإن مختبرات Scholar Labs الجديدة لن تقوم بفرز النتائج أو تحديدها بناءً على عدد الاستشهادات في الورقة البحثية أو عامل التأثير للمجلة، كما قال أوجويكي. الحافة.
الصورة: الباحث العلمي من جوجل
كتب أوجويكي: “تعتمد عوامل التأثير وعدد الاستشهادات على مجال البحث في الأوراق، وقد يكون من الصعب على معظم المستخدمين تخمين القيم المناسبة في سياق أسئلة بحثية محددة”. وأضاف أوجويكي: “قد يؤدي التقييد بعامل التأثير أو عدد الاستشهادات في كثير من الأحيان إلى تفويت الأوراق البحثية الرئيسية – على وجه الخصوص، الأوراق البحثية في المجالات متعددة التخصصات/المجالات المتجاورة/المجلات أو المقالات المنشورة مؤخرًا”.
وقال ماثيو شراج، الأستاذ المساعد في علم الأعصاب في المركز الطبي بجامعة فاندربيلت، في مقابلة مع مجلة “نيوزويك” إن المقاييس مثل عدد الاستشهادات وعامل التأثير هي “تقييمات تقريبية جدًا لجودة الورقة البحثية”. الحافة، متفقًا مع بيان Google. وقال إنهم “يتحدثون أكثر عن السياق الاجتماعي للورقة البحثية” بدلاً من جودتها، على الرغم من أن “هذان الأمران مترابطان على ما نأمل”.
شراج، الذي يجري أبحاثًا حول مرض الزهايمر، هو واحد من العديد من العلماء المحققين الذين أبلغوا عن مرض الزهايمر. بيانات مشكوك فيها في الدراسات العلمية المنشورة. لقد أدت الجهود التي بذلها محققو البيانات مثل شراغ، والاهتمام الوثيق من جانب المجتمع العلمي بشكل عام، إلى سحب الدراسات من المجلات المرموقة بسبب صور معالجة، التصحيحات الصادرة عن الفائزين بجائزة نوبل، و التحقيقات الفيدرالية إلى بيانات مزورة
ومع ذلك، فإنه من الصعب أن لا استخدم عدد الاستشهادات أو سمعة المجلة لفحص الدراسة بشكل عرضي، خاصة عند الدخول في مجال جديد. أستاذ علوم إعادة التأهيل في جامعة تافتس، جيمس سموليجا، وهو مستخدم متكرر للباحث العلمي الأصلي من Google، يجد نفسه يعتقد أن الأبحاث التي يتم الاستشهاد بها بشكل كبير أكثر جدارة بالثقة. قال: “أنا مذنب بهذا الأمر، مثل أي شخص آخر”. الحافة. يفعل ذلك على الرغم من وجوده فضح الأساليب المستخدمة في دراسة مع الآلاف من الاستشهادات. “وأنا أعلم أن الأمر ليس كذلك، ولكنني ما زلت أقع في هذا الفخ، فماذا سأفعل أيضًا؟”
كررت الاستفسار التجريبي من Scholar Labs حول أبحاث BCI لمرضى السكتة الدماغية في PubMed، وهو مستودع رائد للأبحاث الطبية الحيوية والصحية تديره المكتبة الوطنية للطب التابعة لمعاهد الصحة الوطنية الأمريكية. على عكس Scholar Labs، يعتمد PubMed بشكل كبير على المرشحات والمصطلحات المرتبطة بها أورمل وق. لقد قمت بتضييق نطاق نتائجي لمراجعة مقالات الأبحاث السريرية فقط، أي التي تم إجراؤها على البشر فقط، من السنوات الخمس الماضية. لقد استبعدت النسخ الأولية، وهي دراسات يتم نشرها مباشرة في مستودع ورقي مثل arXiv أو bioRxiv دون الخضوع لعملية مراجعة من علماء آخرين. ركزت اثنتين من النتائج الستة بشكل حصري على مخطط كهربية الدماغ باعتباره النوع الأساسي من BCI غير التدخلي المستخدم لمساعدة مرضى السكتة الدماغية.
وأضاف أوجويكي أنه سيتمكن المستخدمون من طلب الأوراق البحثية “الحديثة” في استعلامهم وتحديد فترة زمنية في طلبهم، وتستخدم Scholar Labs “النص الكامل للأوراق البحثية” للعثور على النتائج التي تطابق استعلام المستخدم.
تطلق Google على Scholar Labs “اتجاهًا جديدًا بالنسبة لنا” وتقول إنها تخطط لدمج تعليقات المستخدمين في المستقبل. لديها قائمة انتظار للوصول.
يعتقد شراج أن البحث المدعوم بالذكاء الاصطناعي، مثل بحث Scholar Labs الجديد، له مكان في النظام البيئي العلمي. وأضاف أنه من الممكن، من الناحية النظرية، أن يلقي شبكة أوسع لسطح الأوراق التي كانت تنزلق من خلال الشقوق، أو يضيف سياقًا إضافيًا حول شعبية الورقة عبر منصات وسائل التواصل الاجتماعي. وقال إن الدراسات تحتاج إلى تقييم شامل، وهو ما قد يتمكن الذكاء الاصطناعي من معالجته. وأضاف: “يجب أن يكون لديك فكرة عن المعايير الموجودة في هذا المجال من حيث الدقة وما إذا كانت الدراسة تلبي ذلك”.
وقال شراغ إنه في نهاية المطاف، يتحمل العلماء مسؤولية تحديد العلوم المؤثرة. يتطلب الأمر قراءة الأدبيات العلمية والتعامل معها “لكي تكون الحُكام النهائيين وعدم السماح للخوارزميات بأن تكون الحُكم النهائي لما نعتبره عالي الجودة”.
