كانت إحدى القضايا الأكثر إثارة للجدل في صناعة الذكاء الاصطناعي خلال العام الماضي هي ما يجب فعله عندما يظهر المستخدم علامات تشير إلى أنه يعاني من مشاكل تتعلق بالصحة العقلية في محادثة روبوت الدردشة. انضمت الآن رئيسة هذا النوع من أبحاث السلامة في OpenAI، أندريا فالوني، إلى Anthropic.
“على مدار العام الماضي، قمت بقيادة بحث OpenAI حول سؤال لم يسبق له مثيل تقريبًا: كيف يجب أن تستجيب النماذج عند مواجهة علامات الاعتماد العاطفي المفرط أو المؤشرات المبكرة لاضطراب الصحة العقلية؟” كتب فالوني في منشور على LinkedIn بضعًا منذ أشهر.
عمل فالوني، الذي أمضى ثلاث سنوات في OpenAI وقام ببناء فريق بحث “السياسة النموذجية” هناك، على أفضل طريقة لنشر GPT-4، ونماذج الاستدلال الخاصة بـ OpenAI، وGPT-5، بالإضافة إلى تطوير عمليات التدريب لبعض تقنيات السلامة الأكثر شيوعًا في صناعة الذكاء الاصطناعي، مثل المكافآت القائمة على القواعد. انضمت الآن إلى فريق التوافق في Anthropic، وهي مجموعة مكلفة بفهم أكبر المخاطر التي تواجه نماذج الذكاء الاصطناعي وكيفية معالجتها.
سيعمل فالوني تحت قيادة جان لايكي، قائد أبحاث السلامة في OpenAI الذي غادر الشركة في مايو 2024 بسبب مخاوف أن “ثقافة وعمليات السلامة في OpenAI قد تراجعت أمام المنتجات اللامعة”.
لقد تزايدت الشركات الناشئة الرائدة في مجال الذكاء الاصطناعي أثار الجدل على مدى العام الماضي بسبب صراعات المستخدمين مع الصحة العقلية، والتي يمكن أن تتفاقم بشكل أعمق بعد الثقة في روبوتات الدردشة المدعومة بالذكاء الاصطناعي، خاصة وأن حواجز السلامة تميل إلى الانهيار في المحادثات الطويلة. وقد مات بعض المراهقين منتحرين، أو ارتكب بالغون جرائم قتل، بعد أن وثقوا في الأدوات. وقد رفعت العديد من العائلات دعاوى قتل غير مشروع، وكانت هناك لجنة فرعية واحدة على الأقل في مجلس الشيوخ السمع في هذا الشأن. وقد تم تكليف الباحثين في مجال السلامة بمعالجة المشكلة.
كتب سام بومان، أحد قادة فريق المحاذاة، في منشور على موقع LinkedIn أنه “فخور بمدى الجدية التي تتعامل بها Anthropic مع مشكلة اكتشاف الكيفية التي يجب أن يتصرف بها نظام الذكاء الاصطناعي”.
في منشور على LinkedIn يوم الخميس، كتبت فالوني أنها “متشوقة لمواصلة بحثي في Anthropic، مع التركيز على المواءمة والضبط الدقيق لتشكيل سلوك كلود في سياقات جديدة”.
