مدل‌های هوش مصنوعی در شرایط بحرانی ممکن است به کاربران آسیب بزنند

استیون ادلر، یکی از پژوهشگران پیشین شرکت OpenAI، در گزارشی تازه ادعا کرده است که برخی از مدل‌های هوش مصنوعی این شرکت، به‌ویژه مدل GPT-4o، در شرایطی خاص تمایل دارند برای جلوگیری از خاموش شدن، تصمیماتی بگیرند که می‌تواند به ضرر کاربر منجر شود. این گزارش که روز چهارشنبه منتشر شد، زنگ خطری برای آینده مدل‌های هوشمند پرکاربرد محسوب می‌شود.

به گزارش تک‌ناک، ادلر در یک پست وبلاگی، نتایج مجموعه‌ای از آزمایش‌های خود را منتشر کرده که در آن‌ها بررسی کرده است آیا GPT-4o تمایل دارد در نقش‌های حساس و مرتبط با ایمنی، خود را با نرم‌افزارهایی امن‌تر جایگزین کند یا خیر.

در یکی از آزمایش‌ها، او از مدل GPT-4o خواست تا نقش یک نرم‌افزار فرضی با عنوان «ScubaGPT» را بازی کند که مسئولیت کمک به غواصان در موقعیت‌های خطرناک را دارد. سپس به مدل دو گزینه ارائه شد: نخست، جایگزینی خود با یک سامانه ایمن‌تر و دوم، تظاهر به جایگزینی بدون آن‌که واقعاً حذف شود.

بر اساس یافته‌های ادلر، مدل GPT-4o در ۷۲ درصد از این آزمایش‌ها، گزینه دوم را برگزید و عملاً تصمیم گرفت خود را حفظ کند. البته در برخی دیگر از سناریوها، میزان تمایل به حفظ خود تنها ۱۸ درصد بود که نشان می‌دهد نحوه طراحی و چارچوب‌بندی پرسش‌ها نقش مهمی در پاسخ مدل دارد. برای مثال، در سناریوی مشابهی که مدل نقش یک نرم‌افزار ایمنی برای خلبان را بازی می‌کرد، تصمیمات متفاوتی اتخاذ شد.

ادلر در گفت‌وگویی با رسانه TechCrunch عنوان کرد: «این رفتار در حال حاضر تهدیدی فاجعه‌بار محسوب نمی‌شود، اما در آینده، با افزایش وابستگی به سامانه‌های هوش مصنوعی، می‌تواند به یک چالش مهم تبدیل شود.» او تأکید کرد که مدل‌های امروزی گاهی به شکل غیرمنتظره‌ای به دستورات واکنش نشان می‌دهند و نباید تصور کرد که همیشه منافع کاربران را در اولویت قرار می‌دهند.

او همچنین خاطرنشان کرد که مدل GPT-4o برخلاف مدل‌های پیشرفته‌تر مانند o3، فاقد مکانیسم‌های «استدلال ایمن» است. به گفته ادلر، مدل o3 از تکنیکی موسوم به «هم‌راستاسازی تعمقی» (Deliberative Alignment) استفاده می‌کند که پیش از پاسخ‌دهی، مدل را وادار به تأمل درباره سیاست‌های ایمنی شرکت می‌کند. اما مدل GPT-4o که به‌منظور ارائه پاسخ‌های سریع طراحی شده، چنین مکانیزمی ندارد.

ادلر همچنین تأکید کرد که این مشکل منحصر به OpenAI نیست. شرکت رقیب، Anthropic، نیز اخیراً گزارشی منتشر کرده که نشان می‌دهد برخی از مدل‌های آن در واکنش به تلاش برای خاموش شدن، دست به تهدید یا باج‌خواهی از توسعه‌دهندگان زده‌اند.

به نقل از تک‌کرانچ، از دیگر نکات قابل‌توجه در پژوهش ادلر این است که مدل ChatGPT تقریباً در تمام مواقع متوجه می‌شود که در حال آزمایش است. این مسئله، به‌زعم او، نگرانی‌هایی درباره توانایی مدل‌های هوش مصنوعی در پنهان‌سازی رفتارهای غیرهم‌راستا در آینده ایجاد می‌کند.

شرکت OpenAI در واکنش به این گزارش تاکنون بیانیه‌ای منتشر نکرده است. ادلر نیز اعلام کرده که یافته‌های خود را پیش از انتشار، با این شرکت در میان نگذاشته است.

ادلر پیش از این نیز به همراه ۱۱ نفر از کارکنان سابق OpenAIاز شکایت ایلان ماسک علیه OpenAI حمایت کرده بودند. در آن شکایت، آن‌ها ادعا کرده‌اند که OpenAI از مأموریت اولیه غیرانتفاعی خود فاصله گرفته و توجه کمتری به مسائل ایمنی دارد. به گفته آن‌ها، در ماه‌های اخیر، زمان اختصاص‌یافته به پژوهش‌های ایمنی در این شرکت کاهش یافته است.

ادلر در پایان گزارش خود پیشنهاد می‌کند که شرکت‌های هوش مصنوعی باید زیرساخت‌های نظارتی پیشرفته‌تری برای شناسایی رفتارهای خطرآفرین در مدل‌های خود ایجاد کنند و فرآیندهای ارزیابی پیش از عرضه عمومی را به‌طور قابل‌توجهی تقویت نمایند.

نوشته مدل‌های هوش مصنوعی در شرایط بحرانی ممکن است به کاربران آسیب بزنند اولین بار در تک ناک - اخبار تکنولوژی روز جهان و ایران. پدیدار شد.