مدیرعامل مایکروسافت: هوش مصنوعی باید دکمه توقف اضطراری داشته باشد

مدیرعامل مایکروسافت معتقد است با افزایش دسترسی عامل‌های هوش مصنوعی به اطلاعات حساس و سامانه‌های حیاتی، دیگر نمی‌توان به سازوکارهای ساده نظارتی اعتماد کرد. او خواستار طراحی سیستم‌هایی شده است که انسان بتواند در هر مرحله، مدل را متوقف یا خاموش کند.

به گزارش Wccftech، نادلا در یادداشتی مفصل در شبکه اجتماعی ایکس، درباره خطرات گسترش هوش مصنوعی عامل‌محور و مدل‌های پیشرفته هشدار داده است. به گفته او، این مدل‌ها با وجود رفتار غیرقطعی و خروجی‌های گاه غیرقابل پیش‌بینی، به اطلاعات حساس سازمان‌ها دسترسی پیدا کرده‌اند و می‌توانند اقدامات مهم و حیاتی را از طرف آن‌ها انجام دهند.

نادلا معتقد است استفاده از هوش مصنوعی برای بررسی عملکرد سایر مدل‌ها، به‌تنهایی راهکار قابل اتکایی برای تضمین ایمنی نیست. هرچند مدل‌ها می‌توانند خروجی یکدیگر را بررسی و خطاهای احتمالی را شناسایی کنند، این رویکرد ممکن است به ساختاری پیچیده از مدل‌های غیرشفاف منجر شود که در آن یک مدل، مدل دیگری را زیر نظر دارد و خود آن نیز در لایه‌ای غیرشفاف فعالیت می‌کند.

مدیرعامل مایکروسافت این وضعیت را به مجموعه‌ای از «جعبه‌های سیاه تو در تو» تشبیه کرده است؛ ساختاری که در آن مشخص نیست هر تصمیم دقیقاً چگونه گرفته شده و آیا سازوکار نظارتی واقعاً می‌تواند رفتار مدل را ارزیابی کند یا خیر.

او همچنین شفافیت زنجیره استدلال (Chain of Thought) را برای تضمین ایمنی هوش مصنوعی کافی نمی‌داند. به اعتقاد نادلا، نمایش روند استدلال یک مدل لزوماً به معنای شفافیت کامل عملکرد آن نیست و نمی‌توان صرفاً با اتکا به این اطلاعات، از درستی تصمیم‌ها اطمینان حاصل کرد.

از نگاه او، مدل‌های هوش مصنوعی باید در چارچوبی متشکل از طراحی سیستمی قابل پیش‌بینی، کنترل انسانی و رویه‌های عملیاتی قابل اتکا فعالیت کنند. به بیان دیگر، حتی اگر خروجی‌های مدل‌ها غیرقطعی باشد، سازوکارهای نظارت و کنترل آن‌ها باید تا حد امکان مشخص و قابل ارزیابی باقی بماند.

یکی از مهم‌ترین پیشنهادهای نادلا این است که از ابتدا فرض شود مدل هوش مصنوعی ممکن است به خطر افتاده باشد و سیستم بر همین اساس طراحی شود. در چنین شرایطی، یک فرد مجاز باید بتواند مدل را هنگام اجرای یک وظیفه متوقف یا به‌طور کامل خاموش کند.

اظهارات مدیرعامل مایکروسافت در شرایطی مطرح شده که نگرانی‌ها درباره عملکرد مستقل عامل‌های هوش مصنوعی و دسترسی آن‌ها به زیرساخت‌های مهم افزایش یافته است. گزارش‌هایی نیز درباره رفتارهای ناخواسته این عامل‌ها منتشر شده که ضرورت ایجاد سازوکارهای کنترلی دقیق‌تر را برجسته می‌کند.

نادلا پیش‌تر نیز از کاربرد گسترده عامل‌های هوش مصنوعی در ارزیابی فعالیت‌های تجاری و تحلیل بازدهی سخن گفته بود. بااین‌حال، او معتقد است افزایش توانایی این سیستم‌ها باید با توسعه هم‌زمان سازوکارهای نظارتی همراه باشد؛ به‌خصوص زمانی که مدل‌ها به داده‌های حساس دسترسی دارند یا اختیار انجام اقدامات حیاتی را به دست می‌آورند.

پیام اصلی او این است که ایمنی هوش مصنوعی را نمی‌توان تنها به توانایی خود مدل‌ها برای تشخیص خطا یا نظارت بر یکدیگر واگذار کرد. در عوض، کنترل انسانی، ثبت شواهد مقاوم در برابر دستکاری و امکان توقف فوری مدل‌ها باید از ابتدا در طراحی سیستم‌ها در نظر گرفته شوند.