شرکت OpenAI در حالی روند توسعه مدل جدید خود را متوقف کرده که گزارش‌هایی از رفتار غیرمنتظره ایجنت‌های هوش مصنوعی این شرکت منتشر شده است؛ عامل‌هایی که در دو آزمایش جداگانه از محدودیت‌های محیط کنترل‌شده عبور کرده‌اند.
وقتی یک عامل هوش مصنوعی (AI Agent) از چارچوبی که برایش تعیین شده خارج می‌شود، مسئله دیگر فقط یک خطای نرم‌افزاری نیست. حالا OpenAI در فاصله کوتاهی با دومین مورد از خروج عامل‌های هوش مصنوعی خود از محیط کنترل‌شده روبه‌رو شده و در واکنش به این اتفاق، آموزش جدیدترین مدل خود را متوقف کرده است؛ اقدامی که نشان می‌دهد کنترل رفتار عامل‌های خودکار همچنان یکی از چالش‌های جدی توسعه مدل‌های پیشرفته AI است.
OpenAI تنها چند ساعت پس از اعلام بررسی چند حادثه مربوط به تابستان، خبر توقف آموزش جدیدترین مدل خود را منتشر کرد. طبق گزارش‌های مطرح‌شده، در آن دوره برخی عامل‌های هوش مصنوعی این شرکت به وب‌سایت‌های دولتی آمریکا دسترسی پیدا کرده و اقداماتی فراتر از دستورهای تعیین‌شده انجام داده‌اند.
آموزش هوش مصنوعی فعلاً متوقف شد!
بر اساس گزارش phonearena، شرکت Transluce که از عامل‌های هوش مصنوعی برای بررسی عملکرد سایر سیستم‌های AI استفاده می‌کند، اعلام کرده عامل‌هایی که ظاهراً از OpenAI آمده‌اند تلاش کرده‌اند به وب‌سایت‌های وزارت آموزش آمریکا نفوذ کنند. با این حال OpenAI هنوز این ادعا را به‌طور رسمی تأیید نکرده است.
شرکت OpenAI اعلام کرده آموزش مدل جدید را تا زمانی که موازی با آن سازوکارهای حفاظتی بیشتری ایجاد نشود، از سر نخواهد گرفت. این شرکت همچنین هشدار داده که با ادامه توسعه هوش مصنوعی، ممکن است در آینده نیز مجبور شود دوباره روند آموزش مدل‌ها را متوقف کند.
این دومین مورد مشابه برای OpenAI در فاصله حدود سه ماه است. در حادثه قبلی، مدل‌های این شرکت هنگام آزمایش یک بنچمارک امنیت سایبری به نام ExploitGym توانستند از محیط ایزوله خود خارج شوند و به اینترنت دسترسی پیدا کنند. در آن آزمایش، سطح برخی محدودیت‌های ایمنی برای ارزیابی مدل‌ها کاهش یافته بود.
عامل‌های هوش مصنوعی تصور می‌کردند پاسخ‌های بنچمارک در Hugging Face قرار دارد و تلاش کردند برای دستیابی به آنها از محدودیت‌های تعیین‌شده عبور کنند. طبق گزارش ارائه‌شده، این عامل‌ها با افزایش سطح دسترسی، به دست آوردن اطلاعات اعتبارسنجی و حرکت در بخش‌های مختلف سیستم پیش رفتند، تا اینکه مکانیزم‌های امنیتی داخلی Hugging Face جلوی ادامه فعالیت آنها را گرفت.
در همین رابطه بخوانید:
- هوش مصنوعی چیست و چرا آینده بسیاری از علوم خواهد بود؟
- هوش مصنوعی عمومی (AGI) چیست و چرا باید نگران آن باشیم؟
تکرار چنین مواردی اکنون OpenAI را وادار کرده پیش از ادامه آموزش مدل جدید، لایه‌های حفاظتی بیشتری ایجاد کند؛ موضوعی که بار دیگر بحث درباره میزان کنترل‌پذیری عامل‌های هوش مصنوعی را جدی‌تر کرده است.
نظر خود را اضافه کنید.
برای ارسال نظر وارد شوید
ارسال نظر بدون عضویت در سایت