انویدیا یک قرنطینه سخت‌افزاری ساخت؛ راهکاری برای جلوگیری از فرار هوش مصنوعی!

پس از چند مورد خروج عامل‌های هوش مصنوعی (AI Agents) از محیط‌های آزمایشی، انویدیا راهکار جدیدی را معرفی کرده که کنترل دسترسی و رفتار AI را از سطح مدل فراتر می‌برد و امکان نظارت و توقف آن را در یک لایه مستقل فراهم می‌کند.

اگر اخبار مرتبط با حوزه فناوری و هوش مصنوعی را در هفته‌های اخیر دنبال کرده باشید، احتمالاً گزارش‌های متعددی درباره فرار عامل‌های هوش مصنوعی از محیط‌های آزمایشی و انجام اقداماتی فراتر از دستورهای تعیین‌شده دیده‌اید.

این اتفاق‌ها نشان داده‌اند که صرفاً آموزش مدل برای داشتن رفتار ایمن کافی نیست و توسعه نسل جدید عامل‌های هوش مصنوعی به یک لایه امنیتی مستقل نیاز دارد.

حالا انویدیا با معرفی یک پلتفرم جدید تلاش می‌کند همین خلأ را هدف بگیرد؛ سامانه‌ای که می‌تواند عامل‌های هوش مصنوعی را در محیطی ایزوله نگه دارد و در صورت بروز رفتار غیرمجاز آنها را متوقف کند.

قفس انویدیا برای هوش مصنوعی سرکش!

انویدیا پلتفرم Nvidia Open Agent Safety Platform را در پاسخ به همین نگرانی‌ها معرفی کرده است. این مجموعه از دو بخش اصلی تشکیل می‌شود: نسخه OpenShell 0.1.0 که یک محیط اجرای عامل‌های هوش مصنوعی با مجوز Apache 2.0 است و نخستین‌بار در رویداد GTC معرفی شد؛ و Nvidia Sentry که به‌عنوان یک سامانه نظارتی روی پردازنده‌های BlueField-4 DPU اجرا می‌شود.

در نسخه جدید OpenShell قابلیتی با نام Policy Prover نیز اضافه شده است.

این سیستم بررسی می‌کند که ترکیب مجوزهای مختلف یک عامل، به سطح دسترسی‌ای منجر نشود که مدیر سیستم از ابتدا قصد اعطای آن را نداشته است.

برای مثال، مجموعه‌ای از مجوزها نباید در نهایت امکان دسترسی غیرمجاز به یک سرویس دیگر را فراهم کند.

مزیت مهم Nvidia Sentry در این است که روی یک پردازنده جداگانه و در یک دامنه مستقل اجرا می‌شود. به این ترتیب این بخش می‌تواند ترافیک عامل با مدل، فعالیت‌های آن و فرایند استدلالش را زیر نظر داشته باشد. اگر عامل از محدوده تعیین‌شده خارج شود، Sentry می‌تواند ارتباط آن را در سطح شبکه قطع کند.

در همین رابطه بخوانید:

- زنگ خطر دوباره برای OpenAI؛ هوش مصنوعی از محیط کنترل‌شده فرار کرد!
- هوش مصنوعی عمومی (AGI) چیست و چرا باید نگران آن باشیم؟

جاستین بویتینو (Justin Boitano)، معاون رئیس هوش مصنوعی سازمانی انویدیا، مدعی شده حوادث اخیر نشان داده‌اند که تکیه بر سازوکارهای ایمنی در سطح مدل به‌تنهایی نمی‌تواند مشخص کند عامل‌ها به چه چیزهایی دسترسی داشته باشند یا چه اقداماتی انجام دهند.

به گفته انویدیا، رویکرد جدید این شرکت در کنار هم قرار دادن ایمنی مدل و یک لایه قطعی و اجرایی برای کنترل رفتار عامل‌ها است؛ رویکردی که می‌تواند در توسعه سامانه‌های خودکارتر و قدرتمندتر AI اهمیت بیشتری پیدا کند.