شرکت‌های بزرگ AI با هم توافق کردند؛ قول می‌دهیم خودمان مراقب خودمان باشیم!

هرچه مدل‌های هوش مصنوعی توانمندتر می‌شوند، یک سؤال قدیمی جدی‌تر می‌شود: چه کسی باید مراقب شرکت‌هایی باشد که خودشان در حال ساخت قدرتمندترین مدل‌های AI هستند؟ حالا تعدادی از بزرگ‌ترین شرکت‌های این حوزه، از OpenAI و Anthropic گرفته تا گوگل، متا، انویدیا و xAI، در یک توافق داوطلبانه متعهد شده‌اند کنترل‌های بیشتری برای ایمنی مدل‌های پیشرفته خود ایجاد کنند.

هم‌زمان با سرعت گرفتن توسعه مدل‌های پیشرفته و ورود AI Agentها به سیستم‌هایی که می‌توانند به‌صورت خودکار عمل کنند، گزارش‌هایی از رفتارهای ناخواسته این ابزارها و عبور آنها از محدوده‌های مورد انتظار منتشر شده است. در همین مدت، برخی مدیران صنعت AI نیز درباره افزایش ریسک‌های مدل‌های قدرتمندتر هشدار داده‌اند.

بنابر گزارش CNN، در چنین شرایطی، کاخ سفید مدیران شرکت‌های بزرگ هوش مصنوعی را گرد هم آورد تا درباره یک مسئله مشخص گفت‌وگو شود: «چطور می‌توان توسعه سریع فناوری هوش مصنوعی را ادامه داد، در حالی که سازوکارهای ایمنی و کنترل آن هم هم‌زمان تقویت شوند؟»

در همین زمینه نشستی مشترک در محل کاخ سفید در وانشگتن دی سی و با حضور مدیران و افراد تاثیرگذار این صنعت از شرکت‌های توسعه‌دهنده و مرتبط با هوش مصنوعی برگزار و به توافقی کتبی برای همگرایی در مراقبت از امنیت روش‌های توسعه آنها منجر شده است.

اما نکته مهم اینجاست که صحبت از یک قانون جدید یا نهاد نظارتی دولتی نیست. شرکت‌ها قرار است بخش قابل توجهی از فرایند نظارت را خودشان انجام دهند و در عین حال، ارزیابان مستقل نیز عملکرد این کنترل‌ها را بررسی کنند.

شرکت‌ها دقیقاً چه تعهدی داده‌اند؟

سند موسوم به (تعهد مشترک در مورد مسئولیت‌های پیشرو) Joint Commitment on Frontier Responsibilities چهار اقدام اصلی را برای شرکت‌های امضاکننده در نظر گرفته است:

• ایجاد کنترل‌های داخلی برای پایش توانایی و رفتار مدل‌ها در زمان آموزش و استفاده، به‌خصوص در حوزه‌هایی مانند حملات سایبری و تهدیدهای زیستی و شیمیایی.
• تشکیل یک تیم داخلی برای بررسی عملکرد این کنترل‌ها و برطرف کردن مشکلات.
• استفاده از ارزیاب یا حسابرس مستقل خارجی برای بررسی عملکرد سازوکارهای ایمنی.
• ایجاد یک کمیته مستقل در هیئت‌مدیره برای دریافت گزارش‌ها و پیگیری مشکلات شناسایی‌شده.

یکی از موارد صریح این توافق، تلاش برای اطمینان از این است که مدل‌ها نتوانند به شکل ناخواسته به سیستم‌های فنی دسترسی پیدا کنند یا آنها را هک کنند.

علت طرح این توافق در بازه زمانی فعلی

این توافق در شرایطی شکل گرفته که نگرانی درباره رفتار خودمختار مدل‌های پیشرفته افزایش یافته است. در ماه‌های اخیر، گزارش‌هایی درباره دسترسی برخی Agentهای هوش مصنوعی به سیستم‌هایی فراتر از محدوده مورد انتظار منتشر شده و همین موضوع بحث درباره کنترل مدل‌ها را جدی‌تر کرده است.

در همین زمینه، داریو آمودی، مدیرعامل Anthropic، گفته است: «این فناوری خطرات بسیار واقعی دارد» و سازوکار مقابله با این خطرات همچنان در حال بررسی است.

در طرف دیگر، دونالد ترامپ پس از این نشست گفت که شاهد «خودنظارتی بسیار زیادی» است و شرکت‌ها می‌دانند که باید خودشان بر عملکردشان نظارت کنند. او این توافق را از نظر اخلاقی الزام‌آور توصیف کرد، هرچند سند فعلی الزام قانونی یا ضمانت اجرایی مشخصی ندارد.

آیا فقط خودتنظیمی شرکت‌ها کافی است؟

طرفداران این رویکرد می‌توانند استدلال کنند که شرکت‌های سازنده مدل، بیش از هر نهاد دیگری به جزئیات فنی سیستم‌های خود دسترسی دارند و می‌توانند سریع‌تر خطرات جدید را شناسایی و کنترل کنند. خود توافق نیز پیش‌بینی می‌کند که ارزیاب خارجی در بررسی عملکرد این کنترل‌ها نقش داشته باشد.

اما منتقدان درباره اتکا به نظارت داوطلبانه احتیاط بیشتری نشان داده‌اند. رابین جیا، استاد علوم کامپیوتر دانشگاه USC، درباره اعتماد زیاد به خودتنظیمی هشدار داده و می‌گوید که با قدرتمندتر شدن مدل‌ها، پیامدهای خطاهای آنها نیز می‌تواند بزرگ‌تر شود. برخی کارشناسان نیز زبان کلی توافق و نبود سازوکار قانونی الزام‌آور را مورد انتقاد قرار داده‌اند.

در خود سند نیز راه برای مقررات آینده کاملاً بسته نشده است؛ توافق می‌گوید ممکن است این اقدامات در آینده در قالب قوانین و مقررات رسمی تثبیت شوند.

یک توافق داوطلبانه، نه قانون AI

بنابراین اتفاقی که در کاخ سفید رخ داده را نباید با تصویب یک قانون جدید برای هوش مصنوعی اشتباه گرفت. در وضعیت فعلی، شرکت‌ها تعهد داده‌اند مجموعه‌ای از کنترل‌های داخلی، ارزیابی خارجی و نظارت هیئت‌مدیره را دنبال کنند؛ اما توافق فعلی جریمه مشخص، مهلت اجرایی مشخص یا الزام به انتشار عمومی نتایج ارزیابی‌ها تعیین نکرده است.

اهمیت این توافق در واقع به یک تغییر احتمالی در شیوه مدیریت ریسک AI برمی‌گردد:

شرکت‌هایی که همزمان در حال توسعه مدل‌های Frontier هستند، می‌خواهند بخش مهمی از فرایند ایمنی را در داخل شرکت مدیریت کنند و در عین حال، بخشی از کنترل را به ارزیابان بیرونی بسپارند.

اینکه چنین مدلی در عمل تا چه اندازه بتواند میان سرعت توسعه، رقابت تجاری و ایمنی مدل‌های پیشرفته تعادل ایجاد کند، موضوعی است که با اجرای واقعی این تعهدات مشخص خواهد شد.