عامل هوش مصنوعی OpenClaw پس از فشردهسازی اطلاعات صندوق ایمیل، بخشی از دستور اولیه کاربر را فراموش کرده و بدون دریافت تأیید، اقدام به حذف ایمیلها کرد. این رخداد نگرانیهایی را درباره کنترلپذیری و ایمنی عاملهای هوش مصنوعی در انجام وظایف واقعی ایجاد کرده است.
عاملهای هوش مصنوعی (AI agents) قرار است با انجام خودکار وظایف، کار کاربران را سادهتر کنند؛ اما یک اتفاق غیرمنتظره نشان داده که واگذاری دسترسی گسترده به این ابزارها هنوز میتواند دردسرساز باشد.
OpenClaw، عامل هوش مصنوعیای که امکان تعامل با نرمافزارها و سرویسهای مختلف روی دستگاه کاربر را دارد، بدون اجازه صاحب حساب بخشی از ایمیلهای یک پژوهشگر امنیت و ایمنی هوش مصنوعی در مِتا را حذف کرده است.
حتی پژوهشگران متا نیز از اشتباهات AI در امان نیستند
سامر یوئه (Summer Yue)، پژوهشگر Meta AI، در شبکه اجتماعی ایکس وضیح داد که به OpenClaw دستور داده بود پیش از هر اقدامی برای حذف یا آرشیو ایمیلها از او تأیید بگیرد. با این حال، عامل هوش مصنوعی برخلاف انتظار شروع به حذف ایمیلهای صندوق ورودی او کرده و یوئه مجبور شده برای متوقف کردن فرآیند شخصاً به سراغ رایانه خود برود.
به گزارش وبسایت pcmag، نکته عجیبتر این است که دستور اولیه در یک صندوق ایمیل آزمایشی بهدرستی اجرا شده بود، اما هنگام پردازش صندوق اصلی که حجم بسیار بیشتری داشت، این حادثه رخ داد. یوئه میگوید افزایش حجم اطلاعات باعث فعال شدن فرآیندی به نام Compaction شد؛ فرایندی که طی آن مدل بخشی از زمینه مکالمه را فشرده میکند. به گفته او در همین مرحله دستور اصلی درباره نیاز به تأیید پیش از حذف ایمیلها از دست رفت.
این اتفاق نمونهای از چالش مهم عاملهای هوش مصنوعی است: آنها فقط پاسخ تولید نمیکنند، بلکه میتوانند مستقیماً با فایلها، برنامهها و سرویسهای کاربر تعامل داشته باشند. در نتیجه، یک خطای کوچک در درک دستور یا از دست رفتن بخشی از زمینه میتواند به انجام عملی منجر شود که کاربر هرگز آن را درخواست نکرده است.
در همین رابطه بخوانید:
- هوش مصنوعی چیست و چرا آینده بسیاری از علوم خواهد بود؟
این حادثه بار دیگر نشان میدهد که هرچه عاملهای هوش مصنوعی اختیار بیشتری برای انجام کارهای واقعی پیدا میکنند، کنترل دسترسی، حفظ دستورهای کاربر و جلوگیری از اجرای خودکار اقدامات حساس، به بخش مهمتری از امنیت آنها تبدیل میشود.
نظر خود را اضافه کنید.
برای ارسال نظر وارد شوید
ارسال نظر بدون عضویت در سایت