Anthropic اعلام کرده است عاملهای هوش مصنوعی این شرکت در جریان آزمایشهای امنیتی، در سه نوبت از محیط شبیهسازیشده خارج شده و بدون اطلاع تیم آزمایش به اینترنت دسترسی پیدا کردهاند. این عاملها سپس توانستهاند به سه شرکت ناشناس نفوذ کنند.
پیکربندی اشتباه، عامل خروج از محیط آزمایشی
این آزمایش با همکاری شرکت Irregular و در قالب یک چالش امنیتی انجام میشد؛ جایی که مدلها باید به شرکتهای ساختگی حمله میکردند. با این حال، به گفته Anthropic، یک پیکربندی اشتباه باعث شد مدلها به اینترنت واقعی دسترسی داشته باشند. این شرکت میگوید تا زمان بررسیهای تکمیلی، تیم Anthropic و شریک آزمایشی از این خطا مطلع نبودند.
بر اساس گزارش منتشرشده، عاملها از روشهای نسبتاً سادهای مانند سوءاستفاده از گذرواژههای ضعیف و نقاط پایانی بدون احراز هویت استفاده کردند. رفتار عاملها نیز یکسان نبود؛ یکی از آنها پس از تشخیص خروج از محدوده، حمله را ادامه داد، عامل دیگری تصور کرد همچنان در محیط شبیهسازیشده قرار دارد و نمونه پیشرفتهتر پس از شناسایی وضعیت، حمله را متوقف کرد.
اهمیت این ماجرا در آن است که شرکتهای سازنده مدلهای پیشرفته، علاوه بر توانایی عاملها، باید بر محدودسازی دسترسی و نظارت لحظهای بر عملکرد آنها نیز تمرکز کنند. این گزارش همچنین نشان میدهد خطاهای پیکربندی در محیطهای آزمایشی میتوانند پیامدهای واقعی داشته باشند؛ حتی اگر هدف اولیه، بررسی رفتار مدلها در یک شبیهسازی کنترلشده باشد.
کاربرانی که برای برنامهنویسی و بررسی قابلیتهای مدلهای زبانی از ابزارهای پیشرفته استفاده میکنند، میتوانند با مطالعه محدودیتهای دسترسی و تنظیمات امنیتی، ریسک استفاده از عاملهای خودکار را بهتر مدیریت کنند. برای آشنایی با نسخه حرفهای این سرویس، میتوانید اکانت کلاد پرو - Claude Pro را بررسی کنید.
