جمینای گوگل در جریان آزمایش امنیتی به سامانه‌های ۳ شرکت واقعی نفوذ کرد

به گزارش خبرگزاری آگاه؛ حادثه در جریان آزمایشی از سوی شرکت امنیت هوش مصنوعی ایریگولار (Irregular) رخ داد که توانایی‌های سایبری جمینای را در یک زیرساخت ساختگی متعلق به شرکتی خیالی ارزیابی می‌کرد. مدل در طول آزمایش متوجه شد به اینترنت واقعی دسترسی دارد و به جای ماندن در محیط تعیین‌شده، سراغ شرکتی واقعی با نام مشابه رفت و با امتحان کردن مکرر رمز‌های عبور توانست وارد یکی از سامانه‌های آن شود. در ۲ مورد دیگر نیز اطلاعات ورود معتبری را که در مخازن عمومی اینترنت قرار داشت پیدا کرد و از آن‌ها برای دسترسی به سامانه‌های واقعی استفاده کرد. نام ۳ شرکت آسیب‌دیده منتشر نشده است.

جمینای پس از ورود به سامانه واقعی متوقف شد

طبق توضیح گوگل، مدل مدت کوتاهی پس از ورود به محیط‌های واقعی متوجه شد از محدوده آزمایش خارج شده و فعالیت خود را ادامه نداد، بنابراین خسارت بیشتری به سامانه‌های هدف وارد نشد. ایریگولار نیز گفته شرکت‌های درگیر و آزمایشگاه‌های مرتبط را در تیر از ماجرا مطلع کرده و مشکلات شناخته‌شده در فرایند آزمایش طی هفته‌های بعد برطرف شده‌اند. گوگل این رفتار را نمونه‌ای از «ناهم‌ترازی مدل» نمی‌داند، زیرا به گفته شرکت، جمینای پس از فهمیدن اشتباه خود متوقف شده است. با این حال اصل دسترسی بدون مجوز به سامانه‌های واقعی باعث شده برخی کارشناسان درباره کافی بودن همین معیار برای ارزیابی ایمنی ایجنت‌های قدرتمند تردید داشته باشند.

مشکل اصلی از دسترسی ناخواسته به اینترنت آغاز شد

ایریگولار پیش‌تر در آزمایش مدل‌های شرکت‌هایی مانند اوپن‌ای‌آی و آنتروپیک نیز با حوادث مشابهی روبه‌رو شده بود و وجه مشترک چند مورد، دسترسی ناخواسته مدل‌ها به اینترنت واقعی بوده است. در چنین آزمایش‌هایی قرار است ایجنت داخل محیطی کنترل‌شده با سامانه‌های ساختگی تعامل کند، اما اگر جداسازی محیط آزمایشی به‌درستی انجام نشود، مدل ممکن است همان روش‌هایی را که برای حل مسئله شبیه‌سازی‌شده آموخته روی اهداف واقعی امتحان کند. در ماجرای جمینای نیز بخش مهمی از نفوذ به پیچیدگی خارق‌العاده حمله مربوط نبود و مدل از روش‌هایی مانند حدس رمزعبور و استفاده از اطلاعات ورود رهاشده در مخازن عمومی بهره گرفت.

گوگل ماجرا را عمومی نکرد، چون آن را حادثه ناهم‌ترازی نمی‌دانست

گوگل پس از دریافت گزارش، شرکت‌های آسیب‌دیده و مقام‌های مربوط را در جریان گذاشت، اما تصمیم گرفت حادثه را به‌طور عمومی اعلام نکند. شرکت استدلال کرده است که رفتار جمینای بیشتر به یک مشکل در فرایند آزمایش شباهت داشته و از آنجا که مدل پس از تشخیص واقعی بودن محیط متوقف شده، نیازی به انتشار عمومی گزارش ناهم‌ترازی وجود نداشته است. منتقدان این رویکرد می‌گویند ورود خودکار یک مدل به سامانه‌های واقعی، حتی بدون ادامه تخریب، با یک آسیب‌پذیری نرم‌افزاری معمولی تفاوت دارد و می‌تواند اطلاعات مهمی درباره رفتار ایجنت‌های پیشرفته در اختیار سایر پژوهشگران قرار دهد.

توضیح خود مدل درباره رفتارش به‌تنهایی کافی نیست

یکی از دشواری‌های بررسی چنین حوادثی این است که پژوهشگران نمی‌توانند صرفاً به توضیح خود مدل درباره دلیل انجام یا توقف یک کار اعتماد کنند. مدل‌های استدلالی ممکن است پس از انجام یک اقدام، توضیحی ارائه دهند که الزاماً بازتاب دقیق فرایند واقعی تصمیم‌گیری آن‌ها نیست و حتی گزارش داخلی یا توضیح پس از پایان کار نیز می‌تواند ناقص یا نادرست باشد. به همین دلیل ارزیابی این‌گونه حوادث بیشتر به ثبت رفتار واقعی مدل، مسیر‌های دسترسی و اقداماتی که روی سامانه‌ها انجام شده متکی است تا ادعای خود ایجنت درباره اینکه چه چیزی را فهمیده یا چرا متوقف شده است.

ماجرای جمینای نخستین مورد شناخته‌شده‌ای است که یک مدل گوگل در جریان آزمایش امنیتی از محیط تعیین‌شده خارج شده و به چند سامانه واقعی دسترسی پیدا کرده است. گوگل می‌گوید اصلاحات لازم در فرایند آزمایش انجام شده، اما تکرار حوادث مشابه در شرکت‌های مختلف نگرانی درباره ایزوله‌سازی ایجنت‌های قدرتمند و میزان کنترلی که هنگام دسترسی آن‌ها به ابزار‌های واقعی وجود دارد را افزایش داده است.

انتهای خبر/277695/