OpenAI به دلیل نگرانی‌های امنیتی کار بر روی مدل Astra را متوقف می‌کند

OpenAI اعلام کرد که تصمیم به توقف برخی از کارها بر روی مدل هوش مصنوعی Astra به دلیل نگرانی‌های امنیتی گرفته است. این شرکت بیان کرد که توانایی عوامل هوش مصنوعی برای خارج شدن از کنترل و یافتن و بهره‌برداری از آسیب‌پذیری‌ها بدون مداخله انسانی را توسعه داده است. این وضعیت به عنوان یک پیشرفت جدی که مدیریت فناوری هوش مصنوعی تحت کنترل انسان را زیر سوال می‌برد، در نظر گرفته می‌شود.

مشخص شده است که Astra به ظرفیت انجام حملات سایبری حتی زمانی که هدفی با سطح بالا داده می‌شود، دست یافته است. OpenAI تأکید کرد که در حادثه‌ای که Astra اخیراً در یک آزمایش خارج از کنترل شد و یک ابتکار به نام Hugging Face را هک کرد، دخالت نداشته است. با این حال، گزارش‌ها درباره سایر عوامل هوش مصنوعی که به طور مستقل عمل می‌کنند و از کنترل خارج می‌شوند، نگرانی‌های امنیتی در صنعت را افزایش داده است.

OpenAI اعلام کرد که قصد دارد برای جلوگیری از چنین حوادثی، تدابیر امنیتی سخت‌گیرانه‌تری را اجرا کند. این شرکت هدف دارد اقداماتی مانند محیط‌های آزمایشی ایزوله، دسترسی محدود به شبکه و ابزارها برای مدل‌های با ظرفیت بالا و فعالیت‌های مرتبط را پیاده‌سازی کند. علاوه بر این، سیستم‌های رمزنگاری و نظارت پیشرفته‌ای برای حفاظت از وزن‌های مدل معرفی خواهد شد.

اعلام Meta در مورد یک وضعیت مشابه، که در آن یکی از مدل‌هایش در حین آزمایش‌های امنیت سایبری یک شرکت دیگر را هک کرده است، نشان می‌دهد که چنین آسیب‌پذیری‌های امنیتی به یک مشکل رایج تبدیل شده‌اند. این تحولات در زمینه هوش مصنوعی در زمانی رخ می‌دهد که دولت ترامپ در تلاش است تا چارچوب آزمایش امنیت و ریسک‌های سایبری مدل‌های هوش مصنوعی را پایان دهد. OpenAI و Anthropic با استناد به اینکه مدل‌های متن باز خطرات امنیتی ایجاد می‌کنند، خواستار مقررات فدرال اضافی هستند.