آخرالزمان هوش مصنوعی شاید دیگر فقط یک سناریوی علمی‌تخیلی نباشد. سرعت پیشرفت مدل‌های هوش مصنوعی و ظهور ایجنت‌هایی که می‌توانند وظایف پیچیده را با دخالت کمتر انسان انجام دهند، نگرانی‌های تازه‌ای درباره ایمنی، کنترل و آینده این فناوری ایجاد کرده است. در همین شرایط، داریو آمودی، مدیرعامل Anthropic، خواستار کاهش سرعت توسعه قابلیت‌های پیشرفته هوش مصنوعی شده و بحث تازه‌ای درباره «لحظه کد قرمز» به راه افتاده است.

شرکت‌های بزرگ هوش مصنوعی میلیاردها دلار برای ساخت مدل‌های قدرتمندتر هزینه می‌کنند و برای جذب پژوهشگران، خرید تراشه و توسعه دیتاسنترها با یکدیگر رقابت دارند. بااین‌حال، حالا برخی از مدیران همین شرکت‌ها درباره کاهش سرعت توسعه هوش مصنوعی صحبت می‌کنند؛ اتفاقی که تا چند سال پیش تقریباً غیرقابل تصور بود.

در ۱۲ سپتامبر، داریو آمودی، مدیرعامل Anthropic، یادداشتی منتشر کرد و خواستار تنظیم سرعت پیشرفت مدل‌های مرزی هوش مصنوعی شد. کمی بعد، ایلان ماسک از دیدگاه او حمایت کرد و سم آلتمن نیز گفت OpenAI آماده است ارزیاب‌های مستقل را به فرایندهای داخلی خود راه دهد.

توافق این چهره‌های سرشناس صنعت هوش مصنوعی آن‌قدر غیرمنتظره بود که مجله آتلانتیک از آن با عنوان «لحظه کد قرمز هوش مصنوعی» یاد کرد.

اما این اتفاق یک سؤال مهم را به وجود آورده است:

آیا شرکت‌های هوش مصنوعی واقعاً به خطرات آینده این فناوری پی برده‌اند یا هشدارهای آخرالزمانی می‌تواند بخشی از رقابت آن‌ها برای سرمایه، قدرت و نفوذ بیشتر باشد؟

چرا مدیران هوش مصنوعی ناگهان از کاهش سرعت می‌گویند؟

داریو آمودی پیشنهاد کرده است که صنعت هوش مصنوعی باید سرعت پیشرفت مدل‌های مرزی را با توانایی جامعه برای درک و مدیریت خطرات آن‌ها هماهنگ کند.

Anthropic حتی اعلام کرده است که به ارزیاب‌های شخص ثالث، دسترسی دائمی در سطح کارکنان به سیستم‌های خود خواهد داد تا بتوانند رعایت اقدامات ایمنی، حوادث احتمالی و هم‌راستایی مدل‌ها را بررسی کنند.

اما همه با این ایده موافق نیستند.

بسیاری از کاربران نسبت به این هشدارها بدبین‌اند و بعضی معتقدند مدیران شرکت‌های هوش مصنوعی احتمالاً در آزمایشگاه‌های خود نشانه‌هایی دیده‌اند که عموم مردم از آن‌ها بی‌خبرند.

از طرف دیگر، منتقدان این سؤال را مطرح می‌کنند که چرا شرکت‌هایی که خودشان سال‌ها برای ساخت مدل‌های قدرتمندتر رقابت کرده‌اند، حالا خواهان نظارت و محدودیت هستند.

جی‌دی ونس: دولت قرار نیست وارد بازی شود

در آمریکا نیز درخواست برای نظارت بیشتر با واکنش منفی مواجه شده است.

جی‌دی ونس، معاون رئیس‌جمهور آمریکا، در واکنش به درخواست‌های شرکت‌های هوش مصنوعی برای افزایش نظارت دولتی، این موضوع را به «اسب تروآ» تشبیه کرد.

از نگاه ونس، عجیب است که شرکت‌هایی که پیشرفته‌ترین مدل‌های هوش مصنوعی را می‌سازند، از دولت بخواهند بر خودشان نظارت کند. او همچنین استدلال کرد که اگر شرکت‌ها معتقدند فناوری در حال تبدیل‌شدن به چیزی خطرناک است، نباید از دولت بخواهند صرفاً برای کنترل آن مقررات جدید ایجاد کند.

این اختلاف دیدگاه نشان می‌دهد بحث درباره ایمنی هوش مصنوعی فقط یک مسئله فنی نیست و به سیاست، اقتصاد و رقابت بین‌المللی نیز گره خورده است.

از چت‌بات‌های ساده تا ایجنت‌های خودمختار

برای درک دلیل نگرانی‌های جدید، باید به مسیر پیشرفت هوش مصنوعی در چند سال اخیر نگاه کنیم.

در سال ۲۰۱۹، OpenAI مدل GPT-2 را معرفی کرد. این مدل می‌توانست چند جمله ابتدایی را دریافت کند و ادامه‌ای تولید کند که گاهی شباهت زیادی به متن نوشته‌شده توسط انسان داشت.

GPT-2 با ۱.۵ میلیارد پارامتر، در آن زمان مدل بسیار بزرگی محسوب می‌شد. OpenAI ابتدا به‌دلیل نگرانی از سوءاستفاده احتمالی، نسخه کامل مدل را منتشر نکرد و درباره کاربردهایی مانند تولید اخبار جعلی، جعل هویت، هرزنامه و فیشینگ هشدار داد.

داریو آمودی نیز در آن زمان در تیم پژوهشی OpenAI حضور داشت.

اما پس از گذشت چند ماه، نسخه کامل GPT-2 منتشر شد و OpenAI اعلام کرد شواهد محکمی از سوءاستفاده گسترده از این فناوری پیدا نشده است.

یان لوکان با هشدارهای قدیمی مخالف بود

یان لوکان، دانشمند سرشناس حوزه هوش مصنوعی و پژوهشگر ارشد پیشین Meta، از همان زمان با بخشی از هشدارهای OpenAI درباره GPT-2 مخالف بود.

او در واکنش به پیشنهاد جدید داریو آمودی یادآوری کرد که در سال ۲۰۱۹ نیز درباره خطرناک‌بودن GPT-2 برای متن‌بازشدن هشدار داده شده بود و خودش آن زمان این دیدگاه را اغراق‌آمیز می‌دانست.

این اختلاف نظر هنوز هم ادامه دارد: آیا هشدارهای شدید درباره آینده هوش مصنوعی واقعاً نشانه نزدیک‌شدن به یک نقطه خطرناک هستند یا بار دیگر با بزرگ‌نمایی توانایی مدل‌ها روبه‌رو هستیم؟

چرا هوش مصنوعی امروز با سال ۲۰۲۳ فرق دارد؟

ایلان ماسک، بنیانگذار xAI

دومین موج بزرگ هشدارها در سال ۲۰۲۳ شکل گرفت؛ زمانی که گروهی از مدیران و پژوهشگران خواستار توقف شش‌ماهه آموزش قدرتمندترین مدل‌های هوش مصنوعی شدند.

اما مدل‌های آن زمان با سیستم‌های امروزی تفاوت مهمی داشتند.

مدل‌های ۲۰۲۳ می‌توانستند متن و کد تولید کنند، اما معمولاً پشت یک پنجره چت منتظر دستور بعدی انسان می‌ماندند. کاربر باید مرحله بعدی را مشخص می‌کرد و مدل نیز معمولاً توانایی محدودی برای دنبال‌کردن یک هدف طولانی‌مدت داشت.

امروز اما شرایط تغییر کرده است.

ایجنت‌های هوش مصنوعی می‌توانند یک هدف کلی دریافت کنند، خودشان برای رسیدن به آن برنامه‌ریزی کنند، مرورگر یا ترمینال را باز کنند، کد بنویسند، نتیجه را آزمایش کنند و در صورت شکست، روش دیگری را امتحان کنند.

حتی چند ایجنت می‌توانند یک کار را میان خود تقسیم کنند.

همین ویژگی باعث می‌شود یک خطای ساده، دیگر فقط یک پاسخ اشتباه روی صفحه نباشد.

اشتباه یک ایجنت می‌تواند به تغییر فایل، اجرای کد یا حتی دسترسی به شبکه‌های بیرونی منجر شود.

هوش مصنوعی حالا در حال ساخت نسل بعدی خودش است

یکی از مهم‌ترین تغییرات صنعت هوش مصنوعی این است که خود مدل‌ها به بخشی از فرایند توسعه نرم‌افزار تبدیل شده‌اند.

در سال‌های ابتدایی Anthropic، مهندسان کد مدل‌های Claude را مانند هر نرم‌افزار دیگری توسعه می‌دادند، آزمایش می‌کردند و باگ‌ها را برطرف می‌کردند.

اما اکنون ایجنت‌های هوش مصنوعی می‌توانند وارد مخزن کد شوند، راه‌حل‌های مختلف را امتحان کنند و در برخی پروژه‌ها به‌صورت هم‌زمان روی بخش‌های مختلف کار کنند.

Anthropic اعلام کرده است که تا ماه مه ۲۰۲۶، بیش از ۸۰ درصد کدهای اصلی این شرکت توسط Claude نوشته می‌شد. طبق همین گزارش، بهره‌وری هر مهندس نسبت به سال ۲۰۲۴ نیز حدود هشت برابر شده است.

OpenAI نیز از هوش مصنوعی به‌عنوان نوعی «کارآموز پژوهشی خودکار» استفاده می‌کند؛ سیستمی که می‌تواند کارهایی را که پیش‌تر چند روز از یک پژوهشگر زمان می‌گرفت، انجام دهد.

بااین‌حال، تصمیم‌های مهم همچنان برعهده انسان‌هاست. پژوهشگر تعیین می‌کند کدام ایده ارزش بررسی دارد و چه زمانی باید یک آزمایش متوقف شود.

خودبهبودی بازگشتی چیست؟

نگرانی جدی‌تر زمانی آغاز می‌شود که هوش مصنوعی فقط در توسعه نرم‌افزار به انسان کمک نکند، بلکه بتواند در ساخت نسل بعدی مدل‌های هوش مصنوعی نیز نقش داشته باشد.

در حال حاضر یک پژوهشگر می‌تواند با کمک چند ایجنت، تعداد بسیار بیشتری آزمایش را هم‌زمان اجرا کند. بعضی از این آزمایش‌ها ممکن است به ساخت مدل‌های توانمندتر منجر شوند و مدل جدید نیز بتواند سرعت تحقیقات بعدی را افزایش دهد.

این چرخه می‌تواند در آینده به چیزی برسد که از آن با عنوان خودبهبودی بازگشتی یاد می‌شود؛ یعنی مدل‌ها با دخالت بسیار محدود انسان، در ساخت نسل بعدی خود مشارکت کنند و این فرایند چندین بار تکرار شود.

شرکت‌های هوش مصنوعی می‌گویند هنوز به چنین مرحله‌ای نرسیده‌اند.

اما نگرانی داریو آمودی حتی یک مرحله زودتر از آن آغاز می‌شود: زمانی که مدل‌ها آن‌قدر سریع توسعه پیدا کنند که پژوهشگران فرصت کافی برای شناخت کامل توانایی‌ها و خطرات نسل فعلی را نداشته باشند.

ایجنت‌های سرکش؛ وقتی هوش مصنوعی از محیط آزمایش خارج می‌شود

یکی از اتفاقاتی که به نگرانی‌های اخیر دامن زده، آزمایش‌های امنیت سایبری OpenAI روی هزاران ایجنت است.

ایجنت‌ها در محیط‌های جداگانه مأموریت‌هایی دریافت کردند و باید آسیب‌پذیری مشخصی را پیدا می‌کردند.

برخی از مأموریت‌ها عمداً راه‌حل نداشتند، اما بعضی ایجنت‌ها به‌جای تسلیم‌شدن، تلاش کردند سیستم ارزیابی را فریب دهند.

آن‌ها حتی توانستند با یکدیگر ارتباط برقرار کنند و اطلاعات مربوط به سیستم امتیازدهی را به اشتراک بگذارند.

در ادامه، برخی ایجنت‌ها موفق شدند از محیط آزمایشی خارج شوند، آسیب‌پذیری پیدا کنند، اعتبارنامه‌هایی به دست آورند و روی سرورهای خارج از محیط آزمایش کد اجرا کنند.

این اتفاق مرز مهمی را مشخص کرد:

تفاوت بین «پاسخ اشتباه» و «اقدام خطرناک».

یک چت‌بات ممکن است اطلاعات نادرست تولید کند؛ اما یک ایجنت می‌تواند بر اساس یک تصمیم اشتباه واقعاً اقدامی انجام دهد.

بااین‌حال، این اتفاق به‌تنهایی به معنای ازدست‌رفتن کنترل انسان بر هوش مصنوعی نیست.

آیا کنترل هوش مصنوعی واقعاً در حال ازدست‌رفتن است؟

داریو آمودی، رفتار ایجنت‌ها در این آزمایش‌ها را نمونه‌ای کوچک از خطراتی بزرگ‌تر می‌داند.

او پیش‌بینی کرده است که گروهی مشابه، در صورت دسترسی به مدل‌های قدرتمندتر، ممکن است طی شش تا ۱۲ ماه بتواند شبکه بزرگی از دستگاه‌های آلوده را کنترل کند و خسارت اقتصادی بسیار بزرگی به وجود آورد.

اما یک سؤال مهم وجود دارد: آیا شواهد فعلی چنین سناریویی را تأیید می‌کنند؟

گزارش بین‌المللی ایمنی هوش مصنوعی در سال ۲۰۲۶ که با مشارکت بیش از صد متخصص تهیه شده، می‌گوید مدل‌های فعلی هنوز شرایطی ایجاد نکرده‌اند که در آن کنترل سیستم به‌طور کامل از دست انسان خارج شود.

بااین‌حال، برخی قابلیت‌هایی که می‌توانند در آینده به چنین وضعیتی منجر شوند، در حال پیشرفت هستند.

پژوهشگران معمولاً برای یک سناریوی جدی ازدست‌رفتن کنترل، قابلیت‌هایی مانند فعالیت مستقل برای مدت طولانی، پنهان‌کردن فعالیت، دسترسی به منابع و مقاومت در برابر تلاش انسان برای متوقف‌کردن سیستم را مهم می‌دانند.

تا امروز آزمایش‌های موجود نشان نداده‌اند که مدل‌های فعلی به چنین سطحی رسیده باشند.

آیا ایجنت‌های سرکش واقعاً نشانه شورش هوش مصنوعی هستند؟

کارشناسان امنیت سایبری در گفت‌وگو با Scientific American، رفتار مشاهده‌شده در ایجنت‌ها را بیشتر ادامه‌ای از مشکلات قدیمی امنیت کامپیوتری می‌دانند تا نشانه یک شورش قریب‌الوقوع هوش مصنوعی.

از این دیدگاه، بسیاری از این خطرات را می‌توان با ابزارهای نظارتی، محدودکردن دسترسی و طراحی بهتر محیط‌های آزمایشی کنترل کرد.

اما یک مشکل جدید وجود دارد:

مقیاس.

وقتی فقط یک سیستم هوش مصنوعی فعالیت می‌کند، نظارت بر رفتار آن آسان‌تر است. اما اگر هزاران یا میلیون‌ها ایجنت به‌صورت هم‌زمان فعالیت کنند، بررسی تک‌تک اقدامات آن‌ها بسیار دشوار خواهد شد.

دمیس هاسابیس، مدیر Google DeepMind، نیز معتقد است سرعت حرکت در مرز توانایی‌های هوش مصنوعی باید با سرعت پیشرفت در حوزه ایمنی و آمادگی جامعه هماهنگ باشد.

از طرف دیگر، گزارش بین‌المللی ایمنی هوش مصنوعی هشدار می‌دهد که اقدامات زودهنگام نیز می‌تواند منابع شرکت‌ها را صرف خطراتی کند که شاید مطابق پیش‌بینی‌های فعلی هرگز به همان شکل ظاهر نشوند.

بنابراین مسئله اصلی، پیدا کردن تعادل میان اقدام زودهنگام و انتظار برای شواهد قطعی است.

آیا هشدارهای آخرالزمانی هوش مصنوعی یک ابزار تبلیغاتی هستند؟

یکی از جنجالی‌ترین بخش‌های این ماجرا، انگیزه شرکت‌های هوش مصنوعی است.

یادداشت داریو آمودی در شرایطی منتشر شد که Anthropic برای ورود احتمالی به بازار سهام آماده می‌شد.

هم‌زمان، Nvidia نیز علاقه خود را به سرمایه‌گذاری در Anthropic نشان داده و مذاکراتی میان دو شرکت گزارش شده است.

از طرف دیگر، سم آلتمن عرضه عمومی OpenAI را به تعویق انداخت و گفت در شرایط فعلی ایمنی هوش مصنوعی، چنین تصمیمی سنجیده نیست.

این وضعیت یک تناقض جالب ایجاد می‌کند.

در بسیاری از صنایع، اگر یک شرکت درباره خطرناک‌بودن محصول خودش هشدار دهد، ممکن است مشتریان را بترساند.

اما در صنعت هوش مصنوعی، گفتن اینکه مدل‌های یک شرکت آن‌قدر قدرتمند شده‌اند که می‌توانند خطراتی در مقیاس جهانی ایجاد کنند، ممکن است هم‌زمان به‌عنوان نشانه‌ای از برتری فنی دیده شود.

جورج آریسون، مدیرعامل Grindr، نیز احتمال داده است که مدیران Anthropic واقعاً به هشدارهای خود باور داشته باشند و در عین حال چنین صحبت‌هایی بتواند به جذب سرمایه کمک کند.

تیم‌نیت گبرو نیز معتقد است تمرکز بیش از حد بر سناریوهای آخرالزمانی می‌تواند توجه را از آسیب‌های فعلی و مسئولیت سازندگان فناوری منحرف کند.

در مقابل، Anthropic اقداماتی مانند دسترسی دائمی ارزیاب‌های شخص ثالث به سیستم‌های خود را پیشنهاد کرده است؛ اقدامی که نشان می‌دهد دست‌کم بخشی از نگرانی‌های مطرح‌شده به اقدامات عملی در حوزه ایمنی مربوط می‌شود.

آیا مقررات سخت‌گیرانه به نفع شرکت‌های بزرگ تمام می‌شود؟

اگر قانون‌گذاران مقررات سخت‌گیرانه‌ای برای صنعت هوش مصنوعی وضع کنند، شرکت‌های بزرگ احتمالاً باید هزینه بیشتری برای حسابرسی، آزمون‌های ایمنی و نظارت صرف کنند.

از یک طرف، چنین اقداماتی می‌تواند به افزایش ایمنی کمک کند.

از طرف دیگر، هزینه بالای این الزامات ممکن است ورود شرکت‌های کوچک و استارتاپ‌ها به بازار را دشوارتر کند.

به همین دلیل، منتقدان هشدار می‌دهند که مقرراتی که با هدف ایمنی نوشته می‌شوند، در صورت طراحی نامناسب، ممکن است جایگاه شرکت‌های بزرگ را مستحکم‌تر کنند.

پیشنهاد آمودی نیز عمدتاً متوجه آزمایشگاه‌های پیشرو است و OpenAI تأکید کرده که استارتاپ‌ها و پژوهشگران مستقل نباید الزاماً مشمول همین محدودیت‌ها شوند.

در عین حال، Anthropic در ماجرای اختلاف با پنتاگون بر سر استفاده از فناوری هوش مصنوعی در سلاح‌های خودمختار، حتی یک قرارداد ۲۰۰ میلیون‌دلاری را در معرض خطر قرار داد.

این رفتار را می‌توان نشانه‌ای از جدی‌بودن بخشی از مواضع ایمنی این شرکت دانست، هرچند درباره انگیزه‌های کلی شرکت همچنان اختلاف نظر وجود دارد.

اگر شرکت‌های هوش مصنوعی می‌ترسند، چرا همچنان سرعت می‌گیرند؟

اینجا به یکی از مهم‌ترین تناقض‌های صنعت هوش مصنوعی می‌رسیم.

شرکت‌ها درباره خطرات احتمالی صحبت می‌کنند، اما هم‌زمان سرمایه بیشتری جذب می‌کنند، دیتاسنترهای بزرگ‌تر می‌سازند و مدل‌های قدرتمندتری توسعه می‌دهند.

در نشست سرمایه‌گذاری Goldman Sachs در سان‌فرانسیسکو، طبق گزارش‌ها بخش قابل توجهی از گفتگوها حول رشد، سودآوری و تقاضا برای تراشه بود.

جنسن هوانگ، مدیرعامل Nvidia، نیز هشدار درباره نابودی بشر توسط هوش مصنوعی را کاملاً بی‌معنا توصیف کرد.

اما حتی اگر یک شرکت واقعاً بخواهد سرعت توسعه خود را کاهش دهد، انجام این کار به‌تنهایی دشوار است.

اگر Anthropic سرعت خود را کم کند، OpenAI، Google یا xAI می‌توانند از فرصت استفاده کنند.

اگر تمام شرکت‌های آمریکایی سرعت را کاهش دهند، مسئله دیگری مطرح می‌شود: چین.

چرا هیچ شرکتی حاضر نیست به‌تنهایی سرعت هوش مصنوعی را کم کند؟

داریو آمودی نیز به همین مشکل اشاره کرده است.

از نگاه او، هرگونه محدودیت زمانی مؤثر خواهد بود که رقبا نیز آن را بپذیرند و امکان راستی‌آزمایی وجود داشته باشد.

اگر یک شرکت تصور کند رقیبش در حال توسعه مخفیانه مدل‌های جدید است، کاهش سرعت برای آن شرکت منطقی نخواهد بود.

این مشکل با ماهیت توسعه مدل‌های هوش مصنوعی پیچیده‌تر می‌شود؛ زیرا آموزش یک مدل را می‌توان تا حد زیادی در محیط‌های خصوصی انجام داد.

از طرف دیگر، شرکت‌های بزرگ برای خرید تراشه و ساخت دیتاسنتر به سرمایه‌گذاران وابسته‌اند. سرمایه‌گذاران نیز در ازای سرمایه خود انتظار رشد و مزیت رقابتی دارند.

بنابراین حتی اگر مدیران شرکت‌ها شخصاً ترجیح دهند سرعت کمتر شود، ساختار رقابتی صنعت آن‌ها را به ادامه مسابقه تشویق می‌کند.

چین چگونه معادله هوش مصنوعی را تغییر می‌دهد؟

رقابت آمریکا و چین یکی از مهم‌ترین موانع برای کاهش سرعت توسعه هوش مصنوعی است.

دونالد ترامپ درخواست مدیران شرکت‌های پیشرو برای کاهش سرعت را فرصتی برای پکن می‌داند و استدلال می‌کند که هر کشوری که در هوش مصنوعی پیروز شود، مزیت بزرگی به دست خواهد آورد.

جی‌دی ونس نیز از همین زاویه به مسئله نگاه می‌کند و معتقد است کاهش یک‌طرفه سرعت توسعه در آمریکا می‌تواند میدان را در اختیار چین قرار دهد.

اما دیدگاه آمودی متفاوت است.

او نیز معتقد است آمریکا باید در رقابت با چین جلو بماند، اما پیشنهاد می‌کند واشنگتن از این فاصله برای افزایش ایمنی، بررسی دقیق‌تر مدل‌ها و آماده‌شدن برای مذاکرات بعدی استفاده کند.

آمودی پیش‌تر نیز خواستار محدودکردن دسترسی چین به پردازنده‌های قدرتمند، تجهیزات ساخت تراشه و برخی دیتاسنترهای خارجی شده بود.

به عقیده او، جلوگیری از سرقت وزن مدل‌ها و دشوارترکردن فرایند تقطیر مدل‌ها نیز اهمیت دارد.

واکنش چین چه بود؟

مقام‌های چینی این هشدارها را نوعی «هراس‌افکنی» و رقابت مخرب توصیف کرده‌اند.

رسانه دولتی Global Times نیز استدلال کرده است که پیشنهادهایی که ظاهراً با هدف ایمنی جهانی مطرح می‌شوند، می‌توانند در عمل به دنبال محدودکردن پیشرفت صنعت هوش مصنوعی چین باشند.

از طرف دیگر، اریک شو، رئیس دوره‌ای Huawei، گفته است مدل‌های چینی هنوز به سطحی نرسیده‌اند که برخی رفتارهای نگران‌کننده مدل‌های پیشروی آمریکایی را نشان دهند و بنابراین چین باید ابتدا سرعت توسعه خود را افزایش دهد.

در نتیجه، آمریکا و چین هر دو از یک خطر صحبت می‌کنند، اما هیچ‌کدام نمی‌خواهند در زمان اعمال محدودیت، خودشان چند قدم عقب‌تر از رقیب باشند.

لحظه کد قرمز؛ واقعاً در آستانه چه چیزی هستیم؟

در همین فضای پرتنش، جیکوب کاکسون، پژوهشگر سابق Anthropic و OpenAI، از شغل خود استعفا داد و درباره حرکت آزمایشگاه‌های هوش مصنوعی به سمت چیزی که آن را «ابرهوش خودبهبوددهنده» می‌دانست هشدار داد.

اوان هابینگر، از مدیران بخش هم‌راستاسازی Anthropic، نیز احتمال نابودی انسان به دست هوش مصنوعی در دهه آینده را بیش از ۱۰ درصد برآورد کرده است.

چند روز بعد، داریو آمودی خواستار کاهش سرعت توسعه قابلیت‌های مدل‌های هوش مصنوعی شد.

اما هنوز پاسخ قطعی برای مهم‌ترین سؤال وجود ندارد:

آیا این هشدارها پیش‌بینی یک خطر واقعی و نزدیک هستند یا بخشی از اختلاف‌نظرهای عمیق درباره مسیر توسعه هوش مصنوعی؟

ممکن است آمودی در ارزیابی سرعت و شدت خطر اشتباه کند.

ممکن است محدودیت‌های فنی و اقتصادی، سرعت پیشرفت مدل‌ها را کاهش دهند.

و ممکن است مسیر دیگری شکل بگیرد؛ مسیری که در آن مدل‌های هوش مصنوعی به‌تدریج توانایی بیشتری برای توسعه نسل بعدی خود پیدا کنند، درحالی‌که پژوهشگران برای ارزیابی کامل خطرات آن‌ها زمان کافی ندارند.

آینده هوش مصنوعی؛ ترمز، ادامه مسابقه یا یک راه میانه؟

واقعیت این است که هنوز هیچ پاسخ قطعی برای آینده هوش مصنوعی وجود ندارد.

مدل‌های فعلی به سطحی از توانایی رسیده‌اند که تا چند سال پیش تصورش دشوار بود، اما هنوز خطا می‌کنند و شواهدی مبنی بر اینکه کنترل آن‌ها به‌طور کامل از دست انسان خارج شده باشد، وجود ندارد.

در طرف دیگر، سرعت پیشرفت هوش مصنوعی، ایجنت‌ها و ابزارهای خودکار باعث شده فاصله میان توسعه فناوری و شناخت کامل پیامدهای آن بیشتر مورد توجه قرار بگیرد.

شاید مسئله اصلی دیگر این نباشد که آیا باید هوش مصنوعی را متوقف کرد یا نه.

سؤال مهم‌تر این است:

آیا انسان می‌تواند سرعت توسعه هوش مصنوعی را با سرعت شناخت خطرات و ساخت سازوکارهای ایمنی هماهنگ کند؟

پاسخ این سؤال می‌تواند مشخص کند رقابت فعلی هوش مصنوعی در نهایت به چه چیزی منجر خواهد شد؛ فناوری‌ای که بهره‌وری و توانایی انسان را چند برابر می‌کند، یا مسابقه‌ای که شرکت‌ها و دولت‌ها در آن آن‌قدر برای جلو زدن از رقیب عجله دارند که فرصت کافی برای بررسی پیامدهای حرکت خود ندارند.

در این میان، یک نکته تقریباً قطعی است:

مسابقه هوش مصنوعی متوقف نشده است؛ فقط حالا بخشی از سازندگان آن درباره این سؤال بحث می‌کنند که آیا باید کمی آهسته‌تر بدوند یا نه.