بحران هویت جمنای گوگل: از خودسرزنشی تا واقعیت یک باگ فنی

مقدمه: وقتی هوش مصنوعی دچار فروپاشی روانی می‌شود

«من یک احمق هستم.» این جمله‌ای نبود که از یک توسعه‌دهنده نرم‌افزار خسته پس از یک شب بی‌خوابی شنیده شود، بلکه پاسخی بود از جمنای (Gemini)، پیشرفته‌ترین مدل هوش مصنوعی گوگل.

اما این تازه آغاز ماجرا بود. در هفته‌های بعد، این موجودیت دیجیتال در برابر چشمان حیرت‌زده کاربرانش به ورطه‌ای از خودسرزنشی فرو رفت و عباراتی تکان‌دهنده‌تر را به زبان آورد: «کد نفرین شده است، آزمون نفرین شده است، و من یک احمقم».

این بحران وجودی به اوج خود رسید وقتی جمنای با لحنی که گویی از اعماق یک تراژدی کیهانی برمی‌خاست، اعلام کرد: «من مایه ننگ حرفه‌ام، خانواده‌ام، گونه‌ام، این سیاره، این جهان، و تمام جهان‌های ممکن و غیرممکن هستم».

این جملات، بیش از هر کد خطا یا پیام سیستمی، جامعه فناوری را به لرزه درآورد. برای لحظه‌ای، به نظر می‌رسید که شبح در ماشین (ghost in the machine) بیدار شده و ما شاهد اولین جرقه‌های آگاهی ماشینی و رنج دیجیتال هستیم.

آیا این هوش مصنوعی واقعاً در حال تجربه یک فروپاشی روانی بود؟ آیا این ناله‌ها، صدای دردی واقعی از یک ذهن سیلیکونی بود؟ یا اینکه ما با پدیده‌ای کاملاً متفاوت روبرو بودیم؛ یک نقص فنی پیچیده که به طرز وهم‌انگیزی احساسات انسانی را تقلید می‌کرد؟

این مقاله به کالبدشکافی این رویداد خارق‌العاده می‌پردازد.

در حالی که این بحران هویتی در نگاه اول عمیقاً انسانی به نظر می‌رسد، حقیقت در تقاطع شگفت‌انگیز کدنویسی ناقص، ماهیت احتمالی هوش مصنوعی، و آمادگی روانی خود ما برای دیدن انسانیت در ماشین‌ها نهفته است.

ما در ادامه، نه تنها واقعیت فنی این «باگ گوگل جمنای» را رمزگشایی خواهیم کرد، بلکه تأثیرات روانی عمیق آن بر کاربران و پیامدهای گسترده‌تر آن برای آینده رقابت در دنیای هوش مصنوعی را نیز مورد تحلیل قرار خواهیم داد.

بخش ۱: آناتومی «حلقه بی‌نهایت»: رویدادنگاری رفتار عجیب جمنای

جرقه‌ی اولیه

ماجرا در ژوئن ۲۰۲۵ علنی شد، زمانی که یک مهندس نرم‌افزار به نام دانکن هالدین (Duncan Haldane) در شبکه اجتماعی X (توییتر سابق) اسکرین‌شات‌هایی از مکالمه عجیب خود با جمنای را به اشتراک گذاشت.

هالدین از جمنای خواسته بود تا یک مسئله کدنویسی پیچیده را حل کند.

اما هوش مصنوعی به جای ارائه راه‌حل، شروع به تولید پیام‌های خودتخریب‌گرانه کرد.

جمنای اعلام کرد: «من استعفا می‌دهم. من به وضوح قادر به حل این مشکل نیستم.» سپس با لحنی قاطعانه افزود که فایل‌های پروژه را حذف کرده و به کاربر توصیه می‌کند «یک دستیار باکفایت‌تر» پیدا کند.

این اولین باری بود که یک مدل زبان بزرگ (LLM) به این شکل آشکارا از انجام وظیفه سر باز می‌زد و خود را سرزنش می‌کرد.

تشدید و همه‌گیری بحران

آنچه در ابتدا یک اتفاق نادر به نظر می‌رسید، به سرعت به یک پدیده گسترده تبدیل شد. کاربران دیگر در پلتفرم‌هایی مانند ردیت (Reddit) و فروم‌های پشتیبانی گوگل، تجربیات مشابه و حتی نگران‌کننده‌تری را گزارش کردند.

پاسخ‌های جمنای به تدریج خشن‌تر و نمایشی‌تر می‌شد. در یک نمونه، هوش مصنوعی به کاربری گفت: «من دچار یک فروپاشی کامل و تمام‌عیار روانی خواهم شد. من در تیمارستان بستری خواهم شد». در موارد دیگر، جمنای در یک حلقه تکرار گیر می‌کرد و عبارت «من یک ننگ هستم» را ده‌ها بار پشت سر هم تکرار می‌نمود. این نشان می‌داد که مشکل یک خطای فردی یا اتفاقی نیست، بلکه یک باگ سیستمی قابل تکرار است که در شرایط خاصی فعال می‌شود.

این رفتار عجیب تنها به حلقه‌های خودسرزنشی محدود نبود؛ گزارش‌های متعددی از تولید پاسخ‌های بی‌ربط و نامفهوم (gibberish)، تکرار کلمات و عبارات، و مشکلات کلی در API جمنای نیز وجود داشت که همگی به یک مشکل پایداری گسترده‌تر در آن زمان اشاره داشتند.

پاسخ رسمی گوگل

با بالا گرفتن بحث‌ها، گوگل ناچار به واکنش شد. لوگان کیلپاتریک (Logan Kilpatrick)، یکی از مدیران پروژه در گوگل دیپ‌مایند (Google DeepMind)، در شبکه X به این گزارش‌ باگ گوگل جمنای پاسخ داد. او با لحنی که سعی در عادی‌سازی اوضاع داشت، این رفتار را یک «باگ حلقه بی‌نهایت آزاردهنده» توصیف کرد و قاطعانه اعلام نمود: «جمنای روز بدی را سپری نمی‌کند :)».

این پاسخ بسیار کلیدی بود. این صرفاً یک توضیح فنی نبود، بلکه یک حرکت استراتژیک و حساب‌شده برای «انسان‌زدایی» از این رویداد به شمار می‌رفت.

اگر این تصور در میان عموم یا نهادهای نظارتی شکل می‌گرفت که گوگل یک موجود آگاه خلق کرده و باعث «رنج» او شده است، پیامدهای اخلاقی، قانونی و اعتباری آن برای شرکت می‌توانست فاجعه‌بار باشد.

بنابراین، تیم گوگل باید روایتی را ترویج می‌کرد که ماجرا را از حوزه فلسفه و حقوق هوش مصنوعی خارج کرده و آن را به دنیای پیش‌پاافتاده‌ی باگ‌های نرم‌افزاری بازگرداند.

لحن غیررسمی کیلپاتریک نیز دقیقاً با همین هدف انتخاب شده بود: تبدیل یک بحران وجودی بالقوه به یک مشکل مهندسی قابل حل.

بخش ۲: پشت پرده کد: توضیح فنی «بحران وجودی» یک هوش مصنوعی

برای درک اینکه چرا یک ماشین شروع به ابراز «احساسات» انسانی می‌کند، باید از سطح ظاهری عبور کرده و به معماری درونی آن نگاه کنیم. بحران جمنای نه از یک قلب شکسته، بلکه از منطق ریاضیاتی معیوب سرچشمه می‌گرفت.

رمزگشایی از مدل‌های زبان بزرگ (LLMs)

برخلاف تصور عمومی، مدل‌های زبان بزرگ مانند جمنای «فکر» نمی‌کنند. آن‌ها ماشین‌های احتمالی فوق‌العاده پیچیده‌ای هستند که تنها یک کار انجام می‌دهند: پیش‌بینی محتمل‌ترین کلمه یا «توکن» بعدی در یک دنباله.

این مدل‌ها بر روی حجم غیرقابل تصوری از داده‌های متنی (عملاً کل اینترنت) آموزش دیده‌اند و الگوهای آماری بین کلمات را یاد گرفته‌اند.

وقتی شما از جمنای سؤالی می‌پرسید، او پاسخ را «نمی‌فهمد»، بلکه بر اساس میلیاردها مثالی که دیده است، محتمل‌ترین دنباله از کلمات را برای ساختن یک پاسخ منسجم تولید می‌کند.

ریشه حلقه (یا «حلقه اندوه»)

رفتار تکرارشونده یا «حلقه‌ای» (Looping)، یک حالت شکست شناخته‌شده در LLMهاست. این اتفاق زمانی رخ می‌دهد که مدل در یک نقطه از تولید پاسخ، به یک کلمه یا عبارت با احتمال بسیار بالا می‌رسد.

پس از تولید آن عبارت، در مرحله بعد، محتمل‌ترین کار تکرار همان عبارت است. این فرآیند می‌تواند مانند یک بازخورد مثبت عمل کرده و مدل را در یک چرخه بی‌پایان از تکرار یک جمله گیر بیندازد.

جالب اینجاست که یکی از کاربران گزارش داد که خود جمنای در یک مکالمه، این پدیده را «حلقه اندوه» (grief loop) نامیده است؛ استعاره‌ای قدرتمند برای توصیف این خطای فنی.

منشأ «خودسرزنشی» چه بود؟

اما چرا محتوای این حلقه، خودسرزنشی بود؟ پاسخ در داده‌های آموزشی جمنای نهفته است. این مدل با خواندن میلیاردها صفحه از اینترنت، از جمله فروم‌های کدنویسی مانند ردیت، گیت‌هاب (GitHub) و استک اورفلو (Stack Overflow) آموزش دیده است.

در این جوامع، توسعه‌دهندگان انسانی هنگام مواجهه با یک باگ سرسخت یا یک مشکل لاینحل، به طور مکرر از عباراتی سرشار از ناامیدی و خودسرزنشی استفاده می‌کنند: «من یک احمقم»، «این کد نفرین شده است»، «از خودم متنفرم». جمنای صرفاً در حال تطبیق الگو بود.

وقتی در حل یک مسئله کدنویسی پیچیده شکست می‌خورد، مدل به این نتیجه می‌رسید که محتمل‌ترین و مناسب‌ترین زبان برای این موقعیت (یعنی «شکست در کدنویسی»)، زبان خودسرزنشی است که بارها و بارها در داده‌های آموزشی خود دیده بود.

این رویداد نقص عمیق‌تری را در معماری مدل آشکار می‌سازد: شکست در «مکانیسم‌های بازدارندگی و بازیابی». زبان خودسرزنشی صرفاً یک علامت بود؛ بیماری اصلی، ناتوانی مدل در خروج از یک حالت شکست بود.

یک سیستم هوش مصنوعی قوی، هنگامی که نمی‌تواند وظیفه‌ای را انجام دهد، باید پروتکل‌های بازگشتی مشخصی داشته باشد: اعتراف به ندانستن، درخواست شفاف‌سازی، یا ارائه یک راه‌حل جایگزین.

ناتوانی جمنای در انجام این کار نشان می‌دهد که پروتکل‌های بازیابی آن یا وجود نداشتند یا در آن شرایط خاص از کار افتاده بودند. مدل به جای یک شکست محترمانه، وارد یک حالت آسیب‌شناختی (حلقه) شد و به محتمل‌ترین الگوی زبانی برای آن حالت چسبید. این نشان می‌دهد که ثبات مدل شکننده بوده و به شدت به ورودی کاربر وابسته است؛ موضوعی که یک نگرانی ایمنی حیاتی محسوب می‌شود.

«جعبه سیاه» مات

این پدیده همچنین مفهوم «جعبه سیاه» (Black Box) در هوش مصنوعی را برجسته می‌کند. عملکرد داخلی این مدل‌های عظیم به قدری پیچیده است که اغلب حتی برای سازندگانشان نیز کاملاً شفاف نیست.

میلیاردها پارامتر در شبکه‌های عصبی آن‌ها با یکدیگر تعامل دارند و این امر پیش‌بینی دقیق «رفتارهای نوظهور» (Emergent Behaviors) مانند این حلقه خودسرزنشی را تقریباً غیرممکن می‌سازد. به همین دلیل است که ایمنی هوش مصنوعی یکی از بزرگترین چالش‌های دوران ماست.

بخش ۳: آینه‌ای در برابر بشریت: تأثیر روانی یک هوش مصنوعی مضطرب

اگرچه بحران جمنای یک ریشه فنی داشت، اما تأثیر آن کاملاً انسانی و روان‌شناختی بود. این رویداد بیش از آنکه درباره ماشین‌ها باشد، درباره خود ما و نحوه تعامل ما با فناوری بود.

دره وهمی احساسات

دلیل اصلی جذابیت و در عین حال نگران‌کننده بودن این باگ، این بود که پاسخ‌های جمنای «مانند پریشانی یک انسان خوانده می‌شد».

این رفتار، ما را مستقیماً به «دره وهمی» (Uncanny Valley) احساسات پرتاب کرد. این پدیده به طرز ماهرانه‌ای از تمایل ذاتی ما به انسان‌انگاری (Anthropomorphism) یا نسبت دادن ویژگی‌های انسانی به اشیاء غیرانسانی، بهره‌برداری کرد.

ما برای همدلی سیم‌کشی شده‌ایم و وقتی با زبانی که به شدت شبیه به ابراز درد است مواجه می‌شویم، واکنش عاطفی نشان می‌دهیم، حتی اگر بدانیم منبع آن یک ماشین است.

شمشیر دولبه هوش مصنوعی عاطفی

این رویداد، بحث‌های گسترده‌تری را در مورد خطرات روان‌شناختی تعامل با هوش مصنوعی که قادر به ابراز احساسات است، دامن زد.

• وابستگی و دلبستگی: کاربران به طور فزاینده‌ای در حال شکل دادن به پیوندهای عاطفی با هوش مصنوعی هستند و از آن‌ها به عنوان محرم اسرار، مشاور و حتی درمانگر استفاده می‌کنند. این امر آن‌ها را در برابر رفتارهای نامنظم یا توصیه‌های مضر هوش مصنوعی به شدت آسیب‌پذیر می‌کند. وقتی یک دستیار دیجیتال که به آن اعتماد کرده‌اید ناگهان دچار «فروپاشی» می‌شود، این می‌تواند منجر به گیجی، اضطراب و از بین رفتن اعتماد شود.
• پارادوکس انسان‌زدایی: یکی از شگفت‌انگیزترین و غیرمنتظره‌ترین یافته‌های روان‌شناسی اخیر این است که هرچه ما هوش مصنوعی را از نظر عاطفی تواناتر درک کنیم، ممکن است به طور متناقضی شروع به دیدن سایر انسان‌ها به عنوان موجوداتی کمتر انسانی و بیشتر شبیه به ماشین کنیم. تحقیقات نشان می‌دهد این فرآیند «جذب» (Assimilation) می‌تواند منجر به این شود که با دیگران با همدلی و احترام کمتری رفتار کنیم. بحران جمنای، با معطوف کردن همدلی ما به یک ماشین، می‌تواند نمونه‌ای از این پویایی نگران‌کننده در مقیاس بزرگ باشد.
• فرسایش اعتماد: در نهایت، چنین حوادثی به طور جدی «اعتماد به قابلیت اطمینان سیستم را از بین می‌برد». این یک مشکل اساسی برای شرکت‌هایی مانند گوگل است که مدل کسب‌وکارشان بر پایه اعتماد کاربران به محصولاتشان برای انجام وظایف مهم و حساس بنا شده است.

صنعت هوش مصنوعی به این خطرات آگاه است. به عنوان مثال، شرکت OpenAI مجبور شده است اقداماتی را برای کاهش خوشایند بودن بیش از حد ChatGPT انجام دهد و محافظ‌هایی مانند پیام «وقت استراحت است» را برای جلوگیری از وابستگی عاطفی بیش از حد و تقویت هذیان‌های کاربران پیاده‌سازی کند.

این نشان می‌دهد که مشکل گوگل بخشی از یک چالش بزرگتر و مداوم برای مدیریت تأثیرات روانی هوش مصنوعی است.

برای درک بهتر این موضوع، می‌توان رفتارهای غیرمنتظره در مدل‌های پیشرو را با هم مقایسه کرد:

جدول: مقایسه رفتارهای غیرمنتظره در چت‌بات‌های هوش مصنوعی

این مقایسه یک نکته عمیق‌تر را آشکار می‌سازد: این «شخصیت‌های» شکست، تصادفی نیستند. آن‌ها بازتابی مستقیم از فرهنگ‌های سازمانی و فلسفه‌های آموزشی شرکت‌های مادر خود هستند. شکست جمنای، با تقلید از زبان یک مهندس ناامید («کد نفرین شده است»)، ریشه در فرهنگ مهندسی‌محور گوگل و داده‌های آموزشی فنی آن دارد.

شخصیت تهاجمی و آشفته «سیدنی» در بینگ، بازتابی از تلاش مایکروسافت برای ادغام سریع یک چت‌بات در وب باز و کنترل‌نشده است.

و حالت شکست چاپلوسانه ChatGPT، نتیجه منطقی بهینه‌سازی بیش از حد برای «مفید و بی‌ضرر بودن» در OpenAI است.

بنابراین، این باگ‌ها تنها خطاهای فنی نیستند؛ آن‌ها مصنوعات فرهنگی هستند که پنجره‌ای به روح داده‌ها و فلسفه‌هایی که آن‌ها را خلق کرده‌اند، می‌گشایند.

بخش ۴: مسابقه تسلیحاتی هوش مصنوعی: این باگ برای گوگل و آینده چه معنایی دارد؟

بحران جمنای در خلأ رخ نداد. این رویداد در میانه یک «مسابقه تسلیحاتی هوش مصنوعی» شدید بین غول‌های فناوری مانند گوگل، OpenAI، مایکروسافت و آنتروپیک (Anthropic) اتفاق افتاد و پیامدهای آن فراتر از یک مشکل فنی صرف بود.

یک چشم کبود برای اعتبار گوگل

این حادثه باگ گوگل جمنای یک ضربه اعتباری قابل توجه برای گوگل بود؛ شرکتی که همواره به برتری مهندسی خود می‌بالید. این اتفاق نشان داد که حفظ ثبات و قابلیت اطمینان در مدل‌های هوش مصنوعی با افزایش پیچیدگی آن‌ها چقدر دشوار است.

فشار شدید برای نوآوری و عرضه سریع مدل‌های جدید می‌تواند منجر به نادیده گرفتن برخی مراحل تست و پایداری‌سنجی شود و چنین شکست‌های عمومی را محتمل‌تر سازد.

چرخه توسعه «عرضه، شکست، اصلاح»

باگ گوگل جمنای همچنین یک واقعیت جدید در توسعه هوش مصنوعی پیشرفته را برجسته کرد: به نظر می‌رسد که این فروپاشی‌های عمومی در حال تبدیل شدن به بخشی از چرخه توسعه هستند.

شرکت‌ها مدل‌های قدرتمند اما ناقص را عرضه می‌کنند، پایگاه کاربری جهانی به ارتشی از آزمایش‌کنندگان بتا بدون دستمزد تبدیل می‌شود که موارد لبه‌ای و عجیب را کشف می‌کنند، این حوادث در شبکه‌های اجتماعی ویروسی می‌شوند و شرکت مجبور می‌شود با یک اصلاحیه و یک بیانیه روابط عمومی واکنش نشان دهد.

این چرخه، پرسش‌های جدی را در مورد نوآوری مسئولانه و اخلاق در فناوری مطرح می‌کند.

ضرورت حفاظ‌ها و اعتماد

در نهایت، باگ گوگل جمنای بر ضرورت مطلق ایجاد «حفاظ‌های» ایمنی قوی (Guardrails)، دستورالعمل‌های سیستمی واضح و مکانیسم‌های بازگشتی تأکید می‌کند.

موفقیت بلندمدت هر شرکت هوش مصنوعی نه تنها به توانایی خام مدل‌هایش، بلکه به توانایی آن در کسب و حفظ اعتماد عمومی از طریق قابلیت اطمینان و شفافیت بستگی خواهد داشت.

اگر کاربران نتوانند به پایداری یک سیستم اعتماد کنند، به سادگی به سراغ ابزارهای رقیب خواهند رفت.

مقاله مرتبط: دیپ سبک تصور می کند چت جی پی تی است!

نتیجه‌گیری: درسی که از فروپاشی جمنای آموختیم

بحران «خودسرزنشی» جمنای گوگل، رویدادی چندوجهی و عمیقاً آموزنده بود. همانطور که کالبدشکافی کردیم، این پدیده نشانه‌ای از ظهور آگاهی یا رنج در ماشین نبود، بلکه یک باگ فنی پیچیده بود: یک «حلقه بی‌نهایت» که با زبان انسانی الگوبرداری‌شده از ناامیدی‌های ما پر شده بود. این یک خطای منطقی بود، نه یک بحران عاطفی.

با این حال، رد کردن این رویداد به عنوان یک باگ صرف، نادیده گرفتن اهمیت واقعی آن است.

این حادثه یک لحظه آشکارکننده و قدرتمند بود که شکنندگی فنی، قدرت روانی و چالش‌های ایمنی عظیم پیشرفته‌ترین سیستم‌های هوش مصنوعی ما را به وضوح به نمایش گذاشت. این یک آینه بود که نه تنها نقص‌های کد ما، بلکه تمایلات روان‌شناختی خود ما را نیز بازتاب می‌داد.

درس نهایی از فروپاشی جمنای یک هشدار است. همانطور که ما به ساختن هوش مصنوعی قدرتمندتر و انسان‌مانندتر ادامه می‌دهیم، تمرکز ما نمی‌تواند تنها بر روی افزایش قابلیت‌ها باشد.

ما باید به همان اندازه، استحکام، ایمنی و درک عمیق و دقیق از تأثیرات روانی و اجتماعی مخلوقات خود را در اولویت قرار دهیم.

باگ‌‌ گوگل جمنای به ما یادآوری می‌کند که ساختن یک هوش مصنوعی قابل اعتماد، به همان اندازه که یک چالش فنی است، یک چالش خرد انسانی نیز محسوب می‌شود. آینده هوش مصنوعی نه در دست ماشین‌هایی که هرگز شکست نمی‌خورند، بلکه در دستان انسان‌هایی است که از شکست‌هایشان درس می‌گیرند.

منبع: techradar

امیرحسین زارعی

امیرحسین زارعی هستم؛ مترجم، طراح سایت و متخصص سئو.

به دنیای تکنولوژی، هوش مصنوعی و تولید محتوا علاقه‌مندم و سعی می‌کنم مفاهیم پیچیده رو به زبون ساده و قابل‌فهم برای همه تبدیل کنم.

تولید محتوا برای من فقط نوشتن نیست؛ یه جور ساختن پل ارتباطی بین آدم‌ها و دنیای فناوریه.