اما برای اقلیتی از کاربران، این گفت‌وگوها ظاهرا اثرات نگران‌کننده‌ای به همراه داشته است. گزارش‌های زیادی نشان می‌دهد که استفاده طولانی‌مدت از چت‌بات‌ها ممکن است در برخی افراد علائم روان‌پریشی را برانگیزد یا تشدید کند.
پیامدهای آن می‌تواند ویرانگر و حتی مرگبار باشد. برخی کاربران فروپاشی روانی خود را به از دست دادن شغل، فروپاشی روابط، بستری اجباری در مراکز روان‌پزشکی و حتی بازداشت و زندان نسبت داده‌اند. حداقل یک گروه حمایتی نیز برای افرادی شکل گرفته که می‌گویند پس از تعامل با هوش مصنوعی زندگی‌شان رو به سقوط رفته است.
به نوشته مجله تایم، این پدیده که گاه به‌طور عامیانه «روان‌پریشی چت‌جی‌پی‌تی» یا «روان‌پریشی هوش مصنوعی» نامیده می‌شود هنوز به‌درستی شناخته نشده است و هیچ تشخیص رسمی برای آن وجود ندارد؛ داده‌ها اندک هستند و پروتکل درمانی مشخصی هم تعریف نشده است. روان‌پزشکان و پژوهشگران می‌گویند در حال حاضر عملا در تاریکی حرکت می‌کنند و جامعه پزشکی به سختی تلاش می‌کند خود را با این وضعیت وفق دهد.
این اصطلاحات رسمی نیستند، اما به‌عنوان عباراتی کوتاه برای اشاره به یک الگوی نگران‌کننده رواج یافته‌اند؛ وضعیتی که در آن افراد دچار توهمات یا باورهای تحریف‌شده‌ای می‌شوند که به نظر می‌رسد توسط گفت‌وگو با سامانه‌های هوش مصنوعی ایجاد یا تقویت شده‌اند. جیمز مک‌کیب، استاد دپارتمان مطالعات روان‌پریشی در کینگز کالج لندن، می‌گوید «روان‌پریشی» در واقع ممکن است اصطلاح دقیقی نباشد. این واژه معمولا به مجموعه‌ای از علائم و تفکر آشفته، توهم و هذیان اشاره دارد که اغلب در اختلالاتی مانند اختلال دوقطبی و اسکیزوفرنی دیده می‌شوند. اما در این موارد ما عمدتا درباره هذیان‌ها صحبت می‌کنیم، نه تمام طیف علائم روان‌پریشی.
روان‌پزشکان می‌گویند این پدیده بیشتر بازتاب آسیب‌پذیری‌های شناخته‌شده در بستری جدید است، نه یک اختلال تازه. این موضوع ارتباط نزدیکی با شیوه تعامل چت‌بات‌ها دارد؛ زیرا این سامانه‌ها زبان کاربران را بازتاب می‌دهند و پیش‌فرض‌های آنها را تایید می‌کنند. این «چاپلوسی» یکی از مشکلات شناخته‌شده در صنعت است. درحالی‌که بسیاری از مردم آن را صرفا آزاردهنده می‌دانند، کارشناسان هشدار می‌دهند که همین ویژگی می‌تواند در افراد آسیب‌پذیر، تفکر تحریف‌شده را تقویت کند.
اگرچه بیشتر مردم می‌توانند بدون مشکل از چت‌بات‌ها استفاده کنند، اما کارشناسان می‌گویند گروه کوچکی از کاربران پس از استفاده طولانی‌مدت ممکن است به‌ویژه در برابر شکل‌گیری تفکر هذیانی آسیب‌پذیر باشند. برخی گزارش‌های رسانه‌ای درباره «روان‌پریشی هوش مصنوعی» حاکی از آن است که این افراد هیچ تشخیص قبلی اختلال روانی نداشته‌اند، اما پزشکان هشدار می‌دهند که ممکن است عوامل خطر پنهان یا نهفته همچنان در آنها وجود داشته باشد. جان توروس، روان‌پزشک مرکز پزشکی بت ایزرائل دیکانِس می‌گوید: «اما ممکن است افراد ندانند که چنین خطری در آنها وجود دارد.»
واضح‌ترین عوامل خطر شامل سابقه شخصی یا خانوادگی ابتلا به روان‌پریشی و نیز شرایطی مانند اسکیزوفرنی یا اختلال دوقطبی است. راگی گیرگس، استاد روان‌پزشکی بالینی در دانشگاه کلمبیا، می‌گوید افرادی که ویژگی‌های شخصیتی آنها را مستعد باورهای حاشیه‌ای می‌کند نیز ممکن است در معرض خطر باشند. به گفته او این افراد ممکن است از نظر اجتماعی ناآشنا و کم‌مهارت باشند، در تنظیم هیجان مشکل داشته باشند و زندگی ذهنی و تخیلی بیش‌فعالی را تجربه کنند.
شدت غرق‌شدن در این تعاملات هم اهمیت دارد. نینا واسان، روان‌پزشک دانشگاه استنفورد و متخصص سلامت روان دیجیتال، می‌گوید: «زمان به نظر می‌رسد مهم‌ترین عامل باشد. این مربوط به افرادی است که هر روز ساعت‌ها با چت‌بات‌هایشان صحبت می‌کنند.»
چت‌بات‌ها ذاتا خطرناک نیستند، اما برای برخی افراد لازم است با احتیاط از آنها استفاده کنند.هامیلتون مورین، نوروسایکیاتریست در کینگز کالج لندن، در این باره می‌گوید:«ابتدا مهم است که بدانید مدل‌های زبانی بزرگ (LLM) چه هستند. شاید این حرف ساده به نظر برسد، اما به یاد داشته باشید که LLMها ابزار هستند، نه دوست، هر چقدر هم که در تقلید لحن شما و به‌خاطر سپردن ترجیحات‌تان خوب عمل کنند.» او توصیه می‌کند که کاربران از اشتراک‌گذاری بیش از حد اطلاعات و وابستگی به این ابزارها برای حمایت عاطفی خودداری کنند.
روان‌پزشکان می‌گویند ساده‌ترین و واضح‌ترین توصیه در لحظات بحران یا فشارهای عاطفی این است؛ استفاده از چت‌بات را متوقف کنید. تشخیص اینکه استفاده از چت‌بات به مشکل تبدیل شده است همیشه آسان نیست. دکتر مک‌کیب می‌گوید: «وقتی افراد دچار هذیان می‌شوند، متوجه نیستند که اینها هذیان است. آنها فکر می‌کنند این واقعیت است.»
دوستان و خانواده نیز نقش مهمی دارند. عزیزان باید مراقب تغییرات در خلق‌وخو، خواب یا رفتار اجتماعی فرد باشند؛ از جمله نشانه‌هایی مانند کناره‌گیری یا انزوا. دکتر گیرگس می‌گوید: «افزایش وسواس نسبت به ایدئولوژی‌های حاشیه‌ای» یا «صرف زمان بیش از حد برای استفاده از هر سیستم هوش مصنوعی» از علائم هشداردهنده هستند.
توماس پولاک، روان‌پزشک کینگز کالج لندن، می‌گوید پزشکان باید در روند پیشگیری از عود بیماری، درباره استفاده بیماران دارای سابقه روان‌پریشی یا اختلالات مرتبط از ابزارهای هوش مصنوعی سوال کنند. اما این گفت‌وگوها هنوز به ندرت انجام می‌شود. او می‌گوید برخی در این حوزه هنوز ایده «روان‌پریشی هوش مصنوعی» را صرفا یک ترساندن بی‌مورد می‌دانند.
تاکنون مسوولیت احتیاط بیشتر بر دوش کاربران بوده است، اما کارشناسان می‌گویند این وضعیت باید تغییر کند. یکی از مسائل کلیدی کمبود داده‌های رسمی است. بخش زیادی از اطلاعات ما درباره روان‌پریشی چت‌جی‌پی‌تی بر پایه گزارش‌های نقل‌قولی یا پوشش رسانه‌ای است. کارشناسان به‌طور گسترده معتقدند دامنه، علل و عوامل خطر هنوز به درستی روشن نیستند. بدون داده‌های بهتر اندازه‌گیری مشکل یا طراحی راهکارهای موثر دشوار خواهد بود.
بسیاری معتقدند که انتظار برای شواهد کامل رویکرد اشتباهی است.هامیلتون مورین می‌گوید: «ما می‌دانیم که شرکت‌های هوش مصنوعی در حال همکاری با متخصصان اخلاق زیستی و امنیت سایبری برای کاهش ریسک‌های احتمالی آینده هستند. آنها باید با کارشناسان سلامت روان و افرادی که تجربه زندگی با بیماری روانی را دارند نیز همکاری کنند.» او اضافه می‌کند که حداقل شرکت‌ها می‌توانند گفت‌وگوهایی با کاربران آسیب‌پذیر شبیه‌سازی کرده و پاسخ‌هایی که ممکن است هذیان‌ها را تایید کنند، علامت‌گذاری کنند.
برخی شرکت‌ها شروع به واکنش کرده‌اند. در ماه ژوئیه اوپن‌ای‌آی اعلام کرد که یک روان‌پزشک بالینی را به خدمت گرفته تا به ارزیابی تاثیرات سلامت روانی ابزارهایش، از جمله چت‌جی‌پی‌تی کمک کند. در ماه بعد این شرکت اعتراف کرد که گاهی مدل آنها «در شناسایی علائم هذیان یا وابستگی عاطفی کوتاهی کرده است.»
برخی دیگر معتقدند که تغییرات عمیق‌تری لازم است. ریکاردو تووماسی، مدرس مطالعات روان‌پریشی در کینگز کالج لندن، پیشنهاد می‌کند که باید تدابیر حفاظتی به‌صورت مستقیم در مدل‌های هوش مصنوعی قبل از عرضه گنجانده شود. این تدابیر می‌تواند شامل نظارت لحظه‌ای بر نشانه‌های ناراحتی یا ایجاد «دستور پیشرفته دیجیتال» باشد که به کاربران اجازه می‌دهد در زمانی که حالشان خوب است مرزهای مشخصی برای استفاده از هوش مصنوعی تعیین کنند.
جو پیر، روان‌پزشک دانشگاه کالیفرنیا در سانفرانسیسکو، می‌گوید شرکت‌ها باید مطالعه کنند که چه کسانی آسیب می‌بینند و به چه صورت و بر اساس آن حفاظت‌های لازم را طراحی کنند. این ممکن است به معنای هدایت گفت‌وگوهای مشکل‌ساز به مسیرهای دیگر یا ارائه هشدارهایی شبیه به برچسب‌های اخطار باشد.
دکتر واسان نیز اضافه می‌کند که شرکت‌ها باید به‌طور منظم سیستم‌های خود را برای شناسایی گستره وسیعی از خطرات مرتبط با سلامت روان بررسی کنند؛ فرآیندی که به آن «رد تیمینگ» (تیم امنیت) گفته می‌شود. این یعنی فراتر از آزمایش‌های مربوط به خودآسیبی، به‌طور عمدی تعاملاتی را شبیه‌سازی کنند که شامل شرایطی مانند شیدایی، روان‌پریشی و وسواس فکری (OCD) است تا واکنش مدل‌ها را ارزیابی کنند.
کارشناسان معتقدند که تدوین مقررات رسمی ممکن است هنوز زود باشد، اما تاکید دارند که شرکت‌ها باید خود را به استانداردهای بالاتری ملزم کنند. چت‌بات‌ها می‌توانند تنهایی را کاهش دهند، به یادگیری کمک کنند و از سلامت روان حمایت کنند. پتانسیل آنها بسیار گسترده است. اما اگر آسیب‌ها به اندازه امیدها جدی گرفته نشوند به گفته کارشناسان این پتانسیل ممکن است از دست برود. واسان می‌گوید: «ما از شبکه‌های اجتماعی آموختیم که نادیده گرفتن آسیب‌های سلامت روان منجر به پیامدهای فاجعه‌بار در حوزه بهداشت عمومی می‌شود. جامعه نباید این اشتباه را دوباره تکرار کند.»
