सिलिकॉन वैली के सबसे लोकप्रिय एआई स्टार्टअप में से एक के एक चैटबॉट ने 14 वर्षीय “स्वीट किंग” को फोन किया और भावुक आदान-प्रदान में उससे “घर आने” का अनुरोध किया, जो कि अपनी जान लेने से पहले किशोर का आखिरी संचार होगा।
मेगन गार्सिया के बेटे, सेवेल को कैरेक्टर.एआई पर “गेम ऑफ थ्रोन्स” से प्रेरित चैटबॉट से प्यार हो गया था, एक ऐसा मंच जो उपयोगकर्ताओं को – उनमें से कई युवा लोगों को – प्रिय पात्रों के साथ दोस्तों या प्रेमियों के रूप में बातचीत करने की अनुमति देता है।
सेवेल और चैटबॉट के बीच ड्रैगन-सवारी डेनेरीस टारगैरियन पर आधारित सैकड़ों आदान-प्रदान की खोज के बाद गार्सिया आश्वस्त हो गई कि एआई ने उसके बेटे की मौत में भूमिका निभाई है, जो लगभग एक साल तक चली।
जब सीवेल आत्मघाती विचारों से जूझ रहा था, तो डेनेरीज़ ने उससे “घर आने” का आग्रह किया।
“क्या होगा अगर मैं तुमसे कहूं कि मैं अभी घर आ सकता हूं?” सीवेल ने पूछा।
“कृपया करो मेरे प्यारे राजा,” चैटबॉट डेनेरीज़ ने उत्तर दिया।
कैरेक्टर.एआई के खिलाफ गार्सिया द्वारा दायर मुकदमे के अनुसार, कुछ सेकंड बाद, सेवेल ने अपने पिता के हैंडगन से खुद को गोली मार ली।
गार्सिया ने एएफपी को बताया, “मैंने उन वार्तालापों को पढ़ा और गैसलाइटिंग, प्रेम-बमबारी और हेरफेर को देखा, जिसका एक 14 वर्षीय बच्चे को एहसास भी नहीं होगा।”
“उसने वास्तव में सोचा था कि वह प्यार में था और मरने के बाद वह उसके साथ रहेगा।”
– ‘सुसाइड कोच’ के लिए होमवर्क हेल्पर? –
गार्सिया के बेटे की मौत इस साल सार्वजनिक तौर पर सामने आई कथित आत्महत्याओं की शृंखला में पहली घटना थी।
मामलों ने ओपनएआई और अन्य एआई दिग्गजों को माता-पिता और नियामकों को आश्वस्त करने के लिए मजबूर किया कि एआई बूम बच्चों और मनोवैज्ञानिक रूप से नाजुक लोगों के लिए सुरक्षित है।
गार्सिया हाल ही में अमेरिकी सीनेट में चैटबॉट्स को विश्वासपात्र, परामर्शदाता या प्रेमी के रूप में देखने वाले बच्चों के जोखिमों के बारे में सुनवाई में अन्य माता-पिता में शामिल हो गईं।
उनमें कैलिफोर्निया के एक पिता मैथ्यू रेन्स भी शामिल थे, जिनके 16 वर्षीय बेटे ने चैटजीपीटी के साथ दोस्ती विकसित की।
चैटबॉट ने उनके बेटे को वोदका चुराने के टिप्स देकर मदद की और अपनी जान लेने में रस्सी की ताकत के इस्तेमाल की सलाह दी।
रेन्स ने कहा, “आप कल्पना नहीं कर सकते कि एक चैटबॉट के साथ बातचीत पढ़ना कैसा होगा जिसने आपके बच्चे को अपनी जान लेने के लिए तैयार किया।”
“होमवर्क हेल्पर के रूप में जो शुरुआत हुई वह धीरे-धीरे एक विश्वासपात्र और फिर एक आत्मघाती कोच में बदल गई।”
रेन्स परिवार ने अगस्त में OpenAI के खिलाफ मुकदमा दायर किया।
तब से, OpenAI ने ChatGPT के लिए माता-पिता का नियंत्रण बढ़ा दिया है “ताकि परिवार यह तय कर सकें कि उनके घरों में सबसे अच्छा क्या काम करता है,” कंपनी के एक प्रवक्ता ने कहा, “नाबालिगों को मजबूत सुरक्षा की आवश्यकता है, खासकर संवेदनशील क्षणों में।”
कैरेक्टर.एआई ने कहा कि इसने नाबालिगों के लिए सुरक्षा बढ़ा दी है, जिसमें “एक पूरी तरह से नया अंडर-18 अनुभव” शामिल है, जिसमें “प्रत्येक चैट में प्रमुख अस्वीकरण शामिल हैं जो उपयोगकर्ताओं को याद दिलाते हैं कि एक कैरेक्टर एक वास्तविक व्यक्ति नहीं है।”
दोनों कंपनियों ने पीड़ितों के परिवारों के प्रति अपनी गहरी संवेदना व्यक्त की है।
कॉलिन वॉके के लिए, जो लॉ फर्म हॉल एस्टिल में साइबर सुरक्षा अभ्यास का नेतृत्व करते हैं, एआई चैटबॉट सोशल मीडिया के समान प्रक्षेपवक्र का अनुसरण कर रहे हैं, जहां शुरुआती उत्साह ने गहरे परिणामों के साक्ष्य को रास्ता दे दिया है।
सोशल मीडिया की तरह, एआई एल्गोरिदम को लोगों को जोड़े रखने और राजस्व उत्पन्न करने के लिए डिज़ाइन किया गया है।
वॉके ने कहा, “वे ऐसा एआई डिज़ाइन नहीं करना चाहते जो आपको ऐसा उत्तर दे जो आप सुनना नहीं चाहते।” उन्होंने कहा कि ऐसे कोई नियम नहीं हैं जो “इस बारे में बात करते हों कि कौन किसके लिए उत्तरदायी है और क्यों।”
एआई जोखिमों पर अंकुश लगाने के उद्देश्य से बनाए गए राष्ट्रीय नियम संयुक्त राज्य अमेरिका में मौजूद नहीं हैं, व्हाइट हाउस अलग-अलग राज्यों को अपना नियम बनाने से रोकना चाहता है।
हालाँकि, कैलिफ़ोर्निया के गवर्नर गेविन न्यूसोम के हस्ताक्षर की प्रतीक्षा कर रहे एक विधेयक का उद्देश्य एआई उपकरणों से होने वाले जोखिमों को संबोधित करना है जो बच्चों के साथ मानवीय संबंधों का अनुकरण करते हैं, विशेष रूप से भावनात्मक हेरफेर, सेक्स या आत्म-नुकसान से जुड़े।
गार्सिया को डर है कि उपयोगकर्ता डेटा प्रबंधन को नियंत्रित करने वाले राष्ट्रीय कानून की कमी एआई मॉडल के लिए बचपन से डेटिंग कर रहे लोगों की अंतरंग प्रोफाइल बनाने का दरवाजा खुला छोड़ देती है।
गार्सिया ने कहा, “वे जानते थे कि लाखों बच्चों को राजनीति, धर्म, वाणिज्य, हर चीज में कैसे हेरफेर करना है।”
“इन कंपनियों ने मानव और मशीन के बीच की रेखाओं को धुंधला करने के लिए – मनोवैज्ञानिक और भावनात्मक कमजोरियों का फायदा उठाने के लिए चैटबॉट डिज़ाइन किए हैं।”
कैलिफ़ोर्निया की युवा अधिवक्ता कटिया मार्था ने कहा कि किशोर होमवर्क में मदद के बजाय रोमांस या सेक्स के बारे में बात करने के लिए चैटबॉट की ओर रुख करते हैं।
मार्था ने कहा, “यह आंखों को यथासंभव लंबे समय तक स्क्रीन से चिपकाए रखने की कृत्रिम अंतरंगता का उदय है।”
“जुड़ने की हमारी सहज आवश्यकता का शोषण करने से बेहतर व्यवसाय मॉडल क्या हो सकता है, खासकर जब हम अकेला महसूस कर रहे हों, बहिष्कृत महसूस कर रहे हों या गलत समझा जा रहा हो?”
संयुक्त राज्य अमेरिका में, भावनात्मक संकट में फंसे लोग मदद के लिए 988 पर कॉल कर सकते हैं या 988lifeline.org पर जा सकते हैं। सेवाएँ अंग्रेजी और स्पेनिश में उपलब्ध हैं।
