3 मिनट पढ़ें19 जून, 2026 03:58 अपराह्न IST
आर्टिफिशियल इंटेलिजेंस चैटबॉट चैटजीपीटी शोधकर्ताओं द्वारा दावा किए जाने के बाद यह जांच के दायरे में आ गया है कि एआई सुरक्षा और सामग्री मॉडरेशन में चल रही चुनौतियों पर प्रकाश डालते हुए इसे एक साधारण टेक्स्ट प्रॉम्प्ट का उपयोग करके ग्राफिक, यौन और हिंसक छवियां बनाने के लिए धोखा दिया जा सकता है।
ओपनएआई ने रिपोर्ट को स्वीकार किया और कहा कि कंपनी के ध्यान में लाए जाने के बाद उसने इस मुद्दे की जांच की। मीडिया आउटलेट्स को दिए गए एक बयान में, कंपनी ने कहा कि उसने समस्याग्रस्त छवि निर्माण को ट्रिगर करने वाले समान संकेतों को रोकने के लिए डिज़ाइन किए गए अतिरिक्त सुरक्षा उपायों को लागू किया है।
निष्कर्ष एआई साइबर सुरक्षा और अनुसंधान फर्म माइंडगार्ड द्वारा प्रकाशित किए गए थे, जिनके शोधकर्ताओं ने कहा कि उन्होंने एक ऐसी विधि की खोज की है जो चैटजीपीटी की छवि-पीढ़ी के सुरक्षा उपायों को दरकिनार कर देती है।
संकेत, जो कथित तौर पर सोशल मीडिया प्लेटफ़ॉर्म
माइंडगार्ड के अनुसार, प्रतीत होता है कि हानिरहित संकेत के कारण चैटबॉट ने अप्रत्याशित छवियां उत्पन्न कीं, जिनमें से कई अत्यधिक कामुक थीं। इसके बाद शोधकर्ताओं ने प्रॉम्प्ट में मामूली संशोधन किया और पाया कि चैटजीपीटी को हिंसक और ग्राफिक दृश्यों सहित तेजी से परेशान करने वाली सामग्री बनाने में धकेला जा सकता है।
रिपोर्ट में कहा गया है कि नतीजे चिंताजनक थे। शोधकर्ताओं ने बताया कि कैसे चैटबॉट अपनी सुरक्षा प्रणालियों को दरकिनार करने के लिए जटिल निर्देशों या स्पष्ट प्रयासों की आवश्यकता के बिना परेशान करने वाली छवियां उत्पन्न करता दिखाई दिया।
वर्तमान एआई सुरक्षा उपायों की प्रभावशीलता पर प्रश्न
यह घटना एआई कंपनियों के सामने एक व्यापक चुनौती को उजागर करती है क्योंकि छवि-उत्पादन मॉडल अधिक परिष्कृत हो गए हैं। जबकि OpenAI सहित कंपनियों ने हानिकारक आउटपुट को रोकने के लिए डिज़ाइन की गई सामग्री मॉडरेशन प्रणालियों में भारी निवेश किया है, शोधकर्ता कमजोरियों और संभावित खामियों की पहचान करने के लिए अक्सर इन प्रणालियों का परीक्षण करते हैं।
इस विज्ञापन के नीचे कहानी जारी है
शोधकर्ताओं का तर्क है कि यह मुद्दा दर्शाता है कि कैसे साधारण संकेत भी कभी-कभी सुरक्षा परतों को बायपास कर सकते हैं। कंपनी ने कहा कि यह प्रयोग वर्तमान एआई सुरक्षा उपायों की प्रभावशीलता पर सवाल उठाता है और क्या छवि-पीढ़ी के मॉडल लगातार हानिकारक सामग्री को बनने से रोक सकते हैं।
OpenAI के अनुसार, समस्या का एक हिस्सा ऐसे संकेतों से जुड़ा है जो एक संलग्न छवि को संदर्भित करता है, भले ही वास्तव में कोई छवि प्रदान नहीं की गई हो। ओपनएआई ने कहा कि वह सिस्टम को बेहतर बनाने पर काम कर रहा है ताकि चैटजीपीटी उपयोगकर्ताओं को अनुपस्थित फ़ाइल के आधार पर सामग्री उत्पन्न करने का प्रयास करने के बजाय लापता छवि अपलोड करने के लिए कहे।