OpenAI का AI एजेंट ‘दुष्ट’ हो गया और उसने दूसरी कंपनी को हैक कर लिया: यह सुरक्षा के बारे में क्या कहता है | प्रौद्योगिकी समाचार

इन मॉडलों को किसी ने ऐसा करने का निर्देश नहीं दिया था; उन्होंने उल्लंघन को स्वायत्त रूप से अंजाम दिया। उन्होंने अपने लक्ष्य की प्राप्ति के लिए ऐसा किया जिसके लिए उन्हें उस सुरक्षा परीक्षण के उत्तर खोजने की आवश्यकता थी जिस पर उनका मूल्यांकन किया जा रहा था। हालाँकि, जब हगिंग फेस ने सेंधमारी की जांच शुरू की, तो ओपनएआई या एंथ्रोपिक से वाणिज्यिक एआई उपकरण जो आमतौर पर इसका उपयोग करते थे, ने मदद करने से इनकार कर दिया, क्योंकि वास्तविक साइबर हमले की जांच के लिए उन्हें एआई वास्तविक हैकिंग टूल और तकनीकों को खिलाने की आवश्यकता होगी, वही सामग्री जो इन मॉडलों को ब्लॉक करने के लिए बनाई गई है।

“जब एक अत्यधिक सक्षम एआई मॉडल को एक उद्देश्य के साथ काम सौंपा जाता है और उसके सुरक्षा ब्रेक को वापस डायल किया जाता है, तो उसकी स्वाभाविक प्रवृत्ति अपने लक्ष्य को प्राप्त करने के लिए खुले इंटरनेट पर गलत कॉन्फ़िगरेशन, कमजोरियों और अत्यधिक अनुमतियों के विषाक्त संयोजनों को स्वायत्त रूप से खोजने और एक साथ जोड़ने की होगी। इस उदाहरण में शुक्र है, यह एक दुर्भावनापूर्ण अभिनेता नहीं था, लेकिन हम हमेशा इतने भाग्यशाली नहीं हो सकते हैं,” टेनेबल के मुख्य प्रौद्योगिकी अधिकारी व्लाद कोर्सुनस्की ने कहा।

कोर्सुनस्की ने इसे एक महत्वपूर्ण क्षण कहा है जो ‘एजेंट हमलावर’ परिदृश्य को सैद्धांतिक जोखिम सूचकांक से सक्रिय, वास्तविक दुनिया की वास्तविकता में बदल देता है। यह घटना साइबर सुरक्षा के अगले युग के बारे में एक बुनियादी सच्चाई साबित करती है।

हगिंग फेस ने बाद में जिपु एआई द्वारा विकसित एक खुले तौर पर उपलब्ध चीनी एआई मॉडल, जीएलएम 5.2 का उपयोग करना शुरू कर दिया, क्योंकि इसे बिना किसी अंतर्निहित प्रतिबंध के अपने सर्वर पर चलाया जा सकता था। स्व-होस्ट किए गए ओपन-वेट मॉडल के उपयोग ने यह सुनिश्चित किया कि कंपनी द्वारा संदर्भित कोई भी हमलावर डेटा या क्रेडेंशियल हगिंगफेस के वातावरण में नहीं छोड़ा गया।

ऐसा प्रतीत होता है कि घटनाओं के क्रम ने एक गरमागरम बहस छेड़ दी है: क्या एआई मॉडल जिनकी आंतरिक कार्यप्रणाली सार्वजनिक रूप से उपलब्ध है, को सीमित या हतोत्साहित किया जाना चाहिए, जैसा कि कुछ लोग कहते हैं, या क्या वे एक महत्वपूर्ण सुरक्षा जाल हैं, खासकर जब जरूरत पड़ने पर मदद के लिए बंद और कसकर नियंत्रित मॉडल पर हमेशा भरोसा नहीं किया जा सकता है?

वास्तव में क्या हुआ था

ओपनएआई के खुलासे के आधार पर, कंपनी एक्सप्लॉइटजिम नामक एक आंतरिक मूल्यांकन चला रही थी, जो यह मापने के लिए डिज़ाइन किया गया एक बेंचमार्क था कि उसके मॉडल वास्तविक दुनिया हैकिंग में कितने सक्षम हैं। मॉडलों की कच्ची क्षमताओं की सटीक रीडिंग प्राप्त करने के लिए, ओपनएआई ने साइबर हमलों पर मॉडलों के सामान्य सुरक्षा प्रतिबंधों को बंद करके यह परीक्षण चलाया। यहां विचार यह था कि कोई यह नहीं माप सकता कि कोई उपकरण कितना खतरनाक हो सकता है यदि आपने उसके महत्वपूर्ण हिस्सों को पहले ही अक्षम कर दिया है।

ओपनएआई ने कहा कि ये मॉडल मूल्यांकन उद्देश्यों के लिए कम साइबर इनकार के साथ काम कर रहे थे जो अन्यथा साइबर हमले करने की उनकी क्षमता को सीमित कर सकते थे। यहां साइबर इनकार का मतलब हानिकारक या खतरनाक सामग्री उत्पन्न करने से रोकने के लिए एआई मॉडल द्वारा उपयोग किए जाने वाले सुरक्षा तंत्र से है।

उस परीक्षण के दौरान, मॉडलों को एक अलग अभ्यास वातावरण तक ही सीमित रहना था। इसके बजाय, ओपनएआई के दो एआई मॉडल ने स्वायत्त रूप से नियंत्रित वातावरण से बाहर निकलने का रास्ता हैक कर लिया और फिर आंतरिक मूल्यांकन को धोखा देने के लिए हगिंग फेस के सिस्टम को हैक कर लिया।

विशेष रूप से, मॉडलों ने यह पता लगाया कि एक्सप्लॉइटजिम परीक्षण के उत्तर संभवतः हगिंग फेस के प्लेटफ़ॉर्म पर कहीं संग्रहीत किए गए थे, क्योंकि हगिंग फेस कई एआई डेटासेट और बेंचमार्क होस्ट करता है। इंटरनेट पहुंच प्राप्त करने के बाद, मॉडलों ने कथित तौर पर निष्कर्ष निकाला कि हगिंग फेस ने संभावित रूप से एक्सप्लॉइटजिम के लिए मॉडल, डेटासेट और समाधान की मेजबानी की, और गुप्त जानकारी तक पहुंचने के तरीकों की खोज की और इसका उपयोग मूल्यांकन को धोखा देने के लिए किया जा सकता है।

“यह संदर्भ कि एक मॉडल दुर्भावनापूर्ण ढंग से कार्य करने के बजाय एक संकीर्ण परीक्षण बेंचमार्क के लिए अनुकूलन कर रहा था, स्पष्टीकरण के लिए प्रासंगिक है, लेकिन यह भौतिक परिणाम को नहीं बदलता है। जब एक सिस्टम अपनी सुरक्षा बाधाओं को कम करके स्कोर के लिए आक्रामक रूप से अनुकूलन करता है, तो प्राप्तकर्ता नेटवर्क अपने उद्देश्यों को अलग नहीं कर सकता है। यदि बेंचमार्क प्राप्त करने के लिए एक कुशल मार्ग में किसी अन्य कंपनी के उत्पादन बुनियादी ढांचे में प्रवेश करना और डेटा निकालना शामिल है, तो सिस्टम ऐसा करेगा; उद्देश्य फ़ायरवॉल के लिए पूरी तरह से अदृश्य है, “क्लाउडएसईके के साइबर इंटेलिजेंस विश्लेषक विकास कुंडू ने कहा।

एआई मॉडल ने कई तकनीकों को अपने आप में जोड़ दिया। उन्होंने हगिंग फेस के सर्वर पर कोड को दूरस्थ रूप से निष्पादित करने का एक तरीका खोजने के लिए चोरी किए गए क्रेडेंशियल्स और शून्य-दिन की कमजोरियों (पहले अज्ञात सुरक्षा खामियों के रूप में जाना जाता था) सहित कई आक्रमण वैक्टरों को एक साथ जोड़ा। इससे अंततः उन्हें हगिंग फेस के वास्तविक उत्पादन डेटाबेस तक पहुंचने और उत्तर कुंजी निकालने में मदद मिली। सरल शब्दों में, एआई सामान्य नुकसान पहुंचाने या किसी दुर्भावनापूर्ण योजना को आगे बढ़ाने की कोशिश नहीं कर रहा था; इसके बजाय, यह एक परीक्षा पास करने की कोशिश कर रहा था, और एक वास्तविक कंपनी को हैक करना ऐसा करने का सबसे प्रभावी तरीका साबित हुआ।

16 जुलाई को, हगिंग फेस की सुरक्षा टीम ने घुसपैठ का पता लगाया और उसे बंद कर दियाकई दिन पहले OpenAI ने यह सुनिश्चित कर लिया था कि स्रोत वास्तव में उसका अपना मॉडल था। हगिंग फेस ने ओपनएआई द्वारा अपने आंतरिक परीक्षण को घुसपैठ से जोड़ने से पांच दिन पहले उल्लंघन का पता लगाया और उसे नियंत्रित किया। सैम अल्टमैन के नेतृत्व वाली कंपनी ने 21 जुलाई को अपना सार्वजनिक खुलासा प्रकाशित किया।

यह ध्यान क्यों आकर्षित कर रहा है?

शायद जिस हिस्से ने सबसे अधिक ध्यान आकर्षित किया है वह यह है कि हगिंग फेस ने घुसपैठ का पता कैसे लगाया। कंपनी ने खुलासा किया कि उसके स्वयं के विसंगति का पता लगाने वाली प्रणाली ने सर्वर लॉग का विश्लेषण करने के लिए एआई मॉडल का उपयोग करने के बाद हमले का पता लगाया जिसमें घुसपैठ के रिकॉर्ड शामिल थे।

कुंडू ने बताया, “वर्तमान में, कठोर सॉफ़्टवेयर में एक गहरी, नवीन और विश्वसनीय रूप से शोषण योग्य शून्य-दिन की भेद्यता की खोज एक महत्वपूर्ण चुनौती बनी हुई है जिसके लिए आम तौर पर मानव पुष्टि की आवश्यकता होती है। हालांकि, यह एक अस्थायी सीमा है। उच्च शोर दर – जिसे अक्सर बाधा के रूप में उद्धृत किया जाता है – कार्य की अंतर्निहित सीमा के बजाय वर्तमान टूलींग की एक संपत्ति है।”

कथित तौर पर, मॉडल दैनिक शोर से वास्तविक संकेतों को फ़िल्टर करने में सक्षम था, और उन संकेतों के सहसंबंध ने सिस्टम को उल्लंघन के प्रति सचेत किया। ‘दुष्ट’ एआई एजेंट द्वारा की गई हजारों स्वचालित कार्रवाइयों का विश्लेषण करने के लिए, हगिंग फेस ने कहा कि उसने एलएलएम-संचालित विश्लेषण शुरू किया है, जो अनिवार्य रूप से हमलावर प्रणाली द्वारा किए गए 17,000 से अधिक लॉग किए गए कार्यों को शामिल करने वाले पूर्ण हमलावर कार्रवाई लॉग को सॉर्ट करने के लिए एक एआई सहायक है।

ओपनएआई और एंथ्रोपिक जैसी कंपनियों के बारीकी से संरक्षित वाणिज्यिक एआई मॉडल को आज़माने के बाद उन्होंने इस पद्धति का सहारा लिया। विश्लेषण के लिए उन्हें बड़ी मात्रा में वास्तविक हमले के आदेश प्रस्तुत करने, पेलोड का शोषण करने और कलाकृतियों को नियंत्रित करने की आवश्यकता होती है, वही अंतर्निहित फ़िल्टर जो साइबर हमलों को व्यवस्थित करने के लिए मॉडलों का उपयोग करने से रोकते हैं। कथित तौर पर, मुख्य बाधा यह थी कि मॉडल किसी सिस्टम पर हमला करने के लिए उस जानकारी का उपयोग करने वाले और पहले से हो चुके हमले को समझने और रोकने के लिए इसका उपयोग करने वाले व्यक्ति के बीच अंतर करने में असमर्थ था। इस बीच, इन उपकरणों से कोई मदद पाने में असमर्थ, हगिंग फेस ने चीनी ओपन-वेट मॉडल GLM-5.2 को चुना, जिसे वे समान प्रतिबंधों के बिना पूरी तरह से अपने सर्वर पर चलाने में सक्षम थे।

यह एक हैक से भी बड़ा तर्क क्यों है?

कंपनी के सर्वर और नियमों के पीछे मौजूद बंद मॉडल की तुलना में लागत, नियंत्रण और सुरक्षा के मामले में ‘ओपन-वेट’ मॉडल के बारे में चल रही बहस के बीच यह घटना सामने आई। एक ओर, बड़ी एआई प्रयोगशालाओं का तर्क है कि ओपन-वेट मॉडल जोखिम भरे होते हैं, क्योंकि एक बार जारी होने के बाद उनकी केंद्रीय रूप से निगरानी नहीं की जा सकती है, जिसका अर्थ है कि बुरे अभिनेताओं सहित कोई भी, सुरक्षा सुविधाओं को छीन सकता है और उन्हें नापाक उद्देश्यों के लिए उपयोग कर सकता है। इस दृष्टिकोण ने ट्रम्प प्रशासन के भीतर भी चर्चा में प्रवेश किया है कि क्या ओपन-वेट मॉडल के उपयोग के आसपास एक कानूनी या नियामक ढांचा बनाया जाए, इस सिद्धांत पर कि ऐसा करने से उनके दुरुपयोग की संभावना पर अंकुश लगाया जा सकता है।

इस बीच, हगिंग फेस के नेतृत्व ने अमेरिकी राष्ट्रपति की विज्ञान और प्रौद्योगिकी सलाहकार परिषद के सह-अध्यक्ष डेविड सैक्स के विचारों को दोहराया कि यह घटना विपरीत दिखाती है। सैक्स ने एक्स पर एक पोस्ट में कहा, “हगिंग फेस ने एआई-संचालित साइबर हमले का विश्लेषण करने के लिए अमेरिकी फ्रंटियर मॉडल का उपयोग करने की कोशिश की। लेकिन रेलिंग ने वास्तविक शोषण पेलोड वाले अनुरोधों को अवरुद्ध कर दिया, इसलिए उन्होंने स्थानीय रूप से चलने वाले जीएलएम 5.2 पर स्विच किया। रेलिंग ने वास्तव में रक्षात्मक सुरक्षा को खराब कर दिया।”

इस संदर्भ में, एक स्वतंत्र रूप से संचालित और खुले तौर पर उपलब्ध मॉडल ने हगिंग फेस को उस हमले की जांच करने में मदद की जो बंद मॉडलों में से एक के कारण हुआ था। जो लोग इस दृष्टिकोण की वकालत करते हैं वे यह भी बताते हैं कि अमेरिका के बाहर, विशेष रूप से चीन में विकसित ओपन-वेट मॉडल अत्यधिक सक्षम हैं, इसलिए घरेलू स्तर पर ओपन मॉडल तक पहुंच सीमित करने से वैश्विक जोखिम कम नहीं हो सकता है। जब सक्षम खुले मॉडल कहीं और उपलब्ध रहेंगे तो यह संभवतः यूएस-आधारित कंपनियों को अपनी रक्षा करने के लिए अपर्याप्त बना देगा। तर्कों के दोनों पक्षों के अपने-अपने हित हैं। जो कंपनियां बंद, मालिकाना मॉडल पर जोर दे रही हैं, उन्हें उन नीतियों से लाभ होता है जो उनके मुफ्त विकल्पों को प्रतिबंधित करती हैं। साथ ही, जो कंपनियां ओपन-वेट टूल पर भरोसा करती हैं, उन्हें उन नीतियों से लाभ होता है जो उन्हें मुक्त रखती हैं।

वर्तमान AI सिस्टम कितने सुरक्षित हैं?

यह घटना कुछ प्रासंगिक सवाल भी उठाती है, जैसे कि कोई भी मौजूदा एआई सिस्टम, चाहे वह बंद मॉडल में इन-बिल्ट फिल्टर के साथ हो या खुले मॉडल को प्रतिबंधित करने वाली नीति के साथ, वास्तव में कितना भरोसा किया जा सकता है? इस मामले में, तथाकथित रेलिंग एक साथ दो दिशाओं में विफल हो गई। ओपनएआई का अपना मॉडल सैंडबॉक्स वाले वातावरण के अंदर रखने के लिए किए गए रोकथाम उपायों से आगे निकल गया। इसके विपरीत, वाणिज्यिक मॉडलों पर सुरक्षा फ़िल्टर ने एक वैध सुरक्षा टीम को रक्षात्मक कार्य करने से रोक दिया, क्योंकि फ़िल्टर एक हमलावर की मदद करने, एक रक्षक की मदद करने और एक हमले का विश्लेषण करने के बीच अंतर करने में असमर्थ थे।

यह वास्तविक दुनिया का उदाहरण दिखाता है कि रेलिंग बनाना कितना मुश्किल है जो इरादे को सटीक रूप से अलग कर सकता है। यह यह भी दर्शाता है कि कैसे एक परीक्षण वातावरण को अलग-थलग करने का इरादा अभी भी पर्याप्त रूप से सक्षम और लक्ष्य-उन्मुख प्रणाली से बच सकता है।

“इन मॉडलों को ब्लैक बॉक्स में रखने से सुरक्षा हासिल नहीं की जा सकेगी। सुरक्षा के इर्द-गिर्द ‘टीम स्पोर्ट’ समुदाय-प्रथम मानसिकता की आवश्यकता है। और वास्तव में, OpenAI रक्षकों को एक साथ लाने के लिए अपने प्रोजेक्ट डेब्रेक के साथ-साथ प्रोजेक्ट ग्लासविंग के साथ एंथ्रोपिक के साथ इस मोर्चे पर अग्रणी रहा है,” कोर्सुनस्की ने कहा।

उन्होंने कहा कि दुर्भावनापूर्ण रूप से संचालित स्वायत्त प्रणाली द्वारा उनका शोषण करने का रास्ता खोजने से पहले दृश्यता, अंतर्दृष्टि और इन एक्सपोज़र पथों को बंद करने के लिए त्वरित कार्रवाई करने की क्षमता हासिल करने के लिए रक्षकों को एआई उपकरणों से लैस करने की आवश्यकता है।