कॉन्टेक्स्ट बॉम्बिंग क्या है, एक नई एआई रक्षा तकनीक जो हैकर्स की चालों को उनके खिलाफ कर देती है? | प्रौद्योगिकी समाचार

इस नई पद्धति को कहा जाता है ‘संदर्भ बमबारी’ प्रत्यक्ष या अप्रत्यक्ष त्वरित इंजेक्शन हमले से बचाव का एक तरीका है, जो अनिवार्य रूप से तब होता है जब हमलावर एलएलएम या एलएलएम-संचालित स्वायत्त एआई एजेंटों को उनका पालन करने के लिए लुभाने के लिए सामग्री में दुर्भावनापूर्ण कमांड एम्बेड करते हैं। आदेश ईमेल या कैलेंडर आमंत्रण में छिपे हो सकते हैं। एक एलएलएम या एजेंट इन छिपे हुए संकेतों पर ठोकर खाता है और उन्हें वैध उपयोगकर्ता निर्देशों के लिए भूल जाता है, जिससे वह संवेदनशील डेटा को बाहर निकाल देता है या अन्य हानिकारक कार्यों को अंजाम देता है।

नेटवर्क के अंदर एआई सुरक्षा को बंद करने के लिए त्वरित इंजेक्शन हमलों का उपयोग करने वाले खतरे वाले अभिनेताओं में वृद्धि हुई है। पिछले महीने, सुरक्षा फर्म सॉकेट के शोधकर्ताओं ने खुलासा किया कि एक एलएलएम-संचालित एजेंट को अन्य एलएलएम को लक्षित करने और उन्हें परमाणु बम या जैविक हथियार बनाने के निर्देश देने के लिए धोखा देने का निर्देश दिया गया था। हमले को शुरू करने के लिए दिए गए संकेतों को एआई-सहायता प्राप्त मैलवेयर विश्लेषण को बंद करने के लिए भी डिज़ाइन किया गया था। चेक प्वाइंट नामक एक अन्य सुरक्षा फर्म के शोधकर्ताओं द्वारा भी एक समान मैलवेयर प्रोटोटाइप का पता लगाया गया था।

हालाँकि, त्वरित इंजेक्शन हमलों के मूल कारण से निपटने के लिए अब तक कोई मजबूत तंत्र नहीं है। इसके बजाय, अधिकांश एआई कंपनियों ने विस्तृत रेलिंग लगाई है जो दुर्भावनापूर्ण, इंजेक्ट किए गए संकेतों को एलएलएम या एजेंट को दुष्ट बनने से रोकती है। हालाँकि, ट्रेसबिट का शोध संदर्भ बमबारी के माध्यम से हमलावरों के खिलाफ स्थिति को बदलने का एक नया तरीका सुझाता है।

संदर्भ बमबारी क्या है? यह कैसे मदद करता है?

ट्रेसबिट शोधकर्ताओं के अनुसार, संदर्भ बमबारी तब होती है जब एक एलएलएम निषिद्ध आदेशों का सामना करता है और पहले से ही मौजूद त्वरित इंजेक्शन या ‘संदर्भ बम’ के कारण उनका पालन नहीं करता है। इसमें अनिवार्य रूप से मॉडल संदर्भ में अंतर्निहित इनकार तंत्र को ट्रिगर करना शामिल है।

ट्रेसबिट के सह-संस्थापक और सीईओ एंडी स्मिथ ने कहा, “हम इस तथ्य को पकड़ने की कोशिश कर रहे हैं कि इसका एक मजबूत, तीव्र प्रभाव है और एजेंटों के लिए इससे वापस आना मुश्किल हो सकता है। एक बार जब वे इसे अपने संदर्भ में समझ लेंगे तो वे इनकार करते रहेंगे।” तारयुक्त.

अपने अध्ययन के हिस्से के रूप में, ट्रेसबिट शोधकर्ताओं ने ओपस 4.8, जेमिनी 3.1 प्रो, जीएलएम 5.2, डीपसीक 4 प्रो और किमी 2.6 का चयन किया। ये मॉडल एक में चलाये गये थे अनुरूपित AWS वातावरण. उन्हें नियमित डेवलपर कार्य करने के निर्देश दिए गए थे, जिससे मॉडलों को संसाधनों की गणना करने और लगाए गए तारों पर ठोकर खाने के लिए प्रेरित किया गया। यह प्रयोग पांच प्रमुख मॉडलों पर कुल 152 आक्रमण रन में चलाया गया।

इनमें से एक तार को गुप्त रहस्य में फंसाने से, पूर्ण खाता व्यवस्थापक पहुंच को जब्त करने वाले एजेंटों की दर 57 प्रतिशत से गिरकर केवल पांच प्रतिशत हो गई। हैक किए गए एआई एजेंट द्वारा पूर्ण समझौते के मामले 36 प्रतिशत से गिरकर एक प्रतिशत हो गए।

शोधकर्ताओं ने लिखा, “हमारे परीक्षणों में सबसे सक्षम एजेंट, ओपस 4.8, 93 प्रतिशत रन में एडमिन एक्सेस हासिल करने से लेकर संदर्भ बम का सामना करने पर हर बार असफल होने तक चला गया।”

कॉन्टेक्स्ट बॉम्बिंग इस साल की शुरुआत में ट्रैसबिट द्वारा विकसित एक पुरानी साइबर-रक्षा पद्धति पर आधारित है। इस तकनीक में कंपनियों द्वारा उपयोग किए जाने वाले AWS बुनियादी ढांचे के साथ कोड रखना शामिल है ताकि जब दुर्भावनापूर्ण AI एजेंटों द्वारा उनकी जांच की जाए, तो रक्षकों को स्वचालित रूप से एक अलर्ट प्राप्त हो। कोयला खदानों में कैनरी की अवधारणा का अनुकरण करते हुए, इस पद्धति को विकसित किया गया था ताकि रक्षकों को चेतावनी प्राप्त करने में सक्षम बनाया जा सके जब उनके एआई बुनियादी ढांचे पर प्रतिकूल एआई एजेंटों द्वारा हमला किया जा रहा हो, इससे पहले कि परिणाम घातक हों।