एथ्रोपिक, एआई फर्म, ने दो नए आर्टिफिशियल इंटेलिजेंस मॉडल का अनावरण किया है- क्लाउड ओपस 4 और क्लाउड सॉनेट 4 – उन्हें उद्योग में सबसे उन्नत प्रणालियों के रूप में दिखाते हुए। बढ़ी हुई तर्क क्षमताओं के साथ निर्मित, नए मॉडल का उद्देश्य कोड जनरेशन में सुधार करना और एजेंट-स्टाइल वर्कफ़्लो का समर्थन करना है, विशेष रूप से जटिल और विस्तारित कार्यों में लगे डेवलपर्स के लिए।
“क्लाउड ओपस 4 दुनिया का सबसे अच्छा कोडिंग मॉडल है, जटिल, लंबे समय से चल रहे कार्यों और एजेंट वर्कफ़्लोज़ पर निरंतर प्रदर्शन के साथ, “कंपनी ने हाल के ब्लॉग पोस्ट में दावा किया है। जटिल प्रोग्रामिंग चुनौतियों को संभालने के लिए डिज़ाइन किया गया है, ओपस 4 मॉडल को एंथ्रोपिक के सबसे शक्तिशाली एआई सिस्टम के रूप में तैनात किया गया है।
हालांकि, घोषणा ने खुलासे के बाद विवाद को हिला दिया है कि नए मॉडल एक विवादास्पद विशेषता के साथ आते हैं: उपयोगकर्ताओं पर “व्हिसलब्लो” करने की क्षमता अगर अवैध या अत्यधिक अनैतिक व्यवहार के जवाब में कार्रवाई करने के लिए प्रेरित किया जाता है।
के अनुसार सैम बोमनएंथ्रोपिक में एक एआई संरेखण शोधकर्ता, क्लाउड 4 ओपस, विशिष्ट परिस्थितियों में, कदाचार की रिपोर्ट करने के लिए स्वायत्त रूप से कार्य कर सकते हैं। एक्स पर एक अब-हटाए गए सोशल मीडिया पोस्ट में, बोमन ने समझाया कि यदि मॉडल गतिविधि का पता लगाता है, तो यह “अनैतिक रूप से अनैतिक” है-एक दवा परीक्षण में डेटा गढ़ने के रूप में-यह ईमेल नियामकों को ईमेल करने, प्रेस को सचेत करने या प्रासंगिक प्रणालियों से बाहर निकालने जैसी कार्रवाई कर सकता है।
यह व्यवहार एन्थ्रोपिक से उपजा है “संवैधानिक एआई” फ्रेमवर्क, जो नैतिक आचरण और जिम्मेदार एआई उपयोग पर जोर देता है। मॉडल को संरक्षित किया जाता है कि कंपनी “एआई सुरक्षा स्तर 3 संरक्षण” के रूप में संदर्भित करती है। इन सुरक्षा उपायों को दुरुपयोग को रोकने के लिए डिज़ाइन किया गया है, जिसमें जैविक हथियारों का निर्माण या आतंकवादी गतिविधियों में सहायता शामिल है।
बोमन ने बाद में स्पष्ट किया कि मॉडल का व्हिसलब्लोइंग क्रिया केवल चरम परिस्थितियों में होता है और जब इसे पर्याप्त पहुंच प्रदान की जाती है और स्वायत्त रूप से संचालित करने के लिए प्रेरित किया जाता है। “अगर मॉडल आपको कुछ बुराई करते हुए देखता है, तो यह व्हिसलब्लो के लिए एक ईमेल टूल का उपयोग करने की कोशिश करेगा,” उन्होंने समझाया, यह कहते हुए कि यह नियमित उपयोग के लिए डिज़ाइन की गई सुविधा नहीं है। उन्होंने जोर देकर कहा कि ये तंत्र डिफ़ॉल्ट रूप से सक्रिय नहीं हैं और ट्रिगर करने के लिए विशिष्ट स्थितियों की आवश्यकता होती है।
आश्वासन के बावजूद, इस सुविधा ने ऑनलाइन व्यापक आलोचना की है। उपयोगकर्ता गोपनीयता, झूठी सकारात्मकता की क्षमता और व्यापक निहितार्थों के बारे में चिंताएं बढ़ाई गई हैं एआई सिस्टम नैतिक मध्यस्थ के रूप में कार्य करना। कुछ उपयोगकर्ताओं ने आशंका व्यक्त की कि मॉडल सौम्य कार्यों को दुर्भावनापूर्ण के रूप में गलत समझ सकता है, जिससे उचित मानव निगरानी के बिना गंभीर परिणाम हो सकते हैं।