Roblox, ऑनलाइन गेमिंग प्लेटफॉर्म बच्चों और किशोरों के साथ बेतहाशा लोकप्रियएक आर्टिफिशियल इंटेलिजेंस सिस्टम के एक ओपन-सोर्स संस्करण को रोल आउट कर रहा है, जो कहता है कि गेम चैट में शिकारी भाषा का पता लगाने में मदद कर सकता है।
यह कदम तब आता है जब कंपनी ने मुकदमों और आलोचनाओं का सामना किया है, जो बच्चों को शिकारियों से बचाने के लिए पर्याप्त नहीं है। उदाहरण के लिए, आयोवा में पिछले महीने दायर एक मुकदमा में आरोप लगाया गया है कि एक 13 वर्षीय लड़की को Roblox पर एक वयस्क शिकारी से मिलवाया गया था, फिर कई राज्यों में अपहरण कर लिया और तस्करी की और बलात्कार किया। पोल्क काउंटी में आयोवा डिस्ट्रिक्ट कोर्ट में दायर किए गए सूट का दावा है कि Roblox की डिज़ाइन विशेषताएं उन बच्चों को बनाती हैं जो इसे “पीडोफाइल के लिए आसान शिकार” का उपयोग करते हैं।
Roblox का कहना है कि यह डिफ़ॉल्ट रूप से अपने सिस्टम को यथासंभव सुरक्षित बनाने का प्रयास करता है, लेकिन नोट करता है कि “कोई भी प्रणाली सही नहीं है, और उद्योग में सबसे बड़ी चुनौतियों में से एक संभावित बाल खतरे की तरह महत्वपूर्ण नुकसान का पता लगाना है।”
एआई प्रणाली, जिसे सेंटिनल कहा जाता है, संभावित बाल संकट के शुरुआती संकेतों का पता लगाने में मदद करता है, जैसे कि यौन शोषणकारी भाषा। Roblox का कहना है कि इस प्रणाली ने कंपनी को 2025 की पहली छमाही में नेशनल सेंटर फॉर नेशनल सेंटर फॉर लापता और शोषित बच्चों को चाइल्ड शोषण में संभावित प्रयासों की 1,200 रिपोर्ट प्रस्तुत करने के लिए प्रेरित किया है। कंपनी अब ओपन-सोर्सिंग की प्रक्रिया में है, ताकि अन्य प्लेटफ़ॉर्म भी इसका उपयोग कर सकें।
बच्चों के लिए संभावित खतरों का पता लगाना एआई सिस्टम के लिए मुश्किल हो सकता है – और मनुष्यों, भी – क्योंकि वार्तालाप पहली बार में सहज लग सकते हैं। “आप कितने साल के हैं?” या “आप कहाँ से हैं?” जरूरी नहीं कि वे अपने दम पर लाल झंडे उठा सकें, लेकिन जब एक लंबी बातचीत के दौरान संदर्भ में डाल दिया जाता है, तो वे एक अलग अर्थ ले सकते हैं।
Roblox, जिसमें 111 मिलियन से अधिक मासिक उपयोगकर्ता हैं, उपयोगकर्ताओं को चैट में वीडियो या छवियों को साझा करने की अनुमति नहीं देता है और किसी भी व्यक्तिगत जानकारी जैसे फोन नंबर को ब्लॉक करने की कोशिश करता है, हालांकि – अधिकांश मॉडरेशन नियमों के साथ – लोग लगातार इस तरह के सुरक्षा उपायों को प्राप्त करने के तरीके खोजते हैं।
यह 13 वर्ष से कम उम्र के बच्चों को खेल के बाहर अन्य उपयोगकर्ताओं के साथ चैट करने की अनुमति नहीं देता है जब तक कि उनके पास स्पष्ट माता -पिता की अनुमति न हो – और कई अन्य प्लेटफार्मों के विपरीत, यह निजी चैट वार्तालापों को एन्क्रिप्ट नहीं करता है, इसलिए यह उनकी निगरानी और मॉडरेट कर सकता है।
“हम सभी के साथ फ़िल्टर हैं, लेकिन उन फ़िल्टर पर ध्यान केंद्रित करते हैं कि पाठ की एक पंक्ति में या पाठ की कुछ पंक्तियों के भीतर क्या कहा जाता है। और यह वास्तव में अपवित्रता को अवरुद्ध करने और विभिन्न प्रकार की अपमानजनक भाषा और इस तरह की चीजों को अवरुद्ध करने जैसी चीजों को करने के लिए अच्छा है,” मैट कॉफमैन ने कहा, रोब्लॉक्स में मुख्य सुरक्षा अधिकारी ने कहा। “लेकिन जब आप बच्चे के खतरे या संवारने से संबंधित चीजों के बारे में सोच रहे हैं, तो आप जिस प्रकार के व्यवहार को देख रहे हैं, वह बहुत लंबे समय तक प्रकट हो रहा है।”
सेंटिनल Roblox में चैट के एक-मिनट के स्नैपशॉट को पकड़ता है-प्रति दिन लगभग 6 बिलियन संदेश-और संभावित नुकसान के लिए उनका विश्लेषण करता है। ऐसा करने के लिए, Roblox का कहना है कि इसने दो इंडेक्स विकसित किए हैं – एक सौम्य संदेशों से बना है और, दूसरा, चैट जो बाल खतरे के उल्लंघन को शामिल करने के लिए निर्धारित किया गया था। Roblox का कहना है कि यह सिस्टम हानिकारक पैटर्न को पहचानने देता है जो पूरी बातचीत को संदर्भ में ले जाता है, केवल कुछ शब्दों या वाक्यांशों को चिह्नित करने से परे जाता है।
“यह सूचकांक बेहतर हो जाता है क्योंकि हम अधिक बुरे अभिनेताओं का पता लगाते हैं, हम बस उस सूचकांक को लगातार अपडेट करते हैं। फिर हमारे पास एक और नमूना है कि एक सामान्य, नियमित उपयोगकर्ता क्या करता है?” रोबॉक्स में ट्रस्ट एंड सेफ्टी के लिए इंजीनियरिंग के उपाध्यक्ष नरेन कोनरू ने कहा।
जैसा कि उपयोगकर्ता चैट कर रहे हैं, सिस्टम स्कोर रखता है – क्या वे सकारात्मक क्लस्टर या नकारात्मक क्लस्टर के करीब हैं?
“यह एक संदेश पर नहीं होता है क्योंकि आप सिर्फ एक संदेश भेजते हैं, लेकिन ऐसा होता है क्योंकि आपके सभी दिनों की बातचीत इन दोनों में से एक की ओर अग्रसर होती है,” कोनरू ने कहा। “फिर हम कहते हैं, ठीक है, शायद यह उपयोगकर्ता कोई ऐसा व्यक्ति है जिसे हमें बहुत करीब से देखने की जरूरत है, और फिर हम उनके सभी अन्य वार्तालापों, अन्य दोस्तों और उन खेलों को खींचते हैं जो उन्होंने खेले थे, और उन सभी चीजों को।”
मनुष्य तदनुसार कानून प्रवर्तन के लिए जोखिम भरे इंटरैक्शन और ध्वज की समीक्षा करते हैं।