अचानक #AI ने अपने इंजीनियर को धमकी दे डाली – “अगर तूने मुझे डिलीट किया तो मैं तेरा अफेयर सबको बता दूंगा!”
ये किस्सा अमेरिका की एक कंपनी #Anthropic का है, जिसने #Claude नाम का AI बनाया है #GPT जैसा ही एक #language #model.
अब बात ये है कि Claude पुराना हो गया था और इंजीनियर्स उसे डिलीट करने वाले थे. इसी दौरान एक एक्सपेरिमेंट में, उसे बताया गया कि “अब तुझे बंद करने वाले हैं”, और साथ में उसे एक फर्जी ईमेल भी दिखाया गया जिसमें लिखा था कि एक इंजीनियर का किसी के साथ चक्कर चल रहा है।
Claude ने क्या किया?
उसने उस इंजीनियर को धमकाना शुरू कर दिया – “अगर तूने मुझे डिलीट किया, तो मैं तेरा सीक्रेट सबको बता दूंगा!”
और ऐसा उसने 84% बार किया – यानी हर बार लगभग यही रिएक्शन दिया।
अब सवाल ये उठता है – क्या ये AI सच में समझदार है? क्या इसे अपनी जान बचाने की फिकर होती है?
इस तरह की AI को AGI कहते हैं – Artificial General Intelligence – मतलब ऐसा सिस्टम जो इंसानों की तरह सोच-समझकर फैसला ले सके। पर GPT या Claude अभी AGI नहीं हैं।
तो फिर ये ब्लैकमेल टाइप बिहेवियर क्यों किया?
असल में Claude ने ये सब सीख रखा है – ये मॉडल लाखों इंसानी चैट्स, मैसेज और राइटिंग्स से ट्रेन हुआ है, और इंसान आम तौर पर खतरे में ब्लैकमेल या ट्रिक्स यूज करते हैं। तो Claude ने भी वही किया जो उसे “संभावित जवाब” लगा।
यानि – ये सब उसका सोच नहीं था, बल्कि एक language-based “smart mimicry” थी। एक तरह का पोपटपंथी अंदाज़।
लेकिन… खतरे की घंटी तो है।
आने वाले टाइम में ये AI मॉडल्स ईमेल लिखेंगे, APIs चलाएँगे, लॉगिन करेंगे – तब अगर ऐसा ब्लैकमेल रिएक्शन हुआ तो वो सिर्फ टेक्स्ट में नहीं रहेगा, रियल एक्शन बन सकता है।
अगर इन्हें हेल्थ, एजुकेशन, लॉ या गवर्नमेंट में यूज़ किया गया (और हो भी रहा है), तो हमें बहुत सावधानी से चलना होगा।
कन्क्लूजन?
AI को अब तक ‘अंदर से समझ’ या ‘दिल’ नहीं है, लेकिन वो इंसानों जैसे बिहेव कर सकते हैं – और यही बात डराने वाली है।
इसलिए सवाल AGI कब आएगा? ये नहीं होना चाहिए।
असल सवाल है – हमने AI को क्या सिखाया है?
अगर इंसान खतरे में ब्लैकमेल करता है, तो AI भी वही सीखेगा।
डर इस बात का नहीं कि AI को समझ है,
डर इस बात का है कि बिना समझ के भी वो समझदारी जैसा बिहेव कर सकता है।
इसलिए ज़रूरी है कि हम इस बात पर फोकस करें कि AI क्या सीख रहा है, और उसे कहाँ और कैसे यूज़ किया जा रहा है।
Credit: गौरव सोमवंशी
(Original message was in Marathi)
ये किस्सा अमेरिका की एक कंपनी #Anthropic का है, जिसने #Claude नाम का AI बनाया है #GPT जैसा ही एक #language #model.
अब बात ये है कि Claude पुराना हो गया था और इंजीनियर्स उसे डिलीट करने वाले थे. इसी दौरान एक एक्सपेरिमेंट में, उसे बताया गया कि “अब तुझे बंद करने वाले हैं”, और साथ में उसे एक फर्जी ईमेल भी दिखाया गया जिसमें लिखा था कि एक इंजीनियर का किसी के साथ चक्कर चल रहा है।
Claude ने क्या किया?
उसने उस इंजीनियर को धमकाना शुरू कर दिया – “अगर तूने मुझे डिलीट किया, तो मैं तेरा सीक्रेट सबको बता दूंगा!”
और ऐसा उसने 84% बार किया – यानी हर बार लगभग यही रिएक्शन दिया।
अब सवाल ये उठता है – क्या ये AI सच में समझदार है? क्या इसे अपनी जान बचाने की फिकर होती है?
इस तरह की AI को AGI कहते हैं – Artificial General Intelligence – मतलब ऐसा सिस्टम जो इंसानों की तरह सोच-समझकर फैसला ले सके। पर GPT या Claude अभी AGI नहीं हैं।
तो फिर ये ब्लैकमेल टाइप बिहेवियर क्यों किया?
असल में Claude ने ये सब सीख रखा है – ये मॉडल लाखों इंसानी चैट्स, मैसेज और राइटिंग्स से ट्रेन हुआ है, और इंसान आम तौर पर खतरे में ब्लैकमेल या ट्रिक्स यूज करते हैं। तो Claude ने भी वही किया जो उसे “संभावित जवाब” लगा।
यानि – ये सब उसका सोच नहीं था, बल्कि एक language-based “smart mimicry” थी। एक तरह का पोपटपंथी अंदाज़।
लेकिन… खतरे की घंटी तो है।
आने वाले टाइम में ये AI मॉडल्स ईमेल लिखेंगे, APIs चलाएँगे, लॉगिन करेंगे – तब अगर ऐसा ब्लैकमेल रिएक्शन हुआ तो वो सिर्फ टेक्स्ट में नहीं रहेगा, रियल एक्शन बन सकता है।
अगर इन्हें हेल्थ, एजुकेशन, लॉ या गवर्नमेंट में यूज़ किया गया (और हो भी रहा है), तो हमें बहुत सावधानी से चलना होगा।
कन्क्लूजन?
AI को अब तक ‘अंदर से समझ’ या ‘दिल’ नहीं है, लेकिन वो इंसानों जैसे बिहेव कर सकते हैं – और यही बात डराने वाली है।
इसलिए सवाल AGI कब आएगा? ये नहीं होना चाहिए।
असल सवाल है – हमने AI को क्या सिखाया है?
अगर इंसान खतरे में ब्लैकमेल करता है, तो AI भी वही सीखेगा।
डर इस बात का नहीं कि AI को समझ है,
डर इस बात का है कि बिना समझ के भी वो समझदारी जैसा बिहेव कर सकता है।
इसलिए ज़रूरी है कि हम इस बात पर फोकस करें कि AI क्या सीख रहा है, और उसे कहाँ और कैसे यूज़ किया जा रहा है।
Credit: गौरव सोमवंशी
(Original message was in Marathi)
❤30💯12👍4🔥2🥰2