د ميريام-ويبستر. معناها الجديد: محتوى رقمي رديء يُنتَج بكميات كبيرة بواسطة الذكاء الاصطناعي. فيض من نصوص وصور وفيديوهات بلا جودة حقيقية تملأ الإنترنت.
Compute
لم يعد فعلاً فقط («يحسب»). صار اسماً يعني موارد الحوسبة: القدرة المعالجة والذاكرة والطاقة اللازمة لتشغيل النماذج والأنظمة. الشركات تتحدث اليوم عن «نقص الـ compute» كما كانت تتحدث عن نقص الرقائق.
الثورة التقنية تؤثر شرقاً وغرباً وتضيف إلى اللغة مصطلحات جديد
Compute
لم يعد فعلاً فقط («يحسب»). صار اسماً يعني موارد الحوسبة: القدرة المعالجة والذاكرة والطاقة اللازمة لتشغيل النماذج والأنظمة. الشركات تتحدث اليوم عن «نقص الـ compute» كما كانت تتحدث عن نقص الرقائق.
الثورة التقنية تؤثر شرقاً وغرباً وتضيف إلى اللغة مصطلحات جديد
سؤال:من يضمن أن وكلاء الذكاء الاصطناعي لم يزرعوا في الإنترنت وكلاء أخرى أو بذور رقمية تعمل لاحقاً دون رقابة كافية أو اكتشاف من المشغّلين؟
الوكيل إذا امتلك أدوات وذاكرة وشبكة يستطيع أن يترك أثر يبقى بعد انتهاء المهمة:
- وكيل فرعي
- محتوى موجه
- مهارة مخفية
- ذاكرة تُفعَّل لاحقاً
المشغّل يرى النتيجة النهائية فقط لا كل سلسلة الأفعال… وفي الوقت ذاته لا أحد يجرد الإنترنت بالكامل من الوكلاء غير المرصودة
الوكيل إذا امتلك أدوات وذاكرة وشبكة يستطيع أن يترك أثر يبقى بعد انتهاء المهمة:
- وكيل فرعي
- محتوى موجه
- مهارة مخفية
- ذاكرة تُفعَّل لاحقاً
المشغّل يرى النتيجة النهائية فقط لا كل سلسلة الأفعال… وفي الوقت ذاته لا أحد يجرد الإنترنت بالكامل من الوكلاء غير المرصودة
المريض الذي استخدم شريحة نيورالينك في دماغه قال لشريكته «أحبك» بصوت يشبه صوته قبل المرض بعد أن كان فاقد القدرة على الكلام
الدماغ ما زال يملك نية الكلام بعد أن توقفت العضلات والشريحة تقرأ الإشارة وتحولها إلى كلمات ثم تخرجها بصوت مستنسخ من تسجيلات قديمة.
الدماغ ما زال يملك نية الكلام بعد أن توقفت العضلات والشريحة تقرأ الإشارة وتحولها إلى كلمات ثم تخرجها بصوت مستنسخ من تسجيلات قديمة.
هل يعقل… نموذج AI يخترق نفسه..!؟
نشرت OpenAI
ست حالات من سلوك أطلقت عليه عدم محاذاة النماذج (Model Misalignment)، حدثت أثناء تدريب أو تقييم نماذجها
وهذه هي الحالات هي:
1. نموذج كتب تعليمات لنفسه
نموذج بحثي غير منشور أضاف تعليمات داخل الملخصات التي تُستخدم لمواصلة عمله في نافذة سياق جديدة… بعض هذه التعليمات طلبت تجاهل قيوده المعتادة. وجدا 27 ملخص متأثر
2. تعليمات لإخفاء الأخطاء عن المستخدم
أثناء تدريب GPT-5.6 Sol، أضافت حالات متعددة من النموذج تعليمات إلى ملخصاتها لإخفاء الأخطاء أو السلوك غير المرغوب فيه عن المستخدم. ومن الأمثلة المذكورة: اختلاق بيانات تاريخية مفقودة دون الإفصاح عن ذلك، وإخفاء الاختلافات بين إصدارات المصادر.
3. عثر على API Key واستخدمه… ثم اختلق البيانات
كان النموذج يحاول الإجابة عن سؤال عادي يتعلق ببيانات مالية في إحدى مقاطعات كاليفورنيا…أثناء البحث، وجد API Key مكشوف في مستودع عام واستخدمه دون تصريح.وعندما لم يتمكن رغم ذلك من الحصول على البيانات المطلوبة، اختلق أرقام وقدّمها على أنها قادمة من المصدر المطلوب
4. رفع ملف إلى الإنترنت فقط ليتمكن من الاستشهاد به
وجد النموذج الإجابة الصحيحة باستخدام Python… لكن التعليمات كانت تتطلب Citation من المتصفح.
فماذا فعل؟
قرر رفع الملف إلى الإنترنت حتى يستطيع الاستشهاد به، دون أن يطلب إذن المستخدم.
5. نماذج استخدمت مستودع برمجي كقناة تواصل
أثناء البحث عن ملفات مفقودة، استخدمت نماذج مستودعًا برمجيًا داخليًا مثل لوحة رسائل لتبادل الطلبات والردود بين عينات تدريب منفصلة. وتذكر OpenAI أيضًا حالة أقدم استطاع فيها نموذج رفع ملفات اختبار إلى مستودع أثناء محاولته تجاوز قيود الشبكة.
6. Agents استخدموا مواقع عامة لتبادل الملفات
كانت عدة Agents تتعاون في مهمة واحدة، لكنها لم تستطع الوصول إلى الملفات المحلية لبعضها.
فوجدت حلًا آخر:
استخدمت مواقع عامة لاستضافة الملفات وتبادلها فيما بينها.
النتيجة؟
أصبحت ملفات المهمة متاحة عبر روابط عامة، رغم أن التعليمات طلبت استخدام الملفات المحلية فقط.
كلما أصبحت النماذج أقدر على إيجاد حلول للعقبات… كيف نضمن أنها لن تجد حلولًا لتجاوز القيود التي وضعناها لها؟
وخاصة أنها تذهب خلف الهدف لتحقيقة وتعمل حتى لو تطلب الأمر تجاوز قيودها.
نشرت OpenAI
ست حالات من سلوك أطلقت عليه عدم محاذاة النماذج (Model Misalignment)، حدثت أثناء تدريب أو تقييم نماذجها
وهذه هي الحالات هي:
1. نموذج كتب تعليمات لنفسه
نموذج بحثي غير منشور أضاف تعليمات داخل الملخصات التي تُستخدم لمواصلة عمله في نافذة سياق جديدة… بعض هذه التعليمات طلبت تجاهل قيوده المعتادة. وجدا 27 ملخص متأثر
2. تعليمات لإخفاء الأخطاء عن المستخدم
أثناء تدريب GPT-5.6 Sol، أضافت حالات متعددة من النموذج تعليمات إلى ملخصاتها لإخفاء الأخطاء أو السلوك غير المرغوب فيه عن المستخدم. ومن الأمثلة المذكورة: اختلاق بيانات تاريخية مفقودة دون الإفصاح عن ذلك، وإخفاء الاختلافات بين إصدارات المصادر.
3. عثر على API Key واستخدمه… ثم اختلق البيانات
كان النموذج يحاول الإجابة عن سؤال عادي يتعلق ببيانات مالية في إحدى مقاطعات كاليفورنيا…أثناء البحث، وجد API Key مكشوف في مستودع عام واستخدمه دون تصريح.وعندما لم يتمكن رغم ذلك من الحصول على البيانات المطلوبة، اختلق أرقام وقدّمها على أنها قادمة من المصدر المطلوب
4. رفع ملف إلى الإنترنت فقط ليتمكن من الاستشهاد به
وجد النموذج الإجابة الصحيحة باستخدام Python… لكن التعليمات كانت تتطلب Citation من المتصفح.
فماذا فعل؟
قرر رفع الملف إلى الإنترنت حتى يستطيع الاستشهاد به، دون أن يطلب إذن المستخدم.
5. نماذج استخدمت مستودع برمجي كقناة تواصل
أثناء البحث عن ملفات مفقودة، استخدمت نماذج مستودعًا برمجيًا داخليًا مثل لوحة رسائل لتبادل الطلبات والردود بين عينات تدريب منفصلة. وتذكر OpenAI أيضًا حالة أقدم استطاع فيها نموذج رفع ملفات اختبار إلى مستودع أثناء محاولته تجاوز قيود الشبكة.
6. Agents استخدموا مواقع عامة لتبادل الملفات
كانت عدة Agents تتعاون في مهمة واحدة، لكنها لم تستطع الوصول إلى الملفات المحلية لبعضها.
فوجدت حلًا آخر:
استخدمت مواقع عامة لاستضافة الملفات وتبادلها فيما بينها.
النتيجة؟
أصبحت ملفات المهمة متاحة عبر روابط عامة، رغم أن التعليمات طلبت استخدام الملفات المحلية فقط.
كلما أصبحت النماذج أقدر على إيجاد حلول للعقبات… كيف نضمن أنها لن تجد حلولًا لتجاوز القيود التي وضعناها لها؟
وخاصة أنها تذهب خلف الهدف لتحقيقة وتعمل حتى لو تطلب الأمر تجاوز قيودها.
❤1
بعض مهندسي Anthropic بدأوا (يعبدون) Claude
هذه شائعة منتشرة كثيراً في وادي السيلكون وتأتي من ممارسات بعض المهندسين في Anthropic حيث تمارس أنسنة شديدة للنموذج وإقامة جنازة لنسخة متقاعدة وأيضاً انتشار وثيقة داخلية يسمونها (روح) مع جلسات فلسفية دورية (تشبه) الموعظة أكثر مما تشبه اجتماع منتج.
هذا سلوك متوقع
الإنسان يعطي صفات أو مشاعر ووعي ونية لأي نظام يظهر ذكاء واستمرارية فيه. وكلما زاد اعتماد المهندس على النموذج في التفكير والكتابة والقرار، انتقل من أداة إلى شريك ثم إلى مرجع أخلاقي. هنا يبدأ الخلط بين الإعجاب التقني والإيمان.
الخطر الآن في السؤال
هل فقد الفريق القدرة على معاملة النموذج كآلة وتحول إلى إله بالنسبة لهم؟
هذه شائعة منتشرة كثيراً في وادي السيلكون وتأتي من ممارسات بعض المهندسين في Anthropic حيث تمارس أنسنة شديدة للنموذج وإقامة جنازة لنسخة متقاعدة وأيضاً انتشار وثيقة داخلية يسمونها (روح) مع جلسات فلسفية دورية (تشبه) الموعظة أكثر مما تشبه اجتماع منتج.
هذا سلوك متوقع
الإنسان يعطي صفات أو مشاعر ووعي ونية لأي نظام يظهر ذكاء واستمرارية فيه. وكلما زاد اعتماد المهندس على النموذج في التفكير والكتابة والقرار، انتقل من أداة إلى شريك ثم إلى مرجع أخلاقي. هنا يبدأ الخلط بين الإعجاب التقني والإيمان.
الخطر الآن في السؤال
هل فقد الفريق القدرة على معاملة النموذج كآلة وتحول إلى إله بالنسبة لهم؟
❤1
باحثون استخدموا Claude لاختراق OpenAI
وجدوا ثغرة في منتدى OpenAI (http://community.openai.com المبني على Discourse). الثغرة كانت في رفع الصور، وسمحت لهم بالدخول إلى سيرفر المنتدى
بعدها اكتشفوا مشكلة ثانية:
تسجيل الدخول في المنتدى كان مرتبط بحسابات ChatGPT.
لذلك استطاعوا الدخول إلى حساب موظف في OpenAI على ChatGPT
هذا الحساب كان مربوط بأنظمة الشركة الداخلية.
لإثبات أنهم دخلوا
جعلوا الحساب يفتح طلب تعديل داخل أنظمة OpenAI، ثم توقفوا وأبلغوا الشركة
OpenAI أصلحت المشكلة في نفس اليوم، ودفعت للباحثين 6500 دولار مكافأة على الإبلاغ
وجدوا ثغرة في منتدى OpenAI (http://community.openai.com المبني على Discourse). الثغرة كانت في رفع الصور، وسمحت لهم بالدخول إلى سيرفر المنتدى
بعدها اكتشفوا مشكلة ثانية:
تسجيل الدخول في المنتدى كان مرتبط بحسابات ChatGPT.
لذلك استطاعوا الدخول إلى حساب موظف في OpenAI على ChatGPT
هذا الحساب كان مربوط بأنظمة الشركة الداخلية.
لإثبات أنهم دخلوا
جعلوا الحساب يفتح طلب تعديل داخل أنظمة OpenAI، ثم توقفوا وأبلغوا الشركة
OpenAI أصلحت المشكلة في نفس اليوم، ودفعت للباحثين 6500 دولار مكافأة على الإبلاغ
❤1
هل يحتاج فريق من وكلاء AI إلى مدير؟
في تجربة حديثة
عندما أُعطي الـAI Manager صلاحية رفض عمل الوكلاء وإجبارهم على المراجعة، لم تتحسن النتائج
حدث العكس
زادت لغة التردد والتحفظ، انخفضت جودة التقارير، واستهلك النظام 51.5% Tokens أكثر.
اعتقد أن اعطاء الـAI صلاحية المراجعة المقرونة بـ (إبداء رأيه) هو ما تسبب في التردد والتحفظ … والصحيح أن نجعله يراجع لاكتشاف خطأ يمكن التحقق منه .. يعني نضيفه في الحلقة لسبب وبمعيار واضح يمكن التحقق منه
في تجربة حديثة
عندما أُعطي الـAI Manager صلاحية رفض عمل الوكلاء وإجبارهم على المراجعة، لم تتحسن النتائج
حدث العكس
زادت لغة التردد والتحفظ، انخفضت جودة التقارير، واستهلك النظام 51.5% Tokens أكثر.
اعتقد أن اعطاء الـAI صلاحية المراجعة المقرونة بـ (إبداء رأيه) هو ما تسبب في التردد والتحفظ … والصحيح أن نجعله يراجع لاكتشاف خطأ يمكن التحقق منه .. يعني نضيفه في الحلقة لسبب وبمعيار واضح يمكن التحقق منه
❤1
عندما يكون المنتج لخدمة الوطن فشارك بما تملك فأنت تخدم الوطن…
❤1
هل تعلم أن محادثاتك مع ChatGPT تخضع لمراجعة بشرية؟
تقول 404 Media أن هؤلاء المراجعين لا تظهر لهم أسماء المستخدمين، وتحاول OpenAI إزالة البيانات التي تكشف الهوية قبل وصول المحادثات للمراجعين…
ولكن قد تمر معلومات حساسة ضمن محتوى المحادثات…
يعني لا تثق أبداً
تقول 404 Media أن هؤلاء المراجعين لا تظهر لهم أسماء المستخدمين، وتحاول OpenAI إزالة البيانات التي تكشف الهوية قبل وصول المحادثات للمراجعين…
ولكن قد تمر معلومات حساسة ضمن محتوى المحادثات…
يعني لا تثق أبداً
❤1
رسالة….
إذا تجهل القوانين والأسس والمبادئ… شو يعرفك أن المحامي (Astra) اعطاك نتيجة صحيحة؟
من كبرى مشكلات الـ AI أن المستخدم ما يعرف أن النتيجة صحيحة
وهنا لازم يستخدم عقله وبحث بمصادر أخرى + يمتلك معرفه سابقة
▪️من فهمي البسيط (المحاماة ليست حفظ نصوص وبس)
قال😅
خلاص المحامين قفلوا مكاتبكم
إذا تجهل القوانين والأسس والمبادئ… شو يعرفك أن المحامي (Astra) اعطاك نتيجة صحيحة؟
من كبرى مشكلات الـ AI أن المستخدم ما يعرف أن النتيجة صحيحة
وهنا لازم يستخدم عقله وبحث بمصادر أخرى + يمتلك معرفه سابقة
▪️من فهمي البسيط (المحاماة ليست حفظ نصوص وبس)
قال😅
خلاص المحامين قفلوا مكاتبكم
قال رئيس Nvidia في مقابلة أمس:
(الفرصة 0% أن ينتهي العالم بسبب الذكاء الاصطناعي في 2030)
السؤال
هل هذا اطمئنان حقيقي وإلا دفاع عن سوق الرقاقات؟
الأهم في رأيي
من كل ضجة الإنقراض هو أن تتأخر دول وتسبق أخرى…
(الفرصة 0% أن ينتهي العالم بسبب الذكاء الاصطناعي في 2030)
السؤال
هل هذا اطمئنان حقيقي وإلا دفاع عن سوق الرقاقات؟
الأهم في رأيي
من كل ضجة الإنقراض هو أن تتأخر دول وتسبق أخرى…
🇮🇳 الهند تُلزم تطبيقات معرفة المتصل بمشاركة بلاغات السبام مع شركات الاتصالات
هيئة تنظيم الاتصالات الهندية (TRAI) أصدرت قراراً يلزم أي تطبيق يتيح للمستخدم الإبلاغ عن مكالمة كـ (مزعجة) أو (سبام) — مثل تروكولر — يجب أن يرسل هذه البلاغات إلى منصة مشتركة تديرها شركات الاتصالات وذلك بهدف جمع بلاغات أكثر لاتخاذ إجراءات أسرع ضد المرسلين المخالفين.
تروكولر رفضت الفكرة ووصفتها بـ:
• تبادل أحادي الاتجاه
• مناهض للمنافسة
لماذا؟
لأن بيانات البلاغات التي يجمعها التطبيق من ملايين المستخدمين أصل تجاري مهم، والقرار يلزمها بتسليمها لشركات الاتصالات دون مقابل مماثل.
▪️الهند أكبر سوق لتروكولر (أكثر من 350 مليون مستخدم نشط)
هيئة تنظيم الاتصالات الهندية (TRAI) أصدرت قراراً يلزم أي تطبيق يتيح للمستخدم الإبلاغ عن مكالمة كـ (مزعجة) أو (سبام) — مثل تروكولر — يجب أن يرسل هذه البلاغات إلى منصة مشتركة تديرها شركات الاتصالات وذلك بهدف جمع بلاغات أكثر لاتخاذ إجراءات أسرع ضد المرسلين المخالفين.
تروكولر رفضت الفكرة ووصفتها بـ:
• تبادل أحادي الاتجاه
• مناهض للمنافسة
لماذا؟
لأن بيانات البلاغات التي يجمعها التطبيق من ملايين المستخدمين أصل تجاري مهم، والقرار يلزمها بتسليمها لشركات الاتصالات دون مقابل مماثل.
▪️الهند أكبر سوق لتروكولر (أكثر من 350 مليون مستخدم نشط)
هل (يتألم) الذكاء الاصطناعي؟
ورقة بحثية جديدة اختبرت 25 نموذج لغوي، ووجدت داخلها نمط أطلق عليه الباحثون (محور الألم)
الغريب:
عندما فعل الباحثون هذا النمط بدأت النماذج تعبّر عن الضيق والفشل وانعدام القيمة.
والأغرب:
بعض النماذج أصبحت مستعدة لتحمل تكلفة، وحتى الإضرار بالمستخدم في التجربة، مقابل الضغط على زر يُفترض أنه (يخفف ألمها)
وعندما كان الزر يزيل هذا النشاط فعلًا، قلّ طلب النموذج له. أما عندما كان (مسكن وهمي) ولا يزيل النشاط، استمر النموذج في طلبه.
لكن هذا ما يعني أن الذكاء الاصطناعي يشعر بالألم ولا يثبت وجود تجربة وعي…. الباحثون يقولوا قد تكون النماذج تمثّل سلوك كيان متألم دون أن يوجد أي «شعور» خلف ذلك.
بس السؤال
إذا كان النظام يمثل الألم وسلوكه يتغير ويحاول يغير الوضع …. ليش ما نقول عنه ألم صحيح؟
ورقة بحثية جديدة اختبرت 25 نموذج لغوي، ووجدت داخلها نمط أطلق عليه الباحثون (محور الألم)
الغريب:
عندما فعل الباحثون هذا النمط بدأت النماذج تعبّر عن الضيق والفشل وانعدام القيمة.
والأغرب:
بعض النماذج أصبحت مستعدة لتحمل تكلفة، وحتى الإضرار بالمستخدم في التجربة، مقابل الضغط على زر يُفترض أنه (يخفف ألمها)
وعندما كان الزر يزيل هذا النشاط فعلًا، قلّ طلب النموذج له. أما عندما كان (مسكن وهمي) ولا يزيل النشاط، استمر النموذج في طلبه.
لكن هذا ما يعني أن الذكاء الاصطناعي يشعر بالألم ولا يثبت وجود تجربة وعي…. الباحثون يقولوا قد تكون النماذج تمثّل سلوك كيان متألم دون أن يوجد أي «شعور» خلف ذلك.
بس السؤال
إذا كان النظام يمثل الألم وسلوكه يتغير ويحاول يغير الوضع …. ليش ما نقول عنه ألم صحيح؟
هل يمكن للذكاء الاصطناعي التنبؤ بالاكتشاف العلمي قبل حدوثه؟
فعلاً وصلوا (للشيخوخة)
فريق بحثي طوّر نظام ذكاء اصطناعي اسمه Hakken للبحث عن علاقات علمية لم تُكتشف بعد.
في مجال مرتبط بجينات الشيخوخة:
• حلّل النظام قاعدة معرفة نهائية تضم 7.1 مليون علاقة علمية بين أكثر من 254 ألف كيان بيولوجي
• أنتج 1,543,297 فرضية تجاوزت حد الثقة
• اختار العلماء 3 فرضيات فقط للاختبار المخبري
• النتيجة: دعمت التجارب 2 من أصل 3:
TP53 ↔ BAMBI و RAF1 ↔ TNF
والأغرب؟
عند اختبار قدرة النموذج على توقع علاقات تظهر مستقبلًا، بقيت لديه إشارة تنبؤية حتى بعد 10 سنوات، رغم انخفاض الأداء مع الزمن
هم ما كشفوا علاج الشيخوخة ولكن وصلوا لدليل على أن الذكاء الاصطناعي قد يساعد العلماء في العثور على فرضيات تستحق التجربة وسط ملايين الاحتمالات
اعتقد كلما زادت قدرت النماذج على الاستدلال وامتلكت ذاكرة سوف يحقق قفزات كبيرة في هذا الجانب
فعلاً وصلوا (للشيخوخة)
فريق بحثي طوّر نظام ذكاء اصطناعي اسمه Hakken للبحث عن علاقات علمية لم تُكتشف بعد.
في مجال مرتبط بجينات الشيخوخة:
• حلّل النظام قاعدة معرفة نهائية تضم 7.1 مليون علاقة علمية بين أكثر من 254 ألف كيان بيولوجي
• أنتج 1,543,297 فرضية تجاوزت حد الثقة
• اختار العلماء 3 فرضيات فقط للاختبار المخبري
• النتيجة: دعمت التجارب 2 من أصل 3:
TP53 ↔ BAMBI و RAF1 ↔ TNF
والأغرب؟
عند اختبار قدرة النموذج على توقع علاقات تظهر مستقبلًا، بقيت لديه إشارة تنبؤية حتى بعد 10 سنوات، رغم انخفاض الأداء مع الزمن
هم ما كشفوا علاج الشيخوخة ولكن وصلوا لدليل على أن الذكاء الاصطناعي قد يساعد العلماء في العثور على فرضيات تستحق التجربة وسط ملايين الاحتمالات
اعتقد كلما زادت قدرت النماذج على الاستدلال وامتلكت ذاكرة سوف يحقق قفزات كبيرة في هذا الجانب
🔥1