🔍 شرکت OpenAI به قانون شفافیت اتحادیه اروپا پیوست: واترمارک نامرئی برای متن‌های ChatGPT و Codex
شرکت OpenAI رسماً حمایت خود را از آیین‌نامه رفتار اتحادیه اروپا درباره شفافیت محتوای تولیدشده با هوش مصنوعی اعلام کرد. بر اساس این تعهد، در هفته‌های آینده یک واترمارک نامرئی و ماشین‌خوان به متن‌های تولیدشده توسط ChatGPT و Codex در اتحادیه اروپا اضافه می‌شود. این اقدام برای همسویی با ماده ۵۰ قانون هوش مصنوعی اتحادیه اروپا انجام می‌شود که از ۲ اوت ۲۰۲۶ لازم‌الاجرا شده است.
🔹 فناوری textGrain: واترمارک چطور کار می‌کند؟
فناوری جدید OpenAI textGrain نام دارد. برخلاف واترمارک‌های سنتی که کاراکترهای مخفی به متن اضافه می‌کنند، textGrain یک سیگنال آماری نامرئی در انتخاب واژه‌های مدل جاسازی می‌کند. یک آشکارساز اختصاصی می‌تواند این سیگنال را جستجو کند. به گفته OpenAI، فناوری textGrain در آزمایش‌ها عملکردی هم‌سطح یا بهتر از SynthID متنی گوگل داشت.
🔹 دسترسی و عرضه
· کاربران اتحادیه اروپا: در هفته‌های آینده، تمام طرح‌های ChatGPT و Codex در اروپا واترمارک دریافت می‌کنند.
· هنگام استفاده از API: مشتریان API در سراسر جهان می‌توانند به‌صورت اختیاری واترمارک را برای مدل‌های منتخب فعال کنند (به‌صورت پیش‌فرض غیرفعال است).
· آشکارساز: فعلاً فقط در اختیار پژوهشگران و سازمان‌های متخصص تأییدشده قرار می‌گیرد. OpenAI هنوز آن را به‌صورت عمومی منتشر نکرده است.
🔹 محدودیت‌های مهم
خود OpenAI صادقانه محدودیت‌ها را اعلام کرده است:
· ویرایش، واترمارک را ضعیف می‌کند: جایگزینی فقط ۱۰٪ از کلمات با مترادف، دقت تشخیص را از ۹۲٪ به ۶۶٪ کاهش می‌دهد. با جایگزینی ۲۵٪ کلمات، دقت به ۱۷٪ سقوط می‌کند.
· متن‌های کوتاه تشخیص را دشوارتر می‌کنند.
· واترمارک مالکیت، صحت، مسئولیت یا میزان مشارکت انسان را اثبات نمی‌کند.
· شرکت OpenAI تأکید کرده که textGrain تضمینی برای تشخیص قابل‌اعتماد در همه شرایط نیست.
🔹 پیشینه: لایه‌های منشأ (Provenance) OpenAI
شرکت OpenAI از سال ۲۰۲۴ استانداردهای منشأ را توسعه داده است. این شرکت از متادیتای C2PA برای تصاویر DALL-E 3 و ImageGen استفاده می‌کند و SynthID را برای تصاویر و صداها به کار می‌برد. C2PA اطلاعات منشأ و ویرایش را به فایل متصل می‌کند، در حالی که SynthID سیگنالی را حفظ می‌کند که حتی پس از حذف متادیتا باقی می‌ماند. OpenAI همچنین یک ابزار عمومی تأیید راه‌اندازی کرده که می‌تواند بررسی کند آیا یک تصویر با ChatGPT، API یا Codex ساخته شده است.
🔹 اهمیت موضوع
· شفافیت: کاربران می‌توانند بفهمند محتوایی که می‌بینند از کجا آمده است.
· مبارزه با اطلاعات نادرست: منشأ محتوا به شناسایی کمپین‌های اطلاعات نادرست و حمایت از یکپارچگی انتخابات کمک می‌کند.
· همکاری صنعتی: OpenAI، Anthropic، Google، Meta، Microsoft و ده‌ها شرکت دیگر به این آیین‌نامه پیوسته‌اند.
🔹 چالش‌های فنی و انتقادات
· ضعف C2PA: یک تحلیل امنیتی رسمی نشان داده که C2PA به اهداف امنیتی خود نمی‌رسد: امضاکنندگان و تأییدکنندگان روی مهر زمانی مورد اعتماد توافق ندارند و سیاست‌های ابطال گواهی ناکافی، باعث پذیرش مانیفست‌های امضاشده با گواهی‌های شناخته‌شده به‌عنوان آلوده می‌شود.
· آسیب‌پذیری SynthID متنی: پژوهش‌ها نشان داده که SynthID-Text به حملات بازنویسی (paraphrasing) حساس است و حتی می‌تواند بر انتخاب ابزار و پایبندی به محافظ‌ها تأثیر بگذارد.
· دسترسی محدود آشکارساز: انتشار عمومی آشکارساز به دلیل خطر مثبت کاذب و منفی کاذب فعلاً محدود شده است.
🎯 جمع‌بندی
شرکت OpenAI با اتخاذ رویکرد «منشأ لایه‌ای» — ترکیب متادیتای C2PA، واترمارک SynthID و اکنون textGrain برای متن — تلاش می‌کند شفافیت محتوای تولیدشده با هوش مصنوعی را افزایش دهد. اما همان‌طور که خود این شرکت تأکید کرده، این فناوری‌ها جایگزین قضاوت انسانی و راستی‌آزمایی مستقل نیستند. واترمارک‌ها می‌توانند ویرایش شوند، مترادف‌ها تشخیص را مختل کنند و متن‌های کوتاه چالش‌برانگیز باشند. شفافیت واقعی نیازمند ترکیب فناوری، آگاهی کاربر و نظارت مستقل است.
🔗 منبع:
OpenAI — Supporting the EU’s trustworthy AI ecosystem
#AI #OpenAI #EUAIAct #ContentProvenance #textGrain #C2PA #Transparency
🆔 @asrgooyeshpardaz
شرکت OpenAI رسماً حمایت خود را از آیین‌نامه رفتار اتحادیه اروپا درباره شفافیت محتوای تولیدشده با هوش مصنوعی اعلام کرد. بر اساس این تعهد، در هفته‌های آینده یک واترمارک نامرئی و ماشین‌خوان به متن‌های تولیدشده توسط ChatGPT و Codex در اتحادیه اروپا اضافه می‌شود. این اقدام برای همسویی با ماده ۵۰ قانون هوش مصنوعی اتحادیه اروپا انجام می‌شود که از ۲ اوت ۲۰۲۶ لازم‌الاجرا شده است.
🔹 فناوری textGrain: واترمارک چطور کار می‌کند؟
فناوری جدید OpenAI textGrain نام دارد. برخلاف واترمارک‌های سنتی که کاراکترهای مخفی به متن اضافه می‌کنند، textGrain یک سیگنال آماری نامرئی در انتخاب واژه‌های مدل جاسازی می‌کند. یک آشکارساز اختصاصی می‌تواند این سیگنال را جستجو کند. به گفته OpenAI، فناوری textGrain در آزمایش‌ها عملکردی هم‌سطح یا بهتر از SynthID متنی گوگل داشت.
🔹 دسترسی و عرضه
· کاربران اتحادیه اروپا: در هفته‌های آینده، تمام طرح‌های ChatGPT و Codex در اروپا واترمارک دریافت می‌کنند.
· هنگام استفاده از API: مشتریان API در سراسر جهان می‌توانند به‌صورت اختیاری واترمارک را برای مدل‌های منتخب فعال کنند (به‌صورت پیش‌فرض غیرفعال است).
· آشکارساز: فعلاً فقط در اختیار پژوهشگران و سازمان‌های متخصص تأییدشده قرار می‌گیرد. OpenAI هنوز آن را به‌صورت عمومی منتشر نکرده است.
🔹 محدودیت‌های مهم
خود OpenAI صادقانه محدودیت‌ها را اعلام کرده است:
· ویرایش، واترمارک را ضعیف می‌کند: جایگزینی فقط ۱۰٪ از کلمات با مترادف، دقت تشخیص را از ۹۲٪ به ۶۶٪ کاهش می‌دهد. با جایگزینی ۲۵٪ کلمات، دقت به ۱۷٪ سقوط می‌کند.
· متن‌های کوتاه تشخیص را دشوارتر می‌کنند.
· واترمارک مالکیت، صحت، مسئولیت یا میزان مشارکت انسان را اثبات نمی‌کند.
· شرکت OpenAI تأکید کرده که textGrain تضمینی برای تشخیص قابل‌اعتماد در همه شرایط نیست.
🔹 پیشینه: لایه‌های منشأ (Provenance) OpenAI
شرکت OpenAI از سال ۲۰۲۴ استانداردهای منشأ را توسعه داده است. این شرکت از متادیتای C2PA برای تصاویر DALL-E 3 و ImageGen استفاده می‌کند و SynthID را برای تصاویر و صداها به کار می‌برد. C2PA اطلاعات منشأ و ویرایش را به فایل متصل می‌کند، در حالی که SynthID سیگنالی را حفظ می‌کند که حتی پس از حذف متادیتا باقی می‌ماند. OpenAI همچنین یک ابزار عمومی تأیید راه‌اندازی کرده که می‌تواند بررسی کند آیا یک تصویر با ChatGPT، API یا Codex ساخته شده است.
🔹 اهمیت موضوع
· شفافیت: کاربران می‌توانند بفهمند محتوایی که می‌بینند از کجا آمده است.
· مبارزه با اطلاعات نادرست: منشأ محتوا به شناسایی کمپین‌های اطلاعات نادرست و حمایت از یکپارچگی انتخابات کمک می‌کند.
· همکاری صنعتی: OpenAI، Anthropic، Google، Meta، Microsoft و ده‌ها شرکت دیگر به این آیین‌نامه پیوسته‌اند.
🔹 چالش‌های فنی و انتقادات
· ضعف C2PA: یک تحلیل امنیتی رسمی نشان داده که C2PA به اهداف امنیتی خود نمی‌رسد: امضاکنندگان و تأییدکنندگان روی مهر زمانی مورد اعتماد توافق ندارند و سیاست‌های ابطال گواهی ناکافی، باعث پذیرش مانیفست‌های امضاشده با گواهی‌های شناخته‌شده به‌عنوان آلوده می‌شود.
· آسیب‌پذیری SynthID متنی: پژوهش‌ها نشان داده که SynthID-Text به حملات بازنویسی (paraphrasing) حساس است و حتی می‌تواند بر انتخاب ابزار و پایبندی به محافظ‌ها تأثیر بگذارد.
· دسترسی محدود آشکارساز: انتشار عمومی آشکارساز به دلیل خطر مثبت کاذب و منفی کاذب فعلاً محدود شده است.
🎯 جمع‌بندی
شرکت OpenAI با اتخاذ رویکرد «منشأ لایه‌ای» — ترکیب متادیتای C2PA، واترمارک SynthID و اکنون textGrain برای متن — تلاش می‌کند شفافیت محتوای تولیدشده با هوش مصنوعی را افزایش دهد. اما همان‌طور که خود این شرکت تأکید کرده، این فناوری‌ها جایگزین قضاوت انسانی و راستی‌آزمایی مستقل نیستند. واترمارک‌ها می‌توانند ویرایش شوند، مترادف‌ها تشخیص را مختل کنند و متن‌های کوتاه چالش‌برانگیز باشند. شفافیت واقعی نیازمند ترکیب فناوری، آگاهی کاربر و نظارت مستقل است.
🔗 منبع:
OpenAI — Supporting the EU’s trustworthy AI ecosystem
#AI #OpenAI #EUAIAct #ContentProvenance #textGrain #C2PA #Transparency
🆔 @asrgooyeshpardaz
😭2❤1