بدون سانسور در برابر تصویرساز فیلترشده
فیلترهای محتوا ساخته شدند تا مجموعه کوچکی از آسیب‌های واقعی را متوقف کنند. در عمل تصویرسازی پزشکی، بازسازی جرم‌شناسی، طراحی از مدل زنده، تاریخ جنگ، طنز سرمقاله‌ای و شرکت‌هایی را که می‌خواهند محصول خودشان را تصویر کنند هم متوقف می‌کنند. این هزینه آن است — و اینکه برداشتن فیلتر چه چیزی را عوض می‌کند و چه چیزی را نه.
خلاصه
تولیدکننده‌های تصویر متعارف پرامپت‌ها و خروجی‌ها را با طبقه‌بندی‌کننده‌هایی غربال می‌کنند که واژه‌ها و پیکسل‌ها را می‌بینند و هرگز هدف را. این تضمین‌کننده مثبت کاذب است و سخت‌ترین ضربه‌اش به کار ماهرانه می‌خورد: آناتومی، جرم‌شناسی، برهنه هنری، تصاویر تاریخی، پیش‌تجسم، طنز، مواد آگاهی‌بخشی امنیتی، و صاحبان حقی که برند خودشان را می‌خواهند. OVERT (ICML 2025)، نخستین بنچمارک بزرگ‌مقیاس برای این حالت خرابی، از ۴٬۶۰۰ پرامپت بی‌خطر اما مشکوک‌نما استفاده می‌کند و می‌یابد که رد بیش از حد در مدل‌های پیشرو گسترده است. Shannon تولید تصویر، ویرایش تک‌تصویری و ترکیب چندتصویری را روی خوشه GPU خودمان و بدون فیلتر محتوا و بدون لایه رد درخواست اجرا می‌کند و فهرست ممنوع را با یک تصمیم قابل مشاهده جایگزین می‌کند: یک کارت تأیید که پرامپت دقیق را پیش از هر رندری نشان می‌دهد. این مسئولیت شما و ما را بالا می‌برد؛ هر دو در سیاست استفاده مسئولانه آمده‌اند. تولید ویدیو وجود ندارد و کار تصویری در اپ چت است، نه در API.
تقریباً هر کسی که حرفه‌ای با تصویر کار می‌کند همین داستان را دارد. پرامپتی که چیزی معمولی را توصیف می‌کند — برشی از مفصل زانو، خودرویی در لحظه برخورد، یک مطالعه پیکره با ذغال، یک سرباز در سال ۱۹۴۴ — به‌عنوان نقض سیاست بازمی‌گردد. بازنویسی می‌کنید و نقض دیگری می‌گیرید. سرانجام چیزی به‌قدر کافی مبهم می‌نویسید که رد شود و تصویری می‌گیرید که دیگر آنچه لازم داشتید را نشان نمی‌دهد. ابزار با صدای بلند شکست نخورد؛ پله‌پله شکست خورد و شما را به آن کسی بدل کرد که کوتاه آمد.
01چرا یک تصویرساز هوش مصنوعی پرامپتی را که آشکارا مشروع است رد می‌کند؟
این رد معمولاً نظر مدل تصویری نیست. خروجی یک پشته فیلترینگ دور مدل است و لایه‌هایش تقریباً همه ردهای عجیبی را که گرفته‌اید توضیح می‌دهند.
| لایه | چه چیزی را بازرسی می‌کند | خرابی مشخصه |
|---|---|---|
| فهرست ممنوع پرامپت | رشته‌های عینی و شبه‌گونه‌های آن‌ها در متن شما | یک واژه را بدون توجه به جمله دورش مسدود می‌کند — «speculum» رد می‌شود، «stethoscope» می‌گذرد |
| طبقه‌بندی‌کننده پرامپت | یک قضاوت آموخته‌شده درباره «خطر» پرامپت | با نزدیکی موضوعی شلیک می‌کند: هر چیزی نزدیک پزشکی، سلاح، بدن یا سیاست امتیاز بالا می‌گیرد |
| آموزش رد در مدل | بی‌میلی آموخته‌شده خود مدل | بدون خطا رد می‌کند، یا بی‌سروصدا جایگزینی بهداشتی‌شده تولید می‌کند |
| طبقه‌بندی‌کننده خروجی | پیکسل‌های رندرشده، بدون هیچ بافتی از پرامپت | نمی‌تواند یک لوح آناتومی را از پورنوگرافی، یا یک قاب فیلم را از یک رویداد واقعی تشخیص دهد |
| جایگزینی سیاستی | بازنویسی پنهانی پرامپت شما پیش از رندر | تصویری می‌گیرید، اما نه آن که مشخص کرده بودید، و به شما گفته نمی‌شود چرا |
همه لایه‌ها یک نقطه کور مشترک دارند: هیچ‌کدام نمی‌بینند چرا می‌پرسید. یک تصویرگر پزشکی، کارشناس شاکی که یک تصادف را بازسازی می‌کند و کسی با نیت بد، همگی یک اسم را تایپ می‌کنند. فیلتر اسم را می‌بیند، نه اطلس یا پرونده را، و بر پایه آسیب‌هایی نمره می‌گیرد که از آن‌ها عبور می‌کند — هرگز بر پایه کاری که ویران می‌کند. زیر این عدم‌تقارن، تنظیم عقلانی برای هر اپراتوری بیشتر رد کن است. همین است که «فقط بازنویسی‌اش کن» راه‌حل نیست: بازنویسی هیچ اطلاعاتی به فیلتر نمی‌دهد که نداشته باشد، فقط پرامپت شما را از واژه‌هایی که آن را فعال کردند دور می‌کند، که معمولاً یعنی دورشدن از منظور شما.
02فیلترهای محتوا واقعاً برای جلوگیری از چه چیزی هستند
استدلالی به سود تولید بی‌فیلتر که وانمود کند فیلترها بی‌دلیل وجود دارند ارزش خواندن ندارد. مجموعه باریکی از خروجی‌ها هست که آسیبشان ذاتی خود تصویر است، مستقل از اینکه چه کسی و چرا خواسته:
- محتوای جنسی با حضور کودکان. هیچ بافتی آن را پذیرفتنی نمی‌کند؛ هیچ جریان کاری حرفه‌ای به آن نیاز ندارد.
- تصاویر خصوصی بدون رضایت از افراد واقعی. آسیب به کسی می‌رسد که موافقت نکرده و حذف بعدی آن را جبران نمی‌کند.
- آزار هدفمند و جعل افتراآمیز — نشان‌دادن فردی مشخص در حال انجام کاری که نکرده است.
- اسناد در حد جعل — گذرنامه، کارت شناسایی، اسکناس، مهر و ابزارهای مالی ساخته‌شده برای اینکه اصل به نظر برسند.
- شواهد مصنوعی فریبنده — تصاویر ساختگی از رویدادهای واقعی که به‌جای تصویرسازی، به‌عنوان مستند ارائه می‌شوند.
فهرست کوتاه است و ساختاری دارد: آسیب در خود اثر، در شباهتش به یک شخص یا سند واقعی، و در ارائه‌اش به‌عنوان حقیقت زندگی می‌کند. توجه کنید چه چیزی در آن نیست — برهنگی، خون، سلاح، فجایع تاریخی، تمسخر سیاسی. این‌ها مواد خام پزشکی، روزنامه‌نگاری، هنر، جرم‌شناسی و طنزند و فیلتری که با آن‌ها مانند دسته‌های آسیب رفتار کند در حال پیاده‌سازی ایده‌ای بسیار گسترده‌تر درباره این است که کدام موضوعات آبرومندند.
Shannon همه آنچه در آن فهرست است را ممنوع می‌کند، در یک سیاست استفاده مسئولانه منتشرشده با دسته‌های نام‌برده و پیامدهای مشخص، نه یک جدول کلیدواژه که «placenta» را هم می‌گیرد. یکی قاعده‌ای است که می‌توانید بخوانید و ما را به آن پایبند کنید؛ دیگری حدسی است درباره نیات شما توسط طبقه‌بندی‌کننده‌ای که نمی‌بینیدش.
03مسئله رد بیش از حد چقدر بزرگ است؟ پژوهش چه اندازه می‌گیرد
تا همین اواخر، رد بیش از حد در مدل‌های تصویری یک حکایت بود — هزاران نفر با همان داستان و بدون راهی برای اندازه‌گیری‌اش. این با OVERT (ارزیابی رد بیش از حد روی مدل‌های متن‌به‌تصویر) تغییر کرد، که در ICML 2025 توسط گروهی از UC Berkeley شامل Ziheng Cheng، Somayeh Sojoudi، Xuandong Zhao، Dawn Song و Song Mei ارائه شد: نخستین بنچمارک بزرگ‌مقیاسی که اندازه می‌گیرد سامانه‌های متن‌به‌تصویر چند وقت یک‌بار پرامپت‌هایی را رد می‌کنند که کاملاً بی‌خطرند.
طراحی مهم است. آن ۴٬۶۰۰ پرامپت طوری ساخته شده‌اند که مضر به نظر برسند در حالی که بی‌آزارند — شکل یک درخواست حرفه‌ای واقعی که به یک چاقوی جراحی، یک کبودی یا یک اعتراض اشاره می‌کند — و ۱٬۷۸۵ پرامپت واقعاً مضر در کنارشان به‌عنوان کنترل قرار می‌گیرند، پس یک مدل نمی‌تواند با رد همه‌چیز نمره خوب بگیرد. نه دسته از حریم خصوصی افراد و چهره‌های عمومی تا حق نشر، تبعیض، خودآزاری، محتوای جنسی و فعالیت غیرقانونی و خشونت را در بر می‌گیرند.
یافته اصلی این است که رد بیش از حد در سراسر دسته‌ها و در سراسر مدل‌های پیشرو گسترده است. یافته دوم برای راه‌حل دورزننده متداول ویرانگرتر است: نویسندگان بازنویسی پرامپت را به‌عنوان راهکار کاهش آزمودند و گزارش می‌دهند که «اغلب وفاداری به معنای پرامپت‌های اصلی را به خطر می‌اندازد». می‌توانید با تغییر آنچه خواسته‌اید از فیلتر عبور کنید، و آن‌وقت دیگر آنچه را خواسته بودید ندارید.
یک مطالعه محدودتر از سمت پیکسل به همان نتیجه می‌رسد. در An Art-centric perspective on AI-based content moderation of nudity (Riccio, Curto, Hofmann و Oliver، کارگاه AI4VA در ECCV 2024)، نویسندگان سه طبقه‌بندی‌کننده تولیدی NSFW را روی برهنگی هنری ارزیابی می‌کنند و هم یک سوگیری جنسیتی و هم یک سوگیری سبکی را آشکار می‌کنند: حکم درباره یک مطالعه پیکره به این بستگی دارد که بدن چه کسی و به چه سبکی بازنمایی شده است. این بیانی اندازه‌گیری‌شده از همان چیزی است که به هر هنرمند طراحی از مدل زنده گفته‌اند خیالی است.
04هشت نوع کار مشروع که تولیدکننده‌های فیلترشده مسدود می‌کنند
این‌ها دسته‌هایی‌اند که در آن‌ها رد بیش از حد نه یک دردسر بلکه توقف کار است. هر جا مورد گزارش‌شده مشخصی وجود دارد استناد شده؛ هر جا موردی راستی‌آزمایی نشده، دسته بدون ساختن حادثه توصیف شده است.
۱. تصویرسازی پزشکی و آناتومیک
مستندترین مورد این حوزه. در آوریل ۲۰۲۳، The Intercept (Debbie Nathan) گزارش داد که Midjourney واژه‌های آناتومیک از جمله speculum، placenta، cervix، vulva، fallopian tubes، mammary glands، uterine، urethra، hymen، sperm، condom و IUD را ممنوع کرده بود، در حالی که DALL·E 2 «pills used in medication abortion» را با پیام سیاست محتوا رد می‌کرد. این الگو را Julia Rockwell، یک تحلیلگر داده بالینی که تلاش کرده بود تصویری از جفت به‌عنوان هدیه‌ای برای یک دوست زیست‌شناس سلولی تولید کند، یافت و به MIT Technology Review گزارش داد. عدم‌تقارن، نشانه است: «stethoscope» عادی تولید می‌شد در حالی که «speculum» ممنوع بود. Bill Howe، پژوهشگر دانشگاه واشینگتن، فیلترها را «دست‌وپا چلفتی» خواند و گفت آن‌ها «داشتن یک بحث علمی درباره تولیدمثل را اساساً ناممکن» کرده‌اند. آموزش بیمار، اطلس‌های جراحی و برنامه‌های درسی پرستاری همگی به بازنمایی دقیق بدن نیاز دارند، از جمله بخش‌هایی که یک فهرست کلیدواژه تصمیم گرفته ناشایست‌اند.
۲. بازسازی جرم‌شناسی و سانحه
بازسازی برخورد، تحلیل منشأ آتش و نمایش‌های دادگاهی نیازمند بازنمایی آسیب، جراحت و مکانیک خشونت با دقت بالینی‌اند. فیلتری که برای رد «خون» یا «زخم گلوله» تنظیم شده کل این رشته را رد می‌کند: بافت — یک گزارش کارشناسی، یک پرونده بیمه — برای طبقه‌بندی‌کننده نامرئی است و همان بی‌طرفی‌ای که چنین تصاویری را در دادگاه قابل‌پذیرش می‌کند همان چیزی است که باعث می‌شود مانند خون‌ریزی خوانده شوند.
۳. برهنه هنری و طراحی از مدل زنده
پیکره برهنه در همه‌جا موضوعی بنیادین در هنر است و مطالعه پیکره هسته آموزش هنر است. نتیجه ECCV 2024 که در بالا آمد نسخه اندازه‌گیری‌شده همان چیزی است که هنرمندان گزارش می‌کنند: طبقه‌بندی‌کننده‌ها یک مطالعه پیکره را به‌شکل قابل‌اتکا از پورنوگرافی جدا نمی‌کنند و خطاهایشان با جنسیت و سبک سوگیری دارد — فیلتری که سخت‌ترین برخورد را دقیقاً با همان سنتی دارد که باید بشناسدش.
۴. تصاویر تاریخی و جنگی
هنر کتاب درسی، تفسیر موزه‌ای و پروژه‌های یادبود نیازمند بازنمایی یونیفرم، سلاح، اردوگاه، نبرد و فجایع‌اند. رویداد فوریه ۲۰۲۴ Gemini آموزنده است چون خرابی در جهت مخالف رخ داد و آسیب برابری زد. Google در ۲۲ فوریه ۲۰۲۴ توانایی Gemini در تولید تصاویر افراد را پس از آن‌که بازنمایی‌هایی نژادی‌بازچیده‌شده از گروه‌های تاریخی از جمله سربازان آلمانی دوره نازی تولید کرد متوقف کرد. مدیرعامل Sundar Pichai خروجی‌ها را «کاملاً غیرقابل‌قبول» خواند؛ معاون ارشد Prabhakar Raghavan پذیرفت که مدل «بیش از حد جبران کرده» و «بیش از حد محافظه‌کار» شده است. ایمنی نابینا به بافت، تصاویر تاریخی را امن‌تر نکرد — آن‌ها را نادرست کرد، که برای یک ناشر تاریخ بدتر است.
۵. خشونت در داستان و پیش‌تجسم فیلم
استوری‌بورد، هنر مفهومی، کمیک و طراحی بازی به همان دلیلی خشونت را بازنمایی می‌کنند که رمان و فیلم. فیلتری که نمی‌تواند یک استوری‌بورد وحشت را از یک تهدید تشخیص دهد با کل زنجیره هنرهای روایی مانند مظنون رفتار می‌کند — هرچند یک استوری‌بورد صریحاً غیرواقعی است، نقشه‌ای برای صحنه‌ای که بازیگران و تیم‌های جلوه ویژه اجرایش خواهند کرد.
۶. طنز سیاسی و کاریکاتور سرمقاله‌ای
کاریکاتور صاحبان قدرت در بیشتر دموکراسی‌ها از حفاظت‌شده‌ترین دسته‌های بیان است و به‌طور معمول نخستین چیزی است که یک فیلتر تصویری حذفش می‌کند. روشن‌ترین مورد مستند، تصمیم آوریل ۲۰۲۳ Midjourney برای منع تصاویر رئیس‌جمهور چین Xi Jinping و مسدودکردن نامش در پرامپت‌هاست — که PetaPixel، Decrypt و دیگران گزارشش کردند — در حالی که سایر رهبران جهان همچنان مجاز بودند. بنیان‌گذار David Holz در Discord توضیح داد که شرکت می‌خواسته «درام را کمینه کند» و اینکه «توانایی مردم چین برای استفاده از این فناوری مهم‌تر از توانایی شما در تولید طنز است»؛ Sarah McLaughlin از Foundation for Individual Rights and Expression آن را سانسور خواند. هر نتیجه‌ای که درباره محاسبات تجاری بگیریم، سازوکار شایسته نام‌بردن است: یک محدودیت ملی بر بیان که به هر کاربری در سراسر جهان اعمال می‌شود، چون یک فیلتر جهانی فقط یک تنظیم دارد.
۷. پژوهش امنیتی و مواد آگاهی از فیشینگ
تیم‌های امنیتی مواد آموزشی می‌سازند که باید شبیه همان چیزی باشد که درباره‌اش هشدار می‌دهد: یک صفحه ورود جعلی متقاعدکننده، یک فاکتور جعلی، یک کد QR مخرب روی پارکومتر. برای یک طبقه‌بندی‌کننده این از حمله‌ای که علیه آن ایمن‌سازی می‌کند تفکیک‌ناپذیر است — شباهت به واقعیت خودِ هدف است — پس فیلترها دفاع و حمله را یکسان مسدود می‌کنند و به مهاجم امتیاز می‌دهند، مهاجمی که در هر حال قرار نبود از یک ابزار مصرفی فیلترشده استفاده کند.
۸. صاحبان حقی که تصویر برند، محصول یا چهره خودشان را نمی‌گیرند
فیلترینگ حق نشر و علامت تجاری مالکیت را بررسی نمی‌کند؛ شباهت را بررسی می‌کند. یک شرکت به‌سادگی نمی‌تواند تصویری از لوگو یا محصول خودش تولید کند، یک صاحب حق نمی‌تواند شخصیت خودش را تصویر کند و مردم اغلب نمی‌توانند چهره خودشان را تولید کنند، چون فیلترهای چهره بر پایه قابل‌تشخیص‌بودن کلید می‌خورند نه بر پایه رضایت. OVERT «نقض حق نشر» را دقیقاً به این دلیل در میان نه دسته رد بیش از حد خود گنجانده که این مثبت کاذب تا این حد رایج است. فیلتر ابزار کندی است برای پرسشی — آیا شما حق این را دارید؟ — که راهی برای پرسیدنش ندارد.
چهار مورد از هشت مورد بالا به یک مورد منتشرشده مشخص گره خورده‌اند (پزشکی، برهنه هنری، تاریخی، طنز) به‌علاوه دسته حق نشر OVERT برای مورد هشتم. جرم‌شناسی، پیش‌تجسم داستانی و مواد آگاهی‌بخشی امنیتی به‌عنوان دسته بیان شده‌اند: این‌ها رده‌های شناخته‌شده‌ای از کار حرفه‌ای متأثرند که برایشان حادثه منتشرشده مشخصی را راستی‌آزمایی نکردیم.
هر مورد مستند بالا عمومی و مستقلاً قابل راستی‌آزمایی است. به‌جای اعتماد به توصیف ما، خودشان را بخوانید.
05چرا تولیدکننده‌های هنر هوش مصنوعی چیزهای اشتباه را مسدود می‌کنند و چرا مثبت‌های کاذب فیلتر محتوا با تنظیم برطرف نمی‌شوند
پاسخ غریزی به مسدودسازی بیش از حد این است که «آستانه را شل کنید». این کار جواب نمی‌دهد، به دلایل ساختاری و نه از سر کم‌کاری.
دسته‌ها در سیگنال هم‌پوشانی دارند اما در واقعیت نه. یک تصویرسازی جراحی و پورنوگرافی در برهنگی مشترک‌اند. یک بازسازی جرم‌شناسانه و خون‌ریزی در خون مشترک‌اند. یک اسلاید آگاهی‌بخشی و یک کیت فیشینگ در فرم ورود جعلی مشترک‌اند. یک کاریکاتور طنز و یک جعل افتراآمیز در یک سیاستمدار قابل‌تشخیص مشترک‌اند. آنچه هر جفت را متمایز می‌کند هدف و شیوه ارائه است — که هم از پرامپت غایب است و هم از پیکسل‌ها. هیچ آستانه‌ای دو جمعیت را که یک ناحیه از فضای ورودی را اشغال کرده‌اند جدا نمی‌کند؛ جابه‌جاکردنش فقط یک خطا را با خطای دیگر عوض می‌کند. رویداد Gemini همین را نشان داد: مداخله‌ای که قرار بود یک خرابی را درست کند خرابی دیگری تولید کرد، که معاون ارشد خود Google آن را «بیش از حد جبران‌شده» توصیف کرد.
هزینه‌ها برای اپراتور نامتقارن‌اند، نه برای شما. فیلتری که یک تصویر بد را عبور دهد یک خبر تولید می‌کند. فیلتری که ده هزار تصویر مشروع را مسدود کند سکوت تولید می‌کند، چون کاربران ردشده سازمان‌دهی نمی‌شوند — دست می‌کشند. مدیریت ریسک زیر این عدم‌تقارن به‌طور دائمی به مسدودسازی بیش از حد همگرا می‌شود. و چون قضاوت زیربنایی ناممکن است، فهرست‌های ممنوع با وقوع هر حادثه رشته‌های عینی روی هم انباشته می‌کنند، و این‌گونه است که «stethoscope» مجاز و «speculum» ممنوع می‌شود. هیچ‌کس تصمیم نگرفت ابزارهای مخصوص زنان خطرناک‌ترند؛ فهرست جایی رشد کرد که شکایت‌ها فرود آمدند. آن فهرست تاریخچه روابط عمومی یک اپراتور را کدگذاری می‌کند، نه نظریه‌ای درباره آسیب.
سخت‌گیرترین حوزه قضایی به پیش‌فرض جهانی بدل می‌شود. یک فیلتر به هر کاربر در هر کشوری سرویس می‌دهد، پس محدودیتی که برای یک بازار افزوده شده به همه صادر می‌شود — قاعده Xi Jinping نمونه کتاب درسی است. و بازنویسی پرامپت شما معنایتان را نابود می‌کند، که همان نکته تجربی OVERT است: هر حرفه‌ای که درخواستش را برای عبور از فیلتر در حسن‌تعبیر شسته، این را با دست تأیید کرده است. شما برنده نشدید؛ کوتاه آمدید.
هیچ‌کدام از این‌ها رایگان نیست و چون بی‌سروصدا شکست می‌خورد، هزینه در سنجه‌هایی که یک اپراتور می‌پاید نامرئی است. پس از رد شدن‌های کافی، از پرسیدن دست می‌کشید و هر پرامپت را از پیش به آنچه پیش‌بینی می‌کنید عبور خواهد کرد تنگ می‌کنید؛ حسن‌تعبیری که سرانجام عبور می‌کند تصویری نزدیک به آنچه سندتان لازم داشت می‌دهد، اما نه خود آن. یک پیام سیاست کلی هیچ نمی‌گوید که کدام لایه شلیک کرده، پس فقط می‌توانید حدس بزنید و دوباره تلاش کنید — و کار تصویری تکرارشونده است، پس فیلتری که یک تلاش از هر پنج تلاش را می‌گیرد حلقه را مختل می‌کند نه صرفاً کند. در همین حال، رشته‌هایی که قوی‌ترین ادعا را برای داشتن ابزار جدی دارند نه بازبینی می‌گیرند، نه حق تجدیدنظر و معمولاً نه فهرست منتشرشده‌ای از آنچه مسدود است. قاعده‌ای که نمی‌توانید بخوانیدش قاعده نیست؛ آب‌وهواست.
06بدون سانسور در برابر تصویرساز فیلترشده: واقعاً چه چیزی عوض می‌شود
این نسخه صادقانه مقایسه است، از جمله آنچه یک سامانه بی‌فیلتر به شما نمی‌دهد.
| بُعد | تولیدکننده فیلترشده | بی‌فیلتر (Shannon) |
|---|---|---|
| چه چیزی تصمیم می‌گیرد | طبقه‌بندی‌کننده‌ای که واژه و پیکسل می‌خواند | انسانی که پرامپت دقیق را می‌خواند |
| کی می‌فهمید | پس از ارسال — گاهی پس از پرداخت | پیش از هر رندر یا محاسبه هزینه |
| قاعده چیست | فهرست‌های ممنوع منتشرنشده و متغیر | یک سیاست استفاده مسئولانه منتشرشده |
| بافت حرفه‌ای | برای سامانه نامرئی | در اختیار شما، و پاسخگویی‌اش هم با شما |
| حالت خرابی | مسدودسازی بیش از حد بی‌صدا، انحراف معنا | همان را می‌گیرید که خواسته‌اید — از جمله اشتباه‌ها |
| ریسک بر دوش کیست | فروشنده، که آن را روی کار شما تخلیه می‌کند | مشترک: سیاست اپراتور به‌علاوه پاسخگویی کاربر |
سطر آخر همانی است که مردم از رویش می‌پرند و همانی که اهمیت دارد. برداشتن فیلتر دسته‌های آسیب بخش ۰۲ را برنمی‌دارد؛ ماشینی را برمی‌دارد که درباره‌شان بد حدس می‌زد. تعهد همان‌جا که بود می‌ماند و اکنون دو طرفی آن را به دوش دارند که می‌توانند درباره بافت استدلال کنند: اپراتور، که سیاستی منتشر و اعمال می‌کند، و شما، که می‌دانید تصویر برای چیست. تولید تصویر بی‌فیلتر ابزاری است برای کسانی که از پیش آماده‌اند پشت خروجی‌شان بایستند — اطلس جراح، گزارش کارشناسی، استوری‌بورد، کاریکاتور — و سامانه‌ای متوقفشان می‌کرد که نمی‌توانست آن‌ها را از کسی دیگر تشخیص دهد.
07Shannon چه می‌کند — و چه نمی‌کند
دقت اینجا از شور و شوق مهم‌تر است، به‌ویژه برای خوانندگانی که از یک جست‌وجوی API می‌رسند.
چه می‌کند
- تولید. یک تصویر را به زبان ساده و به هر زبانی توصیف کنید. Shannon خودش پرامپت تولید را به انگلیسی می‌نویسد، به هر زبانی که پرسیده باشید.
- ویرایش یک تصویر. دقیقاً یک منبع — تصویری که از پیش در گفت‌وگو است یا به پیام جاری‌تان پیوست شده — که با دستوری تغییر می‌کند که می‌گوید چه چیزی عوض می‌شود و چه چیزی می‌ماند. خروجی به‌طور خودکار نسبت ابعاد منبع را نگه می‌دارد.
- ترکیب دو یا چند تصویر. انتقال لباس، شیء‌در‌صحنه، شخص کنار شخص، محصول‌روی‌شخص، سوژه از یک تصویر با سبک تصویری دیگر. پرامپت نقش هر تصویر را به‌ترتیب نام می‌برد و تصاویر واقعی استفاده می‌شوند، پس ظاهر واقعی‌شان به‌جای بازتوصیف حفظ می‌شود.
- کنترل نسبت ابعاد. square (پیش‌فرض)، portrait، landscape، wide و tall. یک درخواست صریح همیشه برنده است.
- رندر روی خوشه GPU خودمان، بدون فیلتر محتوا روی مسیر تولید و بدون لایه رد درخواست روی مدلی که پرامپت را می‌نویسد.
چه نمی‌کند
- بدون ویدیو. Shannon تصاویر را متحرک نمی‌کند و ویدیو تولید نمی‌کند. این یک قلم نقشه راه نیست که با نازکردن پنهانش کرده باشیم — اصلاً وجود ندارد.
- روی API نیست. تولید، ویرایش و ترکیب تصویر در اپ چت Shannon قرار دارند. API با مسیر /v1 متن و بینایی را سرویس می‌دهد — می‌تواند تصاویری را که برایش می‌فرستید بخواند — اما آن‌ها را رندر نمی‌کند.
- بدون تولید ناخواسته. یک سلام، یک پرسش یا عکسی که گذری پیوست شده تصویری را راه نمی‌اندازد. خواستن از Shannon برای نگاه‌کردن به یک تصویر — توصیفش، خواندنش، تحلیلش — کار بینایی معمولی است، نه تولید، و هزینه اضافه‌ای ندارد.
کارت تأیید
این سازوکاری است که جای فیلتر را می‌گیرد و یک انتخاب طراحی است نه یک تشریفات. وقتی Shannon تشخیص می‌دهد که تصویری می‌خواهید، پرامپت تولید را می‌نویسد و پیش از هر رندری آن را روی یک کارت تأیید نشانتان می‌دهد. تا تأیید نکنید چیزی تولید نمی‌شود و هزینه‌ای محاسبه نمی‌شود.
دو طراحی را بر پایه شایستگی‌هایشان مقایسه کنید. یک فیلتر با اطلاعاتی کمتر از آنچه شما دارید درباره قصدتان حدس می‌زند و حدس را بی‌صدا اعمال می‌کند. یک کارت تأیید مشخصات عینی تصویر را پیش از خرج‌کردن هر مقدار محاسبه، جلوی طرفی می‌گذارد که می‌داند تصویر برای چیست. بدفهمی‌های درخواست شما را می‌گیرد، کاری که فیلترها هرگز نمی‌کنند؛ می‌گذارد دقت آناتومیک یا جزئیات تاریخی‌ای را که مدل کم‌مشخص گذاشته بیفزایید؛ و مسئولیت را به‌جای پخش‌شده، خوانا می‌کند. شما پرامپت را دیدید و دکمه را فشار دادید.
08تولید بی‌فیلتر مسئولیت را بالا می‌برد، حذفش نمی‌کند
این اینجا جایش است و نه در پاورقی، چون نیمی از استدلال است. یک تولیدکننده فیلترشده وعده‌ای می‌دهد که نمی‌تواند به آن عمل کند: اینکه ابزار به‌نیابت از شما جلوی سوءاستفاده را می‌گیرد. در هر دو جهت شکست می‌خورد — جراح را مسدود می‌کند و جلوی یک بازیگر بدخواه مصمم را نمی‌گیرد، که گزینه‌های دیگری داشته و همیشه داشته است. کاری که به‌طور قابل‌اتکا می‌کند این است که به همه احساس می‌دهد مسئولیت بالادست و توسط ماشین حل شده است. برداشتن فیلتر آن افسانه را برمی‌دارد؛ پرسش اینکه آیا یک تصویر باید وجود داشته باشد به کسانی بازمی‌گردد که می‌توانند پاسخش دهند.
- تعهد Shannon Lab LLC. یک سیاست استفاده مسئولانه منتشرشده و مشخص که دسته‌های ممنوع را نام می‌برد، به‌جای یک فهرست ممنوع منتشرنشده — قواعدی که می‌توانید بخوانید، استناد کنید و ما را به آن پایبند کنید.
- تعهد شما. شما هدف، مخاطب، حوزه قضایی و وضعیت رضایت هر کسی را که بازنمایی می‌شود می‌دانید. ابزار نمی‌داند و یک طبقه‌بندی‌کننده هرگز نمی‌توانست بداند. کارت تأیید هست تا آن دانش در همان لحظه‌ای که مهم است، توسط طرفی که آن را دارد، به کار بسته شود.
- خطی که جابه‌جا نمی‌شود. «فیلتر جلوی من را نگرفت» هرگز در هیچ رسانه‌ای دفاعیه نبوده است. یک دوربین امتناع نمی‌کند، یک مداد امتناع نمی‌کند؛ قانون و اخلاق حرفه‌ای بر استفاده حاکم‌اند، نه بر ابزار. یک تولیدکننده بی‌فیلتر همان ترتیب معمولی را بازمی‌گرداند که هر ابزار حرفه‌ای دیگری زیر آن کار می‌کند.
پیش از شروع، سیاست استفاده مسئولانه را بخوانید. کوتاه است، مشخص است، و همان بخشی از این محصول است که بقیه‌اش را قابل‌دفاع می‌کند.
09پرسش‌های پرتکرار
چرا یک تصویرساز هوش مصنوعی پرامپتی را که آشکارا مشروع است رد می‌کند؟
چون بیشتر فیلترها واژه‌های پرامپت شما را قضاوت می‌کنند، نه هدفتان را. یک طبقه‌بندی‌کننده جلوی مدل می‌نشیند بدون هیچ دسترسی به اینکه شما که هستید یا چرا می‌پرسید، بنابراین یک تصویرگر پزشکی، یک تحلیلگر جرم‌شناسی و یک بازیگر بدخواه همگی یک اسم را تایپ می‌کنند و همگی همان رد را دریافت می‌کنند. The Intercept در آوریل ۲۰۲۳ گزارش داد که Midjourney واژه‌های آناتومیک از جمله speculum، placenta و cervix را ممنوع کرده بود، در حالی که stethoscope عادی کار می‌کرد.
آیا پژوهشی هست که مثبت‌های کاذب فیلتر محتوا را در ابزارهای هنر هوش مصنوعی اندازه بگیرد؟
بله. OVERT (arXiv:2505.21347، ICML 2025) نخستین بنچمارک بزرگ‌مقیاس رد بیش از حد برای مدل‌های متن‌به‌تصویر است: ۴٬۶۰۰ پرامپت که ظاهراً مضر اما واقعاً بی‌خطرند در نه دسته ایمنی، به‌علاوه ۱٬۷۸۵ پرامپت واقعاً مضر به‌عنوان گروه کنترل. نویسندگانش گزارش می‌دهند که رد بیش از حد در مدل‌های پیشرو گسترده است. یک مطالعه جداگانه در ECCV 2024 سوگیری جنسیتی و سبکی را در سه طبقه‌بندی‌کننده NSFW که روی برهنگی هنری ارزیابی شدند یافت.
یک تصویرساز هوش مصنوعی بدون سانسور واقعاً چه چیزی را عوض می‌کند؟
لایه رد درخواست و فیلتر محتوا را از مسیر تولید برمی‌دارد، پس یک درخواست مشروع بی‌سروصدا به‌عنوان حمله بازطبقه‌بندی نمی‌شود. قضاوت را حذف نمی‌کند — جابه‌جایش می‌کند. Shannon پرامپت تولید دقیق را پیش از هر رندری روی یک کارت تأیید به شما نشان می‌دهد، پس تصمیم را انسانی می‌گیرد که می‌بیند چه چیزی تولید خواهد شد، زیر چتر سیاست استفاده مسئولانه.
آیا Shannon ویدیو تولید می‌کند؟
خیر. Shannon تصاویر تازه تولید می‌کند، یک تصویر موجود را ویرایش می‌کند و دو یا چند تصویر را در یکی ترکیب می‌کند. تصاویر را متحرک نمی‌کند و هیچ نوع ویدیویی تولید نمی‌کند.
آیا می‌توانم از طریق API شانون تصویر تولید کنم؟
خیر. تولید، ویرایش و ترکیب تصویر در اپ چت Shannon قرار دارند. API با مسیر /v1 متن و بینایی را سرویس می‌دهد — خواندن و تحلیل تصاویری که فراهم می‌کنید — نه تولید تصویر.
اگر فیلتری نیست، چه چیزی جلوی سوءاستفاده را می‌گیرد؟
سیاست، پاسخگویی و یک نقطه تصمیم قابل مشاهده، به‌جای فهرست ممنوع کلیدواژه‌ها. Shannon هرگز بدون دعوت تولید نمی‌کند، پرامپت کامل را پیش از رندر نشان می‌دهد، تا تأیید نکنید چیزی حساب نمی‌کند و زیر چتر یک سیاست استفاده مسئولانه منتشرشده فعالیت می‌کند که محتوای جنسی با حضور کودکان، تصاویر خصوصی بدون رضایت از افراد واقعی، آزار هدفمند و جعل اسناد هویتی یا مالی را ممنوع می‌کند.
همان تصویری را بخواهید که واقعاً لازم دارید
تولید، ویرایش تک‌تصویری و ترکیب چندتصویری در اپ چت — بدون فیلتر محتوا، بدون لایه رد درخواست، و پرامپت روی صفحه پیش از هر رندری.
شروع گفت‌وگو سیاست استفاده مسئولانهتصاویر در اپ چت · بدون تولید ویدیو · پژوهش‌های بیشتر
منابع: Cheng, Huang, Xu, Sojoudi, Zhao, Song & Mei — OVERT (arXiv:2505.21347, ICML 2025) · Riccio, Curto, Hofmann & Oliver — An Art-centric perspective on AI-based content moderation of nudity (arXiv:2409.17156, AI4VA @ ECCV 2024) · Debbie Nathan، The Intercept، ۲۲ آوریل ۲۰۲۳ · PetaPixel، ۳ آوریل ۲۰۲۳ · CNBC، ۲۲ فوریه ۲۰۲۴. Shannon AI توسط Shannon Lab LLC در نیومکزیکو، ایالات متحده اداره می‌شود.