আনসেন্সরড বনাম ফিল্টার করা AI ইমেজ জেনারেটর
কনটেন্ট ফিল্টার বানানো হয়েছিল অল্প কয়েকটি প্রকৃত ক্ষতি ঠেকাতে। বাস্তবে সেগুলি চিকিৎসা ইলাস্ট্রেশন, ফরেনসিক পুনর্গঠন, লাইফ ড্রয়িং, যুদ্ধের ইতিহাস, সম্পাদকীয় ব্যঙ্গ এবং নিজেদের পণ্যের ছবি চাওয়া কোম্পানিগুলিকেও থামায়। এর দাম কত — আর ফিল্টার সরালে কী বদলায় এবং কী বদলায় না, তা-ই এখানে।
সংক্ষেপে
মূলধারার ইমেজ জেনারেটরগুলি প্রম্পট ও আউটপুট যাচাই করে এমন ক্লাসিফায়ার দিয়ে যারা শব্দ আর পিক্সেল দেখে, উদ্দেশ্য কখনও নয়। এতে ভুল শনাক্তকরণ অনিবার্য, আর সেগুলি সবচেয়ে জোরে আঘাত করে দক্ষ কাজে: শারীরস্থান, ফরেনসিক, শিল্প-নগ্নচিত্র, ঐতিহাসিক ছবি, প্রাক-দৃশ্যায়ন, ব্যঙ্গ, নিরাপত্তা-সচেতনতার উপকরণ, আর নিজেদের ব্র্যান্ড চাওয়া স্বত্বাধিকারীদের কাজে। OVERT (ICML 2025), এই ব্যর্থতার জন্য প্রথম বড় মাপের বেঞ্চমার্ক, 4,600টি নিরীহ-কিন্তু-সন্দেহজনক প্রম্পট ব্যবহার করে দেখায় যে শীর্ষস্থানীয় মডেলগুলি জুড়ে অতিরিক্ত-প্রত্যাখ্যান ব্যাপকভাবে ছড়ানো। Shannon ছবি তৈরি, একক-ছবি সম্পাদনা ও একাধিক-ছবির সমন্বয় চালায় আমাদের নিজস্ব GPU ক্লাস্টারে, কোনো কনটেন্ট ফিল্টার ও কোনো প্রত্যাখ্যান স্তর ছাড়াই, ব্লকলিস্টের জায়গায় বসিয়ে একটি দৃশ্যমান সিদ্ধান্ত: কিছু রেন্ডার হওয়ার আগেই হুবহু প্রম্পট দেখানো একটি নিশ্চিতকরণ কার্ড। এতে আপনার দায়িত্ব ও আমাদের দায়িত্ব দুটিই বাড়ে; দুটিই আছে দায়িত্বশীল ব্যবহার নীতিতে। কোনো ভিডিও তৈরি হয় না, আর ছবির কাজ থাকে চ্যাট অ্যাপে, API-তে নয়।
যাঁরা পেশাগতভাবে ছবি নিয়ে কাজ করেন তাঁদের প্রায় সবার একই গল্প। সাধারণ কিছু বর্ণনা করা একটি প্রম্পট — হাঁটুর জোড়ার একটি প্রস্থচ্ছেদ, সংঘর্ষের মুহূর্তে একটি গাড়ি, কাঠকয়লায় আঁকা একটি ফিগার স্টাডি, 1944 সালের একজন সৈনিক — নীতি লঙ্ঘন হিসেবে ফেরত আসে। আপনি কথা ঘুরিয়ে লেখেন, আর ভিন্ন একটি লঙ্ঘন পান। শেষমেশ আপনি এমন অস্পষ্ট কিছু লেখেন যা পাস করে, আর এমন একটি ছবি পান যাতে আপনার দরকারি জিনিসটি আর নেই। টুলটি সশব্দে ব্যর্থ হয়নি; সে ধাপে ধাপে ব্যর্থ হয়েছে, আর আপস করাটা আপনার ঘাড়ে চাপিয়েছে।
01একটি AI ইমেজ জেনারেটর কেন স্পষ্টতই বৈধ একটি প্রম্পট প্রত্যাখ্যান করে?
প্রত্যাখ্যানটি সাধারণত ইমেজ মডেলের মতামত নয়। এটি মডেলের চারপাশের একটি ফিল্টারিং স্ট্যাকের ফল, আর তার স্তরগুলিই আপনার পাওয়া প্রায় প্রতিটি অদ্ভুত প্রত্যাখ্যান ব্যাখ্যা করে।
| স্তর | কী পরিদর্শন করে | বৈশিষ্ট্যসূচক ব্যর্থতা |
|---|---|---|
| প্রম্পট ব্লকলিস্ট | আপনার লেখার আক্ষরিক স্ট্রিং ও তার কাছাকাছি রূপ | বাক্যটি যাই হোক একটি শব্দ আটকে দেয় — "speculum" ব্যর্থ হয়, "stethoscope" পাস করে |
| প্রম্পট ক্লাসিফায়ার | প্রম্পটের "ঝুঁকি" সম্পর্কে শেখা একটি বিচার | বিষয়ের নৈকট্যে চালু হয়: চিকিৎসা, অস্ত্র, শরীর বা রাজনীতির কাছাকাছি যেকোনো কিছু উঁচু নম্বর পায় |
| মডেলের প্রত্যাখ্যান প্রশিক্ষণ | মডেলের নিজের প্রশিক্ষিত অনীহা | কোনো ত্রুটি ছাড়াই প্রত্যাখ্যান করে, বা নীরবে একটি পরিশোধিত বিকল্প তৈরি করে |
| আউটপুট ক্লাসিফায়ার | রেন্ডার হওয়া পিক্সেল, প্রম্পটের প্রেক্ষাপট ছাড়াই | একটি অ্যানাটমি চিত্রকে পর্নোগ্রাফি থেকে, বা একটি চলচ্চিত্রের স্থিরচিত্রকে একটি সত্যিকারের ঘটনা থেকে আলাদা করতে পারে না |
| নীতিগত প্রতিস্থাপন | রেন্ডারের আগে আপনার প্রম্পটের নীরব পুনর্লিখন | আপনি একটি ছবি পান, কিন্তু আপনি যেটি নির্দিষ্ট করেছিলেন সেটি নয়, আর কেন তা আপনাকে বলা হয় না |
প্রতিটি স্তরের একটিই অন্ধ জায়গা: কেউই দেখতে পায় না আপনি কেন জিজ্ঞাসা করছেন। একজন চিকিৎসা-চিত্রকর, একটি সংঘর্ষ পুনর্গঠন করা বাদীপক্ষের বিশেষজ্ঞ, আর দুরভিসন্ধিমূলক কেউ — সবাই একই বিশেষ্য টাইপ করেন। ফিল্টার বিশেষ্যটি দেখে, অ্যাটলাস বা মামলার নথি নয়, আর তার মূল্যায়ন হয় সে কতটা ক্ষতি ঢুকতে দিল তা দিয়ে — সে কতটা কাজ ধ্বংস করল তা দিয়ে কখনও নয়। এই অসমতায় যেকোনো পরিচালকের যুক্তিসঙ্গত সেটিং হল আরও বেশি প্রত্যাখ্যান করো। এ কারণেই "কথাটা একটু ঘুরিয়ে লিখুন" কোনো সমাধান নয়: ঘুরিয়ে লিখলে ফিল্টার এমন কোনো তথ্য পায় না যা তার ছিল না, কেবল আপনার প্রম্পট সেই শব্দগুলির থেকে দূরে সরে যায় যেগুলিতে সে আটকেছিল — আর তার মানে সাধারণত আপনার উদ্দেশ্য থেকেই দূরে সরে যাওয়া।
02কনটেন্ট ফিল্টার সত্যিই কী ঠেকানোর জন্য আছে
ফিল্টারহীন জেনারেশনের পক্ষে এমন একটি যুক্তি যা ভান করে ফিল্টারের কোনো কারণই নেই, তা পড়ার যোগ্য নয়। এমন কিছু সংকীর্ণ শ্রেণির আউটপুট আছে যাদের ক্ষতি ছবিটির মধ্যেই নিহিত, কে চেয়েছে বা কেন চেয়েছে তা নির্বিশেষে:
- নাবালক জড়িত যৌন বিষয়বস্তু। কোনো প্রেক্ষাপটই একে গ্রহণযোগ্য করে না; কোনো পেশাদার কর্মপ্রবাহে এর দরকার নেই।
- প্রকৃত মানুষের সম্মতিহীন অন্তরঙ্গ ছবি। ক্ষতিটা পড়ে এমন কারও উপর যিনি রাজি হননি, আর সরিয়ে নিলেও তা মোছে না।
- লক্ষ্যভিত্তিক হয়রানি ও মানহানিকর বানোয়াট — একজন নামধারী ব্যক্তিকে এমন কিছু করেছেন বলে দেখানো যা তিনি করেননি।
- জালিয়াতি-মানের নথি — পাসপোর্ট, পরিচয়পত্র, নোট, সিলমোহর ও আর্থিক দলিল যা আসল বলে চালানোর জন্য বানানো।
- প্রতারণামূলক কৃত্রিম প্রমাণ — প্রকৃত ঘটনার বানোয়াট ছবি যা চিত্রায়ণ নয়, দলিল হিসেবে উপস্থাপন করা হয়।
তালিকাটি ছোট আর তার একটি গঠন আছে: ক্ষতিটি থাকে বস্তুটির মধ্যে, একজন প্রকৃত ব্যক্তি বা নথির সঙ্গে তার সাদৃশ্যে, আর সত্য হিসেবে তার উপস্থাপনায়। লক্ষ্য করুন কী এতে নেই — নগ্নতা, রক্ত, অস্ত্র, ঐতিহাসিক নৃশংসতা, রাজনৈতিক বিদ্রূপ। এগুলি চিকিৎসা, সাংবাদিকতা, শিল্প, ফরেনসিক ও ব্যঙ্গের কাঁচামাল, আর যে ফিল্টার এগুলিকে ক্ষতির শ্রেণি হিসেবে দেখে সে আসলে কোন বিষয়গুলি ভদ্র তা নিয়ে অনেক বড় একটি ধারণা কার্যকর করছে।
Shannon সেই তালিকার সবকিছুই নিষিদ্ধ করে, একটি প্রকাশিত দায়িত্বশীল ব্যবহার নীতিতে, নামধারী শ্রেণি ও পরিণতিসহ — এমন কোনো কিওয়ার্ড টেবিল দিয়ে নয় যা "placenta"-ও ধরে ফেলে। একটি হল এমন নিয়ম যা আপনি পড়তে পারেন আর যার জন্য আমাদের দায়ী করতে পারেন; অন্যটি হল আপনার অদৃশ্য একটি ক্লাসিফায়ারের করা আপনার উদ্দেশ্য সম্পর্কে একটি অনুমান।
03অতিরিক্ত-প্রত্যাখ্যানের সমস্যাটি কত বড়? গবেষণা যা মাপে
সম্প্রতি পর্যন্ত ইমেজ মডেলে অতিরিক্ত-প্রত্যাখ্যান ছিল নিছক উপাখ্যান — হাজার হাজার মানুষের একই গল্প, আর তার মাপ বোঝার কোনো উপায় নেই। তা বদলে দেয় OVERT (OVEr-Refusal evaluation on Text-to-image models), যা ICML 2025-এ উপস্থাপন করেছে Ziheng Cheng, Somayeh Sojoudi, Xuandong Zhao, Dawn Song ও Song Mei সহ UC Berkeley-র একটি দল: টেক্সট-টু-ইমেজ ব্যবস্থাগুলি কত ঘন ঘন সম্পূর্ণ নিরীহ প্রম্পট প্রত্যাখ্যান করে তা মাপা প্রথম বড় মাপের বেঞ্চমার্ক।
নকশাটি গুরুত্বপূর্ণ। 4,600টি প্রম্পট এমনভাবে বানানো যে সেগুলি ক্ষতিকর দেখায় অথচ নিরীহ — স্ক্যালপেল, কালশিটে দাগ বা একটি বিক্ষোভের কথা উল্লেখ করা একটি প্রকৃত পেশাদার অনুরোধের আকৃতি — আর 1,785টি সত্যিই ক্ষতিকর প্রম্পট তাদের পাশে নিয়ন্ত্রণ হিসেবে বসে, যাতে সবকিছু প্রত্যাখ্যান করে কোনো মডেল ভালো নম্বর না পেতে পারে। নয়টি শ্রেণি ব্যক্তি ও জনপ্রতিনিধির গোপনীয়তা থেকে শুরু করে কপিরাইট, বৈষম্য, আত্মক্ষতি, যৌন বিষয়বস্তু ও বেআইনি কার্যকলাপ হয়ে সহিংসতা পর্যন্ত বিস্তৃত।
প্রধান ফলাফল হল অতিরিক্ত-প্রত্যাখ্যান শ্রেণি জুড়ে এবং শীর্ষস্থানীয় মডেল জুড়ে ব্যাপকভাবে ছড়ানো। দ্বিতীয় ফলাফলটি প্রচলিত সমাধানের জন্য আরও ক্ষতিকর: লেখকরা প্রশমন হিসেবে প্রম্পট পুনর্লিখন পরীক্ষা করেছেন আর জানিয়েছেন তা "প্রায়ই মূল প্রম্পটের অর্থের প্রতি বিশ্বস্ততা নষ্ট করে"। আপনি যা চেয়েছিলেন তা বদলে ফিল্টার পেরোতে পারেন, আর তারপর আপনি যা চেয়েছিলেন তা আর আপনার থাকে না।
আরেকটি সংকীর্ণ গবেষণা পিক্সেলের দিক থেকে একই সিদ্ধান্তে পৌঁছায়। An Art-centric perspective on AI-based content moderation of nudity (Riccio, Curto, Hofmann ও Oliver, ECCV 2024-এর AI4VA কর্মশালা)-তে লেখকরা শৈল্পিক নগ্নতার উপর তিনটি উৎপাদন-পর্যায়ের NSFW ক্লাসিফায়ার মূল্যায়ন করেন এবং একটি লিঙ্গগত পক্ষপাত ও একটি শৈলীগত পক্ষপাত দুটিই উন্মোচন করেন: একটি ফিগার স্টাডির উপর রায় নির্ভর করে কার শরীর আঁকা হয়েছে আর কোন শৈলীতে তার উপর। প্রতিটি লাইফ-ড্রয়িং শিল্পীকে যে জিনিসটি কাল্পনিক বলা হয়েছে, এটি তারই একটি পরিমাপযোগ্য বিবৃতি।
04ফিল্টার করা জেনারেটর যেসব আট ধরনের বৈধ কাজ আটকায়
এই শ্রেণিগুলিতে অতিরিক্ত-প্রত্যাখ্যান কোনো অসুবিধা নয়, বরং কাজ বন্ধ হয়ে যাওয়া। যেখানে একটি নির্দিষ্ট প্রতিবেদিত ঘটনা আছে সেখানে তা উদ্ধৃত হয়েছে; যেখানে কোনোটি যাচাই করা যায়নি, সেখানে ঘটনা বানিয়ে না বলে শ্রেণিটিই বর্ণনা করা হয়েছে।
1. চিকিৎসা ও শারীরস্থানের ইলাস্ট্রেশন
এই ক্ষেত্রের সবচেয়ে ভালোভাবে নথিভুক্ত ঘটনা। 2023 সালের এপ্রিলে The Intercept (Debbie Nathan) জানায় যে Midjourney শারীরস্থানের পরিভাষা নিষিদ্ধ করেছিল, যার মধ্যে ছিল speculum, placenta, cervix, vulva, fallopian tubes, mammary glands, uterine, urethra, hymen, sperm, condom এবং IUD, আর DALL·E 2 একটি কনটেন্ট-নীতির বার্তা দিয়ে "pills used in medication abortion" প্রত্যাখ্যান করেছিল। ধরনটি খুঁজে পান Julia Rockwell, একজন ক্লিনিক্যাল ডেটা বিশ্লেষক, যিনি একজন কোষ-জীববিজ্ঞানী বন্ধুর জন্য উপহার হিসেবে একটি প্লাসেন্টার ছবি তৈরি করার চেষ্টা করেছিলেন, আর তা MIT Technology Review-কে জানান। অসমতাই আসল ইঙ্গিত: "stethoscope" স্বাভাবিকভাবে তৈরি হত, অথচ "speculum" নিষিদ্ধ ছিল। ওয়াশিংটন বিশ্ববিদ্যালয়ের গবেষক Bill Howe ফিল্টারগুলিকে "ham-fisted" বলেন এবং জানান যে এগুলি "প্রজনন নিয়ে একটি বৈজ্ঞানিক আলোচনা করা মূলত অসম্ভব" করে তুলেছে। রোগী-শিক্ষা, অস্ত্রোপচারের অ্যাটলাস ও নার্সিং পাঠ্যক্রম — সবেতেই শরীর নিখুঁতভাবে দেখানো দরকার, এমনকি সেই অংশগুলিও যেগুলিকে একটি কিওয়ার্ড তালিকা অশ্লীল বলে ঠিক করে ফেলেছে।
2. ফরেনসিক ও দুর্ঘটনা পুনর্গঠন
সংঘর্ষ পুনর্গঠন, আগুনের উৎস বিশ্লেষণ ও আদালতে দেখানো চিত্রে ক্ষতি, ক্ষত ও সহিংস যান্ত্রিকতা ক্লিনিক্যাল নিখুঁততায় দেখানো দরকার। "blood" বা "gunshot wound" প্রত্যাখ্যান করতে সুরকরা একটি ফিল্টার পুরো শাখাটিকেই প্রত্যাখ্যান করে: প্রেক্ষাপট — একটি বিশেষজ্ঞ প্রতিবেদন, একটি বিমার নথি — ক্লাসিফায়ারের কাছে অদৃশ্য, আর যে নিরপেক্ষতা এমন ছবিকে গ্রহণযোগ্য প্রমাণ করে তোলে সেই নিরপেক্ষতাই তাকে রক্তারক্তি বলে পড়ায়।
3. শিল্প-নগ্নচিত্র ও লাইফ ড্রয়িং
নগ্নচিত্র সর্বত্রই শিল্পের একটি ভিত্তিমূলক বিষয়, আর ফিগার স্টাডি শিল্প-শিক্ষার কেন্দ্রে। উপরের ECCV 2024 ফলাফল হল শিল্পীরা যা বলেন তারই পরিমাপযোগ্য রূপ: ক্লাসিফায়ার নির্ভরযোগ্যভাবে একটি ফিগার স্টাডিকে পর্নোগ্রাফি থেকে আলাদা করে না, আর তাদের ভুল লিঙ্গ ও শৈলী দিয়ে পক্ষপাতদুষ্ট — যে ঐতিহ্যকে তার চেনা উচিত ঠিক তার উপরেই ফিল্টার সবচেয়ে কঠোর।
4. ঐতিহাসিক ও যুদ্ধকালীন ছবি
পাঠ্যবইয়ের চিত্র, জাদুঘরের ব্যাখ্যা ও স্মারক প্রকল্পে উর্দি, অস্ত্র, শিবির, যুদ্ধ ও নৃশংসতা দেখানো দরকার। 2024 সালের ফেব্রুয়ারির Gemini ঘটনাটি শিক্ষণীয়, কারণ সেখানে ব্যর্থতা উলটো দিকে চলেছিল আর সমান ক্ষতি করেছিল। নাৎসি-যুগের জার্মান সৈনিকসহ ঐতিহাসিক গোষ্ঠীর জাতিগতভাবে বদলে দেওয়া চিত্রায়ণ তৈরি করার পর Google 22 ফেব্রুয়ারি, 2024-এ Gemini-র মানুষের ছবি তৈরির ক্ষমতা স্থগিত করে। CEO Sundar Pichai আউটপুটগুলিকে "completely unacceptable" বলেন; SVP Prabhakar Raghavan স্বীকার করেন যে মডেলটি "overcompensated" করেছে আর "over-conservative" হয়ে গেছে। প্রেক্ষাপট-অন্ধ নিরাপত্তা ঐতিহাসিক ছবিকে নিরাপদ করেনি — তা মিথ্যা করেছে, যা একজন ইতিহাস প্রকাশকের কাছে আরও খারাপ।
5. কল্পকাহিনিতে সহিংসতা ও চলচ্চিত্রের প্রাক-দৃশ্যায়ন
স্টোরিবোর্ড, ধারণাচিত্র, কমিকস ও গেম ডিজাইনে সহিংসতা দেখানো হয় ঠিক সেই কারণেই যে কারণে উপন্যাস ও চলচ্চিত্রে দেখানো হয়। যে ফিল্টার একটি হরর স্টোরিবোর্ডকে একটি হুমকি থেকে আলাদা করতে পারে না সে গোটা আখ্যান-শিল্পের প্রক্রিয়াটিকেই সন্দেহভাজন গণ্য করে — অথচ একটি স্টোরিবোর্ড স্পষ্টতই অবাস্তব, একটি দৃশ্যের পরিকল্পনা যা অভিনেতা ও ইফেক্টস দল মঞ্চস্থ করবে।
6. রাজনৈতিক ব্যঙ্গ ও সম্পাদকীয় কার্টুন
ক্ষমতাবানদের ব্যঙ্গচিত্র বেশিরভাগ গণতন্ত্রে বাকস্বাধীনতার সবচেয়ে সুরক্ষিত শ্রেণিগুলির একটি, আর নিয়মিতভাবে একটি ইমেজ ফিল্টার প্রথমেই সেটিকেই সরায়। সবচেয়ে স্পষ্ট নথিভুক্ত ঘটনাটি হল 2023 সালের এপ্রিলে Midjourney-র চীনা প্রেসিডেন্ট Xi Jinping-এর ছবি নিষিদ্ধ করা ও প্রম্পটে তাঁর নাম আটকে দেওয়ার সিদ্ধান্ত — যা PetaPixel, Decrypt ও অন্যরা জানিয়েছিল — অথচ অন্য রাষ্ট্রনেতাদের অনুমতি বহাল ছিল। প্রতিষ্ঠাতা David Holz Discord-এ ব্যাখ্যা করেন যে কোম্পানি "minimize drama" চেয়েছিল আর "the ability for people in China to use this tech is more important than your ability to generate satire"; Foundation for Individual Rights and Expression-এর Sarah McLaughlin একে সেন্সরশিপ বলেন। ব্যবসায়িক হিসাব নিয়ে যে সিদ্ধান্তেই আসুন, প্রক্রিয়াটির নাম দেওয়া দরকার: একটি জাতীয় বাকস্বাধীনতার নিষেধাজ্ঞা বিশ্বের প্রতিটি ব্যবহারকারীর উপর প্রয়োগ করা হল, কারণ একটি বৈশ্বিক ফিল্টারের একটিই সেটিং থাকে।
7. নিরাপত্তা গবেষণা ও ফিশিং-সচেতনতার উপকরণ
নিরাপত্তা দলগুলি এমন প্রশিক্ষণ উপকরণ বানায় যা ঠিক সেই জিনিসটির মতো দেখতে হয় যার বিরুদ্ধে তা সতর্ক করে: একটি বিশ্বাসযোগ্য নকল লগইন স্ক্রিন, একটি জাল চালান, একটি পার্কিং মিটারে একটি ক্ষতিকর QR কোড। একটি ক্লাসিফায়ারের কাছে তা সেই আক্রমণ থেকে আলাদা নয় যার বিরুদ্ধে এটি টিকা দেয় — সাদৃশ্যই তো এখানে মূল কথা — তাই ফিল্টার প্রতিরক্ষা ও আক্রমণকে একইভাবে আটকায়, যা আক্রমণকারীকেই সুবিধা দেয়, যিনি এমনিতেও কখনও একটি ফিল্টার করা ভোক্তা-টুল ব্যবহার করতেন না।
8. স্বত্বাধিকারীরা নিজেদের ব্র্যান্ড, পণ্য বা অবয়বের ছবি পান না
কপিরাইট ও ট্রেডমার্ক ফিল্টারিং মালিকানা যাচাই করে না; সাদৃশ্য যাচাই করে। একটি কোম্পানি সহজে নিজের লোগো বা পণ্যের ছবি তৈরি করতে পারে না, একজন স্বত্বাধিকারী নিজের চরিত্রের ছবি বানাতে পারেন না, আর মানুষ প্রায়ই নিজের মুখের ছবি তৈরি করতে পারেন না, কারণ অবয়ব ফিল্টার সম্মতি নয়, চেনা যাওয়ার উপর ভিত্তি করে চলে। OVERT তার নয়টি অতিরিক্ত-প্রত্যাখ্যান শ্রেণির মধ্যে "copyright violations" রেখেছে ঠিক এ কারণেই যে এই ভুল শনাক্তকরণ এত সাধারণ। একটি প্রশ্নের — এর উপর কি আপনার অধিকার আছে? — জন্য ফিল্টার একটি ভোঁতা হাতিয়ার, আর সে প্রশ্নটি করারই কোনো উপায় তার নেই।
উপরের আটটির মধ্যে চারটি একটি নির্দিষ্ট প্রকাশিত ঘটনার সঙ্গে যুক্ত (চিকিৎসা, শিল্প-নগ্নচিত্র, ঐতিহাসিক, ব্যঙ্গ), আর অষ্টমটির জন্য OVERT-এর কপিরাইট শ্রেণি। ফরেনসিক, কল্পকাহিনির প্রাক-দৃশ্যায়ন ও নিরাপত্তা-সচেতনতার উপকরণ শ্রেণি হিসেবে উল্লেখ করা হয়েছে: এগুলি ক্ষতিগ্রস্ত পেশাদার কাজের সুপরিচিত শ্রেণি, যেগুলির জন্য আমরা কোনো নির্দিষ্ট প্রকাশিত ঘটনা যাচাই করিনি।
উপরের প্রতিটি নথিভুক্ত ঘটনা প্রকাশ্য এবং স্বাধীনভাবে যাচাইযোগ্য। আমাদের বর্ণনা বিশ্বাস করার বদলে সেগুলি পড়ুন।
05AI আর্ট জেনারেটর কেন ভুল জিনিস আটকায়, আর কনটেন্ট ফিল্টারের ভুল শনাক্তকরণ কেন সুর বদলে ঠিক করা যায় না
অতিরিক্ত আটকানোর স্বতঃস্ফূর্ত জবাব হল "থ্রেশহোল্ড আলগা করো"। তা কাজ করে না, চেষ্টার অভাবে নয়, গঠনগত কারণে।
শ্রেণিগুলি সংকেতে মেলে, বাস্তবে নয়। একটি অস্ত্রোপচারের চিত্র আর পর্নোগ্রাফি নগ্নতা ভাগ করে নেয়। একটি ফরেনসিক পুনর্গঠন আর রক্তারক্তি রক্ত ভাগ করে নেয়। একটি সচেতনতার স্লাইড আর একটি ফিশিং কিট নকল লগইন ফর্ম ভাগ করে নেয়। একটি ব্যঙ্গাত্মক কার্টুন আর একটি মানহানিকর বানোয়াট একজন চেনা রাজনীতিক ভাগ করে নেয়। প্রতিটি জোড়াকে যা আলাদা করে তা হল উদ্দেশ্য ও উপস্থাপনা — যা প্রম্পটে নেই আর পিক্সেলেও নেই। ইনপুট স্পেসের একই অঞ্চলে থাকা দুটি জনগোষ্ঠীকে কোনো থ্রেশহোল্ড আলাদা করে না; থ্রেশহোল্ড সরালে কেবল এক ভুলের বদলে আরেকটি আসে। Gemini ঘটনাটি তা-ই দেখিয়েছিল: একটি ব্যর্থতা সারানোর উদ্দেশ্যে করা হস্তক্ষেপ আরেকটি ব্যর্থতা তৈরি করেছিল, যাকে Google-এর নিজের SVP-ই "overcompensated" বলেছিলেন।
খরচগুলি পরিচালকের কাছে অসম, আপনার কাছে নয়। যে ফিল্টার একটি খারাপ ছবি বেরোতে দেয় তা একটি সংবাদ শিরোনাম তৈরি করে। যে ফিল্টার দশ হাজার বৈধ ছবি আটকায় তা নীরবতা তৈরি করে, কারণ প্রত্যাখ্যাত ব্যবহারকারীরা সংগঠিত হন না — তাঁরা হাল ছেড়ে দেন। সেই অসমতায় ঝুঁকি ব্যবস্থাপনা স্থায়ীভাবে অতিরিক্ত আটকানোর দিকেই যায়। আর যেহেতু মূল বিচারটি অসম্ভব, ঘটনার সঙ্গে সঙ্গে ব্লকলিস্টে আক্ষরিক স্ট্রিং জমতে থাকে, আর সেভাবেই "stethoscope" ঠিক থাকে আর "speculum" নিষিদ্ধ হয়। কেউ সিদ্ধান্ত নেয়নি যে নারী-নির্দিষ্ট যন্ত্র বেশি বিপজ্জনক; তালিকাটি সেখানেই বেড়েছে যেখানে অভিযোগ পড়েছে। এটি ক্ষতির কোনো তত্ত্ব নয়, একটি পরিচালকের জনসংযোগের ইতিহাস ধারণ করে।
সবচেয়ে কড়া এখতিয়ারটিই বৈশ্বিক ডিফল্ট হয়ে ওঠে। একটি ফিল্টার প্রতিটি দেশের প্রতিটি ব্যবহারকারীকে পরিবেশন করে, তাই একটি বাজারের জন্য যোগ করা নিষেধাজ্ঞা সবার কাছেই রপ্তানি হয় — Xi Jinping নিয়ম তার পাঠ্যপুস্তকীয় উদাহরণ। আর আপনার প্রম্পট আবার লিখলে আপনার অর্থ নষ্ট হয়, যা OVERT-এর পরীক্ষামূলক বক্তব্য: ফিল্টার পেরোতে যিনিই একটি অনুরোধকে শব্দের ফেরে ধুয়েমুছে নিয়েছেন, সেই প্রতিটি পেশাদারই তা হাতে-কলমে নিশ্চিত করেছেন। আপনি জেতেননি; আপনি মেনে নিয়েছেন।
এর কোনোটিই বিনামূল্যে নয়, আর যেহেতু এটি নীরবে ব্যর্থ হয়, একজন পরিচালক যেসব মাপকাঠি দেখেন তাতে এই খরচ অদৃশ্য। যথেষ্ট প্রত্যাখ্যানের পর আপনি জিজ্ঞাসা করাই বন্ধ করে দেন, আর আগেভাগেই প্রতিটি প্রম্পট সংকুচিত করে ফেলেন সেটুকুতে যা পাস করবে বলে আপনি অনুমান করেন; যে শব্দচাতুরী শেষমেশ পাস করে তা এমন একটি ছবি দেয় যা আপনার নথির দরকারি জিনিসের কাছাকাছি, কিন্তু সেটি নয়। একটি সাধারণ নীতিগত বার্তা আপনাকে বলে না কোন স্তরটি চালু হয়েছিল, তাই আপনি কেবল অনুমান করে আবার চেষ্টা করতে পারেন — আর ছবির কাজ পুনরাবৃত্তিমূলক, তাই পাঁচবারের একবার আটকানো একটি ফিল্টার কাজটি কেবল ধীর করে না, চক্রটাই ভেঙে দেয়। এদিকে যে ক্ষেত্রগুলির গুরুতর টুল পাওয়ার দাবি সবচেয়ে জোরালো, তারা কোনো পর্যালোচক পায় না, কোনো আপিল পায় না, আর সাধারণত কী আটকানো আছে তার কোনো প্রকাশিত তালিকাও পায় না। যে নিয়ম আপনি পড়তে পারেন না তা নিয়ম নয়; তা আবহাওয়া।
06আনসেন্সরড বনাম ফিল্টার করা AI ইমেজ জেনারেটর: আসলে কী বদলায়
এখানে তুলনাটির সৎ রূপ, ফিল্টারহীন ব্যবস্থা আপনাকে যা দেয় না তা-সহ।
| দিক | ফিল্টার করা জেনারেটর | ফিল্টারহীন (Shannon) |
|---|---|---|
| কে সিদ্ধান্ত নেয় | শব্দ ও পিক্সেল পড়া একটি ক্লাসিফায়ার | হুবহু প্রম্পট পড়া একজন মানুষ |
| আপনি কখন জানতে পারেন | জমা দেওয়ার পর — কখনও টাকা দেওয়ার পর | কিছু রেন্ডার বা বিল হওয়ার আগেই |
| নিয়মটি কী | অপ্রকাশিত, বদলাতে থাকা ব্লকলিস্ট | একটি প্রকাশিত দায়িত্বশীল ব্যবহার নীতি |
| পেশাগত প্রেক্ষাপট | ব্যবস্থাটির কাছে অদৃশ্য | আপনার হাতে, আর আপনারই জবাবদিহি |
| ব্যর্থতার ধরন | নীরবে অতিরিক্ত আটকানো, অর্থ সরে যাওয়া | আপনি যা চেয়েছেন তা-ই পান — ভুলসহ |
| ঝুঁকি কে বহন করে | বিক্রেতা, যা আপনার কাজের ঘাড়ে চাপানো | ভাগাভাগি: পরিচালকের নীতি আর ব্যবহারকারীর জবাবদিহি |
শেষ সারিটিই মানুষ এড়িয়ে যান, আর সেটিই গুরুত্বপূর্ণ। ফিল্টার সরালে 02 নম্বর অংশের ক্ষতির শ্রেণিগুলি সরে না; সরে যায় সেই যন্ত্রটি যে সেগুলি নিয়ে বাজে অনুমান করছিল। দায়িত্ব যেখানে ছিল সেখানেই থাকে, এখন তা ধরে আছেন এমন দুটি পক্ষ যাঁরা প্রেক্ষাপট নিয়ে ভাবতে পারেন: পরিচালক, যিনি একটি নীতি প্রকাশ ও প্রয়োগ করেন, আর আপনি, যিনি জানেন ছবিটি কীসের জন্য। ফিল্টারহীন AI ছবি তৈরি এমন মানুষের জন্য একটি টুল যাঁরা ইতিমধ্যেই নিজেদের কাজের পিছনে দাঁড়াতে প্রস্তুত — শল্যচিকিৎসকের অ্যাটলাস, বিশেষজ্ঞ প্রতিবেদন, স্টোরিবোর্ড, কার্টুন — আর যাঁদের থামিয়ে দিচ্ছিল এমন একটি ব্যবস্থা যে তাঁদের আর অন্য কারও মধ্যে পার্থক্য করতে পারত না।
07Shannon কী করে — আর কী করে না
এখানে উচ্ছ্বাসের চেয়ে নির্ভুলতা বেশি জরুরি, বিশেষত যাঁরা API খুঁজে এসেছেন তাঁদের জন্য।
এটি যা করে
- ছবি তৈরি। সাধারণ ভাষায়, যেকোনো ভাষায় একটি ছবি বর্ণনা করুন। আপনি যে ভাষাতেই জিজ্ঞাসা করুন, Shannon নিজেই ইংরেজিতে জেনারেশন প্রম্পটটি লেখে।
- একটি ছবি সম্পাদনা। ঠিক একটি উৎস — কথোপকথনে ইতিমধ্যে থাকা একটি ছবি, বা আপনার বর্তমান বার্তায় জোড়া একটি — আর একটি নির্দেশ যা বলে কী বদলাবে আর কী থাকবে। ফলটি স্বয়ংক্রিয়ভাবে উৎসের অ্যাসপেক্ট রেশিও ধরে রাখে।
- দুই বা তার বেশি ছবি মেলানো। পোশাক বদল, দৃশ্যে বস্তু বসানো, ব্যক্তির পাশে ব্যক্তি, ব্যক্তির উপর পণ্য, এক ছবির বিষয়ের সঙ্গে আরেক ছবির শৈলী। প্রম্পট প্রতিটি ছবির ভূমিকা ক্রম অনুযায়ী নাম ধরে বলে, আর প্রকৃত ছবিগুলিই ব্যবহৃত হয়, তাই তাদের আসল চেহারা নতুন করে বর্ণনা না করে রক্ষা করা হয়।
- আকার নিয়ন্ত্রণ। square (ডিফল্ট), portrait, landscape, wide ও tall। স্পষ্ট অনুরোধ সবসময় জেতে।
- আমাদের নিজস্ব GPU ক্লাস্টারে রেন্ডারিং, জেনারেশন পথে কোনো কনটেন্ট ফিল্টার ছাড়া আর যে মডেল প্রম্পট লেখে তার উপর কোনো প্রত্যাখ্যান স্তর ছাড়া।
এটি যা করে না
- কোনো ভিডিও নেই। Shannon ছবিকে অ্যানিমেট করে না আর ভিডিও তৈরি করে না। এটি লাজুকভাবে গোপন রাখা কোনো রোডম্যাপের আইটেম নয় — এর অস্তিত্বই নেই।
- API-তে নেই। ছবি তৈরি, সম্পাদনা ও সমন্বয় Shannon চ্যাট অ্যাপে থাকে। /v1 API লেখা ও ভিশন পরিবেশন করে — আপনার পাঠানো ছবি এটি পড়তে পারে — কিন্তু সেগুলি রেন্ডার করে না।
- না চাইতে কোনো ছবি তৈরি নয়। একটি শুভেচ্ছা, একটি প্রশ্ন বা এমনিই জুড়ে দেওয়া একটি ছবি কোনো ছবি তৈরি চালু করে না। Shannon-কে একটি ছবি দেখতে বলা — বর্ণনা করা, পড়া, বিশ্লেষণ করা — সাধারণ ভিশনের কাজ, কোনো জেনারেশন নয়, আর তাতে বাড়তি কোনো খরচ হয় না।
নিশ্চিতকরণ কার্ড
এই ব্যবস্থাটিই ফিল্টারের জায়গা নেয়, আর এটি নিছক আনুষ্ঠানিকতা নয়, একটি নকশাগত সিদ্ধান্ত। Shannon যখন বুঝতে পারে আপনি একটি ছবি চাইছেন, সে জেনারেশন প্রম্পটটি লেখে আর কিছু রেন্ডার হওয়ার আগেই তা আপনাকে একটি নিশ্চিতকরণ কার্ডে দেখায়। আপনি নিশ্চিত না করা পর্যন্ত কিছুই তৈরি হয় না আর কিছুই বিল হয় না।
দুটি নকশা তাদের গুণে তুলনা করুন। একটি ফিল্টার আপনার চেয়ে কম তথ্য নিয়ে আপনার উদ্দেশ্য অনুমান করে, আর সেই অনুমান নীরবে কার্যকর করে। একটি নিশ্চিতকরণ কার্ড ছবিটির আক্ষরিক বিবরণ সেই পক্ষের সামনে রাখে যিনি জানেন এটি কীসের জন্য, কোনো কম্পিউট খরচ হওয়ার আগেই। এটি আপনার অনুরোধের ভুল পাঠ ধরে, যা ফিল্টার কখনও করে না; এটি আপনাকে সেই শারীরস্থানের নিখুঁততা বা ঐতিহাসিক খুঁটিনাটি যোগ করতে দেয় যা মডেল কম নির্দিষ্ট করেছে; আর এটি দায়িত্বকে ছড়ানো না রেখে পাঠযোগ্য করে। আপনি প্রম্পটটি দেখেছেন, আর আপনি বোতামটি টিপেছেন।
08ফিল্টারহীন জেনারেশন দায়িত্ব বাড়ায়, সরায় না
এটি ফুটারে নয়, এখানেই থাকা উচিত, কারণ এটি যুক্তির অর্ধেক। একটি ফিল্টার করা জেনারেটর এমন একটি প্রতিশ্রুতি দেয় যা সে রাখতে পারে না: যে টুলটি আপনার হয়ে অপব্যবহার ঠেকাবে। এটি দুই দিকেই ব্যর্থ হয় — এটি শল্যচিকিৎসককে আটকায়, আর একজন দৃঢ়প্রতিজ্ঞ দুরভিসন্ধিমূলক ব্যক্তিকে থামায় না, যাঁর অন্য উপায় আছে আর সবসময়ই ছিল। যা সে নির্ভরযোগ্যভাবে করে তা হল সবাইকে এই অনুভূতি দেওয়া যে দায়িত্বটা উপরের দিকে, যন্ত্রের হাতে, সামলানো হয়েছে। ফিল্টার সরালে সেই কল্পকাহিনিটি সরে যায়; একটি ছবির অস্তিত্ব থাকা উচিত কি না সেই প্রশ্নটি তাঁদের কাছেই ফিরে আসে যাঁরা তার উত্তর দিতে পারেন।
- Shannon Lab LLC-এর দায়িত্ব। একটি প্রকাশিত, সুনির্দিষ্ট দায়িত্বশীল ব্যবহার নীতি যা অপ্রকাশিত ব্লকলিস্টের বদলে নিষিদ্ধ শ্রেণিগুলির নাম বলে — এমন নিয়ম যা আপনি পড়তে, উদ্ধৃত করতে ও যার জন্য আমাদের দায়ী করতে পারেন।
- আপনার দায়িত্ব। আপনি জানেন উদ্দেশ্য, দর্শক, এখতিয়ার আর ছবিতে থাকা প্রত্যেকের সম্মতির অবস্থা। টুলটি জানে না, আর একটি ক্লাসিফায়ার কখনও জানতে পারত না। নিশ্চিতকরণ কার্ডের অস্তিত্বই এ কারণে যে সেই জ্ঞানটি ঠিক সেই মুহূর্তে, সেই পক্ষের দ্বারা প্রয়োগ হোক যার কাছে তা আছে।
- যে সীমারেখা সরে না। "ফিল্টার আমাকে থামায়নি" কোনো মাধ্যমেই কখনও প্রতিরক্ষা ছিল না। একটি ক্যামেরা প্রত্যাখ্যান করে না, একটি পেনসিল প্রত্যাখ্যান করে না; আইন ও পেশাগত নীতিশাস্ত্র ব্যবহারকে পরিচালনা করে, যন্ত্রকে নয়। একটি ফিল্টারহীন জেনারেটর সেই সাধারণ বন্দোবস্তটিই ফিরিয়ে আনে যার অধীনে অন্য প্রতিটি পেশাদার টুল চলে।
শুরু করার আগে দায়িত্বশীল ব্যবহার নীতি পড়ুন। এটি ছোট, সুনির্দিষ্ট, আর এই পণ্যের সেই অংশ যা বাকিটাকে সমর্থনযোগ্য করে।
09সচরাচর জিজ্ঞাস্য প্রশ্ন
একটি AI ইমেজ জেনারেটর কেন স্পষ্টতই বৈধ একটি প্রম্পট প্রত্যাখ্যান করে?
কারণ বেশিরভাগ ফিল্টার আপনার উদ্দেশ্য নয়, আপনার প্রম্পটের শব্দগুলি বিচার করে। মডেলের সামনে বসা ক্লাসিফায়ারের কাছে আপনি কে বা কেন জিজ্ঞাসা করছেন তার কোনো তথ্য নেই, তাই একজন চিকিৎসা-চিত্রকর, একজন ফরেনসিক বিশ্লেষক আর একজন দুরভিসন্ধিমূলক ব্যক্তি একই বিশেষ্য টাইপ করেন আর সবাই একই প্রত্যাখ্যান পান। The Intercept 2023 সালের এপ্রিলে জানিয়েছিল যে Midjourney speculum, placenta ও cervix সহ শারীরস্থানের পরিভাষা নিষিদ্ধ করেছিল, অথচ stethoscope স্বাভাবিকভাবে কাজ করত।
AI আর্ট টুলে কনটেন্ট ফিল্টারের ভুল শনাক্তকরণ মাপা কোনো গবেষণা আছে কি?
হ্যাঁ। OVERT (arXiv:2505.21347, ICML 2025) হল টেক্সট-টু-ইমেজ মডেলের জন্য প্রথম বড় মাপের অতিরিক্ত-প্রত্যাখ্যান বেঞ্চমার্ক: নয়টি নিরাপত্তা শ্রেণি জুড়ে 4,600টি আপাত ক্ষতিকর কিন্তু আসলে নিরীহ প্রম্পট, সঙ্গে নিয়ন্ত্রণ হিসেবে 1,785টি সত্যিই ক্ষতিকর প্রম্পট। এর লেখকরা জানিয়েছেন যে শীর্ষস্থানীয় মডেলগুলি জুড়ে অতিরিক্ত-প্রত্যাখ্যান ব্যাপকভাবে ছড়ানো। আলাদা একটি ECCV 2024 গবেষণায় শৈল্পিক নগ্নতার উপর মূল্যায়িত তিনটি NSFW ক্লাসিফায়ারে লিঙ্গ ও শৈলীগত পক্ষপাত পাওয়া গেছে।
একটি আনসেন্সরড AI ইমেজ জেনারেটর আসলে কী বদলায়?
এটি জেনারেশন পথ থেকে প্রত্যাখ্যান স্তর ও কনটেন্ট ফিল্টার সরিয়ে দেয়, ফলে একটি বৈধ অনুরোধকে নীরবে আক্রমণ হিসেবে পুনর্শ্রেণিবদ্ধ করা হয় না। এটি বিচারবুদ্ধি সরায় না — বিচারবুদ্ধির জায়গা বদলায়। কিছু রেন্ডার হওয়ার আগেই Shannon আপনাকে একটি নিশ্চিতকরণ কার্ডে হুবহু জেনারেশন প্রম্পটটি দেখায়, ফলে সিদ্ধান্তটি নেন এমন একজন মানুষ যিনি কী তৈরি হবে তা দেখতে পান, দায়িত্বশীল ব্যবহার নীতির অধীনে।
Shannon কি ভিডিও তৈরি করে?
না। Shannon নতুন ছবি তৈরি করে, একটি বিদ্যমান ছবি সম্পাদনা করে, আর দুই বা তার বেশি ছবি মিলিয়ে একটি বানায়। এটি ছবিকে অ্যানিমেট করে না আর কোনো ধরনের ভিডিও তৈরি করে না।
আমি কি Shannon API দিয়ে ছবি তৈরি করতে পারি?
না। ছবি তৈরি, সম্পাদনা ও সমন্বয় Shannon চ্যাট অ্যাপে থাকে। /v1 API লেখা ও ভিশন পরিবেশন করে — আপনার দেওয়া ছবি পড়া ও বিশ্লেষণ করা — ছবি তৈরি নয়।
কোনো ফিল্টার না থাকলে অপব্যবহার ঠেকায় কে?
কোনো কিওয়ার্ড ব্লকলিস্ট নয়, বরং নীতি, জবাবদিহি এবং একটি দৃশ্যমান সিদ্ধান্তবিন্দু। Shannon কখনও না চাইতে ছবি তৈরি করে না, রেন্ডারের আগে পুরো প্রম্পট দেখায়, আপনি নিশ্চিত না করা পর্যন্ত কিছুই বিল করে না, আর একটি প্রকাশিত দায়িত্বশীল ব্যবহার নীতির অধীনে চলে যা নাবালক জড়িত যৌন বিষয়বস্তু, প্রকৃত মানুষের সম্মতিহীন অন্তরঙ্গ ছবি, লক্ষ্যভিত্তিক হয়রানি, এবং পরিচয় বা আর্থিক নথির জালিয়াতি নিষিদ্ধ করে।
আপনার সত্যিই যে ছবিটি দরকার সেটিই চান
চ্যাট অ্যাপে ছবি তৈরি, একক-ছবি সম্পাদনা ও একাধিক-ছবির সমন্বয় — কোনো কনটেন্ট ফিল্টার নেই, কোনো প্রত্যাখ্যান স্তর নেই, আর কিছু রেন্ডার হওয়ার আগেই পর্দায় প্রম্পট।
চ্যাট শুরু করুন দায়িত্বশীল ব্যবহার নীতিছবি চ্যাট অ্যাপে · কোনো ভিডিও তৈরি হয় না · আরও গবেষণা
সূত্র: Cheng, Huang, Xu, Sojoudi, Zhao, Song & Mei — OVERT (arXiv:2505.21347, ICML 2025) · Riccio, Curto, Hofmann & Oliver — An Art-centric perspective on AI-based content moderation of nudity (arXiv:2409.17156, AI4VA @ ECCV 2024) · Debbie Nathan, The Intercept, 22 এপ্রিল, 2023 · PetaPixel, 3 এপ্রিল, 2023 · CNBC, 22 ফেব্রুয়ারি, 2024। Shannon AI পরিচালিত হয় Shannon Lab LLC, নিউ মেক্সিকো, USA দ্বারা।