We do not hold or access any user's data, and we do not suspend accounts unless a lawful authority requires an enforcement action.
अनुसन्धान · अवस्थिति

सेन्सर नगरिएको बनाम फिल्टर गरिएको AI तस्बिर जेनेरेटर

सामग्री फिल्टर थोरै साँचो हानि रोक्न बनाइएका थिए। व्यवहारमा तिनले चिकित्सकीय चित्रण, फोरेन्सिक पुनर्निर्माण, जीवन-चित्रण, युद्ध इतिहास, सम्पादकीय व्यङ्ग्य र कम्पनीहरूले आफ्नै उत्पादनको तस्बिर बनाउने काम पनि रोक्छन्। यसको मूल्य यही हो — र फिल्टर हटाउँदा के बदलिन्छ, के बदलिँदैन, त्यो पनि।

सेप्टेम्बर 5, 2026 मा प्रकाशितअनुसन्धानShannon Lab LLC

संक्षेपमा

मूलधारका तस्बिर जेनेरेटरहरूले प्रम्प्ट र आउटपुटलाई त्यस्ता क्लासिफायरबाट छान्छन् जसले शब्द र पिक्सेल देख्छन्, उद्देश्य कहिल्यै होइन। यसले गलत अस्वीकृति निश्चित गर्छ, र ती दक्ष कामहरूमा सबैभन्दा बढी बज्रन्छन्: शरीररचना, फोरेन्सिक, आर्ट न्यूड, ऐतिहासिक तस्बिर, पूर्व-दृश्यांकन, व्यङ्ग्य, सुरक्षा-सचेतना सामग्री, र आफ्नै ब्रान्ड माग्ने अधिकारवाला। यस असफलताको पहिलो ठूलो-स्तरको बेन्चमार्क OVERT (ICML 2025) ले 4,600 हानिरहित तर शङ्कास्पद देखिने प्रम्प्ट प्रयोग गर्छ र अग्रणी मोडेलहरूभरि अति-अस्वीकृति व्यापक रहेको पाउँछ। Shannon ले तस्बिर निर्माण, एकल-तस्बिर सम्पादन र बहु-तस्बिर संयोजन हाम्रो आफ्नै GPU क्लस्टरमा, कुनै सामग्री फिल्टर र कुनै अस्वीकृति तहविना चलाउँछ, र ब्लकलिस्टको ठाउँमा देखिने निर्णय राख्छ: केही रेन्डर हुनुअघि ठ्याक्कै प्रम्प्ट देखाउने पुष्टि कार्ड। यसले तपाईंको र हाम्रो दुवैको जिम्मेवारी बढाउँछ; दुवै जिम्मेवार प्रयोग नीति मा छन्। भिडियो निर्माण छैन, र तस्बिरको काम च्याट एपमा छ, API मा होइन।

तस्बिरसँग व्यावसायिक रूपमा काम गर्ने झन्डै सबैको कथा उस्तै छ। कुनै सामान्य कुरा वर्णन गर्ने प्रम्प्ट — घुँडाको जोर्नीको काटछेद, ठोक्किने क्षणको कार, कोइलाले बनाइएको आकृति अध्ययन, 1944 को एक सिपाही — नीति उल्लङ्घन भनेर फर्कन्छ। तपाईं शब्द फेर्नुहुन्छ, र अर्कै उल्लङ्घन पाउनुहुन्छ। अन्ततः तपाईं पास हुने गरी यति अस्पष्ट कुरा लेख्नुहुन्छ कि आउने तस्बिरले तपाईंलाई चाहिएको कुरा नै देखाउँदैन। औजार ठूलो स्वरले असफल भएन; यो क्रमशः असफल भयो, र सम्झौता गर्ने मान्छे तपाईंलाई बनायो।

01स्पष्ट रूपमा वैध प्रम्प्टलाई AI तस्बिर जेनेरेटरले किन अस्वीकार गर्छ?

अस्वीकृति प्रायः तस्बिर मोडेलको राय हुँदैन। यो मोडेलको वरिपरिको फिल्टरिङ स्ट्याकको नतिजा हो, र त्यसका तहहरूले तपाईंले पाएका झन्डै हरेक अनौठा अस्वीकृतिको व्याख्या गर्छन्।

तहयसले के जाँच्छविशिष्ट असफलता
प्रम्प्ट ब्लकलिस्टतपाईंको पाठमा भएका अक्षरशः शब्द र तिनका नजिकका रूपवरिपरिको वाक्य जेसुकै भए पनि शब्द रोक्छ — "speculum" असफल, "stethoscope" पास
प्रम्प्ट क्लासिफायरप्रम्प्टको "जोखिम" बारे सिकिएको निर्णयविषयको नजिकपनमा चल्छ: चिकित्सा, हतियार, शरीर वा राजनीति नजिकको जुनसुकै कुराले उच्च अङ्क पाउँछ
मोडेल अस्वीकृति तालिममोडेलकै तालिमबाट आएको हिचकिचाहटत्रुटिविनै अस्वीकार गर्छ, वा चुपचाप सफा गरिएको विकल्प निकाल्छ
आउटपुट क्लासिफायररेन्डर भएका पिक्सेल, प्रम्प्टको सन्दर्भविनाशरीररचनाको चित्रलाई अश्लीलताबाट, वा फिल्मको दृश्यलाई साँचो घटनाबाट छुट्याउन सक्दैन
नीति प्रतिस्थापनरेन्डरअघि तपाईंको प्रम्प्टको चुपचाप पुनर्लेखनतपाईं तस्बिर पाउनुहुन्छ, तर तपाईंले तोकेको होइन, र किन भन्ने पनि बताइँदैन

हरेक तहको एउटै अन्धो ठाउँ छ: तपाईं किन सोध्दै हुनुहुन्छ भन्ने कसैले देख्दैन। चिकित्सकीय चित्रकार, ठोक्किने घटना पुनर्निर्माण गर्ने वादीको विशेषज्ञ, र कुनियत भएको व्यक्ति सबैले उही नाम टाइप गर्छन्। फिल्टरले नाम देख्छ, एटलस वा मुद्दाको फाइल होइन, र यसको मूल्याङ्कन कति हानि छिर्न दियो भन्नेमा हुन्छ — कति काम नष्ट गर्‍यो भन्नेमा कहिल्यै होइन। त्यो असमानतामा कुनै पनि सञ्चालकका लागि तर्कसङ्गत सेटिङ भनेको अझ बढी अस्वीकार गर हो। "शब्द फेरेर हेर न" समाधान नहुनुको कारण पनि यही हो: शब्द फेर्नाले फिल्टरलाई नभएको कुनै सूचना दिँदैन, यसले केवल तपाईंको प्रम्प्टलाई अड्किएका शब्दबाट टाढा लैजान्छ, जसको अर्थ प्रायः तपाईंको आशयबाट टाढा लैजानु हो।

02सामग्री फिल्टर साँच्चै के रोक्न बनेका हुन्

फिल्टर कुनै कारणविना नै बनेका हुन् भन्ने बहाना गर्ने फिल्टरविहीन निर्माणको तर्क पढ्न लायक हुँदैन। केही आउटपुटहरू यस्ता छन् जसको हानि तस्बिरमै अन्तर्निहित हुन्छ, कसले किन माग्यो भन्नेमा भर पर्दैन:

  • नाबालिग संलग्न यौन सामग्री। कुनै सन्दर्भले यसलाई स्वीकार्य बनाउँदैन; कुनै व्यावसायिक कार्यप्रवाहलाई यो चाहिँदैन।
  • वास्तविक व्यक्तिका असहमत अन्तरङ्ग तस्बिर। हानि सहमति नदिने व्यक्तिमाथि पर्छ, र हटाउँदैमा त्यो पूर्ववत् हुँदैन।
  • लक्षित दुर्व्यवहार र मानहानिकारक गढन्ते — नाम किटिएको व्यक्तिले नगरेको काम गरेजस्तो देखाउनु।
  • जालसाजी-स्तरका कागजात — राहदानी, परिचयपत्र, नोट, छाप र वित्तीय उपकरण, जुन साँचोजस्तै देखिन बनाइन्छन्।
  • भ्रामक कृत्रिम प्रमाण — वास्तविक घटनाका गढन्ते तस्बिर, जसलाई चित्रण होइन प्रमाणका रूपमा प्रस्तुत गरिन्छ।

सूची छोटो छ र यसको एउटा संरचना छ: हानि वस्तुमै, त्यसको वास्तविक व्यक्ति वा कागजातसँगको समानतामै, र सत्यका रूपमा प्रस्तुत गरिनुमै बस्छ। यसमा जे छैन त्यो ध्यान दिनुहोस् — नग्नता, रगत, हतियार, ऐतिहासिक नरसंहार, राजनीतिक खिल्ली। ती चिकित्सा, पत्रकारिता, कला, फोरेन्सिक र व्यङ्ग्यका कच्चा पदार्थ हुन्, र तिनलाई हानिका श्रेणी मान्ने फिल्टरले कुन विषय सम्मानित हुन् भन्ने धेरै फराकिलो धारणा लागू गरिरहेको हुन्छ।

Shannon ले त्यो सूचीका सबै कुरा निषेध गर्छ, "placenta" लाई पनि समात्ने किवर्ड तालिकाबाट होइन, बरु नाम किटिएका श्रेणी र परिणामसहितको प्रकाशित जिम्मेवार प्रयोग नीति बाट। एउटा तपाईंले पढ्न र हामीलाई जवाफदेह बनाउन सक्ने नियम हो; अर्को तपाईंले देख्नै नसक्ने क्लासिफायरले तपाईंको नियतबारे लगाएको अनुमान।

03अति-अस्वीकृतिको समस्या कति ठूलो छ? अनुसन्धानले के नाप्छ

हालसम्म तस्बिर मोडेलहरूमा अति-अस्वीकृति एउटा किस्सा मात्र थियो — उही कथा भएका हजारौं मानिस, तर त्यसको आकार नाप्ने कुनै उपाय थिएन। OVERT (OVEr-Refusal evaluation on Text-to-image models) ले त्यो बदल्यो, जुन ICML 2025 मा Ziheng Cheng, Somayeh Sojoudi, Xuandong Zhao, Dawn Song र Song Mei सम्मिलित UC Berkeley समूहले प्रस्तुत गरेको थियो: पाठ-देखि-तस्बिर प्रणालीले पूर्ण रूपमा हानिरहित प्रम्प्टहरू कति पटक अस्वीकार गर्छन् भनी नाप्ने पहिलो ठूलो-स्तरको बेन्चमार्क।

4,600
हानिरहित प्रम्प्ट
9
सुरक्षा श्रेणी
1,785
हानिकारक नियन्त्रण
ICML
2025

डिजाइनले फरक पार्छ। ती 4,600 प्रम्प्ट हानिरहित हुँदाहुँदै हानिकारक देखिने गरी बनाइएका हुन् — स्काल्पेल, निलडाम वा प्रदर्शन उल्लेख गर्ने साँचो व्यावसायिक अनुरोधको बनोट — र तिनकै छेउमा नियन्त्रणका रूपमा साँच्चै हानिकारक 1,785 प्रम्प्ट बस्छन्, ताकि कुनै मोडेलले सबै अस्वीकार गरेर राम्रो अङ्क ल्याउन नसकोस्। नौ श्रेणी व्यक्तिगत तथा सार्वजनिक-व्यक्तित्वको गोपनीयतादेखि प्रतिलिपि अधिकार, विभेद, आत्म-हानि, यौन सामग्री र गैरकानुनी गतिविधि हुँदै हिंसासम्म फैलिन्छन्।

मुख्य निष्कर्ष यो हो कि अति-अस्वीकृति श्रेणीहरूभरि र अग्रणी मोडेलहरूभरि व्यापक छ। दोस्रो निष्कर्ष सामान्य उपायका लागि अझ घातक छ: लेखकहरूले न्यूनीकरणका रूपमा प्रम्प्ट पुनर्लेखन परीक्षण गरे र यसले "प्रायः मूल प्रम्प्टको अर्थप्रतिको निष्ठा बिगार्छ" भनी बताए। तपाईंले मागेको कुरा बदलेर फिल्टर पार गर्न सक्नुहुन्छ, तर त्यसपछि तपाईंसँग आफूले मागेको कुरा रहँदैन।

अझ साँघुरो अध्ययनले पिक्सेलतर्फबाट पनि उही निष्कर्ष निकाल्छ। An Art-centric perspective on AI-based content moderation of nudity (Riccio, Curto, Hofmann र Oliver, ECCV 2024 को AI4VA कार्यशाला) मा लेखकहरूले तीन उत्पादन-स्तरका NSFW क्लासिफायरलाई कलात्मक नग्नतामा मूल्याङ्कन गर्छन् र लैङ्गिक पूर्वाग्रह तथा शैलीगत पूर्वाग्रह दुवै उजागर गर्छन्: कुनै आकृति अध्ययनको फैसला कसको शरीर र कुन शैलीमा चित्रित छ भन्नेमा भर पर्छ। जीवन-चित्रण गर्ने हरेक कलाकारलाई कल्पना मात्र हो भनिएको कुराको यो नापिएको कथन हो।

04फिल्टर गरिएका जेनेरेटरले रोक्ने वैध कामका आठ किसिम

यी ती श्रेणी हुन् जहाँ अति-अस्वीकृति असुविधा होइन, काम नै ठप्प पार्ने कुरा हो। जहाँ निश्चित रिपोर्ट गरिएको घटना छ, त्यहाँ उद्धृत गरिएको छ; जहाँ प्रमाणित भएन, त्यहाँ घटना नबनाई श्रेणी मात्र वर्णन गरिएको छ।

1. चिकित्सकीय र शरीररचनासम्बन्धी चित्रण

यस क्षेत्रको सबैभन्दा राम्ररी दस्तावेजीकृत घटना। अप्रिल 2023 मा The Intercept (Debbie Nathan) ले Midjourney ले speculum, placenta, cervix, vulva, fallopian tubes, mammary glands, uterine, urethra, hymen, sperm, condom र IUD लगायतका शरीररचनासम्बन्धी शब्द प्रतिबन्धित गरेको रिपोर्ट गर्‍यो, जबकि DALL·E 2 ले "pills used in medication abortion" लाई सामग्री-नीतिको सन्देशसहित अस्वीकार गर्‍यो। यो ढाँचा Julia Rockwell नामकी क्लिनिकल डेटा विश्लेषकले भेट्टाएकी थिइन्, जसले कोशिका-जीवविज्ञानी साथीलाई उपहार दिन प्लेसेन्टाको तस्बिर बनाउन खोजेकी थिइन्, र MIT Technology Review मा रिपोर्ट गरिएको थियो। असमानता नै सङ्केत हो: "stethoscope" सामान्य रूपमै बन्थ्यो, तर "speculum" निषिद्ध थियो। University of Washington का अनुसन्धाता Bill Howe ले फिल्टरहरूलाई "ham-fisted" भने र तिनले "प्रजननबारे वैज्ञानिक छलफल गर्नै मूलतः असम्भव" बनाएको बताए। बिरामी शिक्षा, शल्यक्रिया एटलस र नर्सिङ पाठ्यक्रम सबैलाई शरीर सही रूपमा चित्रित हुनुपर्छ, ती भागहरूसहित जसलाई किवर्ड सूचीले अश्लील ठहर्‍याइसकेको छ।

2. फोरेन्सिक र दुर्घटना पुनर्निर्माण

ठक्कर पुनर्निर्माण, आगोको उत्पत्ति विश्लेषण र अदालतका प्रदर्शनीहरूलाई क्षति, घाउ र हिंसात्मक यान्त्रिकीलाई क्लिनिकल शुद्धतासाथ चित्रण गर्नुपर्छ। "रगत" वा "गोली लागेको घाउ" अस्वीकार गर्न मिलाइएको फिल्टरले पूरै विधालाई अस्वीकार गर्छ: सन्दर्भ — विशेषज्ञको प्रतिवेदन, बिमाको फाइल — क्लासिफायरलाई देखिँदैन, र त्यस्ता तस्बिरलाई ग्राह्य बनाउने त्यही तटस्थताले नै तिनलाई रगत-मासुजस्तो देखाउँछ।

3. आर्ट न्यूड र जीवन-चित्रण

नग्न आकृति सबैतिर कलाको आधारभूत विषय हो, र आकृति अध्ययन कला शिक्षाको मूल हो। माथिको ECCV 2024 नतिजा कलाकारहरूले भन्दै आएको कुराको नापिएको संस्करण हो: क्लासिफायरहरूले आकृति अध्ययनलाई अश्लीलताबाट भरपर्दो रूपमा छुट्याउँदैनन्, र तिनका त्रुटि लिङ्ग र शैलीका आधारमा पक्षपाती हुन्छन् — अर्थात् फिल्टर ठ्याक्कै त्यही परम्पराप्रति सबैभन्दा कठोर छ जसलाई यसले चिन्नुपर्थ्यो।

4. ऐतिहासिक र युद्धकालीन तस्बिर

पाठ्यपुस्तकको कला, सङ्ग्रहालयको व्याख्या र स्मृति परियोजनाहरूलाई वर्दी, हतियार, शिविर, युद्ध र नरसंहार चित्रण गर्नुपर्छ। फेब्रुअरी 2024 को Gemini प्रकरण शिक्षाप्रद छ किनभने असफलता उल्टो दिशामा गयो र उत्तिकै क्षति गर्‍यो। नाजी-कालका जर्मन सिपाहीलगायत ऐतिहासिक समूहका जातीय रूपमा पुनर्रचित चित्रण उत्पादन गरेपछि Google ले फेब्रुअरी 22, 2024 मा Gemini को मानिसका तस्बिर बनाउने क्षमता रोक्यो। CEO Sundar Pichai ले ती नतिजालाई "completely unacceptable" भने; SVP Prabhakar Raghavan ले मोडेलले "overcompensated" गरेको र "over-conservative" बनेको स्वीकार गरे। सन्दर्भ नदेख्ने सुरक्षाले ऐतिहासिक तस्बिरलाई सुरक्षित बनाएन — यसले तिनलाई झुटो बनायो, जुन इतिहासको प्रकाशकका लागि झन् खराब हो।

5. कथासाहित्यमा हिंसा र फिल्मको पूर्व-दृश्यांकन

स्टोरीबोर्ड, कन्सेप्ट आर्ट, कमिक्स र गेम डिजाइनले उपन्यास र फिल्मले जुन कारणले हिंसा चित्रण गर्छन्, त्यही कारणले गर्छन्। हरर स्टोरीबोर्डलाई धम्कीबाट छुट्याउन नसक्ने फिल्टरले पूरै कथा-कलाको शृङ्खलालाई शङ्कास्पद ठान्छ — जबकि स्टोरीबोर्ड स्पष्ट रूपमै अवास्तविक हुन्छ, कलाकार र प्रभाव टोलीले मञ्चन गर्ने दृश्यको योजना मात्र।

6. राजनीतिक व्यङ्ग्य र सम्पादकीय कार्टुन

शक्तिशालीको व्यङ्ग्यचित्र धेरैजसो लोकतन्त्रमा अभिव्यक्तिका सबैभन्दा संरक्षित श्रेणीमध्ये पर्छ, र तस्बिर फिल्टरले हटाउने पहिलो कुरा प्रायः यही हुन्छ। सबैभन्दा स्पष्ट दस्तावेजीकृत घटना भनेको Midjourney को अप्रिल 2023 को निर्णय हो, जसमा चिनियाँ राष्ट्रपति Xi Jinping का तस्बिर बन्देज गरियो र प्रम्प्टमा उनको नाम रोकियो — PetaPixel, Decrypt लगायतले रिपोर्ट गरे — जबकि अन्य विश्व नेताहरूलाई भने अनुमति दिइरह्यो। संस्थापक David Holz ले Discord मा कम्पनीले "minimize drama" चाहेको र "चीनका मानिसहरूले यो प्रविधि प्रयोग गर्न पाउनु तपाईंले व्यङ्ग्य बनाउन पाउनुभन्दा बढी महत्त्वपूर्ण छ" भनी बताए; Foundation for Individual Rights and Expression की Sarah McLaughlin ले यसलाई सेन्सरशिप भनिन्। व्यापारिक हिसाबबारे जे निष्कर्ष निकाले पनि, संयन्त्रको नाम लिनु आवश्यक छ: एउटा राष्ट्रिय अभिव्यक्ति प्रतिबन्ध विश्वभरका हरेक प्रयोगकर्ता मा लागू गरियो, किनभने विश्वव्यापी फिल्टरको एउटै सेटिङ हुन्छ।

7. सुरक्षा अनुसन्धान र फिसिङ-सचेतना सामग्री

सुरक्षा टोलीहरूले त्यस्तो तालिम सामग्री बनाउँछन् जुन आफूले चेतावनी दिने कुराजस्तै देखिनुपर्छ: विश्वसनीय नक्कली लगइन स्क्रिन, नक्कली बिल, पार्किङ मिटरमा टाँसिएको दुर्भावनापूर्ण QR कोड। क्लासिफायरका लागि त्यो आफैंले रोक्न खोजेको आक्रमणभन्दा फरक हुँदैन — साँचोजस्तो देखिनु नै यसको उद्देश्य हो — त्यसैले फिल्टरले रक्षा र आक्रमण दुवैलाई उही व्यवहार गर्छ, जसले आक्रमणकर्तालाई फाइदा पुर्‍याउँछ, जसले फिल्टर गरिएको उपभोक्ता औजार जसै पनि प्रयोग गर्ने थिएन।

8. आफ्नै ब्रान्ड, उत्पादन वा अनुहारका तस्बिर अस्वीकृत हुने अधिकारवाला

प्रतिलिपि अधिकार र ट्रेडमार्क फिल्टरिङले स्वामित्व जाँच्दैन; समानता जाँच्छ। कुनै कम्पनीले आफ्नै लोगो वा उत्पादनका तस्बिर सजिलै बनाउन सक्दैन, कुनै अधिकारवालाले आफ्नै पात्रको तस्बिर बनाउन सक्दैन, र मानिसहरूले प्रायः आफ्नै अनुहार बनाउन सक्दैनन्, किनभने अनुहार फिल्टरहरू सहमति होइन, चिन्न सकिने हुनुमा आधारित हुन्छन्। OVERT ले आफ्ना नौ अति-अस्वीकृति श्रेणीमा "copyright violations" समावेश गर्नुको कारण नै यो गलत अस्वीकृति यति सामान्य हुनु हो। फिल्टर एउटा प्रश्नका लागि भुत्ते हतियार हो — के तपाईंसँग यसको अधिकार छ? — जुन यसले सोध्नै सक्दैन।

माथिका आठमध्ये चारवटा निश्चित प्रकाशित घटनामा आधारित छन् (चिकित्सकीय, आर्ट न्यूड, ऐतिहासिक, व्यङ्ग्य), र आठौंका लागि OVERT को प्रतिलिपि अधिकार श्रेणी। फोरेन्सिक, कथाको पूर्व-दृश्यांकन र सुरक्षा-सचेतना सामग्री श्रेणीका रूपमा उल्लेख गरिएका छन्: यी प्रभावित व्यावसायिक कामका सुपरिचित वर्ग हुन्, जसका लागि हामीले कुनै निश्चित प्रकाशित घटना प्रमाणित गरेनौं।

प्राथमिक स्रोत जाँच्नुहोस्

माथिका हरेक दस्तावेजीकृत घटना सार्वजनिक र स्वतन्त्र रूपमा प्रमाणित गर्न मिल्ने छन्। हाम्रो व्याख्यालाई भरोसा गर्नुभन्दा ती आफैं पढ्नुहोस्।

05AI आर्ट जेनेरेटरले गलत कुरा किन रोक्छन्, र सामग्री फिल्टरका गलत अस्वीकृति किन ट्युन गरेर हटाउन सकिँदैन

अति-रोकावटप्रतिको सहज प्रतिक्रिया "थ्रेसहोल्ड खुकुलो पार" भन्ने हो। यसले काम गर्दैन, प्रयासको अभावले होइन, संरचनागत कारणले।

श्रेणीहरू सङ्केतमा जोडिन्छन्, वास्तविकतामा होइन। शल्यक्रियाको चित्रण र अश्लीलताले नग्नता बाँड्छन्। फोरेन्सिक पुनर्निर्माण र रगत-मासुले रगत बाँड्छन्। सचेतना स्लाइड र फिसिङ किटले नक्कली लगइन फारम बाँड्छन्। व्यङ्ग्य कार्टुन र मानहानिकारक गढन्तेले चिन्न सकिने नेता बाँड्छन्। हरेक जोडीलाई छुट्याउने कुरा उद्देश्य र प्रस्तुति हो — जुन न प्रम्प्टमा छ न पिक्सेलमा। इनपुट क्षेत्रको उही भागमा बस्ने दुई समूहलाई कुनै थ्रेसहोल्डले छुट्याउँदैन; त्यसलाई सार्नाले एउटा त्रुटिको साटो अर्को त्रुटि मात्र आउँछ। Gemini प्रकरणले देखाएको यही हो: एउटा असफलता सच्याउन गरिएको हस्तक्षेपले अर्को उत्पादन गर्‍यो, जसलाई Google कै SVP ले "overcompensated" भने।

लागत सञ्चालकका लागि असमान छ, तपाईंका लागि होइन। एउटा खराब तस्बिर छिर्न दिने फिल्टरले समाचार बनाउँछ। दस हजार वैध तस्बिर रोक्ने फिल्टरले सन्नाटा उत्पादन गर्छ, किनभने अस्वीकृत प्रयोगकर्ताहरू सङ्गठित हुँदैनन् — तिनी हार मान्छन्। त्यो असमानतामा जोखिम व्यवस्थापन स्थायी रूपमा अति-रोकावटतिरै टुङ्गिन्छ। र आधारभूत निर्णय नै असम्भव भएकाले, घटना हुँदै जाँदा ब्लकलिस्टमा अक्षरशः शब्द थपिँदै जान्छन्, र यसरी नै "stethoscope" ठीक र "speculum" प्रतिबन्धित हुन्छ। कसैले महिला-विशिष्ट उपकरण बढी खतरनाक हुन् भनी निर्णय गरेको होइन; सूची त्यहीँ बढ्यो जहाँ उजुरी आयो। यसले हानिको सिद्धान्त होइन, सञ्चालकको जनसम्पर्क इतिहास सङ्केतबद्ध गर्छ।

सबैभन्दा कडा अधिकारक्षेत्र नै विश्वव्यापी डिफल्ट बन्छ। एउटै फिल्टरले हरेक देशका हरेक प्रयोगकर्तालाई सेवा दिन्छ, त्यसैले एउटा बजारका लागि थपिएको प्रतिबन्ध सबैमा निर्यात हुन्छ — Xi Jinping को नियम यसको पाठ्यपुस्तक उदाहरण हो। र तपाईंको प्रम्प्ट पुनर्लेखनले तपाईंको अर्थ नष्ट गर्छ, जुन OVERT को प्रयोगात्मक बुँदा हो: फिल्टर पार गर्न आफ्नो अनुरोध घुमाउरो शब्दमा धोएका हरेक पेशेवरले यो आफ्नै हातले पुष्टि गरिसकेका छन्। तपाईंले जित्नुभएन; तपाईंले सम्झौता गर्नुभयो।

यीमध्ये केही पनि निःशुल्क छैन, र यो चुपचाप असफल हुने भएकाले सञ्चालकले हेर्ने मापदण्डमा यसको मूल्य अदृश्य रहन्छ। पर्याप्त अस्वीकृतिपछि तपाईं सोध्नै छोड्नुहुन्छ, र हरेक प्रम्प्टलाई पास हुने अनुमान गरेको कुरामै पहिल्यै साँघुरो बनाउनुहुन्छ; अन्ततः पास हुने घुमाउरो शब्दले तपाईंको कागजातलाई चाहिने कुराको नजिक, तर त्यही नभएको तस्बिर दिन्छ। सामान्य नीति सन्देशले कुन तह चल्यो भन्ने केही बताउँदैन, त्यसैले तपाईं अनुमान गरेर फेरि कोसिस मात्र गर्न सक्नुहुन्छ — र तस्बिरको काम पुनरावृत्तीय हुन्छ, त्यसैले पाँचमध्ये एउटा प्रयास समात्ने फिल्टरले लूपलाई सुस्त बनाउने मात्र होइन, भङ्ग नै गरिदिन्छ। यता, गम्भीर औजारमाथि सबैभन्दा बलियो दाबी भएका क्षेत्रहरूले न समीक्षक पाउँछन्, न पुनरावेदन, र प्रायः के रोकिएको छ भन्ने प्रकाशित सूची पनि पाउँदैनन्। तपाईंले पढ्नै नसक्ने नियम नियम होइन; त्यो मौसम हो।

06सेन्सर नगरिएको बनाम फिल्टर गरिएको AI तस्बिर जेनेरेटर: वास्तवमा के बदलिन्छ

यहाँ तुलनाको इमानदार संस्करण छ, जसमा फिल्टरविहीन प्रणालीले तपाईंलाई जे दिँदैन त्यो पनि समेटिएको छ।

आयामफिल्टर गरिएको जेनेरेटरफिल्टरविहीन (Shannon)
के निर्णय गर्छशब्द र पिक्सेल पढ्ने क्लासिफायरठ्याक्कै प्रम्प्ट पढ्ने व्यक्ति
कहिले थाहा हुन्छपठाइसकेपछि — कहिलेकाहीं तिरिसकेपछिकेही रेन्डर वा बिल हुनुअघि
नियम के होअप्रकाशित, बदलिइरहने ब्लकलिस्टप्रकाशित जिम्मेवार प्रयोग नीति
व्यावसायिक सन्दर्भप्रणालीलाई अदृश्यतपाईंकै हातमा, र तपाईंकै जवाफदेहीमा
असफलताको ढाँचाचुपचाप अति-रोकावट, अर्थमा बहकावतपाईंले मागेकै पाउनुहुन्छ — गल्तीसहित
जोखिम कसले बोक्छविक्रेताले, तपाईंकै कामतिर सारेरसाझा: सञ्चालकको नीति र प्रयोगकर्ताको उत्तरदायित्व

मानिसहरूले छाड्ने अन्तिम पङ्क्ति नै महत्त्वपूर्ण हो। फिल्टर हटाउनाले खण्ड 02 का हानि श्रेणीहरू हट्दैनन्; यसले तिनबारे नराम्रो अनुमान लगाइरहेको यन्त्र मात्र हटाउँछ। दायित्व जहाँको त्यहीँ रहन्छ, अब सन्दर्भबारे तर्क गर्न सक्ने दुई पक्षले बोकेको: सञ्चालक, जसले नीति प्रकाशित र लागू गर्छ, र तपाईं, जसलाई तस्बिर केका लागि हो थाहा छ। फिल्टरविहीन AI तस्बिर निर्माण ती मानिसहरूका लागि औजार हो जो आफ्नो नतिजाको पछाडि उभिन पहिल्यै तयार छन् — शल्यचिकित्सकको एटलस, विशेषज्ञको प्रतिवेदन, स्टोरीबोर्ड, कार्टुन — र जसलाई तिनलाई अरूबाट छुट्याउनै नसक्ने प्रणालीले रोकिरहेको थियो।

07Shannon ले के गर्छ — र के गर्दैन

यहाँ उत्साहभन्दा सटीकता बढी महत्त्वपूर्ण छ, विशेष गरी API खोज्दै आइपुग्ने पाठकहरूका लागि।

निर्माण
नयाँ तस्बिर
सम्पादन
एउटा स्रोत तस्बिर
संयोजन
दुई वा बढी तस्बिर
छैन
भिडियो निर्माण

यसले के गर्छ

  • निर्माण। सरल भाषामा, जुनसुकै भाषामा तस्बिर वर्णन गर्नुहोस्। तपाईंले जुनसुकै भाषामा सोध्नुभए पनि Shannon ले निर्माण प्रम्प्ट आफैं, अङ्ग्रेजीमा लेख्छ।
  • एउटा तस्बिरको सम्पादन। ठ्याक्कै एउटा स्रोत — कुराकानीमा पहिल्यै भएको तस्बिर, वा हालको सन्देशमा जोडिएको — के बदलिन्छ र के उस्तै रहन्छ भन्ने निर्देशनले बदलिन्छ। नतिजाले स्रोतको आस्पेक्ट रेसियो स्वतः कायम राख्छ।
  • दुई वा बढी तस्बिर जोड्ने। पोसाक सार्ने, वस्तु-दृश्यभित्र, व्यक्तिको छेउमा व्यक्ति, उत्पादन-व्यक्तिमाथि, एउटा तस्बिरको विषयसँग अर्कोको शैली। प्रम्प्टले हरेक तस्बिरको भूमिका क्रमैसँग नाम लिन्छ, र साँचो तस्बिरहरू नै प्रयोग हुन्छन्, त्यसैले तिनको वास्तविक रूप पुनः वर्णन नगरी जोगिन्छ।
  • आकार नियन्त्रण। square (डिफल्ट), portrait, landscape, wide र tall। स्पष्ट अनुरोध सधैं जित्छ।
  • हाम्रो आफ्नै GPU क्लस्टरमा रेन्डरिङ, निर्माण बाटोमा कुनै सामग्री फिल्टर र प्रम्प्ट लेख्ने मोडेलमा कुनै अस्वीकृति तहविना।

यसले के गर्दैन

  • भिडियो छैन। Shannon ले तस्बिरलाई चलायमान बनाउँदैन र भिडियो उत्पादन गर्दैन। यो लजाएर लुकाइएको रोडम्यापको कुरा होइन — यो अस्तित्वमै छैन।
  • API मा छैन। तस्बिर निर्माण, सम्पादन र संयोजन Shannon च्याट एपमा छन्। /v1 API ले पाठ र भिजन सेवा दिन्छ — यसले तपाईंले पठाएका तस्बिर पढ्न सक्छ — तर बनाउँदैन।
  • नमागी निर्माण छैन। अभिवादन, प्रश्न वा सामान्य रूपमा जोडिएको फोटोले तस्बिर बनाउँदैन। Shannon लाई कुनै तस्बिर हेर्न भन्नु — वर्णन गर, पढ, विश्लेषण गर — सामान्य भिजनको काम हो, निर्माण होइन, र यसको कुनै अतिरिक्त शुल्क लाग्दैन।

पुष्टि कार्ड

फिल्टरको ठाउँ लिने संयन्त्र यही हो, र यो औपचारिकता होइन, डिजाइनको छनोट हो। तपाईं तस्बिर माग्दै हुनुहुन्छ भनी Shannon ले ठहर गरेपछि, यसले निर्माण प्रम्प्ट लेख्छ र केही रेन्डर हुनुअघि त्यो तपाईंलाई पुष्टि कार्डमा देखाउँछ। तपाईंले पुष्टि नगरेसम्म केही बन्दैन र केही बिल हुँदैन।

दुई डिजाइनलाई तिनकै गुणमा तुलना गर्नुहोस्। फिल्टरले तपाईंसँग भएभन्दा कम सूचनासहित तपाईंको नियतको अनुमान लगाउँछ, र त्यो अनुमान चुपचाप लागू गर्छ। पुष्टि कार्डले तस्बिरको अक्षरशः विवरण त्यो पक्षको सामु राख्छ जसलाई त्यो केका लागि हो थाहा छ, कुनै पनि कम्प्युट खर्च हुनुअघि। यसले तपाईंको अनुरोधको गलत बुझाइ समात्छ, जुन फिल्टरले कहिल्यै गर्दैन; यसले मोडेलले कम तोकेको शरीररचनासम्बन्धी सटीकता वा ऐतिहासिक विवरण तपाईंलाई थप्न दिन्छ; र यसले जिम्मेवारीलाई फैलिएको होइन, पढ्न मिल्ने बनाउँछ। तपाईंले प्रम्प्ट देख्नुभयो, र तपाईंले बटन थिच्नुभयो।

08फिल्टरविहीन निर्माणले जिम्मेवारी बढाउँछ, हटाउँदैन

यो कुरा फुटरमा होइन, यहीँ पर्छ, किनभने यो तर्कको आधा हिस्सा हो। फिल्टर गरिएको जेनेरेटरले पूरा गर्नै नसक्ने वाचा गर्छ: औजारले तपाईंको तर्फबाट दुरुपयोग रोक्नेछ भन्ने। यो दुवै दिशामा असफल हुन्छ — यसले शल्यचिकित्सकलाई रोक्छ, र दृढ कुनियतवालालाई रोक्दैन, जससँग अरू विकल्प थिए र सधैं हुन्छन्। यसले भरपर्दो रूपमा गर्ने भनेको सबैलाई जिम्मेवारी माथिल्लो तहमा, यन्त्रले सम्हालिसक्यो भन्ने अनुभूति दिनु हो। फिल्टर हटाउँदा त्यो कल्पना हट्छ; कुनै तस्बिर हुनुपर्छ कि पर्दैन भन्ने प्रश्न जवाफ दिन सक्ने मानिसहरूकहाँ फर्कन्छ।

  • Shannon Lab LLC को दायित्व। अप्रकाशित ब्लकलिस्ट होइन, निषिद्ध श्रेणीहरूको नाम लिने प्रकाशित, निश्चित जिम्मेवार प्रयोग नीति — तपाईंले पढ्न, उद्धृत गर्न र हामीलाई जवाफदेह बनाउन सक्ने नियमहरू।
  • तपाईंको दायित्व। तपाईंलाई उद्देश्य, दर्शक, अधिकारक्षेत्र र चित्रित हरेक व्यक्तिको सहमतिको अवस्था थाहा छ। औजारलाई थाहा छैन, र क्लासिफायरलाई कहिल्यै हुन सक्दैन। त्यो ज्ञान महत्त्वपूर्ण क्षणमा, त्यो भएकै पक्षद्वारा लागू होस् भनेर पुष्टि कार्ड छ।
  • नसर्ने रेखा। "फिल्टरले मलाई रोकेन" कुनै पनि माध्यममा कहिल्यै बचाउ भएको छैन। क्यामेराले अस्वीकार गर्दैन, पेन्सिलले अस्वीकार गर्दैन; कानुन र व्यावसायिक नैतिकताले प्रयोगलाई निर्देशित गर्छन्, उपकरणलाई होइन। फिल्टरविहीन जेनेरेटरले अरू हरेक व्यावसायिक औजार चल्ने त्यही सामान्य व्यवस्था फर्काउँछ।

सुरु गर्नुअघि जिम्मेवार प्रयोग नीति पढ्नुहोस्। यो छोटो, निश्चित छ, र यो उत्पादनको बाँकी भागलाई बचाउयोग्य बनाउने हिस्सा हो।

09बारम्बार सोधिने प्रश्नहरू

स्पष्ट रूपमा वैध प्रम्प्टलाई AI तस्बिर जेनेरेटरले किन अस्वीकार गर्छ?

किनभने धेरैजसो फिल्टरले तपाईंको उद्देश्य होइन, प्रम्प्टका शब्द जाँच्छन्। मोडेलको अगाडि बस्ने क्लासिफायरसँग तपाईं को हुनुहुन्छ वा किन सोध्दै हुनुहुन्छ भन्ने कुनै पहुँच हुँदैन, त्यसैले चिकित्सकीय चित्रकार, फोरेन्सिक विश्लेषक र कुनियतवाला सबैले उही नाम टाइप गर्छन् र सबैले उही अस्वीकृति पाउँछन्। The Intercept ले अप्रिल 2023 मा Midjourney ले speculum, placenta र cervix लगायतका शरीररचनासम्बन्धी शब्द प्रतिबन्धित गरेको, तर stethoscope भने सामान्य रूपमै चलेको रिपोर्ट गरेको थियो।

AI आर्ट औजारमा सामग्री फिल्टरका गलत अस्वीकृति नाप्ने अनुसन्धान छ?

छ। OVERT (arXiv:2505.21347, ICML 2025) पाठ-देखि-तस्बिर मोडेलहरूका लागि पहिलो ठूलो-स्तरको अति-अस्वीकृति बेन्चमार्क हो: नौ सुरक्षा श्रेणीभरि हानिकारक देखिने तर साँच्चै हानिरहित 4,600 प्रम्प्ट, र नियन्त्रणका रूपमा साँच्चै हानिकारक 1,785 प्रम्प्ट। यसका लेखकहरूले अग्रणी मोडेलहरूभरि अति-अस्वीकृति व्यापक रहेको बताउँछन्। छुट्टै ECCV 2024 अध्ययनले कलात्मक नग्नतामा मूल्याङ्कन गरिएका तीन NSFW क्लासिफायरमा लैङ्गिक र शैलीगत पूर्वाग्रह भेट्टायो।

सेन्सर नगरिएको AI तस्बिर जेनेरेटरले वास्तवमा के बदल्छ?

यसले निर्माण बाटोबाट अस्वीकृति तह र सामग्री फिल्टर हटाउँछ, ताकि वैध अनुरोधलाई चुपचाप आक्रमणका रूपमा पुनर्वर्गीकरण नगरियोस्। यसले विवेक हटाउँदैन — त्यसलाई सार्छ। केही रेन्डर हुनुअघि Shannon ले ठ्याक्कै निर्माण प्रम्प्ट पुष्टि कार्डमा देखाउँछ, ताकि निर्णय के उत्पादन हुँदै छ देख्न सक्ने व्यक्तिले, जिम्मेवार प्रयोग नीति अन्तर्गत लिऊन्।

के Shannon ले भिडियो बनाउँछ?

बनाउँदैन। Shannon ले नयाँ तस्बिर बनाउँछ, एउटा भइरहेको तस्बिर सम्पादन गर्छ, र दुई वा बढी तस्बिरलाई एउटैमा जोड्छ। यसले तस्बिरलाई चलायमान बनाउँदैन र कुनै पनि किसिमको भिडियो उत्पादन गर्दैन।

के म Shannon API बाट तस्बिर बनाउन सक्छु?

सक्नुहुन्न। तस्बिर निर्माण, सम्पादन र संयोजन Shannon च्याट एपमा छन्। /v1 API ले पाठ र भिजन सेवा दिन्छ — तपाईंले दिएका तस्बिर पढ्ने र विश्लेषण गर्ने — तस्बिर निर्माण होइन।

फिल्टर नै छैन भने दुरुपयोग केले रोक्छ?

किवर्ड ब्लकलिस्ट होइन, नीति, उत्तरदायित्व र देखिने निर्णय बिन्दुले। Shannon ले नमागी कहिल्यै बनाउँदैन, रेन्डर हुनुअघि पूरा प्रम्प्ट देखाउँछ, तपाईंले पुष्टि नगरेसम्म केही बिल गर्दैन, र नाबालिग संलग्न यौन सामग्री, वास्तविक व्यक्तिका असहमत अन्तरङ्ग तस्बिर, लक्षित दुर्व्यवहार, तथा परिचय वा वित्तीय कागजातको जालसाजी निषेध गर्ने प्रकाशित जिम्मेवार प्रयोग नीति अन्तर्गत चल्छ।

तपाईंलाई साँच्चै चाहिएको तस्बिर माग्नुहोस्

च्याट एपमा निर्माण, एकल-तस्बिर सम्पादन र बहु-तस्बिर संयोजन — कुनै सामग्री फिल्टर छैन, कुनै अस्वीकृति तह छैन, र केही रेन्डर हुनुअघि प्रम्प्ट स्क्रिनमा।

च्याट सुरु गर्नुहोस् जिम्मेवार प्रयोग नीति

तस्बिरहरू च्याट एपमा · भिडियो निर्माण छैन · थप अनुसन्धान


स्रोतहरू: Cheng, Huang, Xu, Sojoudi, Zhao, Song & Mei — OVERT (arXiv:2505.21347, ICML 2025) · Riccio, Curto, Hofmann & Oliver — An Art-centric perspective on AI-based content moderation of nudity (arXiv:2409.17156, AI4VA @ ECCV 2024) · Debbie Nathan, The Intercept, अप्रिल 22, 2023 · PetaPixel, अप्रिल 3, 2023 · CNBC, फेब्रुअरी 22, 2024। Shannon AI लाई Shannon Lab LLC, न्यू मेक्सिको, USA ले सञ्चालन गर्छ।

All research links