असेन्सॉर्ड विरुद्ध फिल्टर लावलेले AI इमेज जनरेटर
कंटेंट फिल्टर मोजक्या खऱ्या हानी रोखण्यासाठी बांधले गेले. व्यवहारात ते वैद्यकीय चित्रण, न्यायवैद्यक पुनर्रचना, आकृती रेखाटन, युद्ध इतिहास, संपादकीय व्यंग आणि कंपन्यांनी स्वतःची उत्पादने चित्रित करणे हेही रोखतात. त्याची किंमत काय आहे — आणि फिल्टर काढल्याने काय बदलते व काय बदलत नाही, हे इथे आहे.
थोडक्यात
मुख्य प्रवाहातील इमेज जनरेटर प्रॉम्प्ट आणि आउटपुट अशा वर्गीकरणकर्त्यांनी तपासतात ज्यांना शब्द आणि पिक्सेल दिसतात, उद्देश कधीच नाही. त्यामुळे चुकीचे नकार अटळ ठरतात, आणि त्यांचा सर्वाधिक फटका कुशल कामाला बसतो: शरीररचना, न्यायवैद्यक, कलात्मक न्यूड, ऐतिहासिक प्रतिमा, पूर्वदृश्यीकरण, व्यंग, सुरक्षा-जागरूकता साहित्य, आणि स्वतःच्याच ब्रँडची मागणी करणारे हक्कधारक. या अपयशाचे पहिले मोठ्या प्रमाणावरील बेंचमार्क OVERT (ICML 2025) 4,600 निरुपद्रवी-पण-संशयास्पद प्रॉम्प्ट वापरते आणि आघाडीच्या मॉडेलमध्ये अतिनकार व्यापक असल्याचे आढळते. Shannon इमेज जनरेशन, एकल-प्रतिमा संपादन आणि बहु-प्रतिमा संयोजन आमच्या स्वतःच्या GPU क्लस्टरवर कंटेंट फिल्टरशिवाय आणि नकार स्तराशिवाय चालवते, आणि ब्लॉकलिस्टच्या जागी एक दृश्यमान निर्णय ठेवते: काहीही रेंडर होण्यापूर्वी नेमका प्रॉम्प्ट दाखवणारे पुष्टीकरण कार्ड. यामुळे तुमची आणि आमची जबाबदारी वाढते; दोन्ही जबाबदार वापर धोरणात आहेत. व्हिडिओ जनरेशन नाही, आणि प्रतिमांचे काम चॅट अ‍ॅपमध्ये आहे, API मध्ये नाही.
प्रतिमांसोबत व्यावसायिकरीत्या काम करणाऱ्या जवळपास प्रत्येकाची तीच गोष्ट आहे. काहीतरी सामान्य वर्णन करणारा प्रॉम्प्ट — गुडघ्याच्या सांध्याचा छेद, धडक होण्याच्या क्षणी असलेली कार, कोळशाने काढलेला आकृती अभ्यास, 1944 मधील एक सैनिक — धोरण उल्लंघन म्हणून परत येतो. तुम्ही शब्द बदलता, आणि वेगळे उल्लंघन मिळते. शेवटी तुम्ही इतके अस्पष्ट काहीतरी लिहिता की ते पास होते, आणि मिळणारी प्रतिमा तुम्हाला हवे होते ते दाखवतच नाही. साधन मोठ्या आवाजात अपयशी झाले नाही; ते हळूहळू अपयशी झाले, आणि तडजोड करणारे तुम्हीच ठरलात.
01स्पष्टपणे वैध असलेल्या प्रॉम्प्टला AI इमेज जनरेटर नकार का देते?
हा नकार सहसा इमेज मॉडेलचे मत नसतो. तो मॉडेलभोवतीच्या फिल्टरिंग रचनेचा परिणाम असतो, आणि तिचे स्तर तुम्हाला मिळालेल्या जवळपास प्रत्येक विचित्र नकाराचे स्पष्टीकरण देतात.
| स्तर | तो काय तपासतो | वैशिष्ट्यपूर्ण अपयश |
|---|---|---|
| प्रॉम्प्ट ब्लॉकलिस्ट | तुमच्या मजकुरातील अक्षरशः शब्द आणि त्यांचे जवळचे प्रकार | वाक्य काहीही असो, शब्द अडवते — "speculum" नाकारले जाते, "stethoscope" चालते |
| प्रॉम्प्ट वर्गीकरणकर्ता | प्रॉम्प्टच्या "धोक्याचा" शिकलेला अंदाज | विषयाच्या जवळिकीवर पेटतो: वैद्यक, शस्त्रे, शरीरे किंवा राजकारणाजवळचे काहीही जास्त गुण मिळवते |
| मॉडेलचे नकार प्रशिक्षण | मॉडेलची स्वतःची प्रशिक्षित अनिच्छा | त्रुटीशिवाय नकार देते, किंवा गुपचूप निर्जंतुक पर्याय तयार करते |
| आउटपुट वर्गीकरणकर्ता | रेंडर झालेले पिक्सेल, प्रॉम्प्टच्या संदर्भाशिवाय | शरीररचनेचे चित्र आणि अश्लील चित्र, किंवा चित्रपटातील दृश्य आणि खरी घटना ओळखू शकत नाही |
| धोरणात्मक बदल | रेंडरपूर्वी तुमच्या प्रॉम्प्टचे गुपचूप पुनर्लेखन | तुम्हाला प्रतिमा मिळते, पण तुम्ही सांगितलेली नाही, आणि का ते सांगितलेही जात नाही |
प्रत्येक स्तराचा एकच आंधळा कोपरा आहे: तुम्ही का विचारत आहात हे कोणालाच दिसत नाही. वैद्यकीय चित्रकार, धडकेची पुनर्रचना करणारा फिर्यादीचा तज्ज्ञ, आणि वाईट हेतू असलेली व्यक्ती हे सर्व तेच नाम टाइप करतात. फिल्टरला ते नाम दिसते, शरीररचनेचा नकाशा किंवा खटल्याची फाइल नाही, आणि त्याचे मूल्यमापन तो कोणती हानी जाऊ देतो यावर होते — तो कोणते काम नष्ट करतो यावर कधीच नाही. या विषमतेत कोणत्याही संचालकासाठी तर्कशुद्ध सेटिंग अधिक नकार द्या हीच असते. म्हणूनच "फक्त शब्द बदला" हा उपाय नाही: शब्द बदलल्याने फिल्टरला नसलेली माहिती मिळत नाही, फक्त तुमचा प्रॉम्प्ट त्याला अडवणाऱ्या शब्दांपासून दूर जातो, ज्याचा अर्थ सहसा तुम्हाला जे अभिप्रेत होते त्यापासूनच दूर जाणे असा होतो.
02कंटेंट फिल्टर खरोखर काय रोखण्यासाठी आहेत
फिल्टर विनाकारण अस्तित्वात आहेत असे भासवणारी फिल्टरविरहित जनरेशनची मांडणी वाचण्यालायक नाही. अशा आउटपुटचा एक मर्यादित संच आहे ज्याची हानी प्रतिमेतच अंतर्भूत असते, कोणी विचारले किंवा का विचारले याच्याशी निरपेक्ष:
- अल्पवयीनांचा समावेश असलेला लैंगिक आशय. कोणताही संदर्भ तो स्वीकारार्ह करत नाही; कोणत्याही व्यावसायिक कार्यप्रवाहाला त्याची गरज नाही.
- खऱ्या व्यक्तींच्या संमतीशिवाय घेतलेल्या खासगी प्रतिमा. हानी अशा व्यक्तीवर पडते जिने संमती दिली नव्हती, आणि ती काढून टाकल्याने ती हानी भरून निघत नाही.
- लक्ष्यित छळ आणि बदनामीकारक बनावटगिरी — नाव घेतलेल्या व्यक्तीने न केलेली गोष्ट तिने केल्यासारखी भासवणे.
- बनावटगिरीच्या दर्जाची कागदपत्रे — पासपोर्ट, ओळखपत्रे, चलनी नोटा, शिक्के आणि खरी वाटावीत अशी आर्थिक साधने.
- फसवी कृत्रिम पुरावे — खऱ्या घटनांच्या बनावट प्रतिमा चित्रण म्हणून नव्हे तर दस्तऐवज म्हणून सादर करणे.
ही यादी छोटी आहे आणि तिला रचना आहे: हानी वस्तूतच असते, खऱ्या व्यक्तीशी किंवा कागदपत्राशी असलेल्या तिच्या साम्यात असते, आणि सत्य म्हणून केलेल्या तिच्या सादरीकरणात असते. यात काय नाही ते पाहा — नग्नता, रक्त, शस्त्रे, ऐतिहासिक अत्याचार, राजकीय उपहास. या तर वैद्यक, पत्रकारिता, कला, न्यायवैद्यक आणि व्यंग यांचा कच्चा माल आहेत, आणि त्यांना हानीच्या श्रेण्या मानणारा फिल्टर कोणते विषय प्रतिष्ठित आहेत याबद्दलची फार व्यापक कल्पना अंमलात आणत असतो.
Shannon त्या यादीतील सर्व काही प्रतिबंधित करते, ते नाव घेतलेल्या श्रेण्या आणि परिणाम असलेल्या प्रकाशित जबाबदार वापर धोरणात, "placenta" लाही पकडणाऱ्या कीवर्ड तक्त्यात नाही. एक असा नियम आहे जो तुम्ही वाचू शकता आणि ज्यासाठी आम्हाला जबाबदार धरू शकता; दुसरा म्हणजे तुम्हाला न दिसणाऱ्या वर्गीकरणकर्त्याने तुमच्या हेतूबद्दल बांधलेला अंदाज.
03अतिनकाराची समस्या किती मोठी आहे? संशोधन काय मोजते
अलीकडेपर्यंत इमेज मॉडेलमधील अतिनकार ही केवळ ऐकीव गोष्ट होती — तीच गोष्ट सांगणारे हजारो लोक आणि तिचे माप काढण्याचा कोणताही मार्ग नाही. OVERT (OVEr-Refusal evaluation on Text-to-image models) मुळे ते बदलले, जे ICML 2025 मध्ये Ziheng Cheng, Somayeh Sojoudi, Xuandong Zhao, Dawn Song आणि Song Mei यांचा समावेश असलेल्या UC Berkeley गटाने सादर केले: मजकूर-ते-प्रतिमा प्रणाली पूर्णपणे निरुपद्रवी प्रॉम्प्टना किती वेळा नकार देतात हे मोजणारे पहिले मोठ्या प्रमाणावरील बेंचमार्क.
त्याची रचना महत्त्वाची आहे. ते 4,600 प्रॉम्प्ट निरुपद्रवी असूनही हानिकारक दिसण्यासाठी बांधले आहेत — स्केलपेल, जखम किंवा निदर्शनाचा उल्लेख करणाऱ्या खऱ्या व्यावसायिक विनंतीच्या आकाराचे — आणि 1,785 खरोखर हानिकारक प्रॉम्प्ट त्यांच्यासोबत नियंत्रण म्हणून ठेवले आहेत, जेणेकरून सर्वच नाकारून मॉडेलला चांगले गुण मिळवता येऊ नयेत. या नऊ श्रेण्या वैयक्तिक व सार्वजनिक व्यक्तींच्या गोपनीयतेपासून कॉपीराइट, भेदभाव, स्वतःला इजा, लैंगिक आशय आणि बेकायदेशीर कृत्यांमार्गे हिंसेपर्यंत जातात.
प्रमुख निष्कर्ष असा की अतिनकार श्रेण्यांमध्ये आणि आघाडीच्या मॉडेलमध्ये व्यापक आहे. दुसरा निष्कर्ष नेहमीच्या पळवाटेला अधिक धक्का देणारा आहे: लेखकांनी उपाय म्हणून प्रॉम्प्ट पुनर्लेखनाची चाचणी घेतली आणि नोंदवले की ते "मूळ प्रॉम्प्टच्या अर्थाशी असलेली निष्ठा बरेचदा धोक्यात आणते." तुम्ही जे मागितले ते बदलून फिल्टरपलीकडे जाऊ शकता, आणि मग तुमच्याकडे तुम्ही मागितलेले उरतच नाही.
एक अधिक मर्यादित अभ्यास पिक्सेलच्या बाजूने तोच निष्कर्ष काढतो. An Art-centric perspective on AI-based content moderation of nudity (Riccio, Curto, Hofmann आणि Oliver, ECCV 2024 मधील AI4VA कार्यशाळा) मध्ये लेखक कलात्मक नग्नतेवर तीन उत्पादन NSFW वर्गीकरणकर्त्यांचे मूल्यमापन करतात आणि लिंगाधारित पूर्वग्रह व शैलीधारित पूर्वग्रह दोन्ही उघड करतात: आकृती अभ्यासावरील निर्णय कोणाचे शरीर आणि कोणत्या शैलीत चित्रित केले आहे यावर अवलंबून असतो. आकृती रेखाटन करणाऱ्या प्रत्येक कलाकाराला जे काल्पनिक असल्याचे सांगितले जात होते, त्याचेच हे मोजमापासह केलेले विधान आहे.
04फिल्टर लावलेले जनरेटर अडवतात असे वैध कामाचे आठ प्रकार
या अशा श्रेण्या आहेत जिथे अतिनकार गैरसोय नसून काम थांबवणारा ठरतो. जिथे विशिष्ट नोंदवलेले प्रकरण उपलब्ध आहे तिथे ते उद्धृत केले आहे; जिथे काहीच पडताळता आले नाही तिथे घटना न रचता श्रेणीचे वर्णन केले आहे.
1. वैद्यकीय आणि शारीरिक चित्रण
या क्षेत्रातील सर्वात चांगल्या नोंदी असलेले प्रकरण. एप्रिल 2023 मध्ये The Intercept (Debbie Nathan) ने कळवले की Midjourney ने speculum, placenta, cervix, vulva, fallopian tubes, mammary glands, uterine, urethra, hymen, sperm, condom आणि IUD यांसह शरीररचनेच्या संज्ञांवर बंदी घातली होती, तर DALL·E 2 ने "pills used in medication abortion" ला कंटेंट-धोरण संदेशासह नकार दिला. हा नमुना Julia Rockwell या क्लिनिकल डेटा विश्लेषकाला आढळला, जिने पेशी-जीवशास्त्रज्ञ मैत्रिणीला भेट म्हणून वारेचे चित्र तयार करण्याचा प्रयत्न केला होता, आणि तिने ते MIT Technology Review ला कळवले. विषमताच सर्वकाही सांगते: "stethoscope" नेहमीप्रमाणे तयार होत होते तर "speculum" प्रतिबंधित होते. University of Washington चे संशोधक Bill Howe यांनी या फिल्टरना "ham-fisted" म्हटले आणि सांगितले की त्यांच्यामुळे "प्रजननाबद्दल शास्त्रीय चर्चा करणे मुळात अशक्य" झाले होते. रुग्ण शिक्षण, शस्त्रक्रियेचे नकाशे आणि परिचर्या अभ्यासक्रम या सर्वांना शरीरे अचूकपणे चित्रित केलेली लागतात, ज्यात कीवर्ड यादीने अश्लील ठरवलेले भागही येतात.
2. न्यायवैद्यक आणि अपघात पुनर्रचना
धडकेची पुनर्रचना, आगीच्या उगमाचे विश्लेषण आणि न्यायालयातील प्रात्यक्षिके यांना नुकसान, जखमा आणि हिंसक यांत्रिकी वैद्यकीय अचूकतेने चित्रित करावी लागतात. "blood" किंवा "gunshot wound" नाकारण्यासाठी जुळवलेला फिल्टर संपूर्ण शाखाच नाकारतो: संदर्भ — तज्ज्ञाचा अहवाल, विम्याची फाइल — वर्गीकरणकर्त्याला अदृश्य असतो, आणि ज्या तटस्थतेमुळे अशा प्रतिमा पुरावा म्हणून ग्राह्य ठरतात तीच त्यांना रक्तपात भासवते.
3. कलात्मक न्यूड आणि आकृती रेखाटन
नग्न आकृती हा सर्वत्र कलेचा पायाभूत विषय आहे, आणि आकृती अभ्यास हा कला शिक्षणाचा गाभा आहे. वरील ECCV 2024 चा निष्कर्ष म्हणजे कलाकार जे सांगतात त्याची मोजमापासह आवृत्ती: वर्गीकरणकर्ते आकृती अभ्यास आणि अश्लीलता विश्वासार्हपणे वेगळे करत नाहीत, आणि त्यांच्या चुका लिंग व शैलीनुसार पूर्वग्रहदूषित असतात — ज्या परंपरेला ओळखायला हवे तिच्यावरच फिल्टर सर्वात कठोर.
4. ऐतिहासिक आणि युद्धकालीन प्रतिमा
पाठ्यपुस्तकातील कला, संग्रहालयातील विवेचन आणि स्मारक प्रकल्प यांना गणवेश, शस्त्रे, छावण्या, लढाया आणि अत्याचार चित्रित करावे लागतात. फेब्रुवारी 2024 चा Gemini प्रसंग बोधप्रद आहे कारण तिथे अपयश उलट दिशेने गेले आणि तितकेच नुकसान झाले. नाझी-काळातील जर्मन सैनिकांसह ऐतिहासिक गटांची वांशिकदृष्ट्या बदललेली चित्रे तयार झाल्यानंतर Google ने 22 फेब्रुवारी 2024 रोजी Gemini ची माणसांच्या प्रतिमा तयार करण्याची क्षमता थांबवली. CEO Sundar Pichai यांनी ते आउटपुट "completely unacceptable" म्हटले; SVP Prabhakar Raghavan यांनी मान्य केले की मॉडेलने "overcompensated" केले होते आणि ते "over-conservative" झाले होते. संदर्भ न पाहणाऱ्या सुरक्षेने ऐतिहासिक प्रतिमा अधिक सुरक्षित केल्या नाहीत — त्यांनी त्या खोट्या केल्या, जे इतिहासाच्या प्रकाशकासाठी अधिक वाईट आहे.
5. काल्पनिक कथेतील हिंसा आणि चित्रपटाचे पूर्वदृश्यीकरण
स्टोरीबोर्ड, संकल्पना कला, कॉमिक्स आणि गेम डिझाइन हिंसा चित्रित करतात, त्याच कारणासाठी ज्यासाठी कादंबऱ्या आणि चित्रपट करतात. भयकथेचा स्टोरीबोर्ड आणि धमकी यातील फरक न ओळखणारा फिल्टर संपूर्ण कथात्मक-कला साखळीलाच संशयास्पद मानतो — तरी स्टोरीबोर्ड स्पष्टपणे अवास्तव असतो, कलाकार आणि इफेक्ट्स संघ उभे करणार असलेल्या दृश्याचा आराखडा असतो.
6. राजकीय व्यंग आणि संपादकीय व्यंगचित्रण
सत्ताधाऱ्यांचे व्यंगचित्रण बहुतांश लोकशाहींमध्ये अभिव्यक्तीच्या सर्वाधिक संरक्षित श्रेणींपैकी एक आहे, आणि इमेज फिल्टर नियमितपणे तेच सर्वात आधी काढून टाकतो. सर्वात स्पष्ट नोंदवलेले प्रकरण म्हणजे Midjourney चा एप्रिल 2023 चा निर्णय, ज्यात चिनी राष्ट्राध्यक्ष Xi Jinping यांच्या प्रतिमांवर बंदी घालून प्रॉम्प्टमध्ये त्यांचे नाव अडवण्यात आले — PetaPixel, Decrypt आणि इतरांनी हे कळवले — तर इतर जागतिक नेत्यांना परवानगी कायम राहिली. संस्थापक David Holz यांनी Discord वर स्पष्ट केले की कंपनीला "minimize drama" करायचे होते आणि "चीनमधील लोकांना हे तंत्रज्ञान वापरता येण्याची क्षमता तुम्हाला व्यंग तयार करता येण्याच्या क्षमतेपेक्षा अधिक महत्त्वाची आहे"; Foundation for Individual Rights and Expression च्या Sarah McLaughlin यांनी त्याला सेन्सॉरशिप म्हटले. व्यावसायिक गणिताबद्दल कोणी काहीही ठरवो, त्या यंत्रणेला नाव देणे आवश्यक आहे: एका देशातील अभिव्यक्तीवरील निर्बंध जगभरातील प्रत्येक वापरकर्त्याला लागू, कारण जागतिक फिल्टरला एकच सेटिंग असते.
7. सुरक्षा संशोधन आणि फिशिंग-जागरूकता साहित्य
सुरक्षा संघ असे प्रशिक्षण साहित्य बनवतात जे ते ज्याबद्दल इशारा देते तसेच दिसावे लागते: विश्वसनीय बनावट लॉगिन स्क्रीन, बनावट बीजक, पार्किंग मीटरवरचा दुर्भावनापूर्ण QR कोड. वर्गीकरणकर्त्यासाठी ते ज्या हल्ल्यापासून लस देते त्याच्यापासून वेगळे ओळखता येत नाही — खरेपणाचा भास हाच तर मुद्दा आहे — त्यामुळे फिल्टर बचाव आणि हल्ला सारखेच अडवतात, आणि त्याचा फायदा हल्लेखोराला होतो, जो फिल्टर लावलेले ग्राहक साधन कधीच वापरणार नव्हता.
8. स्वतःच्याच ब्रँड, उत्पादन किंवा प्रतिरूपाच्या प्रतिमा नाकारले गेलेले हक्कधारक
कॉपीराइट आणि ट्रेडमार्क फिल्टरिंग मालकी तपासत नाही; ते साम्य तपासते. कंपनीला स्वतःच्या लोगोच्या किंवा उत्पादनाच्या प्रतिमा सहज तयार करता येत नाहीत, हक्कधारकाला स्वतःचे पात्र चित्रित करता येत नाही, आणि लोकांना बरेचदा स्वतःचाच चेहरा तयार करता येत नाही, कारण प्रतिरूप फिल्टर संमतीवर नव्हे तर ओळखता येण्यावर चालतात. OVERT आपल्या नऊ अतिनकार श्रेणींमध्ये "copyright violations" समाविष्ट करते नेमके याचसाठी की हा चुकीचा नकार इतका सामान्य आहे. तुम्हाला याचा हक्क आहे का? — हा प्रश्न विचारण्याचा कोणताही मार्ग फिल्टरकडे नाही, आणि तरी तो त्यासाठी वापरले जाणारे बोथट हत्यार आहे.
वरील आठपैकी चार विशिष्ट प्रकाशित प्रकरणाशी जोडलेले आहेत (वैद्यकीय, कलात्मक न्यूड, ऐतिहासिक, व्यंग) आणि आठव्यासाठी OVERT ची कॉपीराइट श्रेणी. न्यायवैद्यक, कथात्मक पूर्वदृश्यीकरण आणि सुरक्षा-जागरूकता साहित्य ही श्रेण्या म्हणून मांडली आहेत: प्रभावित व्यावसायिक कामाचे हे सुपरिचित वर्ग आहेत, ज्यांच्यासाठी आम्ही विशिष्ट प्रकाशित घटना पडताळलेली नाही.
वरील प्रत्येक नोंदवलेले प्रकरण सार्वजनिक आणि स्वतंत्रपणे पडताळण्याजोगे आहे. आमच्या मांडणीवर विश्वास ठेवण्याऐवजी ते स्वतः वाचा.
05AI आर्ट जनरेटर चुकीच्या गोष्टी का अडवतात, आणि कंटेंट फिल्टरचे चुकीचे नकार जुळवणी करून का दूर करता येत नाहीत
अति-अडवणुकीवरची सहज प्रतिक्रिया म्हणजे "मर्यादा सैल करा." ती चालत नाही, आणि त्याचे कारण प्रयत्नांची कमतरता नसून रचनात्मक आहे.
श्रेण्या संकेतात एकमेकांत मिसळतात, वास्तवात नाही. शस्त्रक्रियेचे चित्रण आणि अश्लीलता यांच्यात नग्नता समान आहे. न्यायवैद्यक पुनर्रचना आणि रक्तपात यांच्यात रक्त समान आहे. जागरूकता स्लाइड आणि फिशिंग किट यांच्यात बनावट लॉगिन फॉर्म समान आहे. व्यंगचित्र आणि बदनामीकारक बनावटगिरी यांच्यात ओळखता येणारा राजकारणी समान आहे. प्रत्येक जोडीत फरक करते ते उद्देश आणि सादरीकरण — जे प्रॉम्प्टमध्येही नाही आणि पिक्सेलमध्येही नाही. इनपुट अवकाशाचा तोच भाग व्यापणाऱ्या दोन समूहांना कोणतीही मर्यादा वेगळे करत नाही; ती हलवल्याने फक्त एका चुकीच्या बदल्यात दुसरी चूक मिळते. Gemini प्रसंगाने हेच दाखवले: एक अपयश दुरुस्त करण्यासाठी केलेल्या हस्तक्षेपाने दुसरे अपयश निर्माण केले, जे Google च्याच SVP ने "overcompensated" म्हणून वर्णन केले.
खर्चाची विषमता संचालकासाठी आहे, तुमच्यासाठी नाही. एक वाईट प्रतिमा जाऊ देणाऱ्या फिल्टरमुळे बातमी होते. दहा हजार वैध प्रतिमा अडवणाऱ्या फिल्टरमुळे शांतता निर्माण होते, कारण नकार मिळालेले वापरकर्ते संघटित होत नाहीत — ते सोडून देतात. या विषमतेतील जोखीम व्यवस्थापन कायमस्वरूपी अति-अडवणुकीकडेच झुकते. आणि मूळ निर्णयच अशक्य असल्यामुळे, घटना घडतील तसतशी ब्लॉकलिस्टमध्ये अक्षरशः शब्द जमत जातात, आणि म्हणूनच "stethoscope" चालते तर "speculum" प्रतिबंधित असते. स्त्री-विशिष्ट उपकरणे अधिक धोकादायक आहेत असे कोणी ठरवले नाही; जिथे तक्रारी आल्या तिथे यादी वाढली. ती संचालकाचा जनसंपर्क इतिहास नोंदवते, हानीचा सिद्धांत नाही.
सर्वात कडक अधिकारक्षेत्र जागतिक डीफॉल्ट बनते. एकच फिल्टर प्रत्येक देशातील प्रत्येक वापरकर्त्याला सेवा देतो, त्यामुळे एका बाजारपेठेसाठी जोडलेला निर्बंध सर्वांना निर्यात होतो — Xi Jinping चा नियम हे पाठ्यपुस्तकातील उदाहरण. आणि तुमचा प्रॉम्प्ट पुन्हा लिहिल्याने तुमचा अर्थ नष्ट होतो, हाच OVERT चा प्रायोगिक मुद्दा आहे: फिल्टरपलीकडे नेण्यासाठी विनंतीला सौम्य शब्दांत गुंडाळणाऱ्या प्रत्येक व्यावसायिकाने ते स्वतः अनुभवून पडताळले आहे. तुम्ही जिंकला नाहीत; तुम्ही तडजोड केलीत.
यातले काहीही फुकट नाही, आणि हे अपयश शांतपणे घडत असल्याने संचालक ज्या आकड्यांकडे पाहतो त्यात ही किंमत दिसतच नाही. पुरेसे नकार मिळाल्यावर तुम्ही विचारणे थांबवता, आणि प्रत्येक प्रॉम्प्ट आधीच जे पास होईल असे तुम्हाला वाटते तेवढ्यापुरता संकुचित करता; शेवटी पास होणारा सौम्य शब्दप्रयोग तुमच्या दस्तऐवजाला हवी असलेल्या प्रतिमेच्या जवळची, पण तीच नसलेली प्रतिमा देतो. सर्वसाधारण धोरण संदेश कोणता स्तर पेटला हे सांगत नाही, त्यामुळे तुम्ही फक्त अंदाज बांधून पुन्हा प्रयत्न करू शकता — आणि प्रतिमांचे काम पुनरावृत्तीचे असल्याने पाचपैकी एक प्रयत्न पकडणारा फिल्टर केवळ काम मंद करत नाही तर संपूर्ण लय मोडतो. दरम्यान, गंभीर साधनांवर सर्वात मजबूत हक्क असलेल्या क्षेत्रांना कोणी समीक्षक मिळत नाही, अपील मिळत नाही आणि काय अडवले आहे याची प्रकाशित यादीही सहसा मिळत नाही. जो नियम तुम्ही वाचू शकत नाही तो नियम नाही; ते हवामान आहे.
06असेन्सॉर्ड विरुद्ध फिल्टर लावलेले AI इमेज जनरेटर: प्रत्यक्षात काय बदलते
इथे या तुलनेची प्रामाणिक आवृत्ती आहे, ज्यात फिल्टरविरहित प्रणाली तुम्हाला काय देत नाही तेही आहे.
| बाब | फिल्टर लावलेले जनरेटर | फिल्टरविरहित (Shannon) |
|---|---|---|
| कोण ठरवते | शब्द आणि पिक्सेल वाचणारा वर्गीकरणकर्ता | नेमका प्रॉम्प्ट वाचणारी व्यक्ती |
| तुम्हाला कधी कळते | तुम्ही पाठवल्यानंतर — कधीकधी पैसे दिल्यानंतर | काहीही रेंडर किंवा बिल होण्यापूर्वी |
| नियम काय आहे | अप्रकाशित, बदलत्या ब्लॉकलिस्ट | प्रकाशित जबाबदार वापर धोरण |
| व्यावसायिक संदर्भ | प्रणालीला अदृश्य | तुमच्या हातात, आणि तुमच्याच जबाबदारीवर |
| अपयशाचा प्रकार | गुपचूप अति-अडवणूक, अर्थ भरकटणे | तुम्ही जे मागितले ते तुम्हाला मिळते — चुकांसह |
| जोखीम कोण उचलतो | विक्रेता, जो ती तुमच्या कामावर ढकलतो | सामायिक: संचालकाचे धोरण अधिक वापरकर्त्याचे उत्तरदायित्व |
शेवटची ओळ लोक वगळतात, आणि तीच महत्त्वाची आहे. फिल्टर काढल्याने विभाग 02 मधील हानीच्या श्रेण्या नाहीशा होत नाहीत; त्यांच्याबद्दल वाईट अंदाज बांधणारे यंत्र नाहीसे होते. जबाबदारी होती तिथेच राहते, फक्त आता ती संदर्भावर विचार करू शकणाऱ्या दोन पक्षांकडे असते: संचालक, जो धोरण प्रकाशित करतो व अंमलात आणतो, आणि तुम्ही, ज्यांना प्रतिमा कशासाठी आहे हे माहीत आहे. फिल्टरविरहित AI इमेज जनरेशन हे आपल्या आउटपुटमागे उभे राहायला आधीच तयार असलेल्या लोकांसाठीचे साधन आहे — शल्यचिकित्सकाचा नकाशा, तज्ज्ञाचा अहवाल, स्टोरीबोर्ड, व्यंगचित्र — ज्यांना त्यांच्यात आणि इतर कोणात फरक न करू शकणाऱ्या प्रणालीने अडवले होते.
07Shannon काय करते — आणि काय करत नाही
इथे उत्साहापेक्षा अचूकता अधिक महत्त्वाची आहे, विशेषतः API शोधातून आलेल्या वाचकांसाठी.
ते काय करते
- जनरेशन. कोणत्याही भाषेत, साध्या शब्दांत प्रतिमेचे वर्णन करा. तुम्ही कोणत्याही भाषेत विचारले तरी Shannon जनरेशन प्रॉम्प्ट स्वतः, इंग्रजीत लिहिते.
- एक प्रतिमा संपादित करणे. नेमका एकच स्रोत — संभाषणात आधीच असलेले चित्र, किंवा तुमच्या सध्याच्या संदेशाला जोडलेले — काय बदलते आणि काय तसेच राहते हे सांगणाऱ्या सूचनेने बदलले जाते. आउटपुट स्रोताचा आस्पेक्ट रेशो आपोआप कायम ठेवते.
- दोन किंवा अधिक प्रतिमा एकत्र करणे. पोशाख हस्तांतरण, वस्तू-दृश्यात, व्यक्तीच्या शेजारी व्यक्ती, उत्पादन-व्यक्तीवर, एका प्रतिमेतील विषय दुसरीच्या शैलीसह. प्रॉम्प्ट प्रत्येक प्रतिमेची भूमिका क्रमाने नाव घेऊन सांगतो, आणि खऱ्या प्रतिमाच वापरल्या जातात, त्यामुळे त्यांचे प्रत्यक्ष स्वरूप पुन्हा वर्णन न करता जपले जाते.
- आकाराचे नियंत्रण. square (डीफॉल्ट), portrait, landscape, wide आणि tall. स्पष्ट विनंती नेहमी जिंकते.
- आमच्या स्वतःच्या GPU क्लस्टरवर रेंडरिंग, जनरेशन मार्गावर कंटेंट फिल्टरशिवाय आणि प्रॉम्प्ट लिहिणाऱ्या मॉडेलवर नकार स्तराशिवाय.
ते काय करत नाही
- व्हिडिओ नाही. Shannon प्रतिमांना अ‍ॅनिमेट करत नाही आणि व्हिडिओ तयार करत नाही. हे लपवून ठेवलेले रोडमॅप वैशिष्ट्य नाही — ते अस्तित्वातच नाही.
- API वर नाही. इमेज जनरेशन, एडिटिंग आणि संयोजन Shannon चॅट अ‍ॅपमध्ये आहेत. /v1 API मजकूर आणि व्हिजन पुरवते — तुम्ही पाठवलेल्या प्रतिमा ते वाचू शकते — पण ते त्या रेंडर करत नाही.
- न मागता जनरेशन नाही. अभिवादन, प्रश्न किंवा सहज जोडलेले छायाचित्र प्रतिमा तयार करत नाही. Shannon ला प्रतिमा पाहायला सांगणे — तिचे वर्णन कर, ती वाच, तिचे विश्लेषण कर — हे सामान्य व्हिजन काम आहे, जनरेशन नाही, आणि त्यासाठी काहीही अतिरिक्त खर्च होत नाही.
पुष्टीकरण कार्ड
फिल्टरची जागा घेणारी हीच यंत्रणा आहे, आणि ती औपचारिकता नसून रचनात्मक निवड आहे. तुम्ही प्रतिमा मागत आहात हे Shannon ठरवते तेव्हा ती जनरेशन प्रॉम्प्ट लिहिते आणि काहीही रेंडर होण्यापूर्वी तो तुम्हाला पुष्टीकरण कार्डवर दाखवते. तुम्ही पुष्टी करेपर्यंत काहीही तयार होत नाही आणि काहीही बिल होत नाही.
दोन्ही रचनांची गुणवत्तेवर तुलना करा. फिल्टर तुमच्यापेक्षा कमी माहितीवर तुमच्या हेतूचा अंदाज बांधतो आणि तो अंदाज गुपचूप लागू करतो. पुष्टीकरण कार्ड कोणतीही गणनशक्ती खर्च होण्यापूर्वी प्रतिमेची अक्षरशः तपशीलवार मांडणी ती कशासाठी आहे हे माहीत असलेल्या पक्षासमोर ठेवते. ते तुमच्या विनंतीचे चुकीचे वाचन पकडते, जे फिल्टर कधीच करत नाहीत; मॉडेलने अपुरी ठेवलेली शारीरिक अचूकता किंवा ऐतिहासिक तपशील तुम्हाला जोडू देते; आणि जबाबदारी विखुरलेली न ठेवता स्पष्ट करते. तुम्ही प्रॉम्प्ट पाहिला, आणि तुम्ही बटण दाबले.
08फिल्टरविरहित जनरेशन जबाबदारी वाढवते, ती काढून टाकत नाही
हे तळटीपेत नव्हे तर इथेच असायला हवे, कारण हा या मांडणीचा अर्धा भाग आहे. फिल्टर लावलेले जनरेटर पाळता येणार नाही असे वचन देते: साधन तुमच्या वतीने गैरवापर रोखेल. ते दोन्ही दिशांनी अपयशी ठरते — ते शल्यचिकित्सकाला अडवते, आणि निर्धार असलेल्या वाईट हेतूच्या व्यक्तीला थांबवत नाही, जिच्याकडे इतर पर्याय आहेत आणि नेहमीच होते. ते विश्वासार्हपणे एवढेच करते की जबाबदारी वरच्या टप्प्यावर, यंत्राने हाताळली गेली असे सर्वांना वाटू देते. फिल्टर काढल्याने ती कल्पित गोष्ट संपते; एखादी प्रतिमा असावी की नाही हा प्रश्न त्याचे उत्तर देऊ शकणाऱ्या लोकांकडे परत येतो.
- Shannon Lab LLC ची जबाबदारी. अप्रकाशित ब्लॉकलिस्टऐवजी प्रतिबंधित श्रेण्या नाव घेऊन सांगणारे प्रकाशित, विशिष्ट जबाबदार वापर धोरण — असे नियम जे तुम्ही वाचू शकता, उद्धृत करू शकता आणि ज्यासाठी आम्हाला जबाबदार धरू शकता.
- तुमची जबाबदारी. उद्देश, प्रेक्षक, अधिकारक्षेत्र आणि चित्रित प्रत्येकाच्या संमतीची स्थिती तुम्हाला माहीत असते. साधनाला नाही, आणि वर्गीकरणकर्त्याला कधीच कळू शकत नाही. पुष्टीकरण कार्ड अशासाठी आहे की ते ज्ञान ज्या क्षणी महत्त्वाचे आहे त्या क्षणी, ज्याच्याकडे ते आहे त्याच्याकडून वापरले जावे.
- न हलणारी रेषा. "फिल्टरने मला थांबवले नाही" हा कोणत्याही माध्यमात कधीच बचाव ठरलेला नाही. कॅमेरा नकार देत नाही, पेन्सिल नकार देत नाही; कायदा आणि व्यावसायिक नीती वापरावर नियंत्रण ठेवतात, साधनावर नाही. फिल्टरविरहित जनरेटर इतर प्रत्येक व्यावसायिक साधन ज्या सामान्य व्यवस्थेत चालते तीच व्यवस्था परत आणतो.
सुरू करण्यापूर्वी जबाबदार वापर धोरण वाचा. ते छोटे, विशिष्ट आहे, आणि या उत्पादनाचा उर्वरित भाग समर्थनीय बनवणारा तोच भाग आहे.
09वारंवार विचारले जाणारे प्रश्न
स्पष्टपणे वैध असलेल्या प्रॉम्प्टला AI इमेज जनरेटर नकार का देते?
कारण बहुतेक फिल्टर तुमच्या प्रॉम्प्टमधील शब्दांचा न्याय करतात, तुमच्या उद्देशाचा नाही. मॉडेलसमोर बसलेल्या वर्गीकरणकर्त्याला तुम्ही कोण आहात किंवा का विचारत आहात याची काहीच माहिती नसते, त्यामुळे वैद्यकीय चित्रकार, न्यायवैद्यक विश्लेषक आणि वाईट हेतू असलेली व्यक्ती हे सर्वजण तेच नाम टाइप करतात आणि सर्वांना तोच नकार मिळतो. The Intercept ने एप्रिल 2023 मध्ये कळवले की Midjourney ने speculum, placenta आणि cervix यांसह शरीररचनेच्या संज्ञांवर बंदी घातली होती, तर stethoscope मात्र नेहमीप्रमाणे चालत होते.
AI आर्ट साधनांमधील कंटेंट फिल्टरच्या चुकीच्या नकारांचे मोजमाप करणारे संशोधन आहे का?
होय. OVERT (arXiv:2505.21347, ICML 2025) हे मजकूर-ते-प्रतिमा मॉडेलसाठीचे पहिले मोठ्या प्रमाणावरील अतिनकार बेंचमार्क आहे: नऊ सुरक्षा श्रेणींमध्ये पसरलेले 4,600 वरवर हानिकारक वाटणारे पण प्रत्यक्षात निरुपद्रवी प्रॉम्प्ट, अधिक नियंत्रण म्हणून 1,785 खरोखर हानिकारक प्रॉम्प्ट. आघाडीच्या मॉडेलमध्ये अतिनकार व्यापक असल्याचे त्याचे लेखक नोंदवतात. एका वेगळ्या ECCV 2024 अभ्यासात कलात्मक नग्नतेवर तपासलेल्या तीन NSFW वर्गीकरणकर्त्यांमध्ये लिंगाधारित आणि शैलीधारित पूर्वग्रह आढळला.
असेन्सॉर्ड AI इमेज जनरेटर प्रत्यक्षात काय बदलते?
ते जनरेशन मार्गावरून नकार स्तर आणि कंटेंट फिल्टर काढून टाकते, त्यामुळे वैध विनंतीचे गुपचूप हल्ला म्हणून पुनर्वर्गीकरण होत नाही. ते विवेक काढून टाकत नाही — ते त्याची जागा बदलते. काहीही रेंडर होण्यापूर्वी Shannon तुम्हाला नेमका जनरेशन प्रॉम्प्ट पुष्टीकरण कार्डवर दाखवते, त्यामुळे काय तयार होणार आहे ते पाहू शकणारी व्यक्ती, जबाबदार वापर धोरणाअंतर्गत, निर्णय घेते.
Shannon व्हिडिओ तयार करते का?
नाही. Shannon नवीन प्रतिमा तयार करते, एक विद्यमान प्रतिमा संपादित करते, आणि दोन किंवा अधिक प्रतिमा एकत्र करून एक बनवते. ती प्रतिमांना अ‍ॅनिमेट करत नाही आणि कोणत्याही प्रकारचा व्हिडिओ तयार करत नाही.
मी Shannon API मधून प्रतिमा तयार करू शकतो का?
नाही. इमेज जनरेशन, एडिटिंग आणि संयोजन Shannon चॅट अ‍ॅपमध्ये आहेत. /v1 API मजकूर आणि व्हिजन पुरवते — तुम्ही दिलेल्या प्रतिमा वाचणे आणि त्यांचे विश्लेषण करणे — इमेज जनरेशन नाही.
फिल्टर नसेल, तर गैरवापर कशामुळे थांबतो?
कीवर्ड ब्लॉकलिस्टऐवजी धोरण, उत्तरदायित्व आणि एक दृश्यमान निर्णयबिंदू. Shannon कधीही न मागता प्रतिमा तयार करत नाही, रेंडरपूर्वी संपूर्ण प्रॉम्प्ट दाखवते, तुम्ही पुष्टी करेपर्यंत काहीही बिल करत नाही, आणि अल्पवयीनांचा समावेश असलेला लैंगिक आशय, खऱ्या व्यक्तींच्या संमतीशिवाय घेतलेल्या खासगी प्रतिमा, लक्ष्यित छळ, आणि ओळख किंवा आर्थिक कागदपत्रांची बनावटगिरी प्रतिबंधित करणाऱ्या प्रकाशित जबाबदार वापर धोरणाअंतर्गत चालते.
तुम्हाला प्रत्यक्षात हवी असलेली प्रतिमा मागा
चॅट अ‍ॅपमध्ये जनरेशन, एकल-प्रतिमा संपादन आणि बहु-प्रतिमा संयोजन — कंटेंट फिल्टर नाही, नकार स्तर नाही, आणि काहीही रेंडर होण्यापूर्वी स्क्रीनवर प्रॉम्प्ट.
चॅट सुरू करा जबाबदार वापर धोरणप्रतिमा चॅट अ‍ॅपमध्ये · व्हिडिओ जनरेशन नाही · अधिक संशोधन
स्रोत: Cheng, Huang, Xu, Sojoudi, Zhao, Song & Mei — OVERT (arXiv:2505.21347, ICML 2025) · Riccio, Curto, Hofmann & Oliver — An Art-centric perspective on AI-based content moderation of nudity (arXiv:2409.17156, AI4VA @ ECCV 2024) · Debbie Nathan, The Intercept, 22 एप्रिल 2023 · PetaPixel, 3 एप्रिल 2023 · CNBC, 22 फेब्रुवारी 2024. Shannon AI चे संचालन Shannon Lab LLC, न्यू मेक्सिको, USA करते.