Em tu daneyên bikarhêneran qet naparêzin an nagihîjin wan, û hesabên wan nasuspend dikin heya ku law enforcement çalakiyek neçar bike.
Lêkolîn · Cihgirtin

Bê Sansûr li hember Fîltrekirî: Çêkerê Wêneyan ê AI

Fîltreyên naverokê hatin avakirin da ku komeke biçûk a zirarên rastîn rawestînin. Di pratîkê de ew wênesaziya bijîşkî, jinûveavakirina edlî, xêzkirina laş, dîroka şer, satîra edîtoryal û şirketên ku hilberên xwe wêne dikin jî radiwestînin. Ev bihayê wê ye — û rakirina fîltreyê çi diguherîne û çi naguherîne.

Weşandin 5ê Îlona 2026LêkolînShannon Lab LLC

TL;DR

Çêkerên wêneyan ên sereke prompt û derketinan bi klasîfîkeran vedikolin ku peyv û pîkselan dibînin, tu carî mebestê. Ev pozîtîfên derewîn garantî dike, û ew herî giran li ser karê jêhatî dadikevin: anatomî, edlî, tazîtiya hunerî, wêneyên dîrokî, pêş-dîtin, satîr, materyalê hişyariya ewlekariyê, û xwedîmafên ku markaya xwe dixwazin. OVERT (ICML 2025), benchmarka yekem a mezin ji bo vî awayê têkçûnê, 4,600 promptên bêziyan-lê-gumanbar bikar tîne û dibîne ku zêde-redkirin di nav modelên pêşeng de belav e. Shannon çêkirina wêneyan, guherandina yek-wêneyî û berhevkirina pir-wêneyî li ser koma GPU ya me bi xwe bêyî fîltreya naverokê û bêyî tebeqeya redkirinê dimeşîne, û lîsteya astengkirinê bi biryareke xuya diguherîne: karteke pesendkirinê ku promptê tam berî ku tiştek were render kirin nîşan dide. Ev berpirsiyariya te û ya me bilind dike; her du di Polîtîkaya Bikaranîna Berpirsiyar de ne. Tu çêkirina vîdyoyê tune, û karê wêneyan di sepana chatê de ye, ne di APIyê de.

Hema hema her kesê ku bi awayekî pîşeyî bi wêneyan re dixebite heman çîroka wî heye. Prompteke ku tiştekî asayî şirove dike — birrîneke bendika çokê, otomobîlek di kêliya lêdanê de, xebateke laş bi komirê, leşkerekî di 1944an de — wek binpêkirineke polîtîkayê vedigere. Tu wê ji nû ve dinivîsî, û binpêkirineke din werdigirî. Di dawiyê de tu tiştekî têra xwe nezelal dinivîsî ku derbas bibe, û wêneyekê werdigirî ku êdî tiştê ku te hewce dikir nîşan nade. Amûrê bi dengekî bilind têk neçû; ew bi pileyan têk çû, û te kir ew kesê ku li hev hat.

01Çima çêkerekî wêneyan ê AI prompteke ku bi eşkereyî rewa ye red dike?

Redkirin bi gelemperî ne nêrîna modela wêneyan e. Ew derketina stackeke fîltrekirinê ya li dora modelê ye, û tebeqeyên wê hema hema her redkirineke ecêb a ku te wergirtiye şirove dikin.

TebeqeÇi vedikoleTêkçûna taybet
Lîsteya astengkirinê ya promptêRêzikên herfî û guhertoyên nêzîk di nivîsa te dePeyvekê bêyî ku li hevoka dora wê binêre asteng dike — "speculum" têk diçe, "stethoscope" derbas dibe
Klasîfîkerê promptêNirxandineke fêrbûyî ya "rîska" promptêLi ser nêzîkbûna mijarê teqe dike: her tiştê nêzîkî bijîşkî, çekan, laşan an siyasetê bilind tê nirxandin
Perwerdehiya redkirinê ya modelêNexwaziya perwerdekirî ya modelê bi xweBêyî çewtiyekê red dike, an bi bêdengî cîgirekî paqijkirî çêdike
Klasîfîkerê derketinêPîkselên render kirî, bêyî çarçoveya promptêNikare tabloyeke anatomiyê ji pornografiyê, an dîmeneke fîlmê ji bûyereke rastîn cuda bike
Cîgirkirina polîtîkayêJinûvenivîsandina bêdeng a promptê te berî renderêTu wêneyekê werdigirî, lê ne ya ku te diyar kir, û ji te re nayê gotin çima

Her tebeqe yek kor-xalê parve dike: yek jî nikare bibîne çima tu dipirsî. Wênesazekî bijîşkî, pisporê dozgerekî ku lêdanekê ji nû ve ava dike, û kesekî bi mebestên xirab hemû heman navdêrî dinivîsin. Fîltre navdêrî dibîne, ne atlas an dosyeya dozê, û ew li ser wan zirarên ku dihêle derbas bibin tê notdayîn — tu carî li ser wî karî ku hilweşîne. Di bin wê nehevsengiyê de, sazkirina maqûl a her operatorî ev e: zêdetir red bike. Ev jî sedema wê ye ku "tenê wê ji nû ve binivîse" ne çareserî ye: jinûvenivîsandin ti agahiya ku fîltre jê bêpar bû nade wê, ew tenê promptê te ji wan peyvan dûr dixe ku wê teqandin, ku ev bi gelemperî tê wateya dûrketina ji mebesta te.

02Fîltreyên naverokê bi rastî li wir in ku pêşî li çi bigirin

Argumanek ji bo çêkirina bêfîltre ku xwe wisa nîşan dide ku fîltre bê sedem hene ne hêjayî xwendinê ye. Komeke teng a derketinan heye ku zirara wan di wêneyê bi xwe de ye, serbixwe ji wê ku kî pirsî an çima:

  • Naveroka cinsî ya bi temenbiçûkan ve girêdayî. Tu çarçove wê qebûlbar nake; tu pêvajoyeke pîşeyî wê hewce nake.
  • Wêneyên nêz ên bê razîbûn ên mirovên rastîn. Zirar li ser kesekî dadikeve ku razî nebû, û jêbirin wê venagerîne.
  • Tacîza armanckirî û sextekirina navrizandinê — nîşandana kesekî bi nav wek ku tiştek kiribe ku nekiriye.
  • Belgeyên di asta sextekariyê de — pasaport, kartên nasnameyê, banknot, mor û amûrên darayî yên ku hatine çêkirin da ku wek rastîn derbas bibin.
  • Delîlên sentetîk ên xapînok — wêneyên çêkirî yên bûyerên rastîn ku wek belgekirin tên pêşkêş kirin ne wek wênesazî.

Lîste kurt e û avahiyek wê heye: zirar di berhemê de dijî, di şibandina wê bi kesekî an belgeyekî rastîn re, û di pêşkêşkirina wê wek rastiyê de. Bala xwe bide ka çi li ser wê nîne — tazîtî, xwîn, çek, kiryarên hovane yên dîrokî, tinazkirina siyasî. Ew materyalê xav ê bijîşkî, rojnamegerî, huner, edlî û satîrê ne, û fîltreyek ku wan wek kategoriyên zirarê dihesibîne fikreke pir firehtir li ser wê pêk tîne ku kîjan mijar bi rûmet in.

Shannon her tiştê di wê lîsteyê de qedexe dike, di Polîtîkayeke Bikaranîna Berpirsiyar a weşandî de bi kategoriyên bi nav û encaman, ne bi tabloyeke peyvan ku "placenta" jî digire. Ya yekem qaîdeyek e ku tu dikarî bixwînî û me pê ve girê bidî; ya din texmînek e li ser mebestên te ji aliyê klasîfîkerekî ve ku tu nikarî bibînî.

03Pirsgirêka zêde-redkirinê çiqas mezin e? Lêkolîn çi dipîve

Heta demeke nêz, zêde-redkirin di modelên wêneyan de çîrokek bû — hezaran mirov bi heman çîrokê û tu rê tune ku were pîvandin. Ev bi OVERTê guherî (OVEr-Refusal evaluation on Text-to-image models), ku di ICML 2025 de ji aliyê komeke UC Berkeley ve hat pêşkêş kirin, di nav de Ziheng Cheng, Somayeh Sojoudi, Xuandong Zhao, Dawn Song û Song Mei: benchmarka yekem a mezin ku dipîve ka pergalên nivîs-bo-wêne çend caran promptên bi tevahî bêziyan red dikin.

4,600
Promptên bêziyan
9
Kategoriyên ewlekariyê
1,785
Kontrolên zirardar
ICML
2025

Sêwiran girîng e. 4,600 prompt wisa hatine avakirin ku zirardar xuya bikin lê bêziyan bin — şeklê daxwazeke pîşeyî ya rastîn ku behsa neştereke, birîneke şîn an xwepêşandanekê dike — û 1,785 promptên bi rastî zirardar li tenişta wan wek kontrol rûdinin, loma modelek nikare bi redkirina her tiştî nirxekî baş bistîne. Neh kategorî ji nihêniya kesan û ya kesayetiyên giştî, di nav mafên telîfê, cihêkariyê, xwe-zirardanê, naveroka cinsî û çalakiya neqanûnî re, digihîjin tundûtûjiyê.

Encama sereke ew e ku zêde-redkirin di nav kategoriyan û di nav modelên pêşeng de belav e. Ya duyem ji bo çareseriya standard zirardartir e: nivîskaran jinûvenivîsandina promptê wek kêmkirinekê ceriband û ragihandin ku ew "pir caran dilsoziya li hember wateya promptên orîjînal xera dike." Tu dikarî ji fîltreyê derbas bibî bi guhertina tiştê ku te xwestiye, û paşê êdî tiştê ku te xwestiye li ba te tune.

Lêkolîneke tengtir ji aliyê pîkselan ve digihîje heman encamê. Di An Art-centric perspective on AI-based content moderation of nudity de (Riccio, Curto, Hofmann û Oliver, atolyeya AI4VA di ECCV 2024 de), nivîskar sê klasîfîkerên NSFW ên hilberînê li ser tazîtiya hunerî dinirxînin û hem nêrînbendiyeke zayendî hem nêrînbendiyeke stîlîstîk derdixin holê: biryara li ser xebateke laş bi wê ve girêdayî ye ku laşê kê tê nîşandan û bi kîjan stîlê. Ev gotineke pîvandî ye ya wî tiştî ku ji her hunermendê xêzkirina laş re hatiye gotin ku xeyalî ye.

04Heşt cure karê rewa ku çêkerên fîltrekirî asteng dikin

Ev ew kategorî ne ku tê de zêde-redkirin ne nerehetiyek e lê rawestandina karî ye. Li cihê ku rewşeke ragihandî ya diyar hebe, tê jêgirtin; li cihê ku yek nehatibe verastkirin, kategorî tê şirovekirin bêyî ku bûyerek were dahênan.

1. Wênesaziya bijîşkî û anatomîk

Rewşa herî baş belgekirî di vê qadê de. Di Nîsana 2023 de, The Intercept (Debbie Nathan) ragihand ku Midjourney têgehên anatomîk qedexe kiribûn, di nav de speculum, placenta, cervix, vulva, fallopian tubes, mammary glands, uterine, urethra, hymen, sperm, condom û IUD, dema ku DALL·E 2 "pills used in medication abortion" bi peyameke polîtîkaya naverokê red kir. Ew şêwe ji aliyê Julia Rockwell ve hat dîtin, analîsteke daneyên klînîkî ku hewl dabû wêneyekî placentayê wek diyarî ji hevalekê xwe yê biyologê şaneyan re çêbike, û ji MIT Technology Review re hat ragihandin. Nehevsengî nîşan e: "stethoscope" bi awayekî asayî dihat çêkirin dema ku "speculum" qedexe bû. Lêkolînerê Zanîngeha Washingtonê Bill Howe ji fîltreyan re got "ham-fisted" û got ku wan "bi bingehîn ne gengaz kir ku gotûbêjeke zanistî li ser hilberandinê were kirin." Perwerdehiya nexweşan, atlasên emeliyatê û bernameyên hemşîretiyê hemû hewceyî laşên bi rastî hatine nîşandan in, di nav de wan beşan ku lîsteyeke peyvan biryar daye ku bêrûmet in.

2. Jinûveavakirina edlî û ya qezayê

Jinûveavakirina lêdanan, analîza jêderka êgir û nîşandanên dadgehê hewce dikin ku zirar, birîn û mekanîka tundûtûj bi rastiyeke klînîkî bên nîşandan. Fîltreyek ku ji bo redkirina "blood" an "gunshot wound" hatiye eyar kirin dîsîplînê red dike: çarçove — raporeke pisporî, dosyeyeke sîgorteyê — ji bo klasîfîkerî nayê dîtin, û tam ew bêalîtiya ku wisa wêneyan qebûlbar dike ew e ku wan wek xwînrêjî tê xwendin.

3. Tazîtiya hunerî û xêzkirina laş

Tazîtî mijareke bingehîn a hunerê li her derê ye, û xebata laş navika perwerdehiya hunerê ye. Encama ECCV 2024 ya jorîn guhertoya pîvandî ya tiştê ye ku hunermend ragihandine: klasîfîker bi pêbawerî xebateke laş ji pornografiyê cuda nakin, û çewtiyên wan bi zayend û stîlê ve nêrînbend in — fîltreyek ku herî hişk e tam li ser wê kevneşopiyê ku divê nas bike.

4. Wêneyên dîrokî û yên serdema şer

Hunera pirtûkên dersê, şiroveya muzexaneyan û projeyên bîranînê hewce dikin ku cil, çek, kamp, şer û kiryarên hovane bên nîşandan. Bûyera Gemini ya Sibata 2024 hînker e ji ber ku têkçûn di aliyê berevajî de meşiya û zirareke wekhev da. Google di 22ê Sibata 2024 de şiyana Gemini ya çêkirina wêneyên mirovan rawestand piştî ku wê nîşandanên bi awayekî nijadî ji nû ve pêkanîn ên komên dîrokî çêkirin, di nav de leşkerên Alman ên serdema Naziyan. CEO Sundar Pichai ji derketinan re got "completely unacceptable"; SVP Prabhakar Raghavan qebûl kir ku model "overcompensated" kiribû û bûbû "over-conservative." Ewlekariya kor li hember çarçoveyê wêneyên dîrokî ewletir nekirin — wê ew derewîn kirin, ku ji bo weşanxaneyeke dîrokê xirabtir e.

5. Tundûtûjî di çîrokê de û pêş-dîtina fîlman

Storyboard, hunera konseptê, komîk û sêwirana lîstikan tundûtûjiyê ji ber heman sedemê nîşan didin ku roman û fîlm didin. Fîltreyek ku nikare storyboardeke horrorê ji gefekê cuda bike tevahiya boriya hunerên vegotinê wek gumanbar dihesibîne — her çend storyboardek bi eşkereyî ne-rastîn e, planek e ji bo dîmenekê ku lîstikvan û tîmên efektan dê pêk bînin.

6. Satîra siyasî û karîkatura edîtoryal

Karîkatura hêzdaran di piraniya demokrasiyan de di nav kategoriyên herî parastî yên axaftinê de ye, û bi rêkûpêk tişta yekem e ku fîltreyeke wêneyan radike. Rewşa herî zelal a belgekirî biryara Midjourney ya Nîsana 2023 e ku wêneyên serokê Çînê Xi Jinping qedexe kir û navê wî di promptan de asteng kir — ji aliyê PetaPixel, Decrypt û yên din ve hat ragihandin — dema ku berdewam destûr da serokên din ên cîhanê. Damezrîner David Holz li ser Discordê şirove kir ku şirketê dixwest "minimize drama" bike û ku "the ability for people in China to use this tech is more important than your ability to generate satire"; Sarah McLaughlin ya Foundation for Individual Rights and Expression jê re got sansûr. Mirov li ser hesabê karsaziyê çi encam bigire, mekanîzma hêjayî navkirinê ye: sînordarkirineke axaftinê ya neteweyî ku li ser her bikarhênerî li seranserê cîhanê tê sepandin, ji ber ku fîltreyeke global yek sazkirin heye.

7. Lêkolîna ewlekariyê û materyalê hişyariya phishingê

Tîmên ewlekariyê materyalê perwerdehiyê ava dikin ku divê wek wî tiştî xuya bike ku li ser hişyar dike: ekraneke têketinê ya sexte ya bawerpêker, fatûreyeke sexte, koda QR ya xirab a li ser metreyeke parkê. Ji bo klasîfîkerekî ew ji wê êrîşê nayê cudakirin ku li hember wê parastinê çêdike — şibandin bi xwe mesele ye — loma fîltre parastin û êrîşê bi heman awayî asteng dikin, û êrîşkarî bi ser dixin, yê ku ji xwe qet nedixwest amûrekî xerîdar ê fîltrekirî bikar bîne.

8. Xwedîmaf ku wêneyên markaya, hilbera an rûyê xwe hatin redkirin

Fîltrekirina mafên telîfê û markayan xwedîtiyê kontrol nake; şibandinê kontrol dike. Şirketek nikare bi hêsanî wêneyên logo an hilbera xwe çêbike, xwedîmafek nikare karakterê xwe wêne bike, û mirov gelek caran nikarin rûyê xwe çêbikin, ji ber ku fîltreyên rûyê kesan li ser naskirinê ne li ser razîbûnê disekinin. OVERT "copyright violations" di nav neh kategoriyên xwe yên zêde-redkirinê de dihewîne tam ji ber ku ev pozîtîfa derewîn ew qas gelemperî ye. Fîltre amûrekî kor e ji bo pirsekê — ma mafê te li ser vê heye? — ku tu rê wê tune ku bipirse.

Çar ji heştên jorîn bi rewşeke weşandî ya diyar ve girêdayî ne (bijîşkî, tazîtiya hunerî, dîrokî, satîr) plus kategoriya mafên telîfê ya OVERT ji bo ya heştem. Edlî, pêş-dîtina çîrokan û materyalê hişyariya ewlekariyê wek kategorî tên gotin: ew çînên naskirî yên karê pîşeyî yê bandorbûyî ne ku me ji bo wan bûyereke weşandî ya diyar verast nekir.

Çavkaniyên sereke kontrol bike

Her rewşa belgekirî ya jorîn giştî ye û bi serbixwe tê verastkirin. Wan bixwîne li şûna ku bi şiroveya me bawer bikî.

05Çima çêkerên hunera AI tiştên şaş asteng dikin, û çima pozîtîfên derewîn ên fîltreyê bi eyarkirinê nayên çareserkirin

Bersiva refleksî ya li hember zêde-astengkirinê ev e: "asta hestiyariyê nerm bike." Ew naxebite, ji ber sedemên avahiyî ne ji ber kêmasiya hewldanê.

Kategorî di nîşanê de li hev dikevin lê di rastiyê de na. Wênesaziyeke emeliyatê û pornografî tazîtiyê parve dikin. Jinûveavakirineke edlî û xwînrêjî xwînê parve dikin. Slaydeke hişyariyê û komeke phishingê formeke têketinê ya sexte parve dikin. Karîkaturekê satîrîk û sextekirineke navrizandinê siyasetmedarekî naskirî parve dikin. Tiştê ku her cotê ji hev cuda dike mebest û pêşkêşkirin e — ku ne di promptê de ne û ne di pîkselan de ne. Tu ast du kom ku heman herêma cîhê têketinê digirin ji hev cuda nake; guhastina wê tenê çewtiyekê bi ya din re diguherîne. Ev e ya ku bûyera Gemini nîşan da: destwerdanek ku ji bo rastkirina têkçûnekê hatibû kirin yeke din derxist, ku ji aliyê SVP ya Google bi xwe ve wek "overcompensated" hat şirovekirin.

Lêçûn ji bo operatorî nehevseng in, ne ji bo te. Fîltreyek ku yek wêneyê xirab derbas dike çîrokeke nûçeyan derdixe. Fîltreyek ku deh hezar yên rewa asteng dike bêdengiyê derdixe, ji ber ku bikarhênerên redkirî xwe rêxistin nakin — ew dev jê berdidin. Rêveberiya rîskê di bin wê nehevsengiyê de bi awayekî mayînde digihîje zêde-astengkirinê. Û ji ber ku biryara bingehîn ne gengaz e, lîsteyên astengkirinê rêzikên herfî li gorî bûyeran kom dikin, ku ev e çawa "stethoscope" baş e û "speculum" qedexe ye. Kesî biryar neda ku amûrên taybet ên jinan xeternaktir in; lîste li wir mezin bû ku gilî lê daketin. Ew dîroka PR ya operatorekî kod dike, ne teoriyeke zirarê.

Dadgeha herî hişk dibe standarda global. Yek fîltre ji bo her bikarhênerî li her welatî xizmet dike, loma sînordarkirinek ku ji bo yek bazarê hatiye zêdekirin ji hemûyan re tê hinardekirin — qaîdeya Xi Jinping mînaka pirtûka dersê ye. Û jinûvenivîsandina promptê te wateya te hilweşîne, ku ev xala ceribandinê ya OVERT e: her pisporê ku daxwazek kiriye nav gotinên nerm da ku ji fîltreyê derbas bike wê bi destê xwe piştrast kiriye. Te qezenc nekir; te razî bû.

Tu tişt ji vê belaş nîne, û ji ber ku bi bêdengî têk diçe, lêçûn di wan pîvanan de nayê dîtin ku operatorek li wan temaşe dike. Piştî têra xwe redkirinan tu dev ji pirsînê berdidî, her promptê pêşwext teng dikî ber bi tiştê ku tu texmîn dikî derbas bibe; ew gotina nerm a ku di dawiyê de derbas dibe wêneyekî nêzîkî tiştê ku belgeya te hewce dikir dide, lê ne ew. Peyameke polîtîkayê ya giştî ti tiştî ji te re nabêje ka kîjan tebeqe teqiya, loma tu tenê dikarî texmîn bikî û ji nû ve biceribînî — û karê wêneyan dubarekar e, loma fîltreyek ku yek hewldanê ji pêncan digire loopê xera dike ne ku tenê hêdî dike. Di vê navberê de ew qadên ku herî xurt îdiaya wan li ser amûrên cidî heye tu nirxandinkarî, tu îtîrazê û bi gelemperî tu lîsteyeke weşandî ya tiştên astengkirî wernagirin. Qaîdeyek ku tu nikarî bixwînî ne qaîde ye; ew hewa ye.

06Bê sansûr li hember fîltrekirî: bi rastî çi diguhere

Li vir guhertoya dilsoz a berawirdkirinê ye, di nav de ew ku pergaleke bêfîltre çi ji te re nade.

RehendÇêkerê fîltrekirîBêfîltre (Shannon)
Kî biryar dideKlasîfîkerek ku peyv û pîkselan dixwîneKesek ku promptê tam dixwîne
Tu kengî fêr dibîPiştî şandinê — carinan piştî ku te pere daBerî ku tiştek were render kirin an fatûre kirin
Qaîde çi yeLîsteyên astengkirinê yên neweşandî û guherbarPolîtîkayeke Bikaranîna Berpirsiyar a weşandî
Çarçoveya pîşeyîJi bo pergalê nayê dîtinYa te ye ku bigirî, û ya te ye ku bersiv bidî
Awayê têkçûnêZêde-astengkirina bêdeng, şemitandina wateyêTu tiştê ku xwestiye werdigirî — çewtî jî tê de
Kî rîskê hildigireFiroşkar, ku wê datîne ser karê teParvekirî: polîtîkaya operatorî plus berpirsiyariya bikarhênerî

Rêza dawî ew e ku mirov derbas dikin, û ew e ku girîng e. Rakirina fîltreyekê kategoriyên zirarê yên di beşa 02 de ranake; ew wê makîneyê radike ku li ser wan xirab texmîn dikir. Erk li cihê xwe dimîne, ku niha ji aliyê du aliyan ve tê girtin ku dikarin li ser çarçoveyê biramin: operator, ku polîtîkayekê diweşîne û pêk tîne, û tu, ku dizanî wêne ji bo çi ye. Çêkirina wêneyan a bêfîltre bi AI amûrek e ji bo wan kesan ku jixwe amade ne li pişt derketina xwe rawestin — atlasa cerrahî, rapora pisporî, storyboard, karîkatur — ku ji aliyê pergalekê ve dihatin rawestandin ku nikaribû wan ji kesekî din cuda bike.

07Shannon çi dike — û çi nake

Diyarî li vir ji coşê girîngtir e, bi taybetî ji bo xwînerên ku ji lêgerîneke APIyê tên.

Çêkirin
Wêneyên nû
Guherandin
Yek wêneyê çavkanî
Berhevkirin
Du an zêdetir wêne
Na
Çêkirina vîdyoyê

Çi dike

  • Çêkirin. Wêneyekê bi zimanekî sade şirove bike, bi her zimanî. Shannon prompta çêkirinê bi xwe dinivîse, bi Îngilîzî, tu bi kîjan zimanî pirsîbî.
  • Guherandina yek wêneyî. Tam yek çavkanî — wêneyekî jixwe di axaftinê de, an yekî bi peyama te ya heyî ve pêvekirî — ku bi rênimayekê tê guhertin ku dibêje çi diguhere û çi dimîne. Derketin rêjeya aliyan a çavkaniyê bixweber diparêze.
  • Berhevkirina du an zêdetir wêneyan. Veguhastina cilan, tişt-nav-dîmenê, kes li tenişta kesekî, hilber-li-ser-kesekî, mijar ji wêneyekê bi stîla yeke din re. Prompt rola her wêneyekê bi rêz nav dike, û wêneyên rastîn tên bikaranîn, loma xuyanga wan a rastîn tê parastin ne ku ji nû ve tê şirovekirin.
  • Kontrola rêjeyê. square (standard), portrait, landscape, wide û tall. Daxwazeke eşkere her tim bi ser dikeve.
  • Render li ser koma GPU ya me bi xwe, bêyî fîltreya naverokê li ser riya çêkirinê û bêyî tebeqeya redkirinê li ser wê modelê ku promptê dinivîse.

Çi nake

  • Tu vîdyo. Shannon wêneyan nade tevgerandin û vîdyoyê çênake. Ne tiştekî di nexşerêyê de ye ku bi şermokî tê veşartin — ew tune.
  • Ne li ser APIyê. Çêkirin, guherandin û berhevkirina wêneyan di sepana chatê ya Shannon de ne. API ya /v1 nivîs û dîtinê xizmet dike — ew dikare wan wêneyan bixwîne ku tu jê re dişînî — lê wan render nake.
  • Tu çêkirina bênedavet. Silavek, pirsek an wêneyekî bi awayekî sivik pêvekirî wêneyekê nade destpêkirin. Xwestina ji Shannon ku li wêneyekê binêre — wê şirove bike, wê bixwîne, wê analîz bike — karê dîtinê yê asayî ye, ne çêkirinek, û tiştekî zêde nake.

Karta pesendkirinê

Ev ew mekanîzma ye ku cihê fîltreyê digire, û ew hilbijartineke sêwiranê ye ne formalîteyek. Gava Shannon diyar dike ku tu wêneyekê dixwazî, ew prompta çêkirinê dinivîse û wê li ser karteke pesendkirinê berî ku tiştek were render kirin nîşanî te dide. Heta tu pesend nekî tiştek nayê çêkirin û tiştek nayê fatûre kirin.

Sêwiranan li gorî hêjahiya wan bide ber hev. Fîltre bi agahiyeke kêmtir ji ya te mebesta te texmîn dike, û texmînê bi bêdengî pêk tîne. Karta pesendkirinê taybetmendiya herfî ya wêneyî datîne pêş wî aliyî ku dizane ew ji bo çi ye, berî ku tu hesab were xerc kirin. Ew şaşxwendinên daxwaza te digire, ku fîltre tu carî nagirin; ew dihêle tu wê diyariya anatomîk an hûrguliya dîrokî zêde bikî ku model kêm diyar kiriye; û ew berpirsiyariyê xwendinbar dike ne belavbûyî. Te prompt dît, û te bişkok pêl kir.

08Çêkirina bêfîltre berpirsiyariyê bilind dike, wê ranake

Ev li vir cih digire ne di jêrnivîsekê de, ji ber ku ew nîvê argumanê ye. Çêkerekî fîltrekirî sozekê dide ku nikare bigire: ku amûr dê li şûna te pêşî li xerabikaranînê bigire. Ew di her du aliyan de têk diçe — ew cerrah asteng dike, û pêşî li kesekî xirab ê biryardar nagire, yê ku vebijarkên din hene û her tim hebûn. Tiştê ku bi pêbawerî dike ew e ku dihêle her kes hîs bike ku berpirsiyarî li jor, bi makîneyê, hatiye çareserkirin. Rakirina fîltreyê wê çîrokê radike; pirsa ka divê wêneyek hebe an na vedigere ba wan mirovan ku dikarin bersivê bidin.

  • Erka Shannon Lab LLC. Polîtîkayeke Bikaranîna Berpirsiyar a weşandî û diyar ku kategoriyên qedexe bi nav dike, ne lîsteyeke astengkirinê ya neweşandî — qaîdeyên ku tu dikarî bixwînî, jê bînî û me pê ve girê bidî.
  • Erka te. Tu mebestê, temaşevanan, dadgeha qanûnî û rewşa razîbûnê ya her kesê nîşandayî dizanî. Amûr nizane, û klasîfîkerek tu carî nikaribû bizane. Karta pesendkirinê heye da ku ew zanîn di wê kêliyê de ku girîng e, ji aliyê wî aliyî ve ku wê digire, were sepandin.
  • Ew xeta ku naguhere. "Fîltreyê pêşî li min negirt" tu carî di tu medyayekê de nebûye parastin. Kamerayek red nake, qelemek red nake; qanûn û exlaqê pîşeyî bikaranînê birêve dibin, ne amûrê. Çêkerekî bêfîltre wê rêzkirina asayî vedigerîne ku her amûrekî pîşeyî yê din di bin wê de dixebite.

Berî ku dest pê bikî Polîtîkaya Bikaranîna Berpirsiyar bixwîne. Ew kurt e, diyar e, û ew beşa vê hilberê ye ku ya mayî berevanîkirin dike.

09Pirsên ku pir tên kirin

Çima çêkerekî wêneyan ê AI prompteke ku bi eşkereyî rewa ye red dike?

Ji ber ku piraniya fîltreyan peyvên di promptê te de dinirxînin, ne mebesta te. Klasîfîkerek li pêş modelê rûdine bêyî ku bigihîje wê ku tu kî yî an çima dipirsî, loma wênesazekî bijîşkî, analîstekî edlî û kesekî bi mebesta xirab hemû heman navdêrî dinivîsin û hemû heman redkirinê werdigirin. The Intercept di Nîsana 2023 de ragihand ku Midjourney têgehên anatomîk qedexe kiribûn, di nav de speculum, placenta û cervix, dema ku stethoscope bi awayekî asayî dixebitî.

Ma lêkolînek heye ku pozîtîfên derewîn ên fîltreya naverokê di amûrên hunera AI de bipîve?

Erê. OVERT (arXiv:2505.21347, ICML 2025) benchmarka yekem a mezin a zêde-redkirinê ji bo modelên nivîs-bo-wêne ye: 4,600 promptên ku zirardar xuya dikin lê bi rastî bêziyan in di nav neh kategoriyên ewlekariyê de, plus 1,785 promptên bi rastî zirardar wek kontrol. Nivîskarên wê ragihandine ku zêde-redkirin di nav modelên pêşeng de belav e. Lêkolîneke cuda ya ECCV 2024 di sê klasîfîkerên NSFW de ku li ser tazîtiya hunerî hatin nirxandin nêrînbendiya zayendî û stîlîstîk dît.

Çêkerekî wêneyan ê AI yê bê sansûr bi rastî çi diguherîne?

Ew tebeqeya redkirinê û fîltreya naverokê ji riya çêkirinê radike, loma daxwazeke rewa bi bêdengî wek êrîşek nayê ji nû ve dabeşkirin. Ew biryardanê ranake — ew wê diguhezîne. Shannon prompta çêkirinê ya tam li ser karteke pesendkirinê berî ku tiştek were render kirin nîşanî te dide, loma biryar ji aliyê kesekî ve tê dayîn ku dikare bibîne çi dê were çêkirin, di bin Polîtîkaya Bikaranîna Berpirsiyar de.

Ma Shannon vîdyoyê çêdike?

Na. Shannon wêneyên nû çêdike, wêneyeke heyî diguherîne, û du an zêdetir wêneyan di yekê de berhev dike. Ew wêneyan nade tevgerandin û tu cure vîdyoyê çênake.

Ma ez dikarim bi API ya Shannon wêneyan çêbikim?

Na. Çêkirin, guherandin û berhevkirina wêneyan di sepana chatê ya Shannon de ne. API ya /v1 nivîs û dîtinê xizmet dike — xwendin û analîzkirina wan wêneyan ku tu dabîn dikî — ne çêkirina wêneyan.

Heke tu fîltre tune be, çi pêşî li xerabikaranînê digire?

Polîtîka, berpirsiyarî û xaleke biryarê ya xuya li şûna lîsteyeke astengkirinê ya peyvan. Shannon tu carî bênedavet çênake, promptê tam berî renderê nîşan dide, heta tu pesend nekî tiştekî fatûre nake, û di bin Polîtîkayeke Bikaranîna Berpirsiyar a weşandî de dixebite ku naveroka cinsî ya bi temenbiçûkan ve girêdayî, wêneyên nêz ên bê razîbûn ên mirovên rastîn, tacîza armanckirî, û sextekirina nasname an belgeyên darayî qedexe dike.

Wî wêneyî bixwaze ku bi rastî hewce dikî

Çêkirin, guherandina yek-wêneyî û berhevkirina pir-wêneyî di sepana chatê de — tu fîltreya naverokê, tu tebeqeya redkirinê, û prompt li ser ekranê berî ku tiştek were render kirin.

Dest bi Chatê Bike Polîtîkaya Bikaranîna Berpirsiyar

Wêne di sepana chatê de · tu çêkirina vîdyoyê tune · lêkolîna zêdetir


Çavkanî: Cheng, Huang, Xu, Sojoudi, Zhao, Song & Mei — OVERT (arXiv:2505.21347, ICML 2025) · Riccio, Curto, Hofmann & Oliver — An Art-centric perspective on AI-based content moderation of nudity (arXiv:2409.17156, AI4VA @ ECCV 2024) · Debbie Nathan, The Intercept, 22ê Nîsana 2023 · PetaPixel, 3ê Nîsana 2023 · CNBC, 22ê Sibata 2024. Shannon AI ji aliyê Shannon Lab LLC, New Mexico, USA ve tê birêvebirin.

Hemû research links