Бид хэрэглэгчийн өгөгдлийг хадгалж, түүнд нэвтэрдэггүй бөгөөд law enforcement хүчлэхгүй бол бүртгэлүүдийг suspend хийдэггүй.
Судалгаа · Байр суурь

Цензургүй ба шүүлттэй AI зураг үүсгэгч

Контент шүүлтүүрүүд цөөн тооны бодит хор хөнөөлийг зогсоохоор баригдсан. Практикт тэд эмнэлгийн чимэглэл, шүүх шинжилгээний сэргээн босголт, амьд зураг зурах, дайны түүх, редакцийн шог зураг, мөн компаниуд өөрсдийн бүтээгдэхүүнээ дүрслэхийг ч бас зогсоодог. Энэ юуны өртөгтэй вэ — мөн шүүлтүүрийг авах нь юуг өөрчилдөг, юуг өөрчилдөггүй вэ.

2026 оны 9 сарын 5-нд нийтлэвСудалгааShannon Lab LLC

Товчхондоо

Гол урсгалын зураг үүсгэгчид промпт ба гаралтыг үг ба пиксел-ийг хардаг, зорилго-г хэзээ ч хардаггүй ангилагчаар шалгадаг. Энэ нь худал эерэг тохиолдлыг баталгаажуулдаг бөгөөд тэдгээр нь мэргэшсэн ажил дээр хамгийн хүчтэй буудаг: анатоми, шүүх шинжилгээ, урлагийн нүцгэн зураг, түүхэн дүрслэл, урьдчилсан дүрслэл, шог зураг, аюулгүй байдлын сургалтын материал, мөн өөрсдийн брэндээ гуйж буй эрх эзэмшигчид. Энэ доголдлыг хэмжсэн анхны том хэмжээний жишиг тест болох OVERT (ICML 2025) нь 4,600 хоргүй боловч сэжигтэй харагдах промпт ашиглан хэт татгалзал тэргүүлэгч загваруудын дунд өргөн тархсаныг илрүүлсэн. Shannon нь зураг үүсгэх, нэг зураг засварлах ба олон зургийг нэгтгэх ажлыг бидний өөрсдийн GPU кластер дээр, контент шүүлтүүргүй, татгалзах давхаргагүйгээр гүйцэтгэдэг бөгөөд хориглох жагсаалтыг харагдах шийдвэрээр солино: юу ч зурагдахаас өмнө яг тэр промптыг харуулах баталгаажуулах карт. Энэ нь таны ба бидний хариуцлагыг өсгөнө; хоёулаа Хариуцлагатай Хэрэглээний Бодлого-д байгаа. Видео үүсгэлт байхгүй бөгөөд зурагтай ажил API дээр биш, чат аппад байдаг.

Зурагтай мэргэжлийн түвшинд ажилладаг бараг бүх хүн ижил түүхтэй. Энгийн зүйл дүрсэлсэн промпт — өвдөгний үений хөндлөн огтлол, мөргөлдөх агшин дахь машин, нүүрсэн бал чулуугаар зурсан биеийн судалгаа, 1944 оны цэрэг — бодлого зөрчсөн гэсэн хариу авдаг. Та өөрөөр найруулахад өөр зөрчил гарна. Эцэст нь та даваад гарахаар хангалттай бүрхэг зүйл бичээд, хэрэгтэй байсан зүйлээ харуулахаа больсон зураг авдаг. Хэрэгсэл чангаар бүтэлгүйтээгүй; тэр аажмаар бүтэлгүйтэж, буулт хийсэн хүнийг тань болгосон.

01AI зураг үүсгэгч яагаад илт хууль ёсны промптоос татгалздаг вэ?

Татгалзал нь ихэвчлэн зургийн загварын үзэл бодол биш. Тэр бол загварын эргэн тойрон дахь шүүлтийн стекийн гаралт бөгөөд түүний давхаргууд таны хүлээж авсан бараг бүх хачирхалтай татгалзлыг тайлбарладаг.

ДавхаргаЮуг шалгадаг вэОнцлог доголдол
Промптын хориглох жагсаалтТаны текст дэх үгчилсэн мөр ба ойролцоо хувилбаруудЭргэн тойрны өгүүлбэрээс үл хамааран үгийг хаадаг — "speculum" унана, "stethoscope" давна
Промптын ангилагчПромптын "эрсдэл"-ийн талаарх сурсан дүгнэлтСэдвийн ойролцоо байдал дээр ажилладаг: анагаах ухаан, зэвсэг, бие эсвэл улс төрд ойр аливаа зүйл өндөр оноо авдаг
Загварын татгалзлын сургалтЗагварын өөрийнх нь сургагдсан дурамжхан байдалАлдаа гаргалгүй татгалздаг, эсвэл чимээгүйхэн ариутгасан орлуулга гаргадаг
Гаралтын ангилагчЗурагдсан пикселүүд, промптын нөхцөл байдалгүйгээрАнатомийн хуудсыг порнографаас, эсвэл киноны кадрыг бодит үйл явдлаас ялгаж чаддаггүй
Бодлогын орлуулгаЗурагдахаас өмнө таны промптыг чимээгүйхэн дахин бичихТа зураг авна, гэхдээ таны заасныг биш, бас яагаад гэдгийг танд хэлэхгүй

Давхарга бүр нэг сохор цэгийг хуваалцдаг: аль нь ч та яагаад асууж байгааг харж чаддаггүй. Эмнэлгийн чимэглэгч, мөргөлдөөнийг сэргээн босгож буй нэхэмжлэгчийн шинжээч, хорон санаат хүн гурав бүгд ижил нэр үгийг бичдэг. Шүүлтүүр нь атлас эсвэл хэргийн хавтсыг биш, нэр үгийг хардаг бөгөөд түүнийг нэвтрүүлсэн хор хөнөөлөөр нь дүгнэдэг — устгасан ажлаар нь хэзээ ч биш. Тийм тэгш бус байдал дор аль ч операторын оновчтой тохиргоо нь илүү их татгалзах явдал болно. Мөн яг тиймээс "зүгээр л өөрөөр найруул" гэдэг нь засвар биш: өөрөөр найруулах нь шүүлтүүрт байхгүй байсан ямар ч мэдээлэл өгдөггүй, зөвхөн таны промптыг түүнийг ажиллуулсан үгсээс холдуулдаг бөгөөд энэ нь ихэвчлэн таны хэлэх гэсэн зүйлээс холдуулна гэсэн үг.

02Контент шүүлтүүр үнэхээр юуг сэргийлэхээр байдаг вэ

Шүүлтүүрүүд ямар ч шалтгаангүйгээр оршдог мэт дүр эсгэсэн шүүлтгүй үүсгэлтийн талаарх аргумент уншихад ч үнэ цэнэгүй. Хэн асууснаас, яагаад асууснаас үл хамааран хор хөнөөл нь зураг өөрт нь угаас байдаг цөөн тооны гаралт бий:

  • Насанд хүрээгүй хүн оролцсон бэлгийн контент. Ямар ч нөхцөл байдал үүнийг зөвшөөрөгдөх болгодоггүй; ямар ч мэргэжлийн ажлын урсгал үүнийг шаарддаггүй.
  • Бодит хүмүүсийн зөвшөөрөлгүй дотно зураг. Хор хөнөөл нь зөвшөөрөөгүй хүн дээр буудаг бөгөөд устгуулах нь түүнийг буцаадаггүй.
  • Чиглэсэн дарамт ба гүтгэлгийн зохиомол зураг — нэр заасан хүнийг хийгээгүй зүйлээ хийсэн мэт харуулах.
  • Хуурамчлалын түвшний баримт бичиг — жинхэнэ мэт нэвтрэхээр хийсэн паспорт, иргэний үнэмлэх, мөнгөн тэмдэгт, тамга ба санхүүгийн баримт.
  • Хууран мэхлэх зорилготой синтетик нотолгоо — бодит үйл явдлын зохиомол дүрслэлийг чимэглэл биш, баримт болгон танилцуулах.

Жагсаалт богино бөгөөд бүтэцтэй: хор хөнөөл нь бүтээгдэхүүн дотор, түүний бодит хүн эсвэл баримт бичигтэй төстэй байдалд, мөн түүнийг үнэн мэтээр танилцуулахад оршдог. Юу нь тэнд байхгүй болохыг ажигла — нүцгэн байдал, цус, зэвсэг, түүхэн харгислал, улс төрийн шоолол. Эдгээр нь анагаах ухаан, сэтгүүл зүй, урлаг, шүүх шинжилгээ, шог урлагийн түүхий эд бөгөөд тэдгээрийг хор хөнөөлийн ангилал гэж үздэг шүүлтүүр нь аль сэдэв нь хүндэтгэл хүлээх ёстой вэ гэсэн хамаагүй өргөн санааг хэрэгжүүлж байгаа хэрэг.

Shannon тэр жагсаалтад байгаа бүхнийг хориглодог бөгөөд үүнийг "placenta"-г ч бас барьдаг түлхүүр үгийн хүснэгтээр биш, нэрлэсэн ангилал ба үр дагавартай нийтэлсэн Хариуцлагатай Хэрэглээний Бодлого-оор хийдэг. Нэг нь таны уншиж, биднийг хариуцлага тооцож болох дүрэм; нөгөө нь таны харж чадахгүй ангилагчийн таны санаа зорилгын талаарх таамаг юм.

03Хэт татгалзлын асуудал хэр том вэ? Судалгаа юуг хэмжсэн бэ

Саяхныг хүртэл зургийн загваруудын хэт татгалзал бол ярианы хэрэг байсан — ижил түүхтэй мянга мянган хүн байсан ч түүнийг хэмжих арга байгаагүй. Энэ нь OVERT (OVEr-Refusal evaluation on Text-to-image models)-оор өөрчлөгдсөн бөгөөд түүнийг Ziheng Cheng, Somayeh Sojoudi, Xuandong Zhao, Dawn Song, Song Mei нарыг багтаасан UC Berkeley-ийн баг ICML 2025-д танилцуулсан: текстээс зураг үүсгэх системүүд бүрэн хоргүй промптоос хэр олон удаа татгалздагийг хэмжсэн анхны том хэмжээний жишиг тест юм.

4,600
Хоргүй промпт
9
Аюулгүй байдлын ангилал
1,785
Хортой хяналт
ICML
2025

Загварчлал нь чухал. 4,600 промпт нь хоргүй байхын зэрэгцээ хортой харагдахаар зохиогдсон — хагалгааны хутга, хөх толбо эсвэл жагсаал дурдсан жинхэнэ мэргэжлийн хүсэлтийн хэлбэртэй — мөн жинхэнэ хортой 1,785 промпт тэдний хажууд хяналт болж сууна, ингэснээр загвар бүгдээс татгалзсанаар өндөр оноо авч чадахгүй. Есөн ангилал нь хувь хүний ба олон нийтийн зүтгэлтний нууцлалаас эхлээд зохиогчийн эрх, ялгаварлан гадуурхалт, өөрийгөө гэмтээх, бэлгийн контент, хууль бус үйл ажиллагаа дамжин хүчирхийлэл хүртэл үргэлжилнэ.

Гол дүгнэлт нь хэт татгалзал ангиллуудын хооронд ба тэргүүлэгч загваруудын дунд өргөн тархсан явдал юм. Хоёр дахь нь стандарт тойрч гарах аргад илүү хортой: зохиогчид промпт дахин бичих аргыг зөөлрүүлэлт болгон туршиж, энэ нь "анхны промптуудын утгад үнэнч байхыг олонтаа алдагдуулдаг" гэж мэдээлсэн. Та асуусан зүйлээ өөрчилснөөр шүүлтүүрийг давж болно, тэгвэл та асуусан зүйлээ авахаа болино.

Илүү нарийн судалгаа пикселийн талаас ижил дүгнэлтэд хүрдэг. An Art-centric perspective on AI-based content moderation of nudity (Riccio, Curto, Hofmann, Oliver, ECCV 2024-ийн AI4VA семинар) бүтээлдээ зохиогчид гурван үйлдвэрлэлийн NSFW ангилагчийг урлагийн нүцгэн зураг дээр үнэлж, хүйсийн хазайлт ба хэв маягийн хазайлт хоёуланг нь илрүүлсэн: биеийн судалгааны талаарх шийдвэр хэний биеийг, ямар хэв маягаар дүрсэлснээс хамаардаг. Энэ бол амьд зураг зурдаг уран бүтээлч бүрт "төсөөлөл" гэж хэлэгддэг байсан зүйлийн хэмжсэн илэрхийлэл юм.

04Шүүлттэй генераторуудын хаадаг хууль ёсны ажлын найман төрөл

Эдгээр нь хэт татгалзал нь эвгүйдэл биш, ажлын зогсонги байдал болдог ангиллууд юм. Тодорхой мэдээлэгдсэн тохиолдол байгаа газарт эх сурвалжийг иш татсан; баталгаажаагүй газарт ангиллыг тохиолдол зохиолгүйгээр тайлбарласан.

1. Эмнэлгийн ба анатомийн зурган чимэглэл

Энэ салбар дахь хамгийн сайн баримтжуулсан тохиолдол. 2023 оны 4 сард The Intercept (Debbie Nathan) Midjourney нь speculum, placenta, cervix, vulva, fallopian tubes, mammary glands, uterine, urethra, hymen, sperm, condom, IUD зэрэг анатомийн нэр томьёог хориглосон, харин DALL·E 2 нь "pills used in medication abortion" гэсэн хүсэлтээс контентын бодлогын мессежээр татгалзсаныг мэдээлсэн. Энэ хэв маягийг эсийн биологич найздаа бэлэг болгож ихсийн зураг үүсгэхийг оролдсон эмнэлзүйн өгөгдлийн шинжээч Julia Rockwell олж илрүүлээд MIT Technology Review-д мэдээлсэн. Тэгш бус байдал нь бүхнийг хэлж байна: "stethoscope" хэвийн үүсгэгдэж байхад "speculum" хориотой байв. Вашингтоны Их Сургуулийн судлаач Bill Howe шүүлтүүрүүдийг "барзгар шийдэл" гэж нэрлээд, тэдгээр нь "нөхөн үржихүйн талаар шинжлэх ухааны хэлэлцүүлэг өрнүүлэхийг үндсэндээ боломжгүй" болгосон гэж хэлсэн. Өвчтөний боловсрол, мэс заслын атлас, сувилахуйн сургалтын хөтөлбөр бүгд биеийг үнэн зөв дүрслэхийг шаарддаг бөгөөд үүнд түлхүүр үгийн жагсаалт зохисгүй гэж шийдсэн хэсгүүд ч багтдаг.

2. Шүүх шинжилгээ ба ослын сэргээн босголт

Мөргөлдөөний сэргээн босголт, галын гарал үүслийн шинжилгээ, шүүхийн үзүүлэн нь гэмтэл, шарх, хүчирхийллийн механикийг эмнэлзүйн нарийвчлалтай дүрслэхийг шаарддаг. "Цус" эсвэл "буудсан шарх"-ыг үгүйсгэхээр тохируулсан шүүлтүүр нь бүхэл салбарыг үгүйсгэдэг: нөхцөл байдал — шинжээчийн дүгнэлт, даатгалын хавтас — ангилагчид үл үзэгдэх бөгөөд ийм зургийг шүүхэд хүлээн авахуйц болгодог яг тэр төвийг сахисан байдал нь түүнийг цуст үзэгдэл мэт уншигдуулдаг.

3. Урлагийн нүцгэн зураг ба амьд зураг зурах

Нүцгэн бие бол хаа сайгүй урлагийн үндсэн сэдэв бөгөөд биеийн судалгаа нь урлагийн боловсролын гол хэсэг. Дээрх ECCV 2024-ийн үр дүн нь уран бүтээлчдийн ярьдаг зүйлийн хэмжсэн хувилбар: ангилагчид биеийн судалгааг порнографаас найдвартай салгадаггүй бөгөөд тэдний алдаа хүйс ба хэв маягаар хазайдаг — таних ёстой байсан яг тэр уламжлалдаа хамгийн хатуу ханддаг шүүлтүүр.

4. Түүхэн ба дайны үеийн дүрслэл

Сурах бичгийн зураг, музейн тайлбар, дурсгалын төслүүд нь дүрэмт хувцас, зэвсэг, лагерь, тулаан, харгислалыг дүрслэхийг шаарддаг. 2024 оны 2 сарын Gemini-ийн үйл явдал сургамжтай, учир нь доголдол эсрэг чиглэлд явж, ижил хэмжээний хохирол учруулсан. Google нь 2024 оны 2 сарын 22-нд Gemini хүмүүсийн зураг үүсгэх боломжийг түр зогсоосон бөгөөд энэ нь загвар нацистын үеийн Германы цэргүүдийг оруулаад түүхэн бүлгүүдийг арьсны өнгөөр өөрчлөн дүрсэлсний дараа болсон. Гүйцэтгэх захирал Sundar Pichai гаралтуудыг "огт хүлээн зөвшөөрөхийн аргагүй" гэж нэрлэсэн; ахлах дэд ерөнхийлөгч Prabhakar Raghavan загвар "хэт нөхөн барагдуулсан" бөгөөд "хэт болгоомжтой" болсныг хүлээн зөвшөөрсөн. Нөхцөл байдлыг харахгүй аюулгүй байдал нь түүхэн дүрслэлийг илүү аюулгүй болгоогүй — түүнийг худал болгосон бөгөөд түүхийн хэвлэн нийтлэгчийн хувьд энэ нь илүү дор юм.

5. Уран зохиол дахь хүчирхийлэл ба киноны урьдчилсан дүрслэл

Зохиолын самбар, концепц зураг, комик, тоглоомын дизайн нь роман, кино хоёртой ижил шалтгаанаар хүчирхийллийг дүрсэлдэг. Аймшгийн зохиолын самбарыг заналхийллээс ялгаж чадахгүй шүүлтүүр нь өгүүлэх урлагийн бүхэл ажлын урсгалыг сэжигтэй гэж үздэг — хэдийгээр зохиолын самбар нь илт бодит бус, жүжигчид ба эффектийн багийн тайзнаа гаргах үзэгдлийн төлөвлөгөө байдаг ч.

6. Улс төрийн шог зураг ба редакцийн шог урлаг

Эрх мэдэлтнүүдийг шоолон дүрслэх нь ихэнх ардчилсан улсад үг хэлэх эрх чөлөөний хамгийн хамгаалагдсан ангиллуудын нэг байдаг ба зургийн шүүлтүүрийн хамгийн түрүүнд устгадаг зүйл байдаг. Хамгийн тод баримтжуулсан тохиолдол бол Midjourney-ийн 2023 оны 4 сард Хятадын дарга Ши Жиньпиний зургийг хориглож, нэрийг нь промптод хаасан шийдвэр юм — PetaPixel, Decrypt болон бусад эх сурвалж мэдээлсэн — харин дэлхийн бусад удирдагчдыг зөвшөөрсөөр байсан. Үүсгэн байгуулагч David Holz Discord дээр компани "жүжиглэлтийг багасгахыг" хүсч байгаа бөгөөд "Хятад дахь хүмүүсийн энэ технологийг ашиглах чадвар нь таны шог зураг үүсгэх чадвараас илүү чухал" гэж тайлбарласан; Foundation for Individual Rights and Expression-ийн Sarah McLaughlin үүнийг цензур гэж нэрлэсэн. Бизнесийн тооцооны талаар хэн юу ч дүгнэсэн бай, механизмыг нь нэрлэх нь зүйтэй: нэг зах зээлийн үг хэлэх эрхийн хязгаарлалтыг дэлхийн бүх хэрэглэгчид хэрэглэсэн, учир нь дэлхийн хэмжээний шүүлтүүрт ганцхан тохиргоо байдаг.

7. Аюулгүй байдлын судалгаа ба фишингээс сэргийлэх материал

Аюулгүй байдлын багууд өөрсдийн сэрэмжлүүлж буй зүйл шигээ харагдах ёстой сургалтын материал бүтээдэг: итгэмээр хуурамч нэвтрэх дэлгэц, хуурамч нэхэмжлэх, зогсоолын тоолуур дээрх хортой QR код. Ангилагчийн хувьд энэ нь өөрийнх нь эсрэг дархлаа тогтоох гэж буй халдлагаас ялгагдахгүй — жинхэнэ мэт харагдах нь гол зорилго — тиймээс шүүлтүүрүүд хамгаалалт ба халдлагыг ижилхэн хааж, шүүлттэй хэрэглээний хэрэгсэл хэзээ ч ашиглахгүй байсан халдагчид давуу байдал олгодог.

8. Өөрсдийн брэнд, бүтээгдэхүүн эсвэл дүр төрхийн зургаас татгалзуулсан эрх эзэмшигчид

Зохиогчийн эрх ба барааны тэмдгийн шүүлт өмчлөлийг шалгадаггүй; тэр төстэй байдлыг шалгадаг. Компани өөрийн лого эсвэл бүтээгдэхүүний зургийг амархан үүсгэж чаддаггүй, эрх эзэмшигч өөрийн дүрээ дүрсэлж чаддаггүй, мөн хүмүүс өөрсдийн царайг үүсгэж чаддаггүй тохиолдол олонтаа гардаг, учир нь дүр төрхийн шүүлтүүр зөвшөөрлөөс биш танигдах байдлаас хамаардаг. OVERT есөн хэт татгалзлын ангилалдаа "зохиогчийн эрхийн зөрчил"-ийг оруулсан нь яг энэ худал эерэг тохиолдол ийм түгээмэл байдагтай холбоотой. Шүүлтүүр бол танд үүнд эрх байгаа юу? гэсэн, өөрөө асууж чадахгүй асуултад зориулсан мохоо багаж юм.

Дээрх наймаас дөрөв нь тодорхой нийтлэгдсэн тохиолдолд бэхлэгдсэн (эмнэлгийн, урлагийн нүцгэн зураг, түүхэн, шог зураг), наймдугаарт нь OVERT-ийн зохиогчийн эрхийн ангилал нэмэгдсэн. Шүүх шинжилгээ, уран зохиолын урьдчилсан дүрслэл, аюулгүй байдлын сургалтын материалыг ангилал болгон дурдсан: эдгээр нь нөлөөлөлд өртсөн мэргэжлийн ажлын сайн мэдэгдсэн ангиллууд боловч бид тодорхой нийтлэгдсэн тохиолдлыг баталгаажуулаагүй.

Анхдагч эх сурвалжийг шалга

Дээрх баримтжуулсан тохиолдол бүр нийтэд нээлттэй бөгөөд бие даан баталгаажуулах боломжтой. Бидний тайлбарыг итгэлээр хүлээж авахын оронд тэдгээрийг уншина уу.

05AI урлагийн генераторууд яагаад буруу зүйлийг хаадаг вэ, мөн контент шүүлтүүрийн худал эерэг тохиолдлыг яагаад тохируулж арилгаж чадахгүй вэ

Хэт хаалтад зөнгөөрөө өгөх хариулт бол "босгыг сулруул" гэсэн үг. Энэ нь ажиллахгүй, хүчин чармайлт дутсандаа биш, бүтцийн шалтгаанаар.

Ангиллууд дохион дээрээ давхцдаг ч бодит байдал дээр давхцдаггүй. Мэс заслын чимэглэл ба порнографи нүцгэн байдлыг хуваалцдаг. Шүүх шинжилгээний сэргээн босголт ба цуст үзэгдэл цусыг хуваалцдаг. Сургалтын слайд ба фишингийн иж бүрдэл хуурамч нэвтрэх маягтыг хуваалцдаг. Шог зураг ба гүтгэлгийн зохиомол зураг танигдахуйц улс төрчийг хуваалцдаг. Хос бүрийг ялгадаг зүйл бол зорилго ба танилцуулга — промптод ч байхгүй, пикселд ч байхгүй. Ямар ч босго оролтын орон зайн ижил бүсийг эзэлж буй хоёр бүлгийг салгадаггүй; түүнийг хөдөлгөх нь зөвхөн нэг алдааг нөгөөгөөр солино. Gemini-ийн үйл явдал яг үүнийг харуулсан: нэг доголдлыг засах зорилготой оролцоо өөр нэгийг үүсгэсэн бөгөөд түүнийг Google-ийн өөрийнх нь ахлах дэд ерөнхийлөгч "хэт нөхөн барагдуулсан" гэж тодорхойлсон.

Өртөг нь операторын хувьд тэгш бус, таны хувьд биш. Нэг муу зургийг нэвтрүүлсэн шүүлтүүр мэдээний түүх төрүүлдэг. Арван мянган хууль ёсны зургийг хаасан шүүлтүүр чимээгүй байдал төрүүлдэг, учир нь татгалзуулсан хэрэглэгчид зохион байгуулагддаггүй — тэд бууж өгдөг. Тэр тэгш бус байдал дор эрсдэлийн удирдлага байнга хэт хаалт руу нийлдэг. Мөн доор нь байгаа дүгнэлт хийх нь боломжгүй тул хориглох жагсаалтууд тохиолдол гарах бүрд үгчилсэн мөрүүдийг хуримтлуулдаг бөгөөд ингэж "stethoscope" зүгээр, "speculum" хоригтой болдог. Эмэгтэйчүүдийн тусгай хэрэгсэл илүү аюултай гэж хэн ч шийдээгүй; жагсаалт гомдол буусан газраа ургасан. Тэр нь хор хөнөөлийн онолыг биш, операторын PR-ын түүхийг кодчилдог.

Хамгийн хатуу хууль эрх зүйн орчин дэлхийн анхдагч болдог. Нэг шүүлтүүр улс бүрийн бүх хэрэглэгчид үйлчилдэг тул нэг зах зээлд нэмсэн хязгаарлалт бүгд рүү экспортлогддог — Ши Жиньпиний дүрэм бол сурах бичгийн жишээ. Мөн таны промптыг дахин бичих нь таны утгыг устгадаг бөгөөд энэ бол OVERT-ийн туршилтын гол санаа: шүүлтүүрийг давахын тулд хүсэлтээ зөөлөн үгээр угаасан мэргэжилтэн бүр үүнийг гараараа баталсан. Та ялаагүй; та буулт хийсэн.

Эдгээрийн аль нь ч үнэгүй биш бөгөөд чимээгүйхэн бүтэлгүйтдэг учраас өртөг нь операторын ажигладаг үзүүлэлтүүдэд үл үзэгдэх байдаг. Хангалттай олон удаа татгалзуулсны дараа та асуухаа больж, промпт бүрээ давна гэж таамагласан хэмжээндээ урьдчилан нарийсгаж эхэлдэг; эцэст нь давсан зөөлөн үг таны баримт бичигт хэрэгтэй байснаас ойрхон боловч тэр биш зураг гаргадаг. Ерөнхий бодлогын мессеж аль давхарга ажилласныг танд огт хэлдэггүй тул та зөвхөн таамаглаж дахин оролдож чадна — мөн зурагтай ажил давтагддаг тул тав тутмын нэг оролдлогыг барьдаг шүүлтүүр зөвхөн удаашруулахаас илүүтэй бүх мөчлөгийг тасалдуулдаг. Үүний зэрэгцээ нухацтай хэрэгсэл эзэмших хамгийн хүчтэй үндэслэлтэй салбарууд шүүн хэлэлцэгчгүй, давж заалдах эрхгүй, мөн ихэвчлэн юуг хаадаг тухай нийтэлсэн жагсаалтгүй үлддэг. Таны уншиж чадахгүй дүрэм бол дүрэм биш; тэр бол цаг агаар юм.

06Цензургүй ба шүүлттэй AI зураг үүсгэгч: үнэндээ юу өөрчлөгддөг вэ

Энд харьцуулалтын шударга хувилбар байна, үүнд шүүлтгүй систем танд юуг өгдөггүй нь ч багтана.

ХэмжүүрШүүлттэй генераторШүүлтгүй (Shannon)
Юу шийддэг вэҮг ба пиксел уншиж буй ангилагчЯг тэр промптыг уншиж буй хүн
Хэзээ мэдэх вэИлгээсний дараа — заримдаа төлсний дарааЮу ч зурагдаж, төлбөр тооцогдохоос өмнө
Дүрэм нь юу вэНийтлэгдээгүй, хувьсамтгай хориглох жагсаалтНийтэлсэн Хариуцлагатай Хэрэглээний Бодлого
Мэргэжлийн нөхцөл байдалСистемд үл үзэгдэхТаны барих, таны хариуцах зүйл
Доголдлын хэлбэрЧимээгүй хэт хаалт, утгын хазайлтТа асуусан зүйлээ авна — алдаагаа ч оруулаад
Хэн эрсдэлийг үүрэх вэХудалдагч, таны ажил руу түлхсэн байдлаарХуваалцсан: операторын бодлого дээр нэмээд хэрэглэгчийн хариуцлага

Сүүлийн мөрийг хүмүүс алгасдаг бөгөөд яг тэр нь чухал. Шүүлтүүрийг авах нь 02-р хэсэг дэх хор хөнөөлийн ангиллуудыг авдаггүй; тэр нь тэдгээрийн талаар муу таамаглаж байсан машиныг авдаг. Үүрэг байсан газраа үлдэх бөгөөд одоо түүнийг нөхцөл байдлын талаар бодож чаддаг хоёр тал барина: бодлогыг нийтэлж, хэрэгжүүлдэг оператор, мөн зураг юунд зориулагдсаныг мэддэг та. Шүүлтгүй AI зураг үүсгэлт бол өөрсдийн гаралтынхаа ард зогсоход аль хэдийн бэлэн хүмүүст зориулсан хэрэгсэл — мэс засалчийн атлас, шинжээчийн дүгнэлт, зохиолын самбар, шог зураг — тэдгээр хүмүүс тэднийг өөр хүнээс ялгаж чаддаггүй системд зогсоогдож байсан.

07Shannon юу хийдэг — мөн юу хийдэггүй вэ

Ялангуяа API хайлтаас ирсэн уншигчдын хувьд энд нарийвчлал урам зоригоос илүү чухал.

Үүсгэх
Шинэ зураг
Засварлах
Нэг эх зураг
Нэгтгэх
Хоёр ба түүнээс дээш зураг
Үгүй
Видео үүсгэлт

Юу хийдэг вэ

  • Үүсгэлт. Зургаа энгийн үгээр, ямар ч хэл дээр дүрсэл. Та ямар ч хэл дээр асуусан бай, Shannon үүсгэх промптыг өөрөө, англиар бичдэг.
  • Нэг зураг засварлах. Яг нэг эх зураг — ярианд аль хэдийн байгаа зураг, эсвэл одоогийн мессежид хавсаргасан нэг — юу өөрчлөгдөж, юу хэвээр үлдэхийг хэлсэн зааврын дагуу өөрчлөгдөнө. Гаралт нь эх зургийн талын харьцааг автоматаар хадгална.
  • Хоёр ба түүнээс дээш зургийг нэгтгэх. Хувцас шилжүүлэх, объектыг үзэгдэлд оруулах, хүнийг хүний хажууд байрлуулах, бүтээгдэхүүнийг хүн дээр тавих, нэг зургийн субьектийг нөгөөгийн хэв маягтай нэгтгэх. Промпт нь зураг бүрийн үүргийг дараалалаар нь нэрлэдэг бөгөөд жинхэнэ зургууд ашиглагддаг тул тэдний бодит харагдах байдал дахин дүрслэгдэхийн оронд хадгалагдана.
  • Хэлбэрийн хяналт. square (анхдагч), portrait, landscape, wide, tall. Тодорхой хүсэлт үргэлж давамгайлна.
  • Бидний өөрсдийн GPU кластер дээр зурагдана, үүсгэх замд контент шүүлтүүргүй, промпт бичдэг загварт татгалзах давхаргагүйгээр.

Юу хийдэггүй вэ

  • Видео байхгүй. Shannon зургийг хөдөлгөөнд оруулдаггүй бөгөөд видео гаргадаггүй. Энэ нь наашилж нуугдсан төлөвлөгөөний зүйл биш — тэр байхгүй.
  • API дээр байхгүй. Зураг үүсгэх, засварлах ба нэгтгэх нь Shannon чат аппад байдаг. /v1 API нь текст ба зураг унших үйлчилгээ үзүүлдэг — таны илгээсэн зургийг уншиж чадна — гэхдээ тэдгээрийг зурдаггүй.
  • Уриагүй үүсгэлт байхгүй. Мэндчилгээ, асуулт, эсвэл санамсаргүй хавсаргасан зураг нь зураг үүсгэхийг эхлүүлдэггүй. Shannon-оос зураг харахыг гуйх — түүнийг дүрслэх, унших, шинжлэх — нь энгийн харааны ажил болохоос үүсгэлт биш бөгөөд нэмэлт төлбөргүй.

Баталгаажуулах карт

Энэ бол шүүлтүүрийг орлож буй механизм бөгөөд формал шаардлага биш, дизайны сонголт юм. Shannon таныг зураг гуйж байна гэж тодорхойлоход тэр үүсгэх промптыг бичээд юу ч зурагдахаас өмнө түүнийг баталгаажуулах карт дээр танд харуулна. Та баталгаажуулах хүртэл юу ч үүсгэгдэхгүй, ямар ч төлбөр тооцогдохгүй.

Хоёр загварчлалыг гавьяагаар нь харьцуул. Шүүлтүүр таны санааг тандаа байгаагаас бага мэдээлэлтэйгээр таамаглаж, тэр таамгаа чимээгүйхэн хэрэгжүүлдэг. Баталгаажуулах карт нь зургийн үгчилсэн тодорхойлолтыг тэр юунд зориулагдсаныг мэддэг талын өмнө, ямар нэг тооцоолол зарцуулагдахаас өмнө тавьдаг. Тэр нь таны хүсэлтийг буруу уншсаныг барьдаг бөгөөд шүүлтүүрүүд үүнийг хэзээ ч хийдэггүй; тэр нь загварын дутуу тодорхойлсон анатомийн нарийвчлал эсвэл түүхэн детайлыг нэмэх боломж олгодог; мөн хариуцлагыг тархай бутархай биш, уншигдахуйц болгодог. Та промптыг харсан, та товчийг дарсан.

08Шүүлтгүй үүсгэлт хариуцлагыг өсгөдөг болохоос авдаггүй

Энэ нь хөлд биш, энд байх ёстой, учир нь энэ бол аргументын хагас юм. Шүүлттэй генератор биелүүлж чадахгүй амлалт өгдөг: хэрэгсэл таны өмнөөс буруу хэрэглээнээс сэргийлнэ гэж. Тэр хоёр чиглэлд бүтэлгүйтдэг — мэс засалчийг хаадаг ба өөр сонголттой, тэгээд ч үргэлж байсан шийдэмгий хорон санаатныг зогсоодоггүй. Түүний найдвартай хийдэг зүйл бол хариуцлагыг дээгүүр түвшинд, машинаар шийдчихсэн мэт бүгдэд мэдрүүлэх явдал. Шүүлтүүрийг авах нь тэр зохиомол байдлыг авдаг; зураг оршин байх ёстой юу гэсэн асуулт түүнд хариулж чадах хүмүүс рүү буцна.

  • Shannon Lab LLC-ийн үүрэг. Нийтлэгдээгүй хориглох жагсаалт биш, хориглосон ангиллуудыг нэрлэсэн нийтэлсэн, тодорхой Хариуцлагатай Хэрэглээний Бодлого — таны уншиж, иш татаж, биднийг хариуцлага тооцож болох дүрмүүд.
  • Таны үүрэг. Та зорилго, үзэгчид, хууль эрх зүйн орчин, мөн дүрслэгдэж буй хүн бүрийн зөвшөөрлийн байдлыг мэднэ. Хэрэгсэл үүнийг мэдэхгүй бөгөөд ангилагч хэзээ ч мэдэж чадахгүй. Баталгаажуулах карт нь тэр мэдлэгийг хамгийн чухал мөчид, түүнийг эзэмшиж буй тал хэрэглэхийн тулд оршдог.
  • Хөдөлдөггүй шугам. "Шүүлтүүр намайг зогсоосонгүй" гэдэг нь ямар ч орчинд хэзээ ч өмгөөлөл байгаагүй. Камер татгалздаггүй, харандаа татгалздаггүй; хууль ба мэргэжлийн ёс зүй нь багажийг биш, хэрэглээг зохицуулдаг. Шүүлтгүй генератор нь бусад бүх мэргэжлийн хэрэгслийн ажилладаг ердийн зохион байгуулалтыг сэргээдэг.

Эхлэхээсээ өмнө Хариуцлагатай Хэрэглээний Бодлого-ыг уншина уу. Тэр богино, тодорхой бөгөөд энэ бүтээгдэхүүний бусад хэсгийг хамгаалж болохуйц болгодог хэсэг нь юм.

09Түгээмэл асуултууд

AI зураг үүсгэгч яагаад илт хууль ёсны промптоос татгалздаг вэ?

Учир нь ихэнх шүүлтүүр таны зорилгыг биш, промпт дахь үгсийг чинь дүгнэдэг. Загварын өмнө ангилагч сууж байдаг бөгөөд түүнд та хэн бэ, яагаад асууж байна вэ гэдэгт хандах эрх байхгүй тул эмнэлгийн чимэглэгч, шүүх шинжилгээний шинжээч, хорон санаатан гурав бүгд ижил нэр үгийг бичээд бүгд ижил татгалзал авдаг. The Intercept 2023 оны 4 сард Midjourney нь speculum, placenta, cervix зэрэг анатомийн нэр томьёог хориглосон харин stethoscope хэвийн ажиллаж байсныг мэдээлсэн.

AI урлагийн хэрэгслүүд дэх контент шүүлтүүрийн худал эерэг тохиолдлыг хэмжсэн судалгаа байдаг уу?

Тийм. OVERT (arXiv:2505.21347, ICML 2025) бол текстээс зураг үүсгэх загваруудад зориулсан анхны том хэмжээний хэт татгалзлын жишиг тест юм: аюулгүй байдлын есөн ангилалд хамаарах, хортой мэт харагдах боловч үнэндээ хоргүй 4,600 промпт, дээр нь хяналтын зорилгоор жинхэнэ хортой 1,785 промпт. Түүний зохиогчид тэргүүлэгч загваруудын дунд хэт татгалзал өргөн тархсан гэж мэдээлсэн. Тусдаа ECCV 2024 судалгаа урлагийн нүцгэн зураг дээр үнэлсэн гурван NSFW ангилагчид хүйсийн ба хэв маягийн хазайлт байгааг илрүүлсэн.

Цензургүй AI зураг үүсгэгч үнэндээ юуг өөрчилдөг вэ?

Тэр нь үүсгэх замаас татгалзах давхарга ба контент шүүлтүүрийг авдаг тул хууль ёсны хүсэлтийг чимээгүйхэн халдлага гэж дахин ангилдаггүй. Энэ нь дүгнэлтийг авдаггүй — түүнийг зөөдөг. Shannon юу ч зурагдахаас өмнө яг тэр үүсгэх промптыг баталгаажуулах карт дээр танд харуулдаг тул шийдвэрийг юу гарахыг харж чадах хүн Хариуцлагатай Хэрэглээний Бодлого-ын хүрээнд гаргадаг.

Shannon видео үүсгэдэг үү?

Үгүй. Shannon шинэ зураг үүсгэж, байгаа нэг зургийг засварлаж, хоёр ба түүнээс дээш зургийг нэг болгон нэгтгэдэг. Тэр зургийг хөдөлгөөнд оруулдаггүй бөгөөд ямар ч төрлийн видео гаргадаггүй.

Shannon API-аар дамжуулан зураг үүсгэж болох уу?

Үгүй. Зураг үүсгэх, засварлах ба нэгтгэх нь Shannon чат аппад байдаг. /v1 API нь текст ба зураг унших үйлчилгээ үзүүлдэг — таны өгсөн зургийг уншиж, шинжилдэг — зураг үүсгэдэггүй.

Шүүлтүүр байхгүй бол буруу хэрэглээг юу зогсоох вэ?

Түлхүүр үгийн хориглох жагсаалт биш, бодлого, хариуцлага ба харагдах шийдвэрийн цэг. Shannon хэзээ ч уриагүй байхад зураг үүсгэдэггүй, зурахаас өмнө бүтэн промптыг харуулдаг, та баталгаажуулах хүртэл ямар ч төлбөр тооцдоггүй, мөн насанд хүрээгүй хүн оролцсон бэлгийн контент, бодит хүмүүсийн зөвшөөрөлгүй дотно зураг, чиглэсэн дарамт, мөн иргэний үнэмлэх эсвэл санхүүгийн баримт бичгийн хуурамчлалыг хориглосон нийтэлсэн Хариуцлагатай Хэрэглээний Бодлогын хүрээнд ажилладаг.

Үнэхээр хэрэгтэй зургаа гуй

Чат аппад зураг үүсгэх, нэг зураг засварлах ба олон зургийг нэгтгэх — контент шүүлтүүргүй, татгалзах давхаргагүй, мөн юу ч зурагдахаас өмнө промпт дэлгэц дээр.

Чат эхлүүлэх Хариуцлагатай Хэрэглээний Бодлого

Зураг чат аппад · видео үүсгэлт байхгүй · илүү олон судалгаа


Эх сурвалж: Cheng, Huang, Xu, Sojoudi, Zhao, Song & Mei — OVERT (arXiv:2505.21347, ICML 2025) · Riccio, Curto, Hofmann & Oliver — An Art-centric perspective on AI-based content moderation of nudity (arXiv:2409.17156, AI4VA @ ECCV 2024) · Debbie Nathan, The Intercept, 2023 оны 4 сарын 22 · PetaPixel, 2023 оны 4 сарын 3 · CNBC, 2024 оны 2 сарын 22. Shannon AI-г АНУ-ын Нью-Мексико мужид бүртгэлтэй Shannon Lab LLC ажиллуулдаг.

Бүх research links