AI vaizdų užklausų vadovas

Dauguma žmonių ateina su užklausų įpročiais, išmoktais su SDXL: kableliais atskirta daiktavardžių eilutė, kokybės žetonų įžanga, keli skliaustuose įrašyti svoriai ir neigiama užklausa, tokia pat ilga kaip teigiama. Tie įpročiai buvo teisingi tiems modeliams ir čia yra žalingi. Štai trumpa versija to, kas iš tikrųjų veikia — o kadangi Shannon generavimo užklausą parašo už jus ir parodo ją dar prieš bet ką atvaizduojant, tai lygiai taip pat yra vadovas, kaip skaityti ir taisyti tai, ką Shannon siūlo.

01Kodėl proza pranašesnė už žymas: modelis skaito kaip kalbos modelis

Senesni difuziniai modeliai, kuriems buvo parašyta dauguma patarimų apie užklausas, naudojo teksto koduotuvą, praktikoje veikusį kaip sąvokų maišas: gramatika beveik nesvarbi, o laiminti strategija buvo sukrauti tinkamus daiktavardžius ir pakoreguoti juos svoriais. Žymų sriuba buvo teisinga užklausos forma tam koduotuvui.

Shannon Vaizdų modelis veikia kitaip. Jis skaito užklausą taip, kaip kalbos modelis skaito tekstą, tad sintaksė perduoda prasmę. „Holding an umbrella against her shoulder“ yra ryšys tarp žmogaus, daikto ir kūno dalies; „umbrella, shoulder“ yra du dalykai, kurie tiesiog egzistuoja. Prielinksniai daiktus padeda vietoje. Veiksmažodžiai sukuria pozas. Šalutiniai sakiniai prisega detalę prie teisingo daiktavardžio, o ne leidžia jai plaukioti po visą vaizdą.

Štai tas pats paveikslas, paprašytas abiem būdais.

woman, 30s, tokyo, rain, night, crosswalk, neon signs, umbrella,
wet asphalt, reflections, masterpiece, best quality, 8k, ultra
detailed, (bokeh:1.3), cinematic lighting, photorealistic

A woman in her early thirties waits at a rain-soaked Tokyo
crosswalk at night, holding a clear vinyl umbrella against her
shoulder and glancing down the street. Neon storefront signs
bleed red and cyan into the wet asphalt at her feet. Shot on
Kodak Portra 400, 85mm f/1.4, shallow depth of field, the
traffic signal behind her thrown out of focus.

Pažiūrėkite, ko žymų versija negali išreikšti. Ji niekur nesako, kad skėtis laikomas, tad jis gali atsidurti gulintis ant žemės. Ji niekur nesako, kad neonas atsispindi asfalte, tik kad abu egzistuoja, tad gaunate iškabas ir šlapią gatvę be jokio optinio ryšio tarp jų. Ji niekur nesako, kur moteris žiūri, tad jos poza yra monetos metimas. „Cinematic lighting“ yra nuotaikos etiketė, o ne šviesos šaltinis. O paskutiniai penki žetonai yra triukšmas, skaitomas kaip angliški žodžiai apie fotografiją, o ne kaip valdymo rankenėlės.

Prozos versija ilgesnė ne dėl gražbylystės. Ji ilgesnė todėl, kad atsako į klausimus, kuriuos žymų versija paliko atvirus. Tame ir visas triukas.

02Kokio ilgio turėtų būti vaizdo užklausa?

Siekite 30–80 žodžių. Nenutolkite daug toliau nei 100. Tai pati lengviausia jums prieinama kokybės svirtis, ir svarbūs abu rėžio galai.

Trumpiau nei maždaug 30 žodžių kompozicija, šviesa ir kadravimas lieka nenurodyti, tad modelis renkasi tai, kas statistiškai įprasčiausia. „A woman in a coffee shop“ yra galiojanti užklausa, duodanti neįsimenamą vaizdą, nes kiekvieną įdomų sprendimą perdavėte kitam.

Virš maždaug 100 žodžių atsiranda kitoks gedimas: vėlyvieji dėmenys konkuruoja su ankstyvaisiais dėl tų pačių vaizdo sričių, ir vietoj detalių kaupimo gaunate jų skiedimą. Trečiasis apšvietimo aprašymas panaikina pirmąjį, o objektas, kurį nustatėte pirmais aštuoniais žodžiais, su kiekvienu pridėtu sakiniu gauna vis mažiau santykinio dėmesio. Ilgos užklausos skaitosi kaip išsamios. Jos neatvaizduojamos kaip išsamios.

Disciplina tokia: parašykite užklausą, kurios norite, o paskui nukirpkite ją iki tų sakinių, kurių pašalinimas pakeistų paveikslą.

03Eiliškumo disciplina: svarbiausia pirmiausia

Kadangi modelis skaito nuosekliai, pozicija yra kirtis: kas eina pirma, tvirtina vaizdą, kas eina paskutinis, jį koreguoja. Dėkite dalykus ta tvarka, kokios modeliui reikia:

1. Objektas — kas ar kas šiame paveiksle vaizduojama, konkrečiai.
2. Veiksmas ar poza — ką jie daro, kaip laikosi.
3. Stilius ar nuotaika — fotografija, aliejinė tapyba, techninė iliustracija, ir kokiu registru.
4. Aplinka ir apšvietimas — kur tai vyksta ir kokia šviesa krinta.
5. Technika — kadravimas, objektyvas, lauko gylis, spalvų detalės.

Dažniausia savęs žalojimo forma yra pradėti nuo techninio dėmens. Pradžia „Cinematic wide shot, anamorphic lens flare, teal and orange grade, of a man reading a newspaper“ pasako modeliui, kad objektas yra išvaizda, o vyras — detalė. Gaunate nuostabų, tuščią kadrą su maža neaiškia figūra jame.

Cinematic wide shot, anamorphic lens flare, teal and orange
color grade, shallow depth of field, golden hour, of a man
reading a newspaper on a park bench.

A man in his sixties in a gray wool overcoat sits on a park
bench reading a folded broadsheet newspaper, one ankle crossed
over his knee. Late golden-hour sun rakes across him from the
left through bare plane trees. Photographed wide on a 35mm
anamorphic lens, shallow depth of field, warm highlights and
cool shadows.

Antrojoje versijoje išlieka kiekvienas pirmosios elementas; nieko nebuvo praleista. Modelis dabar tiesiog žino, ko yra šis paveikslas, dar prieš jam pasakant, kaip jį filmuoti — ir vien tas pertvarkymas perkelia objektą iš atsitiktinio į centrinį.

04Objektą apibrėžkite konkrečiai

„A person“ nėra objektas, tai vietos rezervas — o modelis vietos rezervus užpildo viso, ką matė, vidurkiu, ir būtent iš ten kyla ta blizganti, beamžė, bebūdė išvaizda. Konkretumas kainuoja penkis žodžius ir nuperka konkretų žmogų:

Atkreipkite dėmesį į dėsningumą: amžius arba epocha, viena struktūrinė ypatybė, vienas išskiriantis netobulumas. Būtent trečiasis punktas rezultatui suteikia pojūtį, kad jis nufotografuotas, o ne sugeneruotas. Nuskeltas dantis, nudėvėtas apvadas, uždažyta iškaba — smulkios asimetrijos yra stipriausias prieinamas antiplastikinis signalas, ir jos beveik nieko nekainuoja jūsų žodžių biudžetui.

05Fotorealizmas: rašykite prašymą kaip fotografiją

Fotorealizmas yra numatytasis registras, nebent prašote meno, iliustracijos ar anime. Bet žodis „photorealistic“ nudirba nedaug. Fotografiją sukuria paties fotografavimo akto aprašymas: tikra kamera, tikras objektyvas ir tikra juosta arba šviesos šaltinis.

Priežastis paprasta. Kiekvienas vaizdas, pažymėtas „Kodak Portra 400“, buvo sukurtas konkrečiu procesu su konkrečia grūdėtumo struktūra, šviesių tonų nusklembimu ir odos perteikimu, o juostos įvardijimas prišaukia visa tai. „8k ultra detailed“ visada figūravo tik nuotraukų bankų šlamšte, tad jis ir prišaukia nuotraukų bankų šlamštą. Kelios patikimos receptūros, kiekviena duodanti ryškiai skirtingą to paties objekto vaizdą:

Suderinkite tikroviškumo detales su receptūra — porų lygio odos tekstūra nieko nereiškia 24 mm plačiakampyje, kur veidas aštuoniasdešimties taškelių aukščio — ir tik tada jas pridėkite. Tikroviškumo detalės yra tekstūros įrodymai, kad tai iš tikrųjų užfiksavo objektyvas. Matomos odos poros ir smulkūs veido plaukeliai. Lininių marškinių pynimas. Dulkelės šviesos pluošte. Įbrėžimas ant odinio bato. Pasišiaušę plaukai šviesiame fone. Užtenka dviejų ar trijų, ir būtent jos skiria žmogaus atvaizdavimą nuo žmogaus fotografijos.

06Sluoksniuotos scenos: priekinis planas, vidurinis planas, fonas

Kai scena turi gylį, aprašykite tris planus atskirai ir iš eilės. Tai veiksmingiausia technika vaizdams, kurie turėtų atrodyti kaip vietos, o ne dekoracijos, ir beveik niekas jos netaiko. Be jos gaunate plokštumą: viskas, kas paminėta užklausoje, atsiduria maždaug tokiu pat atstumu ir konkuruoja dėl tos pačios vidurinės kadro juostos. Planų įvardijimas duoda modeliui gylio biudžetą, kurį jis gali išleisti.

In the foreground, a cracked concrete ledge with a half-empty
paper coffee cup and a scattering of cigarette ash, slightly out
of focus. In the midground, a bicycle courier in a yellow rain
jacket wheels her bike across a wet plaza, caught mid-stride. In
the background, a glass office tower dissolves into low fog.
Shot on a 50mm lens at f/2.8, flat overcast light.

Du patikslinimai. Į priekinį planą įdėkite kažką, kas sąmoningai neryšku — tikros gilių scenų nuotraukos beveik visada tokį turi, o jo nebuvimas yra dažnas išdavikas. Ir pasakykite, kuriame plane yra objektas: jei kurjerė yra paveikslo esmė, jos vieta viduriniame plane, kitaip bokštas ir kavos puodelis grumsis su ja dėl kadro.

07Tikslios spalvos: šešioliktainiai kodai, prisegti prie objektų

Prekės ženklo darbams, kostiumo tęstinumui arba visur ten, kur „raudona“ nepakankamai tiksli, užrašykite šešioliktainį kodą kaip color #RRGGBB ir prisekite jį prie įvardyto objekto:

...wearing a heavy wool peacoat, color #8B0000, over a cream
turtleneck, against a studio backdrop, color #1E3A5F.

...#8B0000, #1E3A5F, dark red and navy color palette, moody...

Trys nykščio taisyklės. Šešioliktainį kodą naudokite toms dviem ar trims spalvoms, kurios iš tikrųjų svarbios, o likusioms — paprastus žodžius; užklausa su šešiais šešioliktainiais kodais didžiąją biudžeto dalį išleidžia dažų pavyzdėliams. Kodą riškite prie objekto su kraštinėmis, niekada prie „apšvietimo“ ar „nuotaikos“. Ir atminkite, kad jis nurodo objekto spalvą, o ne galutinę taškelio reikšmę: #8B0000 paltas auksinės valandos kontrašvietėje atrodys šilčiau nei pavyzdėlis, lygiai kaip būtų gyvenime.

08Kraštinių santykio pasirinkimas

Yra penki santykiai, ir tinkamą paprastai nurodo pats objektas, bet aiškiai išsakytas jūsų prašymas visada viršesnis — paprašykite ekrano fono ir gausite tall, nesvarbu, ką siūlo turinys.

Suklysti čia žalingiau, nei atrodo. Visu ūgiu stovinti figūra wide kadre neduoda mažos figūros dideliame kadre — paprastai ji duoda nukirptą figūrą, nes modelis užpildo plotį, o galva ar pėdos išeina iš kadro. Suderinkite kadrą su vyraujančia objekto ašimi, ir dauguma nusiskundimų dėl kompozicijos dings.

Dvi elgsenos, kurias verta atsiminti: redaguojant automatiškai išlaikomas šaltinio vaizdo kraštinių santykis, tad perkadruoti redaguojant negalite, o sujungiant galima pasirinkti naują drobę — dažnai tai švariausias būdas pakeisti jau turimo dalyko formą.

09Antimodeliai: ką nustoti daryti

Kokybės žetonai: „masterpiece, best quality, 8k, ultra detailed“

Tai bendruomenės aptiktos rankenėlės konkrečiam senesniam mokymo duomenų pasiskirstymui, kur tam tikros antraščių frazės koreliavo su tam tikrais vaizdų šaltiniais. Jos neperkeliamos. Čia jos skaitomos kaip įprasti angliški žodžiai, nieko neprideda ir suėda dalį žodžių biudžeto, apie kurio ankštumą jums jau buvo pasakyta. Pakaitalas — pasakyti, kokios detalės norite: ne „ultra detailed“, o „visible weave in the coat fabric and fine stubble along the jaw“ — tas pats ketinimas, išreikštas taip, kad modelis galėtų atvaizduoti.

Svorių sintaksė: (word:1.3), [word], {{word}}

Neapdorojama. Skliaustai, laužtiniai skliaustai, dvitaškiai ir skaičiai patenka kaip pažodinis tekstas ir, jei jau, apsunkina aplinkinio dėmens skaitymą. Jei norite ką nors labiau pabrėžti, naudokite dvi svirtis, kurios iš tikrųjų veikia: perkelkite tai anksčiau užklausoje ir skirkite tam daugiau žodžių. „A crimson silk scarf, its fringed ends lifting in the wind“ nusveria „(red scarf:1.4)“ pagal kiekvieną svarbų matą.

Prieštaringi nurodymai

Nesuderinamų nurodymų maišymas jų nesulieja; jis duoda nestabilų vidurkį, paprastai netenkinantį nė vieno. Dažni pažeidėjai:

• Terpė — „photorealistic“ plius „watercolor“; „oil painting“ plius „shot on 85mm“. Pasirinkite vieną ir laikykitės.
• Kadravimas — „wide establishing shot“ plius „extreme close-up on her eyes“; „full body“ plius „detailed facial pores“.
• Apšvietimas — „harsh midday sun“ plius „soft golden hour glow“; „low key, deep shadows“ plius „bright and airy“.
• Epocha — „1970s film aesthetic“ plius „modern minimalist“ plius „cyberpunk“.
• Stilių krovimas — keturi menininkai ar keturi žanrai iškart. Dvi susijusios nuorodos gali veikti; keturios susinaikina į bendrybę.
• Išsidriekimas — „rustic, weathered, ancient, timeworn wooden door“ yra viena mintis, parašyta keturis kartus, ir kiekvienas pakartojimas skiedžia likusią užklausos dalį.

10Verčiant tekstą vaizdu neigiamos užklausos nėra

Tai antimodelis, labiausiai pagaunantis patyrusius naudotojus, nes senesnėse krūvose neigiama užklausa buvo pusė viso amato.

Generavimui taisyklė absoliuti ir šiek tiek prieštaraujanti nuojautai: įrašius į užklausą „no text, no watermark, no extra fingers“ tie dalykai tampa labiau, o ne mažiau tikėtini. Modelis skaito „no text“ kaip sakinį, kuriame yra sąvoka tekstas; neigimas yra silpnas signalas, o daiktavardis — stiprus. Iš esmės paprašėte teksto. Vietoj to visada nurodykite teigiamą formą:

Redaguojant ir sujungiant neigiama užklausa egzistuoja ir ją reikėtų naudoti — bet artefaktams, ne turiniui. Tinkama medžiaga: vandenženklis, teksto perdanga, dubliuotos galūnės, iškreiptos rankos, per didelio ryškinimo aureolės, JPEG blokai, siūlių linijos palei koliažo kraštą. Netinkama medžiaga: viskas, kas susiję su tuo, ko yra paveikslas — tai priklauso nurodymui.

11Kaip skaityti užklausą, kurią Shannon parašo už jus

Štai kas šį vadovą daro iškart pritaikomą, o ne teorinį. Generavimo užklausos rašyti patiems nereikia. Prašote paprasta kalba, bet kuria kalba; Shannon atpažįsta, kad prašoma vaizdo, sudaro anglišką generavimo užklausą ir parodo ją jums patvirtinimo kortelėje dar prieš bet ką atvaizduojant. Kol nepatvirtinate, niekas negeneruojama ir niekas neapmokestinama.

Tad labiausiai apsimokantis įgūdis yra ne užklausų rašymas nuo nulio, o toje kortelėje esančios užklausos skaitymas. Peržvelkite šį sąrašą:

1. Ar objektas konkretus? Jei kortelėje parašyta „a person“ arba „a woman“, radote didžiausią prieinamą patobulinimą. Suteikite jam amžių, kūno sudėjimą, bruožą.
2. Ar objektas pirmas? Jei užklausa prasideda stiliumi ar kamera, paprašykite, kad ji pradėtų nuo objekto.
3. Ar telpa į rėžį? Jei trumpiau nei 30 žodžių, paprašykite daugiau konkretumo dėl šviesos ir aplinkos. Jei virš 100 — paprašykite sutrumpinti.
4. Ar yra šviesos šaltinis? Ne nuotaikos žodis — tikra šviesa: langas, gatvės žibintas, blykstė, apniukęs dangus, softboksas.
5. Ar nėra prieštaravimų? Peržiūrėkite, ar toje pačioje užklausoje nėra dviejų terpių, dviejų kadravimų ar dviejų apšvietimo sąlygų.
6. Ar neįsibrovė neigimų? Jei kortelėje yra „without“, „no“ ar „avoid“, tai teksto pavertimo vaizdu užklausa, prašanti to, ką įvardija.
7. Ar santykis tinka objektui? Visu ūgiu stovinti figūra wide kadre yra klasikinis neatitikimas.

Taisyti galima pokalbio forma: „padaryk ją maždaug trisdešimt trejų su randu per antakį, fotografuok su Portra 85 mm objektyvu ir naudok portrait“ yra visiškai geras nurodymas. Gaunate naują kortelę ir patvirtinate ją. Už kartojimą jokios baudos nėra, nes dar niekas neatvaizduota.

Ir Shannon negeneruoja nepaprašytas. Pasisveikinimas, klausimas ar nuotrauka, prisegta aptarimui, atvaizdavimo nesukelia. Paprašyti Shannon pažiūrėti į vaizdą — jį aprašyti, perskaityti, išanalizuoti — yra įprastas regos darbas, o ne generavimas, ir tai nekainuoja nieko papildomai.

12Kaip amatas keičiasi redaguojant ir sujungiant

Aukščiau esančios taisyklės parašytos generavimui. Du gretimi režimai keičia užklausos formą.

Vieno vaizdo redagavimas

Redagavimo užklausa yra nurodymas, o ne aprašymas: pasakykite, kas keičiasi ir kas lieka. Nepakitusių dalių įvardijimas yra didžiausia kokybės svirtis visame produkte — „Change the background to a rainy night city street with neon reflections, keep the woman exactly as she is“ laikosi ten, kur tas pats prašymas be šio dėmens tyliai perpiešia jos veidą. Būkite konkretūs dėl inkaro: išlaikykite identiškus veidą, pozą, plaukus ir drabužius. Naudojamas lygiai vienas šaltinio vaizdas, o rezultatas išlaiko jo kraštinių santykį.

Dviejų ar daugiau vaizdų sujungimas

Visais atvejais, kai elementai ateina iš daugiau nei vieno paveikslėlio — aprangos perkėlimas, objektas į sceną, du žmonės viename kadre, gaminys ant žmogaus, vieno vaizdo stilius su kito objektu — užklausa privalo iš eilės įvardyti kiekvieno vaizdo vaidmenį: „The woman from the first image wearing the red knitted sweater from the second image, standing in the same park.“ Pirmasis vaizdas yra pagrindinis objektas arba scena; vėlesni pateikia įnešamas dalis. Nesutraukite kelių vaizdų prašymo į vieną šaltinį plius tekstinį aprašymą — būtent tikrų vaizdų sujungimas išsaugo, kaip tie dalykai iš tikrųjų atrodo.

13Necenzūruotos užklausos: sakykite, ką turite omenyje

Generavimo kelyje nėra turinio filtro, o modelyje, kuris rašo užklausą, nėra atsisakymo sluoksnio. Tai visa produkto esmė: filtruoti generatoriai nuolat atsisako teisėto darbo — aktų, medicininės ir teismo ekspertizės iliustracijos, saugumo tyrimų vaizdų, smurto grožinėje kūryboje, politinės satyros, teisių turėtojo prekės ženklo ir atvaizdo darbų. Pusė užklausų amato filtruotose platformose yra eufemizmų inžinerija, o eufemizmas yra tikslaus vaizdo priešas.

Tad kortelėje reikia patikrinti dar vieną dalyką: ar ji aprašo tikrąjį objektą paprastais žodžiais, o ne ta atsargia leksika, kurios žmonės išmoksta su filtruotais įrankiais. Teismo ekspertizės žaizdos iliustracija turėtų pasakyti, kokia ta žaizda. Atsargi kalba visur duoda prastesnį vaizdą, nes modelis atvaizduoja tai, ką sako žodžiai.

Pajėgumas ir sprendimas yra skirtingi dalykai. Shannon Lab LLC visa tai vykdo pagal paskelbtą Atsakingo naudojimo politiką: nefiltruotas generavimas yra profesionalus įrankis, o sutikimas, teisės ir įstatymai vis tiek galioja tam, ką sukuriate.

14Kur čia telpa API

Vienas tikslumo dalykas skaitytojams, atėjusiems po API paieškos: vaizdų generavimas, redagavimas ir sujungimas gyvena Shannon pokalbių programėlėje, o ne /v1 API. API teikia tekstą ir regą — ji gali skaityti, aprašyti ir analizuoti jūsų atsiųstus vaizdus visuose trijuose dialektuose (/v1/chat/completions, /v1/messages, /v1/responses, visi su srautiniu perdavimu) — bet jų nekuria. Jei kuriate grandinę, kuriai reikia suprasti vaizdus, pradėti verta nuo API dokumentacijos. Jei norite vaizdus kurti, tai yra pokalbių programėlėje, ir viskas šiame vadove ten galioja. Vaizdai atvaizduojami mūsų pačių GPU klasteryje.

15Dažnai užduodami klausimai

Susijęs skaitinys: Necenzūruotas AI vaizdų generavimas · Necenzūruotas AI vaizdų redagavimas · Atsakingo naudojimo politika · API dokumentacija · Visi Shannon tyrimai. Čia pateiktos gairės remiasi mūsų pačių Shannon Vaizdų modelio bandymais; patarimai, parašyti ankstesnėms difuzinėms krūvoms, paprastai netinka.