Ako AI a cloud vymazávajú hranice pri natáčaní filmov a televízie

Ak sa zdá, že konverzácie o umelej inteligencii a cloud computingu sú v dnešnej dobe všade, nielen v zriedkavých technologických a investorských kruhoch, je to pravda. A nikde to neplatí viac ako v zábavnom priemysle, kde sa kreatívne aj obchodné triedy zaujímajú o možné dôsledky pre remeslo, ktoré roky zdokonaľovali, a sú nadšení z demokratizačnej sily technológií.

Na nedávnom filmovom festivale Sundance som sa rozprával s mnohými režisérmi, redaktormi a ďalšími, ktorí využívajú novú umelú inteligenciu a možnosti cloud-to-camera, ktoré transformujú proces filmovej a televíznej produkcie, a vedúcimi pracovníkmi spoločnosti Adobe, ktorá vytvára široko používaný softvér na úpravu Premiere Pro a iné nástroje umožňujúce kreativitu.

Je to pozoruhodná doba, rýchlo sa vyvíjajúca, s predpovediami, ktoré dýchajú pozitívne aj negatívne, ale aj s niekoľkými skvelými príležitosťami na prerobenie spôsobu, akým sa film a televízia (nazvime ich len na základe videa) vyrábali už viac ako storočie.

Objatie tohto odvetvia sa ešte len začalo. ComcastCMCSA
, napríklad práve prijatý technická Emmy za použitie AI na rýchle generovanie športových videí.

Hviezdy a ich zástupcovia si to tiež všímajú, keďže technológie AI sa objavujú aj v špecializovaných kútoch priemyslu.

Napríklad talentová agentúra CAA podpísal strategické partnerstvo s Metaphysic, ktorá poskytuje nástroje na „odstarnutie“. Tu, funkcia Miramax založená na grafickom románe. Hviezdy Tom Hanks a Robin Wright budú hrať postavy v jednej miestnosti, keď starnú o mnoho rokov, od ich dávnej mladosti ďalej.

Pre agentúru je príťažlivosť takejto technológie zrejmá: ich najväčšie hviezdy/klienti sú zrazu životaschopní vo viacerých rolách, o desaťročia dlhšie.

Osviežujúce možnosti novej technológie

Ale zo dňa na deň sú možnosti pre redaktorov, režisérov a ďalších, ktorí sa podieľajú na komplexnej úlohe vytvorenia projektu založeného na videu, pripravené. V rozhovoroch so začínajúcimi autormi, ktorých nezávislé a dokumentárne projekty napĺňajú plán Sundance, je jasné, že Premiere Pro vidia ako vysokorýchlostnú platformu pre spoluprácu, ktorá umožňuje čoraz širšie spektrum možných kreatívnych využití čoraz širšou škálou možných tvorcov.

AdobeADBE
Meagan Keane, produktová marketingová riaditeľka pre profesionálne video, nazvala AI „obrovským otváračom možností, keď uvažujeme o budúcnosti filmovej tvorby. Myslíme si, že budúcnosť je pre každého."

Myslí tým, ako môže AI zvýšiť ľudskú kreativitu, a nie ju nahradiť, ako sa niektorí obávajú. Nástroje poháňané umelou inteligenciou môžu tvorcom poskytnúť skromné ​​alebo žiadne technické zručnosti, zdroje alebo prepojenia na módne pútavé projekty vo videu a iných médiách. Dokonca aj teraz, pre profesionálnych tvorcov, AI znižuje náročnosť opakujúcich sa úloh, ako je brodenie sa záznamom pre konkrétnu scénu, čo umožňuje redaktorom a ďalším tvorcom sústrediť sa na (doslova) väčší obraz.

Ale je to väčšie ako to, povedal Michael Cioni, senior riaditeľ pre globálne inovácie spoločnosti Adobe a dlhoročný šampión v technológiách camera-to-cloud s Frame.io vlastneným Adobe.

Každý digitálny majetok A cloudový majetok

Zjednodušene hovorí: „Do roku 2031 bude každé elektronické aktívum generované v médiách a zábave generované v cloude, v cloude. To je pravda. Hovorím tomu technologická istota, že každé elektronické aktívum, ktoré sa vygeneruje zariadením, bude generované v cloude“ namiesto, povedzme, na lokálnom pevnom disku, celuloide, videokazete alebo pamäťovej karte.

V známom cykle transformácie médií boli textové dokumenty prvé, ktoré smerovali do cloudu (a do AI). Teraz sa bežne vytvárajú, zdieľajú a pretvárajú v cloudových službách, ako sú Dokumenty Google, Apple Pages, Microsoft Word a Acrobat od Adobe. Stovky miliónov ľudí počúvajú (a vytvárajú, spolupracujú a predávajú) hudbu v cloude vďaka Spotify, Apple Music, Amazon Music, Tidal a ďalším. Teraz to mení najzložitejšie médiá, ktoré vytvárame.

"Povedzme, že robíte filmovú scénu," povedal Cioni. „Po nasnímaní scény budete môcť napísať v jazyku: 'Make it rain.' A v zábere sa objaví voda, začne pršať. 'Make it snow,' a začne sa objavovať v zábere. A na to nemusíte byť inžinier. Naozaj to vyzerá ako sci-fi, ale bude to úplne realizovateľné. Vidíme, že sa to deje vo veľmi skorých štádiách statického obrazu (fotografie) a vieme, že sa to pretaví do videa. A to je skutočne dôležitý atribút toho, kde musíme premýšľať o tom, ako to ovplyvňuje kreatívnych ľudí.“

To má veľa dôsledkov pre budúcnosť tvorby pohyblivých obrázkov. Ako povedal Leonard Cohen už dávno, keď sa vo svojich 30 rokoch zmenil z básnika na prozaika a speváka/skladateľa, „hranice medzi množstvom úsilia sa vytratili“.

Mnohí mladší filmári tieto hranice bežne prekračujú, pri tvorbe svojich projektov robia trochu zo všetkého a bežne spolupracujú na digitálnych platformách. S dodávkou z cloudu do fotoaparátu a inteligentnými technológiami AI môžu nasnímať scénu, rýchlo vytvoriť hrubú „zostavu“ ako východiskové miesto pre úpravu a zároveň určiť, či je dosť na to, aby scéna „fungovala“, alebo či je potrebné ďalšie natáčanie. .

Môžu tiež zdrsniť základné vizuálne efekty, korekciu farieb a dokonca aj zvukový dizajn, kým ich odovzdajú špecialistom na jemné doladenie. Pre mnohých tvorcov zo Sundance sa tak Premiere stala viac než len tradičným nelineárnym programom na úpravu videa.

Budovanie nového vzťahu medzi ľuďmi a obrázkami

„Toto je jedna z našich najväčších vášní: vzťah medzi ľuďmi a kamerami a ako to ovplyvňuje spoločnosť,“ povedal Maximilien Van Aertryck, spolurežisér (a spolueditor) provokatívneho dokumentu. Fantastický stroj, Ktorý získal špeciálnu cenu poroty Sundance za kreatívnu víziu. "Sme ako antropológovia, ktorí sa radi zabávajú."

Ich dokument jemne vyzýva k uváženému prístupu k svetu, ktorý vytvárame pomocou týchto nových nástrojov. Ako hovoril starý politický vtip, „komu budeš veriť: mne alebo tvojim lživým očiam? Čoraz viac musíme pochopiť, kedy sú naše oči klamať a pohyblivým obrazom treba veriť, povedal spolurežisér/editor Aertrycku Axel Danielson.

"Film nemá veľa odpovedí," povedal Danielson. "Má otázky. Jediná odpoveď, ktorú poznáme, je, že my ako spoločnosti musíme brať mediálnu gramotnosť veľmi vážne.“

Projekt zhromažďuje viac ako storočie pohyblivých obrázkov, ktoré siahajú až k priekopníkom, ako je Georges Melies (ktorého kráľovský subjekt by vykríkol, čo sa stalo názvom filmu). Cestou sa zastaví pri znervózňujúco zanietenej Leni Riefenstahlovej, ktorá hrá svoje obľúbené zábery z nacistického mítingu v Norimbergu, a bojovníkovi ISIS, ktorý opakovane kazí svoje riadky v navijaku z náboru teroristov. Obsahuje aj oveľa jemnejšie časti, ale ide o to, že skvelí a hrozní tvorcovia budú využívať nové nástroje mnohými spôsobmi.

On Fantastický stroj, Van Aertryck a Danielson strávili roky zbieraním charakteristických klipov o komplikovanom vzťahu medzi ľuďmi/kamerami a obrazmi, ktoré vytvárajú. Keď prišiel čas na zostavenie filmu, na diaľku spolupracovali so strihačom Mikelom Cee Karlssonom a výkonným producentom Rubenom Ostlundom, scenáristom a režisérom, ktorý bol dvakrát nominovaný na Oscara (Trojuholník smútku), ktorej Platforma Produktion film produkovala.

„Nie sme vyškolení redaktori; robíme to, pretože to musíme urobiť,“ povedal Van Aertryck. „Adobe sa pre nás stáva dokonalým nástrojom, pretože doň môžeme vložiť všetko a zdieľať to tam a späť.“

Štvorica využívala cloudové nástroje Premiere na obchodovanie s klipmi a sekvenciami, ako keby sedeli okolo stola, povedal Van Aertryck, hoci boli rozšírené po celej západnej Európe od Baltského mora (Göteborg, Švédsko) po Baleáry (Mallorca). Toto je obzvlášť ďalekosiahly príklad slobody, ktorú dáva tvorcom prísť odkiaľkoľvek a pracovať takmer kdekoľvek, ak to potrebujú alebo chcú.

„Možnosť zdieľať online umožňuje oveľa viac,“ povedal Crystal Kayiza, scenáristka a režisérka Odpočívadlo, ktorý získal cenu poroty Sundance za americký krátky hraný film. "Ak sa chcem vrátiť do Oklahomy, môžem to urobiť, ak budem (vytvárať) krátky."

Minulý rok spoločnosť Adobe oznámila nové funkcie priameho prenosu do cloudu v niektorých populárnych fotoaparátoch a iných produkčných zariadeniach, ktoré súčasne prenášajú video pri jeho zachytení. Vďaka tomu môžu redaktori, producenti, vedúci pracovníci a ďalší špecialisti na postprodukciu začať pracovať na záberoch už niekoľko minút po ich natočení.

Aj malé výroby využívajú technológie. Pri vytváraní cloudových spojení bolo nevyhnutné, najmä na začiatku Chystáte sa na univerzitu v Mariachi, povedala Daniela T. Quiroz, ktorá získala cenu Sundance za strih.

Režiséri Alejandra Vasquez a Sam Osborn stále natáčali dokument o stredoškolských tanečných súťažiach v texaskom Rio Grande Valley, keď Quiroz z Brooklynu začal dávať dokopy projekt. Jej skorý a svieži pohľad na už nasnímaný materiál pomohol formovať následné natáčanie a oblasti zaostrenia.

„Ako redaktori máme toto jedinečné privilégium vidieť týchto ľudí prvýkrát pred kamerou,“ povedal Quiroz. "Naozaj uvidíte, do koho sa zamilujete a do akej hudby sa zamilujete."

Zaobísť sa bez týchto okamžite dostupných digitálnych denníkov, ako boli „staré časy“ len pred niekoľkými rokmi, bolo pri fotografovaní nevyhnutnosťou. Niekedy myslím na smrť na mieste v odľahlej časti pobrežia Oregonu. Namiesto toho boli záznamy z každého dňa načítané na pevné disky a potom odoslané cez noc do New Orleans, aby ich spracovali digitálnym sprostredkovateľom. Bola to pripomienka vylepšení, ktoré priniesla technológia, povedal redaktor Ryan Kendrick.

Nový druh spolupráce

To umožnilo Kendrickovi z Nashvillu začať strihať a spolupracovať s režisérkou Rachel Lambert a ďalšími vo viacerých štátoch.

"Aké je skvelé, že môžem pracovať s tým, s kým chcem, a nie sme viazaní na rovnaké miesto," povedal Kendrick. Mení to aj dynamiku medzi režisérmi, kameramanmi, strihačmi a zvyškom produkcie.

"Vždy ste sa cítili izolovaní od natáčania" v minulosti, povedal Kendrick. „Teraz sa s tým cítiš viac spojený. Necítite sa tak oddelení od tónu, ktorý vydávajú. Striháreň je naozaj skvelé miesto, kde môžete robiť veľa chýb a robiť pravý opak toho, čo chcete. Vždy hovorím: ‚Neviem. Poďme na to.“

On Niekedy mám pocit, že umieram, Kendrick, Lambert a kameraman Dustin Lane sa začali rozprávať každý týždeň dlho predtým, ako sa natáčanie skutočne začalo, aby včas predišli možným problémom.

"Porozprávali by sme sa o problémoch s úpravou, ktoré by sa mohli vyskytnúť," povedal Kendrick. „Keď dostanete scenáre, najťažšie je premýšľať o tom, ako sa film prenesie do ďalšej časti. Konkrétne vo filme chodia (protagonisti) do kina. Veľa sme sa rozprávali o tom, ako získame obrázky, ktoré potrebujeme, aby sme si udržali emocionálnu váhu.“

Rýchly obrat, ktorý je možné dosiahnuť pomocou Camera-to-Cloud, je obzvlášť užitočný pre krátke projekty, ako sú reklamy a hudobné videá, povedal Kendrick.

"Niektoré obraty v reklamách sú divoké," povedal Kendrick. Schopnosť posúvať projekty tam a späť v Premiere Pro, Frame.io a After Effects bolo skutočne možné iba s cloudovou architektúrou.

„Ide o najväčšie oneskorenie (oneskorenie výrobných pracovných postupov), ktoré bolo za posledných päť rokov odstránené,“ povedal Kendrick.

Hlavné princípy budovania lepšej technológie

Prístup spoločnosti Adobe k jej technológiám je založený na piatich „hlavných princípoch“: pracovný tok, médiá, spolupráca, produktivita a bezpečnosť, povedal Keane.

„Naozaj sme umelú inteligenciu zapojili do ‚produktivity‘,“ povedal Keane. „Nejde o nahradenie kreatívcov. Ide o nahradenie všednosti.“

Hollywoodske odborové zväzy pozorne sledujú rýchlo sa meniaci priestor AI. Puck oznámil, že predstavenstvo najväčšej hollywoodskej únie, SAG-AFTRA, plánuje zahrnúť otázku práv na podobizeň – pomocou AI na obnovenie vzhľadu, hlasu alebo iných aspektov svojich členov – do nadchádzajúcich zmlúv.

Právnici pre talenty zatiaľ dostali radu, že „akýkoľvek jazyk v zmluve, ktorý má za cieľ kontrolovať právo na simuláciu hereckého výkonu, (je) „neplatný a nevymáhateľný, kým sa s odborovou organizáciou nedohodnú podmienky,“ uviedol Puck. .

Táto zložitá nová otázka by mohla túto jar viesť k náročným zmluvným rokovaniam. Výkonní umelci v mladšom a strednom veku, ktorí si chcú rozšíriť svoje kariérne príležitosti, môžu využiť niektoré spôsoby využitia technológie, ale bez silnej zmluvnej ochrany môžu niektoré predajne použiť túto technológiu ako spôsob, ako sa vyhnúť plateniu za digitálne predstavenia, ktoré nie sú technicky hercami.

Jeden hrubý príklad toho, čo nakoniec mohlo prísť, bolo možné nájsť celé týždne na Twitchi, kde „watchmeforever“ vytvorilo nekonečná „epizóda“ generovaná AI Seinfeld. „Prehliadka“ obsahovala zle skloňované, počítačom generované hlasy, jednoduchú grafiku a vtipy, ktoré neboli obzvlášť vtipné. Prehliadka tiež naznačuje, čo môže byť nakoniec možné na oveľa vyššej kvalitatívnej úrovni. Stojí za zmienku, že nekonečná slučka bola prerušená oznámením o vypnutí, keď sa rutina stand-up postavy „Jerryho“ zmenila na to, čo sa považovalo za anti-trans rutinu.

Otvorenie sveta kreatívnym činnostiam

Oveľa pozitívnejšou poznámkou je, že Keane z Adobe poukazuje na oveľa širší prístup ku kreatívnym nástrojom, ktoré bude poháňať AI a cloud. Eliminuje potrebu veľkých renderovacích fariem na generovanie procesných obrázkov a zvuku, generovanie efektov a ostatné, pričom stále poskytuje výpočtový výkon a bezpečnosť, ktoré potrebuje každý stredne ambiciózny video projekt.

„Ak dokážete centralizovať cloud, môžete otvoriť možnosť získavania príbehov z celého sveta,“ povedal Keane. „Spolupráca musí byť v každej fáze. Zdieľaná perspektíva buď posilní vaše nápady, alebo vás vyzve ďalej.“

Ako príklad dôležitosti bezpečnosti pre filmárov poukázal Keane Plán C, dokumentárny film Sundance o potratoch. Jeho tvorcovia potrebovali urobiť viacnásobné rozmazanie tvárí a hlasov niektorých rozhovorov pred kamerou a tiež pevné zabezpečenie pre nerozmazané pôvodné médiá.

Explózia generatívnej AI, hlboké falzifikáty a súvisiace problémy tiež znamenajú, že autenticita je dôležitejšia ako kedykoľvek predtým, povedal Keane. Adobe je členom iniciatívy Content Authenticity Initiative spolu s ďalšími mediálnymi a technologickými spoločnosťami, ako napríklad New York Times.NYT
a Canon.

Keanu Reeves, hviezda ikonickej sci-fi série The Matrix, je menej sangvinický. Nedávno povedal pre Wired, že jedno škodlivé použitie videa s pomocou AI, vytváranie deepfakes, je „strašidelný“. Reevesove zmluvy bežne obsahujú klauzulu zakazujúcu štúdiám digitálne manipulovať s jeho vystúpením, čo je ustanovenie, ktoré sa datuje desaťročia k produkcii, ktorá mu vtlačila do tváre virtuálnu slzu.

"Čo je na tom frustrujúce, že stratíte svoju agentúru," povedal Reeves o invazívnych praktikách. „Keď vystupujete vo filme, viete, že vás zostrihajú, ale podieľate sa na tom. Ak idete do hlboko falošnej krajiny, nemá žiadny z vašich uhlov pohľadu. To je strašidelné. Bude zaujímavé sledovať, ako sa ľudia vysporiadajú s týmito technológiami.“

Ďalšia technológia, ktorá mení hru

Ďalšou technológiou presadzovania okrajov, ktorá je už dostupná v beta verzii na Premiere Pro, je takzvaná textová úprava, ktorá umožňuje osobe upravovať video úpravou textu dialógu extrahovaného a prepísaného z videa pomocou AI. Umelá inteligencia tiež zvýrazňuje dôležité zvukové záznamy, dokáže zostaviť počiatočnú zostavu konečného projektu a generovať vyhľadávanie na základe kľúčových slov, aby rýchlo našla konkrétne klipy alebo konverzácie. Údaje vytvorené pre projekt sa stávajú novým účinným spôsobom, ako efektívne spravovať všetky tieto zábery.

"Zavlažujete médiá všetkými týmito bohatými údajmi," povedal Keane.

Niektoré menšie spoločnosti už začali s podobnými technológiami. Opis a podcast môžete vytvoriť digitálnu verziu vášho hlasu a potom ho nechať čítať textové skripty bez potreby ďalších úprav. Descript tiež nedávno pridal textovú úpravu videa, či už ide o podcasty alebo iný obsah.

Redaktor Kendrick povedal, že už použil textové editačné nástroje Adobe, aby pomohol priateľovi rýchlo otočiť minidokument z Aljašky. Úpravy založené na texte budú pravdepodobne nesmierne užitočné pre takzvaných „predátorov“, producentov/editorov, ktorí sa zvyčajne musia predierať dňami záberov, aby rýchlo zostavili neskriptované relácie v napätých časových líniách, povedal Kendrick.

Zvukové knihy, skripty, sociálne médiá tiež získavajú AI

Umelá inteligencia sa dostáva aj do mnohých ďalších kútov zábavy. AppleAAPL
zahájená súbor nástrojov AI navrhnutých na vytváranie rozprávania pre audioknihy, čím sa pre autorov vytvorila ďalšia možnosť vytvárať lacné zvukové verzie svojich projektov „vyrozprávané digitálnym hlasom na základe ľudského rozprávača“. Táto správa spustila hlasné námietky zo strany elitného zboru ľudských rozprávačov audiokníh a ich početných fanúšikov.

Určite existuje dôvod vážiť si najlepšiu prácu týchto ľudských rozprávačov a môže trvať dlho, kým sa nástroj AI priblíži presvedčivým hlasom a výkonom najlepších ľudských čitateľov v najlepších knihách.

Ale náklady na využitie tohto talentu ďaleko presahujú finančné prostriedky desiatok tisíc kníh vydaných každý rok. To je miesto, kde by balík nástrojov spoločnosti Apple mohol poskytnúť prístup na ďalší trh pre tých malých kníh, autorov a vydavateľov, ktorí sa snažia dostať na predtým vzdialený trh, ktorý už má hodnotu 1.5 miliardy dolárov na celom svete.

Uvedenie do prevádzky Filmová scéna používa AI na rozloženie komponentov scenára vrátane prvkov, ako je herecké obsadenie, rekvizity, kostýmy, použité vozidlá, zvuky, miesta a ďalšie.

A čo sa týka krátkeho, krátkeho videa v tomto biznise, TikTok, Meta's Reels a Alphabet's YouTube Shorts závisia od strojového učenia a nástrojov AI, aby mohli naservírovať ďalšie „odporúčané“ video, o ktorom si myslia, že si ho budete chcieť pozrieť, a prepojenie reklám s týmto prostredím spôsobom, ktorý je plynulejší a pútavejší.

Volal analytik Rich Greenberg z LightShed Partners posun Facebooku k vylepšeným odporúčaniam obsahu riadeným AI je extrémne drahý, ale „v konečnom dôsledku by to mohlo dokázať (generálny riaditeľ spoločnosti Meta Mark) Zuckerbergov druhý najpôsobivejší pivot (po mobilnom zariadení) na platforme, ktorá sa od svojho vzniku neustále vyvíja.“

Zdroj: https://www.forbes.com/sites/dbloom/2023/02/24/how-ai-and-the-cloud-are-erasing-the-borders-in-making-movies-and-tv- relácie/