VR er ved at ændre filmfremstilling for evigt. Sådan gør du

Hollywood taler om virtual reality. På Oculus Connect-konferencen i sidste måned talte et helt panel af Hollywood-alums om teknologien og dets anvendelser inden for filmproduktion.

I mellemtiden begynder tunge mødre i branchen at veje ind. James Cameron hader det. David Attenborough laver en dokumentar om det. Den nylige (fremragende) film Interstellar havde en VR-oplevelse, der promoverede den.

Virtuel virkelighed er en ny måde at kommunikere med din seer på, og mange mennesker med baggrund i traditionel filmskabelse finder mulighederne spændende. Virtual reality, snarere end blot at give et vindue til en ny verden, giver instruktører mulighed for at tage kontrol over hele verden omkring seeren.

Hvad kan du gøre med et VR-kamera?

Det kræver ikke meget fantasi at blive begejstret for ideen om VR-kameraer. Filmskabere kunne bogstaveligt talt bringe publikum ansigt til ansigt med deres figurer og fordybe dem i spektakulære, bisarre verdener. Fotografer kunne fange hele scener, frosset i tide, for at blive gennemgået af nogen, overalt i verden.

Dokumentarer kan tage publikum til steder, som de ellers aldrig kunne besøge. De kunne sende et VR-kamera til bunden af ​​havet og lade seerne stå midt i den sunkne balsal i Titanic. Naturdokumentarer kunne manipulere tid og rum, sætte brugere blandt myrer på størrelse med hunde eller opbygge fordybende tidsforløbssekvenser. NASA kunne montere et VR-kamera på en Mars-rover og tillade millioner af mennesker at stå på den røde planet.

Der er naturligvis også mere verdslige applikationer:

En af nøglerne til forbrugernes VR-succes vil være stereoskopiske panoramiske kattevideoer.

- John Carmack (@ID_AA_Carmack) 6. november 2014

Live VR-video kan også være meget overbevisende. Sportsspil kunne fjernes til stede, VR-kameraer ville give alle domstolsæder. Selv turisme kan være virtuel.

Brugere kunne leje en simpel telepresensrobot (måske et Segway med et VR-kamera, der sidder på styret) og pilotere det rundt, hvor som helst i verden. Segway ville streame sin video tilbage live, så turister praktisk taget kunne “teleport” sig selv over hele planeten for at udforske overalt. Det ser ud til at sige, at VR vil ændre verden Hvorfor Virtual Reality Technology vil sprænge dit sind om 5 år Hvorfor Virtual Reality Technology vil sprænge dit sind om 5 år Fremtiden for virtual reality inkluderer hoved, øje og udtryk sporing, simuleret touch , og meget mere. Disse fantastiske teknologier vil være tilgængelige for dig om 5 år eller mindre. .

VR-filmproduktion har dog mange udfordringer. Hvordan kan instruktører flytte kameraet, mens du holder seeren komfortabel? Hvordan klipper instruktører film uden at desorientere seeren? Hvordan sikrer de sig, at seeren kigger i den rigtige retning for at fange vigtige plot-begivenheder? Gør nærbilleder endda mening?

Måske er de største problemer dog de praktiske: Hvordan optager du indhold til virtual reality? Å gengive live VR-indhold til spil er beregningsintensivt, men konceptuelt ligetil. Optagelse af det virkelige liv giver derimod nogle alvorlige udfordringer.

Panoramakamera

Den enkleste løsning (og den eneste vidt anvendte i øjeblikket) er enkel panoramavideooptagelse. I dette skema bruges en kugle af konventionelle kameraer til at optage video i alle retninger, og resultaterne sys sammen med software for at skabe en problemfri sfære af video. Disse er meget som panoramerne, du tager 5 tip til at tage panoramabilleder med din smartphone 5 tip til at tage panoramabilleder med din smartphone Panoramabilleder af fantastiske landskaber ser næsten altid forunderlige ud, men de kan være ekstremt vanskelige at oprette. Ved hjælp af en smartphone er der forskellige teknikker og tricks, som du kan anvende for at få de bedste resultater. e med din telefon, men optages samtidig i videoformat. Output fra processen ser sådan ud:

Dette er ligetil og billigt. Du kan forudbestille et panoramakamera til omkring $ 700, men det har begrænsninger. Det vigtigste er manglen på dybde: Panoramaerne gengives på en uendelig stor kugle, så parallaxen mellem dine øjne er nul, selv for dele af billedet, der virkelig skal have dybde, som en person, der står ved siden af ​​dig.

På trods af denne mangel er oplevelsen fra panoramavideo stadig overraskende sej, især for indhold, der finder sted på afstand (luftfotografering er et godt eksempel). For cirka en uge siden byggede jeg en Oculus Rift-app, der gengiver en virtuel cockpit inde i videoen ovenfor, og resultaterne er overbevisende: det føles som at køre i en ubåd omgivet af havskildpadder på størrelse med små bygninger.

Tænk på denne slags VR-indhold som et personligt super-IMAX-teater, hvor du står ophængt midt i et enormt sfærisk display. Følelsen af ​​sted, der leveres af sfærisk video, er allerede noget, der er umuligt med traditionelle filmskabende værktøjer. Selv med dens begrænsninger er det sandsynligvis, hvordan de fleste VR-videoer vil se ud i den nærmeste fremtid. Richard Attenboroughs dokumentar (“Erobringen af ​​himlen“) optages i dette format.

Stereo Panoramic Camera

Lad os sige, at en instruktør er utilfreds med begrænsningen af ​​monoskopiske panoramaer. En åbenlys udvidelse af teknologien er at indbringe side-ved-side 3D-teknologi Gammeldags sjov: Hvordan man laver 3D-billeder til visning uden briller Gammeldags sjov: Hvordan man fremstiller 3D-billeder til visning uden briller Tro det eller ikke, du behøver faktisk ikke 3D-briller for at opleve overbevisende realistiske 3D-billeder (eller film). Du skal bare få dig selv til at gå “skeløjet”. Grundlæggende ser du på to billeder og med forsæt ... For at gøre dette har hardware brug for to parallelle kameraer, der vender mod hver retning, forskudt med ca. 6,3 cm. Derefter bruger kameraet software til at sy sammen to panoramabilleder: et til venstre øje og et til højre. Forskellen mellem dem skaber illusionen om dybde. Produkter, der understøtter denne oplevelse, er tilgængelige, selvom de er dyre ($ 995 plus prisen på ti GoPro-kameraer).

I et forsøg på at gøre denne slags indhold mere mainstream, annoncerede Samsung for nylig “Projekt ud over”, et VR stereo panoramakamera til Oculus-Samsung Gear VR mobile headset. Den aktuelle prototype har formfaktoren for en lille puck og bruger 17 HD-kameraer og gengiver en gigapixel pr. Sekund af data.

Ved 30 fps fungerer det til panoramabilleder, der er ca. 15 megapixel pr. Øje, eller ca. 50.000 pixels pr. Øje pr. Visuel grad. Prisoplysninger er stadig noget af et mysterium, og Samsung understreger, at dette ikke er et færdigt projekt. Du kan se deres preview-video nedenfor.

Stereopanoramaer er helt klart en bedre oplevelse end deres monoskopiske brødre - store ting ser store ud, små ting ser små ud, objekter har dybde og position, og det føles meget mere som at være der. Når det er sagt, er oplevelsen stadig langt fra perfekt. Som John Carmack beskriver i sin Oculus Connect-keynote, har stereopanoramaer mange problemer.

“… Stereoskopiske panoramaer, uanset om de er stadig eller videoer, er absolut et hack. Der er - vi ved, hvad ret er, og dette er ikke rigtigt. Hvad de afslutter med at gøre, er at du har fået skiver taget fra flere kameraer, så lige foran er det den rette stereo til para-messig, og så herover er det korrekt til dette. Men det betyder, at hvis du ser på, hvad der var rigtigt for øjnene herovre, men du ser ud fra hjørnet af dit øje herover, er det bestemt ikke rigtigt. Det er ikke den rigtige forskel for øjnene.

Og så endnu værre, hvis du vender dit hoved sådan [ruller hovedet], bliver det alt for dårligt, fordi det er sat op bare for øjnene lige foran. Så dette var en interessant ting. Vi har de ting, hvor vi dybest set ved på nogle måder, at dette kan blive forgiftet, dette kan være en rigtig dårlig oplevelse, hvis folk, du tilbringer en masse tid på med at slappe af. […]

Dette er tekniske problemer, der måske kunne løses med bedre hardware. Der er dog et dybere spørgsmål: hvad sker der, når du bevæger dit hoved? Panoramabillederne for begge øjne gengives stadig uendeligt: ​​At bevæge dit hoved fysisk vil resultere i en kvalmende fornemmelse af, at verden bevæger sig med dig, især hvis der er genstande tæt på dig. Der er ingen ligefrem måde at finde ud af, hvordan et stereoskopisk billede ville se ud fra et nyt synspunkt.

På trods af disse begrænsninger er stereopanoramiske oplevelser stadig overbevisende. Gear VR-platformen vil fokusere på denne slags oplevelser, da de kan oprettes med moderne hardware og vises uden at beskatte hardwareens gengivelsesmuligheder. Stereopanoramaer vil sandsynligvis være den gyldne standard for VR-indholdsproduktion, i det mindste i de næste par år.

Dybdekameraer

Et alternativ til at tage to side ved side-billeder (som med traditionelle 3D-film) er at optage, hvad der er kendt som dybdebilleder: et enkelt billede, der er taget fra et enkelt perspektiv, som indeholder en ekstra farvekanal, der gemmer afstanden fra linsen af den pågældende pixel.

Hvis du har det, kan software simulere virtuelle kameraer, der ser billedet fra nye perspektiver, og sørge for altid at have et nyt, korrekt billede fra hvert øje. Det er muligt at generere panoramadybdebilleder, der giver mulighed for naturlig bevægelse og rotation af hovedet på en måde, der ikke er muligt med stereopanoramaer. Der er et par teknologier, du kan bruge til at fange disse dybdebilleder.

Tid for flyvning

Den version af denne teknologi, som du sandsynligvis er mest fortrolig med, er den, der bruges i Kinect. Kinect V2 (den version, der følger med Xbox One) er afhængig af det, der er kendt som et tid-of-flight kamera.

Teorien her er ligetil: Time-of-flight kameraer er infrarøde kameraer, der er i stand til ikke kun at optage, hvor lys rammer sensoren, men hvornår lys slår sensoren med en præcision på nogle få mikrosekunder. Dette er koblet med et farvevideokamera og et infrarødt strobelys. Ved starten af ​​hver ramme blinker IR-stroben og belyser scenen meget kort. Ved at timere, hvor lang tid det tager hver pixel at observere blitz, kan kameraet ud fra lysets hastighed afgive, hvor langt væk hver pixel er fra kameraet.

Denne teknologi er enormt kraftfuld. Hackere har gjort nogle utrolige ting 5 Microsoft Xbox Kinect-hacks, der vil sprænge dit sind 5 Microsoft Xbox Kinect-hacks, der vil sprænge dit sind med det. Ved at bruge flere Kinects i en overlappende konfiguration kan det være muligt at skabe et panorama af en scene med en nøjagtig dybdeværdi for hver pixel, som kunne gengives i virtual reality for at skabe en fordybende oplevelse med korrekt dybde.

For at få en idé om, hvilke slags resultater denne tilgang giver, skal du tjekke denne video, der viser output fra bare dybdekameraet på Kinect V2.

Dette er et dybdebillede i høj kvalitet - masser af detaljer, rene kanter og ikke for meget støj. Der er dog nogle begrænsninger: den største advarsel er, at Kinect i dette eksempel optager en indendørs scene med omhyggeligt kontrollerede lysforhold.

I virkelige verdensscenarier (og især udendørs) kan omgivende IR-interferens fra direkte og indirekte sollys og glødende lyskilder forringe nøjagtigheden. Der er også et mere grundlæggende problem, som er, at tid for flyvningskameraer afhænger af aktiv belysning. Det sætter nogle hårde grænser for, hvor langt de kan se. De klarer sig heller ikke godt med gennemsigtige og reflekterende overflader. Og fordi dybdeopløsningen er begrænset af nøjagtigheden af ​​timingen, er kameraets tidsflyvning ikke særlig nyttig til optagelse af små objekter, hvilket gør det umuligt at spille med skala.

Lys felt

En anden teknologi til optagelse af dybdebilleder er kendt som 'lysfelt' -fotografering Lytro lysfeltkamera: Snap Happy Or Photo Gimmick? Lytro lysfeltkamera: Snap glad eller fotogimmick? Lytro-lysfeltkameraet, der beskrives af en medarbejder som "den første store ændring i fotografering siden fotografering blev opfundet", er bestemt en revolutionerende enhed. Kameraet ryster op ved at udskifte meget af det tunge ... .

Sådan fungerer det: i konventionel fotografering fokuserer kameralinsen indgående lys på en sensor. Hvert element i sensoren registrerer mængden af ​​lys, der rammer det. Lysfeltkameraer bruger en speciel sensor, hvori hver “pixel” er faktisk en lille linse med mange sensorer under den. Dette gør det muligt for kameraet ikke kun at måle, hvor meget lys der rammer hver pixel, men også den vinkel, lyset kommer ind i.

Dette er nyttigt af nogle få grunde. Den enkleste anvendelse er, at slutbrugerne kan ændre et fotografi, efter at det er taget, hvordan dette store 'lysfelt' udtages. Den applikation, der er interessant for VR, er, at lysfeltkameraer også i øvrigt er dybdekameraer! Vinklen på det indkommende lys fra et objekt er en funktion af hvor langt væk objektet er fra linsen i forhold til størrelsen på blænden. Objekter langt væk producerer lys, der er næsten vinkelret på linsen. Meget tæt genstande producerer lys, der er næsten parallelt. Fra dette er det muligt (meget nøjagtigt) at bestemme dybdekortet for et billede.

Du kan se nogle resultater fra et videokamera med et tidligt lysfelt nedenfor, og hvordan billedet ser ud, som er afvist fra en anden vinkel.

Fordi det er en passiv proces, defineres rækkevidden og den rumlige nøjagtighed af opløsningen og størrelsen på blænden og intet andet. Det betyder, at det ved hjælp af forstørrelseslinser er muligt at tage lysfeltdybde-billeder af stort set ethvert objekt på enhver skala under nogen betingelser. For at få et eksempel på, hvad der er muligt med større, mere nøjagtige lysfelter, skal du se denne video, der bruger flere rammer fra et håndholdt lysfeltkamera til at simulere et meget større lysfelt. Det genererer nogle temmelig overbevisende 3D-geometri ud fra det.

Lysfeltkameraer er en meget mindre moden teknologi end tidspunktet for flykameraer (der er kun et lysfeltkamera på forbrugermarkedet lige nu, og det understøtter ikke videooptagelse). Når det er sagt, med mere udviklingstid, bør lysfeltkameraer tilbyde en meget mere robust dybde-videooplevelse i det lange løb.

Håndtering af diskriminering

Der er et stort problem med dybdegående videoer, der er værd at nævne: hovedbevægelse. Ja, det er muligt at gengive dybdevideoer til nye perspektiver, og alle pixels vindes op, hvor de skal være. Dybdevideo gør dig ikke syg. Desværre indfører de et nyt problem: disocclusion.

Når du bevæger dit hoved på en sådan måde, at du ser på en del af verden, der ikke er synlig i det originale billede eller panorama, får du en grim visuel artefakt: en skygge. For at få en idé om, hvad jeg taler om, skal du se denne video:

I den video hackede en programmør Kinect for at gengive en dybdegående video af, hvad den ser i rummet. Ved at bevæge det virtuelle kamera gentager han scenen fra en række perspektiver.

Det er en første generation af Kinect, så videofeed er lidt glitrende, men resultaterne er ret imponerende. Den største ulempe, som bliver indlysende, når han begynder at dreje kameraet, er skyggerne i scenen. Den del af væggen bag hans krop har et enormt, personformet hul skåret ud af det: den del, som kameraet ikke kan se og ikke har nogen data for. Disse sorte skygger vises i dybde panoramaer, så snart dit hoved begynder at bevæge sig. Så hvordan håndterer VR-kameraer disse huller? Nå, der er et par tilgange til dette problem:

Flere kameraer

Den enkleste løsning er faktisk bare at registrere tingene rundt om hjørner og bag okkluderende overflader. For at gøre dette tilføjer du flere kameraer - meget mere. For at give folk mulighed for at bevæge deres hoveder op til for eksempel en meter i en hvilken som helst retning, skal kameraet udvides for at skabe en 2 meter bred kugle besat med høje FOV dybdekameraer, så software kan syntetisere ethvert synspunkt inden for sfæren.

Dette er den mest robuste tilgang, men også den mindst praktiske. En kamerasfære på to meter er ikke en dejlig, bærbar steadicam, det er en installation og en dyr en. Dette kan være praktisk for nogle avancerede Hollywood-produktioner, men bestemt ikke for de fleste virkelige applikationer. Du kan se en prototype af denne idé nedenfor, implementeret i form af en live 3D-telekonferenceapplikation:

Scenekonstruktion

En anden tilgang, hvis videoskaberen primært optager et par dynamiske objekter på en statisk baggrund, er at bruge et dybdekamera til at kortlægge miljøet, før de begynder at optage, og bruge disse data til at udfylde huller i de optagede billeder. Dette kan gøres automatisk ved hjælp af en teknik kaldet SLAM (Simultan placering og kortlægning), som automatisk flettes mange dybdebilleder for at skabe et komplet 3D-kort over en scene. Resultaterne ser sådan ud:

Dette fungerer temmelig godt, men er ikke passende i alle situationer. Det er ikke svært at forestille sig, at man prøver at filme en scene på et travlt offentligt sted, hvor meget af baggrunden består af mennesker, der bevæger sig rundt og okkluderer hinanden. Det er simpelt ikke muligt at fange en enkelt statisk version af scenen for at udfylde hullerne. Til dokumentar, live video eller nyhedsformål er det endvidere ikke praktisk at udtømmende kortlægge miljøet på forhånd.

Bare At gøre tingene op

Den sidste tilgang til problemet er at ty til det sædvanlige svar i tilfælde, hvor du ikke har nok data: direkte løgne.

Indblik her er, at seeren i det virkelige liv ikke kommer til at rejse sig og forsøge at gå rundt i scenen. De sidder ned, og hvad softwaren virkelig har brug for at rette op på er små variationer i positur, forårsaget af at seeren læner sig og skifter i deres sæde - diskusionerne er simpelthen ikke så store. Det betyder, at de data, der bruges til at udfylde huller, faktisk ikke behøver at være nøjagtige, de skal bare se plausible ud. De af jer, der har spillet med photoshops indholdsbevidste billedfylde (eller dets konkurrenter Snapheal til Mac: Superhero Image Healer [Giveaway] Snapheal til Mac: Superhero Image Healer [Giveaway] SnapHeal til Mac ($ 14.99) er her for at gemme din fotografier, og det gør et fint stykke arbejde for det. Denne uge giver vi 25 eksemplarer af Snapheal til Mac til en værdi af $ 375 i alt. Hvis…) ved, hvor dette går.

Som det viser sig, har forskere fundet nogle ret gode algoritmer til udfyldning af huller i live-videostrømme i realtid. Du kan tjekke nogle eksempler nedenfor:

Forestil dig at nedbryde et dybdebillede i lag, trække dem ud ad gangen for at se, hvor skygger muligvis kan forekomme, og brug derefter disse slags malingsalgoritmer til at generere plausible billeder til at udfylde hullerne.

Dette er lidt sværere end simpel 2D-maling, da algoritmen også skal udgøre rimelige dybdeværdier for hullerne, men mange af de samme teknikker kan bruges. Disse tilgange fungerer ikke perfekt i alle situationer, men så længe disse artefakter er mindre påtrængende end store sorte huller i verden, tæller det stadig som en sejr.

Hvor længe, ​​indtil de er færdig?

Med VR-kameraer er endnu mere end andre ting perfekt for fjenden til det gode.

Selv med den bedste teknologi kan penge købe og optage omhyggeligt planlagt for at minimere okklusionsfejl, ville resultaterne stadig være ufuldstændige. Specielle højdepunkter er for eksempel lyspunkter, der vises på skinnende overflader, der varierer i position afhængigt af dit hoved, når de er afhængige af, at lys reflekteres i en meget specifik vinkel.

Specielle højdepunkter, der er optaget i selv den bedste VR-video, vises som bagte på hvide pletter på overfladen og ser ikke rigtigt ud på nærliggende objekter under bevægelse af hovedet. Det er en begrænsning, der bliver svært at komme omkring. Desuden er det svært at udfylde okklusionsfejl i komplicerede scener med masser af bevægelige objekter - at gøre det perfekt er umuligt og vil være i lang tid.

Det vil vare år og måske endda årtier, før VR-kameraer kan give en perfekt oplevelse på samme måde som traditionel 2D-film kan. Det er det offer du fremstiller for at opleve et grundlæggende mere magtfuldt medium.

Med alt det sagt, kommer nogle virkelig seje ting ned ad røret i den nærmeste fremtid. Hver eneste mulighed, der er nævnt i denne artikel, kan skabe virkelig værdifulde oplevelser. Samsungs meddelelse af “Projekt ud over” er et lovende tegn på de kommende ting.

Oculus Rift er planlagt til at blive lanceret engang i 2015, og salgstallene i millioner af enheder ser ikke ud som en strækning. Hvis virtual reality starter, som det ser ud til, kan det ske, en enorm mængde teknologiske fremskridt, hurtigt.

Efterspørgsel efter indhold vil føre VR-kameraer til at blive bedre og mindre og billigere til at imødekomme efterspørgslen. Det vil sandsynligvis ikke gå mange år, før en enhed, der koster mindre end en ny telefon og passer i håndfladen, giver en overbevisende, behagelig VR-optagelse af noget - og det bliver meget, meget sejt.

Hvad ville du gøre med dit eget VR-kamera? Hvad slags indhold er du mest begejstret for? Fortæl os det i kommentarerne!

Billedkreditter: Brillekoncept Via Shutterstock