Fem spørgsmål om Microsofts Project HoloLens

Onsdag formiddag viste Microsoft et projekt, de har arbejdet med i syv år, kaldes et augmented reality headset Projekt HoloLens.

Visionen er ambitiøs: De vil fundamentalt ændre den måde, hvorpå folk interagerer med computere, ved at opbygge et par briller, der flydende kan blande virtuelt og reelt indhold sammen i brugerens fysiske rum. Dette er som virtual reality-teknologi Hvorfor Virtual Reality Technology vil sprænge dit sind om 5 år Hvorfor Virtual Reality Technology vil sprænge dit sind om 5 år Fremtiden for virtual reality inkluderer hoved-, øje- og udtryksporing, simuleret touch og meget mere. Disse fantastiske teknologier vil være tilgængelige for dig om 5 år eller mindre. , men fundamentalt mere kraftfuld. Desuden ønsker de at udføre al behandling lokalt på brillerne - ingen computer, ingen telefon, ingen kabler. De lancerer endda en speciel version af Windows bare til den nye hardware. Dette er den næste fase i teknologisk udvikling for alle disse AR-spil Augmented Reality Apps: Nyttige eller bare Hype? MakeUseOf-test Augmented Reality Apps: Nyttige eller bare Hype? MakeUseOf-test I 2011 forudsagde analytikere stigningen i Augmented Reality-mobile apps. Den fremadstormende teknologi vil revolutionere den måde, vi interagerer med vores mobile enheder på. Flash fremad i to år, og dusinvis af AR-apps udfylder alle ... du installerede på din telefon en gang og ikke har rørt siden.

Deres tidsramme er endnu mere ambitiøs end deres mål: De vil sende udviklersæt i foråret og forbrugerproduktet “i Windows 10-tidsrammen”. Her er banen.

Alt dette lyder godt, men jeg indrømmer en ret høj grad af skepsis.

Teknologierne, Microsoft bruger, har alvorlige, grundlæggende udfordringer, og indtil videre har Microsoft været meget stramme om, hvordan (eller hvis) de har løst dem. Hvis de ikke har løst dem, er deres mål med forsendelse inden for et år meget bekymrende. Den sidste ting, VR og AR har brug for, er et stort firma, der sender endnu et halvbagt produkt som Kinect. Husk Project Natal-demoen fra 2009?

Uden yderligere, her er de fem vigtigste ting, jeg gerne vil vide om HoloLens.

Er dette en lysfeltvisning?

For at forstå dette, er vi nødt til at se lidt dybere på 3D, og ​​hvordan det fungerer. For at få en fornemmelse af en reel, håndgribelig 3D-verden integrerer vores hjerner en masse forskellige slags oplysninger. Vi får dybdepunkter om verden på tre primære måder:

• Stereodybde - forskellen mellem hvad begge vores øjne ser. Faking dette er, hvordan 3D-film fungerer
• Bevægelsesparallaks - subtile bevægelser af vores hoved og overkropp giver os yderligere dybde-signaler til genstande, der er længere væk
• Optisk fokus - når vi fokuserer på noget, deformeres vores linser fysisk, indtil det kommer i fokus; objekter i nærheden af ​​felt kræver mere linseforvrængning, som giver dybdeinformation om, hvad vi ser på

Det er nemt at kontrollere det optiske fokus: luk det ene øje og hold tommelfingeren op foran en væg på tværs af rummet. Skift derefter dit fokus fra din miniature til overfladen bag det. Når du kigger forbi tommelfingeren, skifter tommelfingeren ud af fokus, fordi linsen i dit øje nu er mindre deformeret og ikke korrekt kan samle lyset der kommer fra det.

VR-headset som Oculus Rift giver de to første signaler ekstremt nøjagtigt, men ikke de sidste, hvilket fungerer overraskende godt: Vores øjne er standard på at slappe helt af, da optikken fokuserer billederne som gennem lyset kom uendeligt langt væk. Manglen på den optiske fokus-signal er urealistisk, men det er normalt ikke distraherende. Du kan stadig have meget seje spiloplevelser 5 Oculus Rift-spiloplevelser, der vil sprænge dig væk 5 Oculus Rift-spiloplevelser, der vil sprænge dig væk nu, når den anden generation af Oculus Rift-udviklingssæt er ude og i hænderne på udviklere over hele verden, lad os se på nogle af de bedste ting, der er ramt Rift indtil videre. uden det.

I den augmented reality er problemet anderledes, fordi du er nødt til at blande lys fra virkelige og virtuelle objekter. Lyset fra den virkelige verden vil naturligvis være fokuseret på forskellige dybder. Det virtuelle indhold vil imidlertid alle være fokuseret på en fast, kunstig afstand dikteret af optikken - sandsynligvis på uendelighed. Virtuelle objekter ser ikke ud som om de virkelig er en del af scenen. De vil være ude af fokus, når du ser på rigtige ting i samme dybde og omvendt. Det vil ikke være muligt at bevæge dit øje flydende hen over scenen, mens du holder det i fokus, som du gør normalt. De modstridende dybdepunkter vil i bedste fald være forvirrende og syg i værste fald.

For at løse dette har du brug for noget, der kaldes et lysfeltdisplay. Lysfeltskærme er skærme, der bruger en række små linser til at vise lys fokuseret på mange dybder samtidig. Dette gør det muligt for brugeren at fokusere naturligt på displayet, og (for den augmented reality) løser det ovenfor beskrevne problem.

Der er dog et problem: lysfelt viser i det væsentlige kortlægning af en enkelt 2D-skærm på et tredimensionelt lysfelt, hvilket betyder, at hver “dybdepixel” som brugeren opfatter (og findes i en bestemt fokaldybde i scenen) består faktisk af lys fra mange pixels på det originale display. Jo finere korn dybde, du vil fremstille, jo mere opløsning skal du give op.

Generelt har lette felter omkring en otte gange opløsningsfald for at give tilstrækkelig dybdeprecision. De bedste tilgængelige mikrodisplays har en opløsning på ca. 1080p. Hvis man antager, at et high-end mikrodisplay kører hvert øje, ville det gøre den faktiske opløsning af Microsofts headset kun omkring 500 x 500 pixels pr. Øje, mindre jævn end Oculus Rift DK1. Hvis skærmen har et højt synsfelt, vil virtuelle objekter være uforståelige klumper af pixels. Hvis det ikke gør det, vil nedsænkning lide forholdsmæssigt. Vi får faktisk aldrig se gennem linsen (bare computergenoprettelse af, hvad brugeren ser), så vi har ingen idé om, hvordan brugeroplevelsen virkelig er.

Det er muligt, at Microsoft har fundet en ny løsning på dette problem for at tillade brugen af ​​et lysfeltskærm uden opløsning. Imidlertid har Microsofts været ekstremt cagey med deres displayteknologi, hvilket får mig til at mistænke, at de ikke har gjort det. Her er den bedste forklaring, vi har hidtil (fra WIRED demo).

For at skabe Project HoloLens 'billeder, hopper lyspartikler omkring millioner af gange i enhedens såkaldte lette motor. Derefter går fotonerne ind i beskyttelsesbrillenes to linser, hvor de ricochetterer mellem lag af blåt, grønt og rødt glas, før de når bagenden af ​​dit øje.

Denne form for beskrivelse af teknologien kunne næsten betyde alt hvad der er (skønt hardware retfærdiggjort imponerede hardware WIRED, skønt artiklen var let på detaljer).

Vi ved ikke mere med sikkerhed, før Microsoft begynder at frigive tekniske specifikationer, sandsynligvis måneder fra nu. Er det virkelig nødvendigt at drukne projektet i denne meget marketing-tale på en yderligere note af nitplukning? Den dedikerede processor, de bruger til hovedsporing kaldes a “holografisk processor” og billederne kaldes “hologrammer,” uden særlig grund. Produktet er grundlæggende køligt nok til, at det virkelig ikke er nødvendigt at forgylde det sådan.

Er sporing god nok?

Project HoloLens-headset har et højt FOV-dybdekamera monteret på det (som Kinect), som det bruger til at finde ud af, hvor headsettet er i rummet (ved at forsøge at sammenstille det dybdebillede, det ser med sin verdensmodel, sammensat fra tidligere dybdebilleder). Her er deres live demo af headsettet i aktion.

Sporingen er imponerende i betragtning af at den ikke bruger markører eller andre snyderi, men selv i den video (under stærkt kontrollerede forhold) kan du se en vis mængde slingring: sporing er ikke helt stabil. Det kan forventes: denne form for indvendig udvendig tracking er ekstremt hård.

Dog den store lektion fra de forskellige Oculus Rift-prototyper Se os Prøv Oculus Rift Crescent Bay på CES 2015 Se os Prøv Oculus Rift Crescent Bay på CES 2015 Oculus Rift Crescent Bay er en splinterny prototype, der viser nogle spændende forbedringer i virtual reality-teknologi. Vi prøver det på CES 2015. er, at nøjagtigheden af ​​sporing betyder meget. Jittery-tracking er blot irriterende, når det er et par objekter i en stort set stabil virkelighed, men i scener som Mars-demoen, de viste i deres konceptvideo, hvor næsten alt hvad du ser er virtuel, kan upræcis sporing føre til mangel på “tilstedeværelse” i den virtuelle scene eller endda simulatorsyge. Kan Microsoft få sporingen op til den standard, der er indstillet af Oculus (sub-millimeter sporingsnøjagtighed og mindre end 20 ms total forsinkelse) inden deres forsendelsesdato ved udgangen af ​​dette år?

Her er Michael Abrash, en VR-forsker, der har arbejdet for både Valve og Oculus, og taler om problemet

[Fordi der altid er en forsinkelse med at generere virtuelle billeder, […] er det meget vanskeligt at få virtuelle og ægte billeder til at registrere sig tæt nok, så øjet ikke lægger mærke til det. Antag f.eks., At du har en ægte cola-dåse, som du vil forvandle til en AR Pepsi-dåse ved at tegne et Pepsi-logo over Coke-logoet. Hvis det tager snesevis af millisekunder at tegne Pepsi-logoet, vil effekten hver gang, du roterer dit hoved, være, at Pepsi-logoet ser ud til at skifte et par grader i forhold til dåsen, og en del af Coke-logoet bliver synligt; så klikker Pepsi-logoet tilbage til det rigtige sted, når du holder op med at bevæge dig. Dette er helt klart ikke godt nok til hård AR

Kan skærmen tegne sort?

Et andet emne sammen med fokusdybde og sporing har at gøre med tegning af mørke farver. Det er relativt enkelt at tilføje mere lys til en scene ved hjælp af strålesplittere. Det er meget sværere at tage lys ud. Hvordan mørkere du selektivt dele af den virkelige verden? At sætte en selektiv gennemsigtig LCD-skærm op vil ikke skære den, da den ikke altid kan være i det rigtige fokus for at blokere, hvad du ser på. De optiske værktøjer til at løse dette problem, medmindre Microsoft har opfundet dem i hemmelighed, findes simpelthen ikke.

Dette betyder noget, for for mange af de applikationer, som Microsoft viser frem (som at se Netflix på din væg), har headsettet virkelig brug for muligheden for at fjerne lyset, der kommer fra væggen, ellers har din film altid et synligt stukkemønster overlagt med det: det vil være umuligt for billeder at blokere virkelige objekter i scenen, hvilket gør brugen af ​​headsettet stærkt afhængig af de omgivende lysforhold. Tilbage til Michael Abrash:

[S] o langt har intet af den art dukket op i AR-industrien eller litteraturen, og medmindre og indtil det sker, kan hård AR i SF-forstand, som vi alle kender og elsker, ikke ske, undtagen i næsten mørke.

Det betyder ikke, at AR er fra bordet, bare det i et stykke tid, men det vil være blødt AR, baseret på additiv blanding […] Igen, tænk gennemskinnelig som “Ghostbusters.” Virtuelle billeder med høj intensitet uden mørke områder fungerer også, især ved hjælp af regional eller global mørkfarvning - de ser bare ikke ud som en del af den virkelige verden.

Hvad med okklusion?

“Okklusion” er betegnelsen for hvad der sker, når et objekt passerer foran et andet og forhindrer dig i at se, hvad der ligger bag det. For at virtuelt landskab skal føles som en håndgribelig del af verden, er det vigtigt, at rigtige objekter tilslutter virtuelle objekter: Hvis du holder din hånd op foran et stykke virtuelt billede, skal du ikke være i stand til at se det igennem din hånd. På grund af brugen af ​​et dybdekamera på headsettet er dette faktisk muligt. Men se live demo igen:

I det store hele styrer de omhyggeligt kameravinklerne for at undgå rigtige genstande, der passerer foran virtuelle. Når demonstranten imidlertid interagerer med Windows-menuen, kan du se, at hendes hånd slet ikke lukker den. Hvis dette er uden for deres teknologiske rækkevidde, er det et meget dårligt tegn på levedygtigheden af ​​deres forbrugerprodukt.

Og når vi taler om det UI ...

Er dette virkelig den endelige brugergrænseflade?

Det brugergrænseflade, der vises af Microsoft i deres demovideoer, ser ud til at arbejde ved hjælp af en kombination af blik og håndsporing for at kontrollere en markør i den virtuelle scene, mens du bruger stemmekontroller til at vælge mellem forskellige indstillinger. Dette har to store ulemper: det får dig til at ligne det lille barn i Shining, der taler med sin finger, men endnu vigtigere er det også et fundamentalt defekt designparadigme.

Historisk set har de bedste brugergrænseflader været dem, der bringer fysiske intuitioner om verden ind i den virtuelle verden. Musen bragte klik, træk og vinduer. Berøringsgrænsefladen bragte svej for at rulle og knibe for at zoome. Begge disse var kritiske for at gøre computere mere tilgængelige og nyttige for den generelle befolkning - fordi de grundlæggende var mere intuitive end hvad der kom før.

VR og AR giver dig meget mere frihed som designer: du kan placere UI-elementer hvor som helst på et 3D-rum og få brugerne til at interagere med dem naturligt, som om de var fysiske objekter. Et stort antal indlysende metaforer antyder sig selv. Tryk på et virtuelt UI-element for at vælge det. Klem til det, tag det op og flyt det. Skub den ud af vejen for at gemme den midlertidigt. Knus det for at slette det. Du kan forestille dig at bygge en brugergrænseflade, der er så fuldstændig intuitiv, at det ikke kræver nogen forklaring. Noget, som din bedstemor med det samme kan samle op, fordi det er bygget på et fundament af grundlæggende fysiske intuitioner, som alle bygger op i løbet af en levetid med interaktion med verden. Tag et minut, og lyt til denne smarte person beskrive, hvad altoverskridende grænseflader kunne være.

Med andre ord forekommer det indlysende (for mig), at en fordybende brugergrænseflade burde være i det mindste lige så intuitive som touch-grænseflader, der er banebrydende for iPhone til 2D multitouch-skærme. Opbygning af en grænseflade omkring manipulation af en VR “mus” er et skridt bagud og afslører enten dybe teknologiske mangler ved deres håndsporingsteknologi eller en grundlæggende misforståelse af det, der er interessant ved dette nye medium. Uanset hvad er det et meget dårligt tegn for, at dette produkt er mere end en kolossal, Kinect-skala.

Forhåbentlig har Microsoft tid til at få feedback om dette og gøre et bedre job. Som et eksempel er her en grænseflade designet af en hobbyist til Oculus Rift DK2 og Leap Motion. En fordybende brugergrænseflade designet af et stort firma bør i det mindste være så godt.

Et tegn på ting, der kommer

I det store og hele er jeg ekstremt skeptisk over for HoloLens-projektet som helhed. Jeg er meget glad for, at et firma med Microsofts ressourcer undersøger dette problem, men jeg er bekymret for, at de prøver at skynde sig et produkt uden at løse nogle kritiske underliggende tekniske problemer eller negle et godt UI-paradigme. HoloLens er et tegn på de kommende ting, men det betyder ikke, at selve produktet vil give en god oplevelse for forbrugerne.

Billedkredit: med tilladelse fra Microsoft