Microsoft har en lang tradisjon for å krydre relativt kjedelige produktannonseringer med overbevisende tekniske demoer, og Windows 10-kunngjøringen var ikke noe unntak. Programvaregiganten benyttet anledningen til å skape en hel del surr om HoloLens, et futuristisk hodesett som gir et innblikk i fremtiden for Augmented Reality (AR). Imidlertid har Microsoft også en tradisjon med spektakulære maskinvareflops, som toppet seg under Ballmer-regimet. Husker du Kin-telefonen? Ikke jeg heller.

Introduksjonen av HoloLens vil sannsynligvis ikke være en slik flopp av flere grunner. Først og fremst har HoloLens fortsatt en lang vei å gå før det blir en kommersielt levedyktig enhet - det kan dreie seg om noen få kvartaler, eller et par år. For det andre er konseptet bak lyd, og bygger på noen lovende nye bransjetrender, som bærbare teknologier og VR-hodesett. HoloLens prøver å være noe annerledes ved å samle mye funksjonalitet i en enkelt enhet, men i denne Microsoft HoloLens-gjennomgangen vil vi se på hva som allerede er der ute og hva som er i ferd med å fungere.

Siden dette er en ingeniørblogg designet for VR-profesjonelle og andre ingeniører, vil jeg ikke bruke mye tid på å svare på spørsmålet 'Hva er HoloLens?' og forklare forskjellen mellom AR og VR. Augmented reality-teknologi har en rekke potensielle applikasjoner i forskjellige bransjer, men begrensede applikasjoner innen underholdning. Virtual reality er mer rettet mot underholdning, selv om den også har noen profesjonelle applikasjoner.

Begge teknologiene har fremdeles mange begrensninger, og mange tekniske utfordringer må overvinnes for å få massemarkedsappell. Dette er en gradvis prosess som vil ta år i stedet for måneder. Teknologien som trengs for å lage slike produkter uten å bryte banken er ganske enkelt ikke klar, men den kommer sakte dit.

La oss ta en titt på hva som er der ute og hva som mangler.

Maskinvarebegrensninger - Google Glass vs. Oculus Rift vs. Microsoft HoloLens

Google Glass ble kunngjort tidlig i 2012 og begynte å sende et år senere til en kostnad på $ 1500. Den høye prislappen betydde at den var reservert for en veldig liten nisje - early adopters beskrevet som “oppdagelsesreisende” av Googles PR- og markedsføringsmaskin. Enheten tilbød begrenset AR-funksjonalitet, og inneholdt en liten prisme-projektor med en oppløsning på 640x360 piksler, drevet av en utdatert prosessor.

Mens det klarte å fange publikum en stund, kan Google Glass knapt beskrives som en suksess. Apputviklere som var opptatt av å hoppe på vognen, begynte å miste interessen sammen med 'oppdagelsesreisende' som så ut til å komme over kjepphest i løpet av noen måneder. De siste ryktene peker på en ny versjon av Google Glass med Intel-silisium inne, så det kan være litt for tidlig for en nekrolog. Uansett var Google Glass ikke en stor suksess uansett hvordan du ser på det.

Oculus Rift er kanskje det mest omtalte VR-systemet for øyeblikket, men i motsetning til Google Glass har det ennå ikke lansert. Oculus VR har jobbet med enheten i årevis, og i prosessen gikk selskapet gjennom to generasjoner med utviklingssett. Forbrukerversjonen forventes å lanseres en gang i 2015, med en revidert spesifikasjon. I mars 2014 ble Oculus VR kjøpt av Facebook for mer enn 2 milliarder dollar i kontanter og Facebook-aksjer.

Samsungs Gear VR tilbyr en annen tilnærming, da den bruker Galaxy Note 4 phablet i stedet for en innebygd skjerm, men den er avhengig av noe teknologi utviklet av Oculus. Jeg synes modulkonseptet er interessant, ettersom en lignende tilnærming kan brukes med en rekke mobile enheter fra forskjellige leverandører som vil tillate brukere å oppgradere maskinvare effektivt hver gang de får en ny telefon. Qualcomm’s Vuforia plattformen har noen lovende funksjoner for mobile enheter og potensielle AR / VR-applikasjoner.

Så, hva mangler? Det enkle svaret kan være prosessorkraft, men det er litt mer komplisert enn det.

Problemet med begge konseptene er at de fremdeles er forut for sin tid, og teknologien fortsatt trenger å ta igjen. Microsofts HoloLens vil sannsynligvis lide av de samme tannproblemene, men Microsofts konsept er noe annerledes, og har derfor sjansen for å overvinne i det minste noen av disse problemene.

Google Glass ble designet som en lett bærbar enhet, noe som resulterte i en rekke kompromisser. Enheten inneholdt en enkelt skjerm på et tykt prisme foran brukerens høyre øye. Oppløsningen var veldig begrenset gitt synsfeltet (FOV). For eksempel har smartwatch-skjermer en tendens til å ha lignende vertikale oppløsninger for en enhet som tar bare et par grader av brukerens synsfelt. Google Glass var basert på et forældet System on Chip (SoC) og hadde begrenset batterilevetid.

Å designe mobile enheter er ikke lett, og involverer alltid en rekke kompromisser. Skjermene med høyere oppløsning krever mer GPU-strøm, noe som krever bruk av større SoC-er med kraftigere GPU-er som jobber med høyere belastning, noe som deretter krever et større batteri og så videre. Det er en fin balansegang, og et AR-hodesett er rett og slett for lite til å romme et stort batteri som de som brukes i nettbrett med høy oppløsning.

Ved første øyekast ser det ikke ut til at Oculus Rift lider av lignende mangler på maskinvarefronten, siden den ikke har kompromisser for batteriets levetid og bærbarhet. Det er ikke avhengig av en integrert SoC, og en 1080p-skjerm høres ønskelig ut; men i virkeligheten er det ikke nær nok for fotorealisme. Enheten har en veldig stor FOV, og pikseltettheten er fortsatt utilstrekkelig.

For å løse dette problemet, må VR-enheter bruke 4K / UHD-skjermer med høyere oppløsning, eller til og med 8K-skjermer på et tidspunkt i fremtiden. Teknologien er nesten der, men den kommer ikke billig, og er alt annet enn bærbar.

Hvis du vil kjøre de nyeste AAA-spillene på en 4K-skjerm med høyest mulige detaljinnstillinger, trenger du to avanserte diskrete grafikkort. For eksempel Nvidia- og AMD-kort basert på flaggskip Maxwell og Hawaii-generasjons GPU-er. For å eliminere rammeavrivning (ved hjelp av teknologier som ligner på Nvidias G-Sync eller AMDs FreeSync) trenger du litt mer kraft, og for å gjøre riktig 3D for begge øyne trenger du enda mer GPU-kraft.

Poenget er: for å drive en 4K VR-enhet ved hjelp av den tilgjengelige teknologien, trenger du minst to GPUer med totalt 12-14 milliarder transistorer på 28 nm, og bruker 350 til 500 watt strøm, uten å telle CPU og resten av systemet . Dette er et forsiktig estimat, basert på tilgjengelige GPUer og CPUer - og la oss ikke engang diskutere ideen om å drive to 4K-skjermer, en per øye.

Nvidias siste mobile SoC, Tegra K1 64-bit, brukt i Google Nexus 9, har 192 CUDA-kjerner basert på Kepler-arkitektur, ikke den mer effektive Maxwell. Selskapets nåværende flaggskip diskrete grafikkort har 2048 Maxwell CUDA-kjerner som kjører på høyere klokker enn Kepler-kjerner i mobile Tegra SoCs.

Bærbare VR-enheter med fotorealistisk grafikk er helt klart utilgjengelige i årene som kommer, og til og med kablede enheter som Oculus Rift har en lang vei å gå. Den totale plattformkostnaden er en annen bekymring. Spill-PC-er som er i stand til å pumpe ut spillbare bildefrekvenser på 1080p er relativt billige, siden vanlige GPU-er er raske nok til å gjøre jobben. Men ved 2160p trenger du fire ganger GPU-muskelen, støttet av mer minne og en raskere CPU.

Det er en annen måte å takle dette problemet på, og jeg vil gå over det senere.

Så hva fikk Microsoft rett?

Huske Facebooks Oculus Rift avtale jeg nevnte tidligere? Bare noen få dager etter at den ble kunngjort, viste det seg at Microsoft kjøpte immaterielle eiendeler (IP) eiendeler relatert til utvidet virkelighet og bærbare datamaskiner fra Osterhout Design Group (ODG). Noen av patentene dekket 'gjennomsiktige nær-øyeglass' med et delvis transmitterende optisk element.

Med andre ord kjøpte Microsoft IP-en som trengs for å lage HoloLens; og avtalen dekket angivelig dusinvis av ODG-patenter, inkludert noen titalls flere patentsøknader pågår. I mellomtiden sies det at Oculus VR bare har et enkelt patent, som vagt beskriver 'et virtuelt virkelighetshodesett'.

Microsoft ser ut til å prøve å få det beste fra begge verdener - en bred FOV vanligvis assosiert med VR-enheter, og en gjennomsiktig skjermflate som passer for AR-applikasjoner. Tilnærmingen skal tillate HoloLens å bruke mye mindre prosessorkraft enn VR-enheter, samtidig som det gir mer funksjonalitet takket være den brede FOV. I stedet for å prøve å gjengi fotorealistisk innhold, kunne HoloLens slippe unna med litt lavere oppløsning og bildekvalitet på grunn av den begrensede opasiteten til vist innhold. Det er ikke nødvendig å skape en illusjon av virkeligheten, så det er mye mindre maskinvarekostnader involvert. Mye av hylleteknologien kan gjøre det mulig for HoloLens å redusere eller eliminere aliasing og generere flotte kompositter, siden bakgrunnen allerede er der.

Dette faktum begrenser HoloLens appell i underholdningsnisje, i motsetning til ekte VR-headset; men det åpner for en rekke muligheter i andre bransjer, alt fra ingeniørfag og helsetjenester til arkitektur og forsvar. HoloLens kan brukes til å hjelpe helsepersonell, ingeniører, operatører av industrielle maskiner, soldater og rettshåndhevelse.

HoloLens har imidlertid fremdeles applikasjoner i forbrukerområdet. Microsofts Phil Spencer sa at HoloLens må være et vellykket frittstående produkt, og legger til at selskapet allerede ser på måter å bruke det på i tråd med PC-er og Xbox One-konsoller. Enheten kan fungere som en heads up display (HUD) for spillere, eller til og med for treningsfans i treningssentre.

HoloLens Hardware Conundrum

Microsoft har ikke avslørt de eksakte maskinvarespesifikasjonene, så vi vet fortsatt ikke helt hva vi kan forvente. Det er ikke noe ord om skjermoppløsning, GPU GFLOP-er, tilkobling eller batterilevetid. Dette gir mye rom for spekulasjoner, som teknisk presse gjerne fyller med kolonnetommer og clickbait, men ingenting er offisielt ennå.

Som jeg sa, bør ikke HoloLens kreve nesten like mye GPU-kraft som Oculus Rift og lignende VR-produkter. Dette betyr imidlertid ikke at Microsoft kan slippe unna med en billig SoC, som de som ofte brukes i mobile produkter. Microsoft bruker for tiden en rekke sjetonger fra forskjellige leverandører - Qualcomm Snapdragon SoC-er med integrerte 4G / LTE for mobiltelefoner, Intel-brikker for Surface Pro-nettbrett (sammen med Nvidia SoC-er på nedlagte Surface RT-produkter), sammen med tilpassede AMD APUer i Xbox One .

På grunn av strømhensyn vil det mest åpenbare valget være en Snapdragon SoC, som ligner på de som brukes i Lumia-telefoner. Dette betyr ikke at HoloLens ville være like underdrevet som Google Glass. HoloLens er en mye større enhet, med plass til et større batteri; og de nyeste Snapdragon SoC-ene er mye kraftigere enn brikkesettet som brukes i Google Glass (som er betydelig tregere enn brikker som brukes i smartklokker). Tidlige referanser indikerer at Adreno 430 GPU brukt i Qualcomms kommende flaggskip SoC, som Snapdragon 810, er et kraftverk som er i stand til å håndtere 4K-oppløsninger og gjengi relativt komplekst 3D-innhold i 1080p.

Det handler ikke bare om ren gjengivelse. GPUer tilbyr mye datapotensial, og kan brukes til mye mer enn spill. Google brukte Tegra K1 til Prosjekt Tango , som også omhandler en rekke teknologier som kan være veldig nyttige for AR- eller VR-enheter - automatisering, førerløse biler og så videre. Jeg nevnte allerede Vuforia, og det er andre aktører i GPU-bransjen, men Nvidia har fordelen av å bruke CUDA-kjerner - det har vært markedsleder innen profesjonell grafikk og GPGPU-beregningsmarkeder i årevis.

Vi bør imidlertid ikke være låst inn i tankegangen 'hva er der ute'. Det vil ta en stund før HoloLens kommer i salg, og påfølgende generasjoner vil garantert ha enda kraftigere maskinvare. Intels nye 14nm Atoms kommer snart, mens ARM-baserte 14nm og 16nm SoCs skal vises et par kvartaler senere. De nye ikke-plane nodene vil tillate enda mer ytelse per watt, noe som forbedrer den totale ytelsen drastisk uten å ta en toll på batterilevetiden.

Streaming som et alternativ

Det er også et alternativ som jeg nevnte tidligere - cloud computing og streaming kan brukes til å vise komplekst, ressurskrevende 3D-innhold. De nyeste SoC-ene har 802.11ac trådløse og raske LTE-modemer, tilstrekkelig for streaming i høy oppløsning. Ulempen med denne tilnærmingen, spesielt LTE, er forsinkelse.

Hvis ekstra innhold blir gjengitt lokalt, på en PC-arbeidsstasjon eller muligens til og med en Xbox One, bør forsinkelsen være begrenset, men ekstern skygjengivelse kan vise seg å være problematisk. For eksempel prøver Nvidia å takle dette problemet ved å sette opp NETT servere på strategiske steder, i et forsøk på å dekke de største markedene med spillestreaming med lavt lag. Bare noen få millisekunder med ekstra forsinkelse kan kompromittere brukeropplevelsen i en AR-applikasjon.

En mobil SoC bør være tilstrekkelig for de fleste daglige oppgaver, for eksempel Skype og noen begrensede applikasjoner med utvidet virkelighet. Imidlertid, hvis en arkitekt vil gå inn på et byggeplass og se hvordan den ferdige bygningen vil se ut med utvidet virkelighet, må HoloLens støttes av mer maskinvare; gjengivelse av komplekse scener med hundretusener eller millioner av polygoner, avanserte lyseffekter og så videre.

Oppsiden er at HoloLens kan tilby mye funksjonalitet ut av esken, med en relativt kraftig integrert GPU som er i stand til å håndtere mange daglige oppgaver, for eksempel videostreaming med høy oppløsning, surfing og til og med casual gaming. På den annen side kan fagpersoner benytte 802.11ac eller LTE for å streame mer komplekst innhold, gjengitt eksternt.

Microsoft kan praktisk talt bruke den samme maskinvareplattformen for hjemmebrukere og profesjonelle, hvor sistnevnte benytter lokal eller skystreaming for mer avanserte, ressurskrevende oppgaver.

Er det brukssak og et marked for HoloLens?

Microsoft viste frem HoloLens i en rekke forskjellige scenarier. Mens demoene var ganske interessante, stavet de ikke akkurat ut en realistisk og kommersielt levedyktig brukssak for den nye enheten.

Det jeg liker med HoloLens er det faktum at det er halvveis mellom ekte bærbare, som Google Glass, og kablet VR-løsninger, som Oculus Rift. HoloLens trenger ikke å være lett og bærbar nok til å ha på gaten, men samtidig trenger den ikke å være bundet til en datamaskin eller ekstern strømkilde - det beste fra begge verdener. Jeg liker også det faktum at Microsoft velger å lede i stedet for å følge. HoloLens skiller seg fra eksisterende konsepter og produkter; den er nyskapende, futuristisk og original - et pust av frisk luft fra Redmond.

Denne tilnærmingen reiser imidlertid også en rekke viktige spørsmål om brukssaken til HoloLens, og størrelsen på markedet. Den kan ikke erstatte en skjerm som VR-løsninger, men den kan ikke brukes i hverdagssituasjoner på grunn av den store mengden og utseendet. Mens du kanskje ser noen pendlere og idrettsutøvere som bruker smarte briller, vil du sannsynligvis ikke se skiløpere eller joggere som bruker et HoloLens-headset.

Hva kan vanlige brukere gjøre med HoloLens? Hva slags programvareplattformer og operativsystemer støttes? Hva med profesjonelle applikasjoner? Hva med HoloLens plattformfunksjonalitet, maskinvarespesifikasjoner, utsalgspris og faktablad (BOM)?

Mange spørsmål må fortsatt besvares, og det vil trolig ta en stund før Microsoft gir ut all informasjonen.

Microsoft må være målrettet mot vanlige og profesjonelle markeder samtidig, med samme maskinvare. Avhengig av pris og BOM, kan Microsoft utnytte Xbox-brukerbasen, samt et segment av PC-spillmarkedet, for å bringe HoloLens-produkter til vanlige brukere. Det er ikke lett å markedsføre et slikt produkt hvis prisen er for høy, men brukerbasen er der - og den er villig til å bruke mye penger på nye dingser. En vanlig markedstilnærming vil også bidra til å få flere utviklere ombord, og dermed utvide økosystemet og skape nye brukssaker.

Men hvis HoloLens-produkter vil bli priset for det vanlige markedet, hvordan vil Microsoft gå etter det profesjonelle markedet og tjene litt penger i prosessen?

For mange år siden pleide jeg å leve i offline 3D-grafikk, og jeg kan se mye potensial i HoloLens. Det er mange 3D / CAD-brukere der ute, og mange av dem er enige. Betyr dette at hver designer vil være i stand til å plukke opp en HoloLens-enhet som er priset for det vanlige markedet og bruke den til jobb? Muligens, men sannsynligvis ikke.

Det er andre måter å markedsføre produkter i dette rommet. Jeg har dekket GPU-plassen i årevis, og på den tiden har jeg lært en ting eller to om hvordan bransjen fungerer. Selv om high-end grafikkort for spillere får alle overskriftene, er de virkelige kontantkyrne for Nvidia og AMD profesjonell grafikk- og databehandlingsløsninger. De er de usungede heltene i dette duopolet. Stykklisten for et forbrukerkort og et profesjonelt kort basert på samme GPU er omtrent det samme, men profesjonelle kort koster mye mer, en størrelsesorden mer. De leverer store marginer, og genererer mye inntekter og fortjeneste, til tross for lave samlede volumer - du kan sjekke hvilken som helst Nvidia-kvartalsrapport for mer info.

Microsoft kan ty til en lignende tilnærming. HoloLens kan bruke samme maskinvare for begge markeder, begrense funksjonaliteten på forbrukermodeller og utvide den til profesjonelle produkter gjennom forskjellige lisensieringsnivåer.

Selvfølgelig er dette bare spekulasjoner på dette tidspunktet - men slik fungerer dette markedet. Microsoft trenger ikke å finne opp hjulet på nytt.