Turinys

• Ribotas energijos biudžetas
• Pralaidumas ir didelės skiriamosios gebos
• Mažas delsos ir ekrano skydai
• Garsas ir jutikliai
• Kūrėjai ir programinė įranga
• Apvyniokite

Galų gale pasineriame į revoliuciją, kaip kai kas gali pasakyti, kad rinkoje yra daug aparatinės ir programinės įrangos produktų, o ištekliai yra naudojami inovacijoms skatinti. Tačiau praėjo daugiau nei metai nuo tada, kai šioje erdvėje pasirodys pagrindiniai produktai, ir mes vis dar laukiame šios žudikės programos, kad virtualioji realybė taptų pagrindine sėkme. Kol mes laukiame, dėl naujų pokyčių virtualioji realybė ir toliau tampa perspektyvesne komercine galimybe, tačiau vis dar yra nemažai techninių kliūčių, kurias reikia įveikti, ypač mobiliojo VR srityje.

Ribotas energijos biudžetas

Akivaizdžiausias ir geriausiai aptartas iššūkis, su kuriuo susiduria mobiliosios virtualiosios realybės programos, yra daug ribotas energijos biudžetas ir šiluminiai apribojimai, palyginti su jo ekrano ekvivalentu. Intensyvios grafikos programų veikimas iš akumuliatoriaus reiškia, kad norint išsaugoti akumuliatoriaus veikimo laiką, reikia mažiau energijos naudojančių komponentų ir efektyviai naudoti energiją. Be to, tai, kad apdirbamosios aparatūros yra arti vartotojo, reiškia, kad šilumos biudžetas taip pat negali būti padidintas. Palyginimui, paprastai mobilusis telefonas neviršija 4 vatų ribos, o stalinis VR GPU gali lengvai sunaudoti 150 vatų ar daugiau.

Visuotinai pripažįstama, kad mobilusis VR netaps suderinamas su stalinio kompiuterio aparatine įranga, tačiau tai nereiškia, kad vartotojai nereikalauja svaiginančių 3D vaizdų, naudodamiesi ryškia skiriamąja geba ir dideliu kadrų dažniu.

Visuotinai pripažįstama, kad mobilusis VR nepritaikys darbastalio aparatūros našumui, tačiau tai nereiškia, kad vartotojai, nepaisydami ribotos galios, neprireiks įspūdingų 3D potyrių ryškia skiriamąja geba ir dideliu kadrų dažniu. biudžetas. Žiūrint 3D vaizdo įrašą, tiriant 360 laipsnių kampo vietas ir net žaidžiant, vis dar yra daugybė naudojimo atvejų, tinkančių mobiliajam VR.

Žvelgiant į įprastą mobilųjį SoC, tai sukuria papildomų problemų, kurios yra mažiau vertinamos. Nors mobilieji „SoC“ įrenginiai gali būti tinkamo aštuonių branduolių procesoriaus išdėstymo ir šiek tiek pastebimo GPU galios, šių lustų neįmanoma paleisti visiškai pakreipus dėl energijos suvartojimo ir dėl anksčiau minėtų šiluminių apribojimų. Realybėje mobiliojo VR egzemplioriaus procesorius nori veikti kuo mažiau laiko, atleidžiant GPU suvartoti didžiąją dalį riboto energijos biudžeto. Tai ne tik riboja turimus išteklius žaidimų logikai, fizikos skaičiavimams ir netgi foniniams mobiliesiems procesams, bet ir užkrauna naštą pagrindinėms VR užduotims, tokioms kaip skambučių kvietimas stereoskopiniam perteikimui.

Pramonė jau ieško sprendimų, kurie būtų taikomi ne tik mobiliesiems. Kelių vaizdų pateikimas palaikomas „OpenGL 3.0“ ir „ES 3.0“, jį sukūrė bendradarbiai iš „Oculus“, „Qualcomm“, „Nvidia“, „Google“, „Epic“, ARM ir „Sony“. „Multiview“ leidžia stereoskopinį vaizdavimą naudojant tik vieną atkreipimo kvietimą, o ne po vieną kiekviename rodinio taške, sumažinant CPU reikalavimus ir sumažinant GPU viršūnės užduotį. Ši technologija gali pagerinti našumą nuo 40 iki 50 procentų. Mobiliojoje erdvėje „Multiview“ jau palaikoma daugybe „ARM Mali“ ir „Qualcomm Adreno“ įrenginių.

Kita naujovė, kuri, tikimasi, pasirodys būsimuose mobiliuosiuose VR produktuose, yra fasoninis perteikimas. Naudojamas kartu su akių stebėjimo technologija, sulankstytas perteikimas palengvina GPU apkrovą, tik suteikdamas vartotojui tikslią židinio tašką esant visai raiškai ir sumažinant periferiniame matyme esančių objektų skiriamąją gebą. Gražiai papildo žmogaus regėjimo sistemą ir gali žymiai sumažinti GPU apkrovą, tokiu būdu taupydama energiją ir (arba) atleidžiama daugiau energijos kitoms procesoriaus ar GPU užduotims.

Pralaidumas ir didelės skiriamosios gebos

Nors mobiliųjų VR situacijose apdorojimo galia yra ribota, platformai vis dar keliami tie patys reikalavimai, kaip ir kitoms virtualios realybės platformoms, įskaitant mažo delsos ir aukštos skyros ekranų reikalavimus. Net tie, kurie žiūrėjo VR ekranus, kurie gali pasigirti QHD (2560 x 1440) raiška arba „Rift“ ausinių 1080 × 1200 skiriamąja geba vienai akiai, tikriausiai bus šiek tiek pritempti dėl vaizdo aiškumo. Slapyvardis yra ypač problematiškas, atsižvelgiant į tai, kad mūsų akys yra taip arti ekrano, o judesio metu kraštai atrodo ypač grubūs arba nelygūs.

Nors mobiliųjų VR situacijose apdorojimo galia yra ribota, platformai vis dar keliami tie patys reikalavimai, kaip ir kitoms virtualios realybės platformoms, įskaitant mažo delsos ir aukštos skyros ekranų reikalavimus.

Brutalios jėgos sprendimas yra padidinti ekrano skiriamąją gebą, o kita loginė eiga yra 4K. Nepaisant to, skiriamąją gebą, įrenginiai turi palaikyti aukštą atnaujinimo dažnį, o 60 Hz laikomas minimaliu, bet 90 ar net 120 Hz yra daug labiau pageidautinas. Tai užkrauna didelę naštą sistemos atminčiai - čia yra nuo dviejų iki aštuonių kartų daugiau nei šių dienų įrenginiuose. Atminties pralaidumas mobiliajame VR jau yra labiau ribotas nei staliniuose produktuose, kuriuose naudojama spartesnė grafikos atmintis, o ne bendras telkinys.

Galimi sprendimai, skirti sutaupyti grafikos pralaidumui, yra glaudinimo technologijų, tokių kaip ARM ir AMD adaptyvaus mastelio tekstūros glaudinimo (ASTC) standartas, arba nuostolingas „Ericsson“ tekstūrų glaudinimo formatas, naudojimas, kurie abu yra oficialūs „OpenGL“ ir „OpenGL ES“ plėtiniai. ASTC taip pat palaikomas naujausiuose ARM „Mali GPU“, „Nvidia“ „Kepler“ ir „Maxwell Tegra SoC“ ir naujausiuose „Intel“ integruotuose GPU aparatūros įrenginiuose, todėl kai kuriuose scenarijuose galima sutaupyti daugiau nei 50 procentų pralaidumo, palyginti su nesuspaustų faktūrų naudojimu.

Tekstūros glaudinimo naudojimas gali žymiai sumažinti pralaidumą, vėlavimą ir atmintį, reikalingą 3D programoms. Šaltinis - ARM.

Galima įgyvendinti ir kitus būdus.Naudojant tessellation, iš paprastesnių objektų galima sukurti išsamesnę geometriją, nors ir reikalaujant kitų svarbių GPU išteklių. Atidėtas atvaizdavimas ir „Forward Pixel Kill“ gali išvengti uždarų taškų pateikimo, o „Binning“ / „plytelių“ architektūros gali būti naudojamos padalinti vaizdą į mažesnius tinklelius arba plyteles, kurios kiekviena atvaizduojama atskirai - visa tai gali sutaupyti pralaidumo.

Kitu atveju arba, pageidautina, papildomai, kūrėjai gali paaukoti vaizdo kokybę, kad sumažintų sistemos pralaidumą. Geometrijos tankis gali būti paaukotas arba agresyvesnis skerdimas naudojamas apkrovai sumažinti, o viršūnių duomenų skiriamoji geba gali būti sumažinta iki 16 bitų, žemyn nuo tradiciškai naudojamo 32 bitų tikslumo. Daugelis šių metodų jau naudojami įvairiuose mobiliuosiuose paketuose ir kartu jie gali padėti sumažinti pralaidumą.

Atmintis yra ne tik didelis apribojimas mobiliojo VR erdvėje, bet ir gana didelis energijos vartotojas, dažnai prilygstantis procesoriaus ar GPU suvartojimui. Sutaupę atminties pralaidumo ir naudojimo, nešiojamieji virtualiosios realybės sprendimai turėtų ilgesnį akumuliatoriaus veikimo laiką.

Mažas delsos ir ekrano skydai

Kalbėdami apie delsos problemą, iki šiol matėme tik VR ausines, sportuojančias OLED ekranuose, ir tai dažniausiai lemia greitas pikselių perjungimo laikas, mažesnis nei viena milisekundė. Istoriškai skystųjų kristalų ekranas buvo susijęs su vaizdų kūrimo problemomis dėl labai greito atnaujinimo dažnio, todėl jos buvo gana netinkamos VR. Tačiau labai aukštos skyros skystųjų kristalų plokštes vis dar pigiau gaminti nei OLED ekvivalentus, todėl perėjimas prie šios technologijos galėtų padėti sumažinti VR ausinių kainą iki labiau prieinamos kainos.

Judesio ir fotono latentinis ilgis neturėtų viršyti 20 ms. Tai apima judėjimo registravimą ir apdorojimą, grafikos ir garso apdorojimą bei ekrano atnaujinimą.

Ekranai yra ypač svarbi bendrojo virtualiosios realybės sistemos latentinio laikotarpio dalis, dažnai skiriantys įspūdį tarp nereikšmingos ir mažesnės vertės. Idealioje sistemoje judesio ir fotono latentinis laikas - laikas nuo galvos sukimo iki ekrano reagavimo - turėtų būti mažesnis nei 20 milisekundžių. Aišku 50 ms ekranas čia nėra geras. Idealiu atveju plokštės turi būti mažesnės kaip 5 ms, kad būtų galima pritaikyti ir jutiklį, ir apdorojimo delsą.

Šiuo metu OLED teikia pirmenybę išlaidų efektyvumui, tačiau netrukus tai gali pasikeisti. Skystųjų kristalų ekranai, turintys didesnį atnaujinimo dažnį ir trumpą juodos iki baltos reakcijos laiką, kuriame naudojamos pažangiausios technologijos, pavyzdžiui, mirksinčios galinės lemputės, galėtų gražiai atitikti sąskaitą. „Japan Display“ praėjusiais metais parodė tik tokią skydą, ir mes galime pamatyti, kad ir kiti gamintojai skelbia panašias technologijas.

Garsas ir jutikliai

Nors daugelis įprastų virtualios realybės temų yra susijusios su vaizdo kokybe, svaiginančiam VR taip pat reikalinga aukšta skiriamoji geba, erdvėje tikslus 3D garsas ir žemo delsos jutikliai. Mobiliojoje srityje visa tai turi būti padaryta per tą patį ribotą galios biudžetą, kuris turi įtakos procesoriui, GPU ir atminčiai, o tai kelia papildomų iššūkių.

Anksčiau kalbėjome apie jutiklių delsos problemas, kai judesys turi būti užregistruotas ir apdorotas kaip dalis, mažesnė nei 20 ms judesio iki fotono latentinė riba. Kai manome, kad VR ausinės naudoja 6 judesio laipsnius - sukimąsi ir posūkio kampą kiekvienoje X, Y ir Z ašyje - ir naujas technologijas, tokias kaip akių stebėjimas, yra daug pastovių duomenų, reikalingų rinkti ir apdoroti, visi su minimaliu latencija.

Norint, kad šis latentinis laikotarpis būtų kuo mažesnis, reikalingas išsamus požiūris, nes aparatinė ir programinė įranga gali šias užduotis atlikti lygiagrečiai. Laimei, mobiliesiems įrenginiams, labai paplitę yra naudojami specialūs mažos galios jutiklių procesoriai ir visada įjungiama technologija, kurie veikia gana mažai.

Garso įrašams 3D padėtis yra technika, ilgai naudojama žaidimams ir panaši, tačiau su galvomis susijusios perdavimo funkcijos (HRTF) naudojimas ir konvoliucijos reverbo apdorojimas, reikalingi realiam įgarsinimo šaltinio padėties nustatymui, yra gana intensyvi procesoriaus užduotis. Nors tai galima atlikti su centriniu procesoriumi, dedikuotas skaitmeninis signalo procesorius (DSD) gali žymiai efektyviau atlikti šių tipų procesus, tiek apdorojimo laiko, tiek galios prasme.

Derinant šias savybes su jau minėtais grafikos ir ekrano reikalavimais, akivaizdu, kad efektyviausias būdas patenkinti šiuos poreikius yra kelių specializuotų procesorių naudojimas. Matėme, kad „Qualcomm“ didžiąją dalį savo flagmanų ir naujausių vidutinės pakopos „Snapdragon“ mobiliųjų platformų sukuria daug nevienalyčių skaičiavimo galimybių, kurios sujungia įvairius apdorojimo įrenginius į vieną paketą su galimybėmis, kurios puikiai tinka patenkinti daugelį šių mobiliųjų VR poreikių. Greičiausiai matysime paketų galios tipą daugelyje mobiliųjų VR produktų, įskaitant autonominę nešiojamąją aparatūrą.

Kūrėjai ir programinė įranga

Galiausiai nė vienas iš šių aparatinės įrangos patobulinimų nėra labai geras, jei nėra programinės įrangos rinkinių, žaidimų variklių ir SDK, kurie palaikytų kūrėjus. Galų gale, mes negalime kiekvienas kūrėjas išradinėti rato kiekvienai programai. Jei norėsime pamatyti platų programų spektrą, labai svarbu išlaikyti kuo mažesnes kūrimo sąnaudas ir greitį.

Visų pirma, SDK yra būtini įgyvendinant pagrindines VR apdorojimo užduotis, tokias kaip asinchroninis laiko pynimas, objektyvo iškraipymo korekcija ir stereoskopinis perteikimas. Jau nekalbant apie galios, šiluminį ir apdorojimo valdymą nevienalytėse aparatinės įrangos konfigūracijose.

Laimei, visi pagrindiniai aparatinės įrangos platformų gamintojai siūlo SDK kūrėjams, nors rinka yra gana susiskaldžiusi, todėl trūksta palaikymo įvairiose platformose. Pavyzdžiui, „Google“ turi savo „VR SDK“, skirtą „Android“, ir specialų SDK, skirtą populiariam „Unity“ varikliui, o „Oculus“ - savo mobilųjį SDK, sukurtą kartu su „Samsung“, skirtą „Gear VR“. Svarbu tai, kad „Khronos“ grupė neseniai pristatė savo „OpenXR“ iniciatyvą, kurios tikslas - pateikti API, apimančią visas pagrindines platformas tiek įrenginio, tiek programos lygmenyje, kad būtų lengviau kurti įvairių platformų programas. „OpenXR“ savo pirmajame virtualios realybės įrenginyje palaikymą galėjo pamatyti kažkur prieš 2018 m.

Apvyniokite

Nepaisant kai kurių problemų, technologija yra kuriama ir tam tikru mastu jau yra čia, todėl mobilioji virtualioji realybė gali būti naudojama daugelyje programų. „Mobile VR“ taip pat turi nemažai privalumų, kurie paprasčiausiai netaikomi ekrano ekranų ekvivalentams, kurie ir toliau taps platforma, į kurią verta investuoti ir kurti intrigą. Dėl perkeliamumo faktoriaus mobilusis VR tampa patrauklia daugialypės terpės ir netgi lengvų žaidimų platforma, nereikia laidų, sujungtų su galingesniu kompiuteriu.

Be to, dėl daugybės rinkoje esančių mobiliųjų prietaisų, kurie vis labiau aprūpinami virtualios realybės galimybėmis, tai tampa pasirinkimo platforma, leidžiančia pasiekti didžiausią tikslinę auditoriją. Norint, kad virtualioji realybė taptų pagrindine platforma, jai reikia vartotojų, o mobilioji yra didžiausia naudotojų bazė, kuriai reikia prisiliesti.