„Google“ pažabojo technologiją ir sugalvojo skaitmeninį priartinimą, kuris prilygsta optiniam. Panašu, kad naudodami savo „SuperResZoom“ technologiją, jie sukėlė tikrą revoliuciją skaitmeninio priartinimo pasaulyje, perrašė skaitmeninės fotografijos taisykles. Dėl „Google“ kadaise fantazija laikytos technologijos iš ekranų pamažu skverbiasi į mūsų realų gyvenimą.
Skaitmeninės fotografijos principai
Pradėkime nuo pat pradžių – skaitmeninio fotografavimo ypatumų. Pati skaitmeninė fotografija yra pagrindinė problema, nes gautas vaizdas nėra visavertis – o kadangi jis nėra pilnas, tai ir artinant (didinant) vaizdą reikia iš kažkur paimti trūkstamas neužfiksuotas detales. Kaip taip gali būti?
Galbūt ne visi žino, kad beveik bet kuria skaitmenine kamera užfiksuoto vaizdo 2/3 yra netikra, o matematiškai apskaičiuota ir atkurta. Šiuolaikiniai skaitmeniniai jutikliai turi vieną esminį trūkumą – jie yra daltonikai, t.y. visiškai neskiria spalvų. Todėl norint gauti spalvotą vaizdą, priešais matricą yra sumontuotas specialus spalvų filtrų tinklelis, kuris į matricą perduoda tik tam tikro spektro bangas. Kiekvienam pikseliui praleidžiamas tik atitinkamas šviesos spektras: raudonas, mėlynas arba žalias.
Dažniausias tokio tinklelio išdėstymo variantas yra „Bayer RGB“ filtras, kuriame 4 pikseliams tenka 2 žali, 1 raudonas ir 1 mėlynas filtrai. Nesunku pastebėti, kad žaliųjų filtrų yra daugiau – nes žmogaus akis yra jautresnė šiam spektrui. Tikriausiai taip yra dėl to, kad didžiąją dalį laiko žmonija ir mūsų protėviai gyveno medžiuose ar aplink juos.
Dėl to filtruodami šviesą tokiu būdu, pradiniame variante gauname raudonų, žalių ir mėlynų taškų mozaiką su daugybe neužpildytų vietų – žaliojo filtro apdorojamojo kanalo skiriamoji geba sumažėja 2 kartus, o raudonojo ir mėlynojo – net 4. Beje, „Huawei“, pradedant nuo „P30“ serijos, bando išspręsti šią problemą naudodami geltonus filtrus, o ne žalius – tačiau tai jau šiek tiek kita tema.
Taigi, norėdami atkurti visavertį spalvotą vaizdą, turime užpildyti trūkstamus pikselius kiekviename spalvų kanale, ir tai daroma pasitelkiant spalvų interpretavimo technologiją, vadinama „DeBayerization“. Šio proceso metu neišvengiamai netenkame dalies kokybės, taip pat galimi vaizdo artefaktai (klaidos) – violetinis švytėjimas, laiptuoti kontūrai, nenatūralus spalvų persiliejimas.
Tačiau ne viskas taip niūru, kaip atrodo ant popieriaus. Nuolat tobulinami apdorojimo algoritmai, o įmonės eksperimentuoja su spalvų filtrais – pavyzdžiui, minėtas „Huawei“ RYYB spalvų filtras – kad padidintų foto jautrumą.
Skaitmeniniai aukštos raiškos kadrai
Daugelis skaitmeninių fotoaparatų naudoja „Pixel Shift“ technologiją.
Nuspaudus mygtuką kamera padaro keturias nuotraukas, kiekvienoje iš jų jutiklis būna paslenkamas lygiai per vieną pikselį į šoną. Taip taip, viduje kameros matrica mechaniškai pajuda tam, kad būtų paruoštas pilnavertis vaizdas – tai ir yra pikselių paslinkimo technologija „Pixel Shift“. Tačiau yra viena problema – ši technologija tinka tik statinėms scenoms, kai fotoaparatas pritvirtintas ir objektas nejuda.
Tuo metu, kai visi telefonų gamintojai galvojo, kad „Pixel Shift“ technologija begali būti pritaikoma nuolat stabiliai nenulaikomuose išmaniuosiuose telefonuose, „Google“ tarė: „O kas būtų, jei aukštos skiriamosios gebos nuotraukų fiksavimui naudotume natūralų fotografo rankų drebėjimą – o ne kontroliuojamą jutiklio poslinkį?“. Kaip tarė, taip ir padarė.
Kaip ir HDR+ technologijos atveju, vienu metu daroma kadrų serija, iš kurios paimamos kelios nuotraukos ir kuo didesniu tikslumu suderinamos viena su kita. Net ir stengiantis nulaikyti kamerą nesujudėjus, rankos (norime to ar ne) nežymiai pajuda, dėl ko vaizdas nufotografuojamas šiek tiek skirtingais kampais – o tai leidžia nustatyti atsitiktinius pikselių poslinkius, kurie suteikia pakankamai informacijos, leidžiančios atkurti aukštos skiriamosios gebos vaizdą.
O ką daryti, jei telefonas nejuda? Tarkime, norėdami įamžinti šeimyninę nuotrauką, pastatėme jį ant stalo arba pritvirtinome ant trikojo? Tokiu atveju kamera judindama optinio stabilizavimo modulį imituoja natūralų rankų judesį. Kitaip tariant, jei nejudinsite fotoaparato, „Google“ pajudins jį už jus. Galite patikrinti patys: pritvirtinkite „Google Pixel“ telefoną ant trikojo ir priartinkite vaizdą maksimaliai – pamatysite, kaip vaizdas nežymiai juda.
Norint gauti aiškų vaizdą be minėtų artefaktų, kiekvienas kadras kruopščiai išanalizuojamas ir šiek tiek deformuojamas, kad atitiktų pagrindinį kadrą. Kiekviename spalvų kanale analizuojamos objektų ribos ir jų faktūros. Vaizdai ant objektų kraštų suspaudžiami, kad būtų ryškesni ir neturėtų „laiptelių“, o plokščiose vietose – atvirkščiai, vaizdas ištempiamas ir koreguojamas, atsižvelgiant į numatomą triukšmo lygį – todėl tose vietose tekstūros nedeformuojamos. Ir visa tai leidžia gauti originalų vaizdą didesne raiška, nei buvo įmanoma fiziškai.
Skaitmeninis priartinimas
Algoritmai gali apdoroti informacijos klaidas ir pateikti nepriekaištingą rezultatą, jutikliai užfiksuoja mūsų rankų judėjimą ir paverčia tai privalumu – bet kaip nufotografuoti priartintą vaizdą ne kvadratukais? Juk begalinės optikos telefone nepaslėpsi. Beje, „Huawei“ ir „Samsung“ – skirtingai nuo „Google“ – nuėjo techninės įrangos tobulinimo keliu, ir savo aukščiausios klasės telefonuose panaudojo periskopinio tipo lęšius.
Norint padidinti gautą vaizdą, naudojamas ne koks nors banalus interpoliacijos algoritmas, kuris nustato tarpines reikšmes tarp greta esančių pikselių, o patentuotas „Google“ algoritmas „RAISR“, pagrįstas dirbtiniu intelektu. Taigi, „SuperResZoom“ priartinimas susideda iš dviejų dalių:
- Aukštos skiriamosios gebos nuotraukų fiksavimas klijuojant kelis kadrus gautus apskaičiuojant sub-pikselių poslinkį.
- Nuotraukos artinimas (didinimas) naudojant kompiuterinius neuroninius tinklus
Daugelis pasakys, kad optinis toks skaitmeninis priartinimas negali prilygti optiniam artinimui. Iš dalies tame yra tiesos, tačiau išmanaus telefono korpusas yra labai ribotas. Jau dabar kamerų moduliai vis labiau iškyla virš korpuso ir erzina akį ne tik savo dizainu, bet ir telefono siūbavimu paguldžius šį ant stalo. Turbūt niekas nenorime grįžti 10 metų atgal ir nešiotis kišenėje storus telefonus – tad ateityje telefonuose vietos bus dar mažiau.
Šiuolaikiniai optiniai sprendimai reikalauja tam tikrų aukų – naudojami ganėtinai dideli židinio nuotoliai, kas apsunkina šviesos patekimą į jutiklį (matricą). Dėl to dažnu atveju „Google“ naudojama technologija (ypač tamsoje) priartinus vaizdą iki dviejų kartų, yra pranašesnė už optinį artinimą.
„SuperResZoom“ technologija keičia požiūrį į skaitmeninį spalvotų vaizdų fiksavimą ir suteikia daug galimybių eksperimentuoti su spalvų filtrais. Taip pat šis vaizdų klijavimo būdas automatiškai naudojamas „Pixel 3“ „NightSight“ režime – o ateityje greičiausiai jis taps neatsiejama HDR+ technologijos dalimi.
Bet kaip minėta, konkurentai nesnaudžia, o problemos turi kelis sprendimo būdus – tad ateityje laukia daug įdomių ir neįtikėtinų sprendimų, pakeisiančių ir palengvinančių mūsų kasdienį gyvenimą ir mobiliąją fotografiją.
