Hoe werkt de Google Pixel-camera? De technologie achter scherpe foto’s onthuld

Het aanbod aan camera's dat in de loop der jaren is ontwikkeld, is enorm. Er zijn camera's gemaakt voor de ruimte, voor gebruik in het menselijk lichaam, om auto's te helpen zien en natuurlijk om ons dagelijks leven vast te leggen. Tegenwoordig maken de meesten van ons de meeste foto's en video's met de camera van onze telefoon. Deze camera's kunnen behoorlijk indrukwekkende dingen doen, zoals 360°-foto's maken, video's opnemen in 4K en ons helpen nieuwe vrienden te maken. Sinds ik vorig jaar de camera van de Google Pixel heb mogen testen, ben ik nieuwsgierig geworden: hoe kunnen zulke foto's uit een camera komen die kleiner is dan een vingernagel? Wat gebeurt er binnenin dat ik niet kan zien? Aangezien de Pixel 2 net uit is, leek het me de perfecte gelegenheid om bij Google rond te lopen, de mensen te ontmoeten die aan de camera hebben gewerkt en zoveel mogelijk te weten te komen. Ben je er klaar voor, noodles? Er komen geen foto's van schildpadden, maar ik beloof je dat er veel andere coole foto's zullen zijn. Oké, laten we beginnen. De grootste uitdaging bij het bouwen van een telefooncamera is de grootte. Omdat we willen dat onze telefoons licht en dun zijn, heb je in feite maar de ruimte van een bosbes om de camera in te proppen. Aan de buitenkant van de telefoon zie je de lens, die bij de Pixel 2 eigenlijk een stapel van zes lenzen is. En die hebben heel vreemde vormen.

Ze hebben rare W's en zo. Omdat je probeert te corrigeren voor zogenaamde aberraties die het beeld in een heel klein gebied vervormen. Dit jaar is er ook optische beeldstabilisatie. Er zit een fysiek onderdeel om de lenzen heen, met motoren erop, dat de lens in verschillende dimensies kan uitlijnen. Bij het scherpstellen worden de lenzen naar binnen en naar buiten bewogen, terwijl bij optische beeldstabilisatie ze omhoog, omlaag, naar links en naar rechts worden bewogen. Je kunt zien dat het beweegt, omdat het compenseert voor wat je hand doet. Slechts een millimeter achter de lenzen bevindt zich een sensor, het equivalent van film voor een digitale camera. Deze is bedekt met lichtgevoelige fotosites, ook wel pixels genoemd, die het licht opvangen en omzetten in een elektrisch signaal. Dit jaar heeft de beeldsensor 12 megapixels, maar elk van de pixels is links en rechts gesplitst, dus in feite heeft hij 24 megapixels, als je wilt. We zullen hier later meer over vertellen, maar wat nu interessant is om op te merken, is dat het de sensor nieuwe mogelijkheden geeft met betrekking tot scherptediepte en autofocus. Kunt u een kort overzicht geven van wat er gebeurt als u een foto neemt? Het is verbazingwekkend dat we een stukje silicium kunnen gebruiken om überhaupt een foto te nemen. U zou niet willen kijken naar de foto die rechtstreeks uit de sensor komt. Die is donker. Die is groen. Er zitten slechte pixels op. Zelfs als je geen computationele fotografie doet, is er veel verwerking nodig om van dat beeld een goede uiteindelijke foto te maken. En dit soort verwerking gebeurt bij alle digitale camera's. Elke camera doet het net iets anders, maar bij de Pixel 2 zijn er in totaal ongeveer 30 tot 40 stappen. Voor mij was de eerste stap het interessantst om te leren.

De sensor heeft een fysiek kleurenfilter. Dit filter is opgesteld in een dambordpatroon van rode, groene en blauwe pixels. In plaats van dat een pixel alle lichtkleuren waarneemt, neemt deze alleen rood, alleen groen of alleen blauw waar. En hij verzamelt twee keer zoveel groen licht omdat onze ogen gevoeliger zijn voor groen. Om een kleurenafbeelding te maken, moet je dus het rood dat hier werd waargenomen combineren met het groen dat hier werd waargenomen en het blauw dat hier werd waargenomen. Dat is een proces dat demosaicing wordt genoemd. Daarna wordt het beeld gammacorrectie onderworpen, wordt de witbalans aangepast, wordt ruis verwijderd, wordt het beeld verscherpt en nog veel meer. Traditioneel werden die stappen uitgevoerd door hardware, dat wil zeggen door circuits die daarvoor zijn gespecialiseerd. Maar nu camera's steeds meer de kant van computationele fotografie opgaan, gebeurt dat steeds vaker in software. Computerfotografie kan veel verschillende dingen betekenen, maar het zijn in wezen geavanceerde algoritmen die beeldverwerking superkrachtig maken. Op de Pixel 2 zijn er twee grote functies die dit mogelijk maken: HDR Plus en Portretmodus. Toen we begonnen met het ontwikkelen van HDR Plus, wilden we een algoritme dat een kleine sensor kon nemen en deze kon laten werken als een echt grote sensor. Dat betekent dat je geweldige prestaties bij weinig licht krijgt en een hoog dynamisch bereik. Zo kun je echt donkere en echt heldere dingen in dezelfde foto vastleggen. Om dit op een telefooncamera te bereiken, is elke foto die je maakt niet één foto, maar een combinatie van maximaal 10 foto's, die allemaal onderbelicht zijn om zowel de donkere als de heldere delen van de scène te behouden. Maar HDR Plus berekent niet zomaar het gemiddelde van al deze foto's, omdat handen kunnen bewegen of dingen in de scène kunnen veranderen. Daarom bekijken we elke tegel van de afbeelding en vragen we ons af: hmm, is die verschoven ten opzichte van de andere? Kunnen we hem een beetje verschuiven zodat hij overeenkomt? We weten niet waar die tegel naartoe is gegaan, dus verwijderen we gewoon die ene tegel van dat ene frame. We zijn heel erg voorzichtig om ghosting te voorkomen. Ik vind het leuk dat ghosting een technische term is. Dat is het ook. Het betekent dubbelbeeld. Nadat we de ghosting hebben weggewerkt, volgt de esthetische beslissing over hoeveel we de donkere en lichte delen van de foto combineren. Als je een foto maakt bij zeer weinig licht, kunnen we die foto er heel goed uit laten zien door een reeks foto's te maken en daarvan het gemiddelde te nemen. Maar moeten we hem dan net zo helder maken als bij daglicht? Als we alle donkere schaduwen naar voren halen en alle hoge lichten behouden, krijg je een heel surrealistisch of cartoonesk beeld. We moeten dus beslissen wat we weggooien. Oké, even pauzeren. Zie je hoe Mark hier scherp in beeld is terwijl de achtergrond wazig is? Dat wordt een geringe scherptediepte genoemd en werd bereikt door te filmen met een snelle lens en een grote diafragmaopening. De portretmodus is een nieuwe functie voor Pixel 2 die deze look nabootst. Maar op een telefoon is dat natuurlijk iets lastiger. De lens is zo klein en het diafragma is zo klein.

Wanneer je gewoon een normale foto maakt met een mobiele telefoon, is alles vrijwel scherp. Om dit te verhelpen, maakt de portretmodus gebruik van een combinatie van machine learning en dieptemapping. In plaats van elke pixel gewoon als een pixel te behandelen, proberen we te begrijpen wat het is. Is het een persoon? Is het een achtergrond? Wat is precies de betekenis van deze pixel? Het team heeft een neuraal netwerk getraind met bijna een miljoen voorbeelden van mensen en mensen die hoeden dragen en ijshoorntjes vasthouden en poseren met hun vrienden en hun honden, om te herkennen welke pixels menselijke voorgrondelementen zijn en welke achtergrondelementen. Hierdoor kan het algoritme een masker maken. En dat masker zegt dat alles binnen dat masker scherp moet blijven. Maar dan rijst de vraag: hoeveel moet je de dingen buiten het masker vervagen? Toen we de hardware uitkozen, wisten we dat we deze dubbele pixelsensor zouden krijgen, waarbij elke pixel eigenlijk in twee subpixels is opgesplitst. Het is dus net als je twee ogen, die twee verschillende beelden van de wereld krijgen, van de linker- en rechterkant van een heel kleine camera. En dit kleine verschil in perspectief, kleiner dan de punt van een potlood, is voldoende om een ruwe dieptekaart te genereren.

En je bepaalt grofweg de mate van onscherpte die je wilt toepassen, afhankelijk van hoe ver je denkt dat het verwijderd is. Dus zelfs als je een foto maakt van iets dat geen persoon is, kan de portretmodus met behulp van dieptekaarten een mooie macro-achtige foto maken. En als je van selfies houdt, werkt de portretmodus ook op de camera aan de voorkant. Voordat ik deze aflevering maakte, realiseerde ik me niet in hoeverre de camera's en onze telefoons zijn getest en afgestemd. In de techniek geldt het gezegde: als je het niet echt hebt getest, is het kapot. En een groot deel van de camerakwaliteit hangt echt af van hoe je de reeks tests opzet waarmee je kunt zien hoe goed je bezig bent. Het afstellen van een camera is een mix van kunst en natuurkunde, met duizenden parameters die moeten worden aangepast. Het probleem is dat ze allemaal elkaar beïnvloeden. Als je één wijziging aanbrengt, moet je uitzoeken welke tien andere zaken ook worden beïnvloed en die ook aanpassen. Daarom zijn er laboratoria die de camera aan een reeks geautomatiseerde tests onderwerpen, waarbij onder meer de autofocus, witbalans, algemene kleur en toon, resolutie en meer worden gemeten. Wat zouden volgens jou de gevolgen zijn als dit soort tests niet konden worden uitgevoerd? Zonder deze tests zou het weken duren om één dataset te verkrijgen en zou je niet kunnen itereren zoals we dat doen met engineering. Een van mijn favoriete opstellingen was een robotplatform, een zogenaamde hexapod, dat videostabilisatie test. We kunnen het platform verschillende coördinaten geven, zodat we het langzaam en zachtjes kunnen laten bewegen, of we kunnen het opdracht geven om wild heen en weer te schommelen. Dit jaar worden zowel optische als elektronische beeldstabilisatie gebruikt voor video. De eerste corrigeert kleine bewegingen, zoals een lichte trilling van de hand, terwijl de tweede grotere bewegingen corrigeert. Het werkt als volgt: het bekijkt een videoframe en vergelijkt dit met een paar frames verderop met behulp van metingen van de gyroscoop. De gyroscoop vertelt je dus of je deze of gene kant op bent bewogen. We gebruiken dat om te bepalen of dit een willekeurige beweging was, waarna we die beweging opvangen en tenietdoen. Er gebeurt zoveel in een telefooncamera, zoals die van de Pixel 2, dat ik gemakkelijk een video had kunnen maken over alleen stabilisatie of autofocus of een andere functie. Tijdens het maken van deze video heb ik zoveel verschillende dingen geleerd, zoals het feit dat de Pixel 2 een kleine infraroodlaserstraal heeft om in het donker autofocus te kunnen gebruiken en dat de camera aan de achterkant 0,003 pond weegt. Bijna net zo licht als een paperclip. Ik weet dat ik nog maar net heb gekrast aan de oppervlakte van hoe een telefooncamera werkt, wat een verbazingwekkend complex proces is. Het is je misschien opgevallen dat er in deze aflevering een aantal foto's te zien zijn die zijn gemaakt met de Pixel 2, die door DxO is beoordeeld als de beste smartphonecamera ooit getest. Als je meer wilt zien, kun je deze video bekijken, die door mij en mijn vriend Lo is gefilmd met de Pixel 2. Oké, dat was het voor mij. Tot ziens. Noodles gaat een dutje doen en jij kunt nog een video gaan kijken. Tot ziens!