Apple wil van lidar een groot probleem maken op iPhone 12 Pro en hoger. Wat het is en waarom het ertoe doet

Apple gaat optimistisch over lidar, een technologie die gloednieuw is voor de iPhone 12-familie, met name voor de iPhone 12 Pro en iPhone 12 Pro Max. (De iPhone 12 Pro is nu te koop, met de iPhone 12 Pro Max met de Pro Max die over een paar weken volgt.)

Kijk goed naar een van de nieuwe iPhone 12 Pro-modellen, of de meest recente iPad Pro, en je ziet een kleine zwarte stip naast de cameralenzen, ongeveer even groot als de flitser. Dat is de lidarsensor, en het is een nieuw type dieptewaarneming dat op een aantal interessante manieren een verschil kan maken.

Als Apple zijn zin krijgt, is lidar een term die je nu veel zult horen, dus laten we eens kijken wat we weten, waar Apple het voor gaat gebruiken en waar de technologie naartoe zou kunnen gaan.

Wat betekent lidar?

Lidar staat voor lichtdetectie en -bereik en bestaat al een tijdje. Het gebruikt lasers om objecten te pingen en terug te keren naar de bron van de laser, waarbij de afstand wordt gemeten door de reis of vlucht van de lichtpuls te timen.

Hoe werkt lidar om diepte te voelen?

Lidar is een soort time-of-flight camera. Sommige andere smartphones meten diepte met een enkele lichtpuls, terwijl een smartphone met dit type lidar-technologie golven van lichtpulsen uitzendt in een straal van infraroodstippen en elk met zijn sensor kan meten, waardoor een veld met punten ontstaat die afstanden in kaart brengen. en kan de afmetingen van een ruimte en de objecten erin “meshen”. De lichtpulsen zijn onzichtbaar voor het menselijk oog, maar je kon ze wel zien met een nachtzichtcamera.

Is dit niet zoals Face ID op de iPhone?

Het is, maar met een groter bereik. Het idee is hetzelfde: dat van Apple Face ID-activerende TrueDepth-camera schiet ook een reeks infraroodlasers uit, maar kan slechts tot op een paar meter afstand werken. De achterste lidarsensoren op de iPad Pro en iPhone 12 Pro werken tot een bereik van 5 meter.

Lidar zit al in veel andere technologie

Lidar is een technologie die overal opduikt. Het wordt gebruikt voor zelfrijdende auto’s, of geassisteerd rijden. Het wordt gebruikt voor robotica en drones. Augmented reality-headsets zoals de HoloLens 2 hebben vergelijkbare technologie, het in kaart brengen van kamerruimten voordat u 3D virtuele objecten erin legt. Maar het heeft ook een behoorlijk lange geschiedenis.

Het oude Xbox-accessoire met diepte-detectie van Microsoft, de Kinect, was een camera die ook infrarood dieptescanning had. PrimeSense, het bedrijf dat heeft bijgedragen aan het maken van de Kinect-technologie, werd in 2013 door Apple overgenomen. Nu hebben we Apple’s TrueDepth-gezichtsscannende en achterste lidar-camerasensoren.

De iPhone 12 Pro-camera zou beter kunnen werken met lidar

Time-of-flight-camera’s op smartphones worden meestal gebruikt om de nauwkeurigheid en snelheid van de scherpstelling te verbeteren, en de iPhone 12 Pro zal hetzelfde doen. Apple belooft een betere focus bij weinig licht, tot 6x sneller bij weinig licht. De lidar-dieptedetectie wordt ook gebruikt om de effecten van de nachtportretmodus te verbeteren.

Betere focus is een pluspunt, en er is ook een kans dat de iPhone 12 Pro ook meer 3D-fotogegevens aan afbeeldingen kan toevoegen. Hoewel dat element nog niet is ingedeeld, is de naar voren gerichte, diepte-detecterende TrueDepth-camera van Apple op een vergelijkbare manier gebruikt met apps.

Het zal ook de augmented reality aanzienlijk verbeteren

Met Lidar kan de iPhone 12 Pro AR-apps veel sneller starten en een snelle kaart van een kamer bouwen om meer details toe te voegen. Veel van Apple’s AR-updates in iOS 14 maken gebruik van lidar om virtuele objecten achter echte objecten te verbergen (occlusie genaamd), en virtuele objecten te plaatsen in meer gecompliceerde kamertoewijzingen, zoals op een tafel of stoel.

Maar er is nog meer potentieel, met een langere staart. Veel bedrijven dromen van headsets die virtuele objecten en echte objecten combineren: AR-brillen, waaraan wordt gewerkt door Facebook, Qualcomm, Snapchat, Microsoft, Magische sprong en hoogstwaarschijnlijk Apple en anderen zullen vertrouwen op geavanceerde 3D-kaarten van de wereld om virtuele objecten op te stapelen.

Die 3D-kaarten worden nu gebouwd met speciale scanners en apparatuur, bijna zoals de wereldscanversie van die Google Maps-auto’s. Maar er is een mogelijkheid dat de eigen apparaten van mensen uiteindelijk kunnen helpen bij het crowdsourcen van die informatie of extra on-the-fly data kunnen toevoegen. Nogmaals, AR-headsets zoals Magic Leap en HoloLens scannen je omgeving al voordat ze er dingen in leggen, en Apple’s lidar-uitgeruste AR-technologie werkt op dezelfde manier. In die zin zijn de iPhone 12 Pro en iPad Pro als AR-headsets zonder het headsetgedeelte … en zouden ze de weg kunnen effenen voor Apple om uiteindelijk zijn eigen bril te maken.

3D-scannen zou de geweldige app kunnen zijn

Lidar kan worden gebruikt om 3D-objecten en kamers in elkaar te passen en fotoafbeeldingen bovenop te leggen, een techniek die fotogrammetrie wordt genoemd. Dat zou de volgende golf van capture-technologie kunnen zijn voor praktisch gebruik zoals verbouwing, of zelfs sociale media en journalistiek. De mogelijkheid om 3D-gegevens vast te leggen en die informatie met anderen te delen, zou deze met lidar uitgeruste telefoons en tablets kunnen openen als tools voor het vastleggen van 3D-inhoud. Lidar zou ook zonder het camera-element kunnen worden gebruikt om metingen voor objecten en ruimtes te verkrijgen.

Apple is niet de eerste die technologie als deze op een telefoon verkent

Google had hetzelfde idee in gedachten toen Project Tango – een vroeg AR-platform dat was alleen op twee telefoons — werd gecreëerd. De geavanceerde camera-array had ook infraroodsensoren en kon ruimtes in kaart brengen, 3D-scans en dieptekaarten maken voor AR en voor het meten van binnenruimtes. De met Tango uitgeruste telefoons van Google waren van korte duur en werden vervangen door computervisie-algoritmen die geschatte diepte-detectie op camera’s hebben uitgevoerd zonder dezelfde hardware nodig te hebben. Maar Apple’s iPhone 12 Pro ziet eruit als een veel geavanceerdere opvolger.