Hoe je reflecties en obstakels automatisch verwijdert uit foto’s met dit algoritme

Fotografen worden vaak gedwongen om foto's te maken doorheen obstructies. In dit werk presenteren we een methode om deze obstructies automatisch te verwijderen uit een korte reeks invoerbeelden. Wanneer we bijvoorbeeld foto's maken doorheen een glazen raam, belemmeren reflecties van voorwerpen binnenshuis vaak het buitenscène dat we willen vastleggen. Ons algoritme splitst de reeks foto's automatisch op in een achtergrond en een reflectiecomponent om een nieuwe, zuivere foto te produceren waarin de reflectie is verwijderd. Op dezelfde manier willen we bij het fotograferen van een scène door een hek heen het hek dat het zicht belemmert uit onze foto verwijderen. Ook hier kan ons algoritme de reeks opsplitsen in de achtergrond en het beeld dat het zicht belemmert om de gewenste foto zonder hek te produceren. We beschrijven nu ons algoritme en demonstreren elke stap van de opsplitsing van vijf foto's die reflectie bevatten. Het is een uitdaging om beweging op pixels direct te analyseren. In plaats daarvan beginnen we met de beweging van randen, die minder wordt beïnvloed door de vermenging van de twee lagen. We beginnen met het uitvoeren van candy edge detection op de frames om de randen uit elke afbeelding te extraheren. Vervolgens matchen we de randen in elk van de frames met een referentieframe, het middelste frame in de beeldreeks. Hier tonen we het stromingsveld voor elk van de frames in de reeks. Met behulp van RANSAC ontdekken we vervolgens de eerste en tweede belangrijkste componenten van de randstromen. Deze stroomcomponenten komen respectievelijk overeen met de beweging van de achtergrond en de reflectie. Vervolgens interpoleren we dichte stroomvelden uit schaarse randstromen voor zowel de achtergrond- als de reflectiebeweging. Hier tonen we de geïnterpoleerde dichte stroomvelden voor elk frame. Door elk van de beelden te vervormen naar het referentiebeeld met behulp van de geïnitialiseerde dichte stroomvelden, ontstaan er twee beelden per frame die overeenkomen met de achtergrond- en de gereflecteerde stroom. Dit resulteert in een reeks beelden waarin de achtergrondcomponent vrijwel statisch is en een andere reeks waarin de gereflecteerde component vrijwel statisch is. De initiële scheiding van de achtergrond en de reflectie wordt verkregen door elk beeld naar het referentiekader te projecteren met behulp van de twee bewegingsvelden en de geprojecteerde beelden te combineren. Met behulp van deze initialisatie minimaliseren we de doelstelling door iteratief de beelden en stromingsvelden voor achtergrond- en reflectielagen op een grof gedefinieerde manier op te lossen.

De grove laag helpt ons om fouten met een lage ruimtelijke frequentie te corrigeren voordat we elk beeld verfijnen. Hier tonen we een voorbeeld van de resultaten. Eerst neemt de gebruiker een korte video op met een smartphone. Vervolgens worden 5 tot 7 frames uit de video geselecteerd en gebruikt als input voor ons algoritme. Met behulp van deze frames kunnen we de achtergrond van een beeld herstellen zonder de reflectie. We kunnen ook een afbeelding van de obstructie herstellen, in dit geval de gereflecteerde afbeelding. We laten nog een paar andere voorbeelden zien van reflectieverwijdering. Hier is een voorbeeld van een uitdagende nachtscène. Merk op dat hoewel de reflectieafbeelding niet duidelijk was in de originele afbeeldingen, we door de afbeeldingen op deze manier te ontleden een duidelijk beeld kunnen krijgen van de binnenscène die in de originele afbeelding werd gereflecteerd. Hier tonen we een voorbeeld van een bord met tekst dat wordt weergegeven met reflectie. Sommige woorden, zoals 'students', zijn moeilijk te herkennen. Door echter ons algoritme te gebruiken om de reflectie van het bord te verwijderen, produceren we een afbeelding die gemakkelijk leesbaar is. Ook hier kunnen we het gereflecteerde beeld herstellen dat voorheen moeilijk te onderscheiden was. In dit voorbeeld proberen we de reflectie van een textuurloos schuin vlak te verwijderen.

Vanwege het gebrek aan textuur is dit voorbeeld bijzonder moeilijk. Ons algoritme kan dit voorbeeld echter nog steeds redelijk goed verwerken en de achtergrond en reflectie netjes van elkaar scheiden. Hier tonen we enkele voorbeelden van ons algoritme dat een obstructie verwijdert. In deze gevallen schatten we tegelijkertijd ook een achtergrondobstructie-alfamat in. In dit geval kunnen we regendruppels van een raam verwijderen. In dit geval is de obstructie transparant, dus de alfamat is niet binair. Hier laten we nog een voorbeeld zien waarvoor een niet-binaire alfamatte nodig is. In dit geval willen we het storende hek verwijderen uit een video die is opgenomen van een tijger in de dierentuin. Een toepassing van ons algoritme is het verwijderen van reflecties uit een reeks panoramabeelden. Als deze beelden direct aan elkaar worden geplakt, ontstaan er ongewenste artefacten als gevolg van reflecties. Ons algoritme kan deze reflecties echter gemakkelijk automatisch verwijderen, waardoor er schone beelden ontstaan die vervolgens aan elkaar kunnen worden geplakt.