von Jan Wöbbeking,

Intel Labs: Arbeitet an "Free View Synthesis"-Technik zur einfachen Generierung fotorealistischer Grafik

Intel (Unternehmen) von Intel
Intel (Unternehmen) von Intel - Bildquelle: Intel
Wozu aufwändig eine Level-Umgebung am Computer gestalten, wenn man die Grafik auch automatisch generieren kann - z.B. von einem Video als Vorlage? An diesem Prinzip forschen derzeit u.a. die Intel Labs, und zwar unter dem Namen "Free View Synthesis".

Wie pcgamesn.com berichtet, soll man mit Hilfe dieser Technik in der Zukunft z.B. mit einer Kamera durch einen Wald schreiten können, damit der Computer ein räumliches Rendering dieser Umgebung automatisch aus der Vorlage konstruiert - und zwar beinahe fotorealistisch. Auf der 16. "European Conference on Computer Vision" (ECCV'20) vom 23. bis 28. Aufgust wird das Prinzip momentan näher vorgestellt.

In klassischen 3D-Spielen oder VR-Titeln könnte man so ohne großen Aufwand Kulissen mit hochrealistischem Look und großem Detailreichtum erstellen, so das Ziel. "Es kann Spiele kreieren, die sich nicht mehr von der Realität unterscheiden lassen", schwärmt Vladen Koltun, Chief Scientist for Intelligent Systems bei Intel Labs.

Wer an den genaueren technischen Hintergründen interessiert ist, findet sie in diesem PDF auf Koltuns Website. Im Wesentlichen koämen "Structure from Motion" (SfM) und "Multi-View-Stereo" (MVS) zum Einsatz, um eine "Proxy Depth Map" erstellen zu lassen, so pcgamesn.com. Danach würden mit Hilfe eines "Convolutional Network" Charakteristika neu projiziert und verarbeitet, um die neuen Perspektiven zu erstellen.

Es sei nur eine beschränkte Anzahl an Aufnahmen von der Originalquelle (wie einem Spaziergang über eine Waldlichtung) nötig, um fotorealistische Blickwinkel in lebensechten Szenarien zu erstellen. In einem Trailer vergleichen die Forscher ihre Ergebnisse mit vergleichbaren Konkurrenztechniken wie "NPBG", welches auf der gleichen Konferenz vertreten sein soll:



"We present a method for novel view synthesis from input images that are freely distributed around a scene. Our method does not rely on a regular arrangement of input views, can synthesize images for free camera movement through the scene, and works for general scenes with unconstrained geometric layouts. We calibrate the input images via SfM and erect a coarse geometric scaffold via MVS. This scaffold is used to create a proxy depth map for a novel view of the scene.

Based on this depth map, a recurrent encoder-decoder network processes reprojected features from nearby views and synthesizes the new view. Our network does not need to be optimized for a given scene. After training on a dataset, it works in previously unseen environments with no fine-tuning or per-scene optimization. We evaluate the presented approach on challenging real-world datasets, including Tanks and Temples, where we demonstrate successful view synthesis for the first time and substantially outperform prior and concurrent work."

Quelle: pcgamesn.com

Kommentare

johndoe1971018 schrieb am
Tolle Sache!
Wenn ich das jetzt genau verstanden habe, ist dann auch jede kleine Mücke in einem bestimmten Winkel zu sehen?
Scheint etwas schwierig zu werden, z.B. Areale mit fallendem Schnee oder Regen machen es ja noch komplizierter.
schrieb am