Wie Uploadvr.com berichtet, hat Facebooks Forschungsabteilung mittlerweile eine neue Version seiner "fotorealistischen" VR-Avatare vorgestellt. Diese benötigten lediglich gewöhnliches Augentracking und das eingebaute Mikro, um z.B dem Chatpartner mit VR-Brille ein realistisch animiertes Gesicht zu zeigen.
Teure und schwere verbaute Kamera-Reihen im Headset seien nicht mehr nötig, da der Rest des Gesichts mit Hilfe neuraler Netzwerke eingeschätzt und animiert werde. Als Anhaltspunkte dienen u.a. die Augenbewegungen sowie Geräusche, welche z.B. auftreten, wenn sich jemand die Lippen befeuchtet. Der Ergebnis weicht zumindest im offiziell zur Verfügung gestellten Video kaum vom Original-Gesicht ab.
Einen Haken hat allerdings auch die aktuelle Version noch: Als allererstes sei weiterhin eine persönliche, 45 Minuten lange Trainings-Session mit einem großen Multi-Kamera-Setup nötig. Danach könne das System aber ziemlich genau in Echtzeit einschätzen, wie sich das Gesicht der jeweiligen Person in bestimmten Unterhaltungs-Situationen bewegt.
Ursprüngliche Meldung vom 4. Juli 2020, 17:25 Uhr
Facebook arbeitet schon eine ganze Weile an "fotorealistischen" VR-Avataren (die z.B. im März 2019 als "Codec Avatars" präsentiert wurden). Nachdem ein Gesicht von einem größeren Kamera-Rig "eingelesen" wurde, lässt es sich mit einem Prototyp-Headset und seinen "nur" drei Face-Tracking-Kameras relativ realistisch animieren.
Wie Uploadvr.com berichtet, ist es dem Unternehmen mittlerweile gelungen, den unheimlichen "Uncanny-Valley-Effekt" weitgehend zu eliminieren, der vor allem die Augen vorher immer ein wenig seltsam aussehen ließ. Im Forschungsbericht "The Eyes Have It: An Integrated Eye and Face Model for Photorealistic Facial Animation" wurde eine Lösung dafür präsentiert.
Neuerdings wird die exakte Augenrichtung zunächst explizit vom Augentracking übernommen und erst danach für die finale Textur-Erstellung durch ein neurales Netzwerk geschickt. Früher habe der Algorithmus mitunter vorher selbst die Augenposition eingeschätzt - was oft in etwas unnatürlichen Ergebnissen resultiert habe.
Solch eine realistische Darstellung könnte natürlich vor allem in sozialen Spielen oder Chat-Applikationen nützlich werden. Facebook bremste allerdings bereits 2019 die Ewartungen, da es noch Jahre dauern dürfte, bis die Technik in VR-Headsets für Konsumenten ankommen könnte.
GrinderFX hat geschrieben: ?06.07.2020 11:20
- Contra Home Office Wie soll ich mit meiner Arbeitskollegin schlafen?
Wie bisher auch: in deiner Fantasie! *SCNR Finde die Technik interessant, aber ob sowas wirrklich mal Consumer-relevant wird glaub ich nicht wirklich. Egal ob für Meetings, oder Zuhause beim Zocken. Für Firmen stellt es ja schon einen imensen finanziellen Aufwand dar, alle Beteiligten mit der Hardware zu versorgen, wenn man auch einfach Videotelefonie nutzen kann, für eine Konferenz. Höchsten vlt. wenn sowieso mit einem VR-Headset gearbeitet wird. Und im Heimgebrauch beim Zocken will ich meistens nicht, dass mein eigenes Gesicht verwendet wird. Da wäre dann die Überlegung, ob man die Animationen auf jeden beliebigen Avatar übertragen könnte. Das würde dann schon einen mehrwert bei Multiplayergames darstellen, dürfte aber (wie auch im Artikel genannt) noch einige Jährchen dauern, bis man soweit ist.
Leider nein, hat mich bis jetzt 3 mal den Job gekostet und ich werde auch nie draus lernen
GrinderFX hat geschrieben: ?06.07.2020 11:20
- Contra Home Office Wie soll ich mit meiner Arbeitskollegin schlafen?
Wie bisher auch: in deiner Fantasie! *SCNR Finde die Technik interessant, aber ob sowas wirrklich mal Consumer-relevant wird glaub ich nicht wirklich. Egal ob für Meetings, oder Zuhause beim Zocken. Für Firmen stellt es ja schon einen imensen finanziellen Aufwand dar, alle Beteiligten mit der Hardware zu versorgen, wenn man auch einfach Videotelefonie nutzen kann, für eine Konferenz. Höchsten vlt. wenn sowieso mit einem VR-Headset gearbeitet wird. Und im Heimgebrauch beim Zocken will ich meistens nicht, dass mein eigenes Gesicht verwendet wird. Da wäre dann die Überlegung, ob man die Animationen auf jeden beliebigen Avatar übertragen könnte. Das würde dann schon einen mehrwert bei Multiplayergames darstellen, dürfte aber (wie auch im Artikel genannt) noch einige Jährchen dauern, bis man soweit ist.
