NVIDIA AR SDK-Debüts im beliebten OBS-Plugin StreamFX ermöglichen Gesichtserkennung über Standard-Webcam

NVIDIA hat sein mit Spannung erwartetes Augmented Reality (AR) Software Development Kit (SDK) offiziell vorgestellt, das für Live-Streaming-, Gaming- und Videokonferenzplattformen optimiert ist. Die Technologie wurde in StreamFX, einem sehr beliebten OBS-Plugin, eingeführt. Die Technologie verspricht einige erstaunliche Funktionen, einschließlich des Erkennens und Verriegelns von Gesichtern und des Erstellens eines 3D-Netzes eines Gesichts, alles unter Verwendung einer Standard-Webkamera.

NVIDIA hat jetzt das AR SDK für Live-Streaming eingeführt, das Funktionen für künstliche Intelligenz (KI) für die immer beliebter werdenden und weit verbreiteten Tools für Remote-Webkonferenzen, Kommunikation und Zusammenarbeit bietet. Die Technologie soll auch Spielern helfen. Überraschenderweise können Benutzer von der Hinzufügung von KI mit einer Standard-Webcam profitieren, behauptet NVIDIA.

Wie funktioniert das NVIDIA AI AR SDK für Live-Streaming?

Wie erwartet verwendet das NVIDIA AR SDK, auch als NVIDIA RTX Broadcast Engine bekannt, die leistungsstarken und vielseitigen Tensorkerne von NVIDIA RTX-GPUs. Das SDK kann eine schnelle und angeblich qualitativ hochwertige Nachverfolgung über ein exklusives Cloud-basiertes Backend-KI-Netzwerk ermöglichen, das im vergangenen Jahr gestartet wurde. NVIDIA behauptet, dass die Technologie und das Netzwerk eine genaue Gesichtsverfolgung liefern können. Gesichtsmarkierungsverfolgung von Gesichtsform, Lippen, Augen, Augenbrauen und Nase mit 3 Freiheitsgraden; und ein fortschrittliches Gesichtsnetz (eine 3D-Rekonstruktion einer menschlichen Gesichts- und Kopfhaltung) mit 6 Freiheitsgraden.

Das NVIDIA AI AR SDK für Live-Streaming wurde über StreamFX, ein beliebtes Plugin für OBS (Open Broadcaster Software), eingeführt. Das AR SDK ist jetzt auf GitHub verfügbar. Interessierte Entwickler können dasselbe nutzen, indem sie es auch von der NVIDIA-Website herunterladen.

Die neue Version von StreamFX verwendet das SDK, um eine intelligente Kamera zu erstellen, die den Benutzer automatisch zuschneidet und vergrößert und ihn bei jeder Bewegung im Rahmen zentriert hält. Der StreamFX-Autor sprach über die aufregende Neuentwicklung von Michael Fabian 'Xaymar' Dirks.

„Der neue Gesichtsverfolgungsfilter in StreamFX erforderte komplexes mathematisches und maschinelles Lernen, dessen Einstellung auf vielen Maschinen Monate, wenn nicht Jahre gedauert hätte. Dank des AR SDK von NVIDIA war dies jedoch in kürzester Zeit möglich und läuft auf jeder NVIDIA RTX-Hardware, die dank des NVENC H.264-Encoders immer häufiger verwendet wird. Dies hat die notwendige Entwicklungszeit von Jahren auf nur zwei Wochen drastisch reduziert, und das ohne zusätzliche Kosten. “

Was Fabian eindeutig angedeutet hat, war, dass Entwickler jetzt über ein leistungsstarkes SDK verfügen, das NVIDIA eingeführt hat, um die Funktionen und Merkmale mehrerer Plattformen mit AI-basiertem AR erheblich zu verbessern. Unnötig hinzuzufügen, dass Spieleentwickler, Live-Konferenzen sowie Live-Streaming-Plattformen von der NVIDIA-Plattform immens profitieren werden. Zusammenfassend lässt sich sagen, dass das NVIDIA AR SDK, das die Leistungsfähigkeit von AI für Live-Streaming nutzt, die folgenden Funktionen durch eine Standard-Webcam erweitert:

• Verfolgen von Gesichtern auf der Kamera, um ein oder mehrere Motive auf einem Bild zu identifizieren,
• Überlagern von Vermögenswerten auf eine Person, um Kostüme oder Effekte auf Personen zu setzen,
• Steuern eines animierten oder Spielcharakters mit Ihren Gesichts- und Kopfbewegungen.

Es ist wichtig zu beachten, dass NVIDIA sein AR SDK als offene Beta-Plattform angeboten hat. Dies bedeutet eindeutig, dass Entwickler mit einigen Fehlern rechnen sollten, und empfiehlt, diese an NVIDIA zu melden, um die Plattform weiter zu optimieren.