NVIDIA vereinfacht AI-angetriebene MetaHuman-Implementierung mit neuen ACE-Plugins und Microservices

Das Unreal Fest Seattle 2024 ist gestartet und NVIDIA kündigte die Veröffentlichung von neuen On-Device-Plugins für NVIDIA ACE in der Unreal Engine 5 an. Damit werden die Erstellung und der Einsatz von AI-gesteuerten MetaHuman-Charakteren auf Windows-PCs vereinfacht. Den vollständigen Blog-Beitrag gibt es hier zum Nachlesen.

Die wichtigsten Highlights:

Neue Unreal Engine 5 ACE Plugins:
• Audio2Face-3D Plugin: Ermöglicht AI-gesteuerte Lippensynchronisation und Gesichtsanimation direkt in der Unreal Engine 5.
• Nemotron-Mini 4B Instruct Plugin: Ermöglicht die Generierung von Dialogen mit interaktiven Charakteren.
• Retrieval Augmented Generation (RAG) Plugin: Liefert kontextbezogene Informationen, um die Interaktionen zwischen den Charakteren zu verbessern.

Audio2Face-3D Plugin für Autodesk Maya:
• Ermöglicht hochwertige, audiogesteuerte Gesichtsanimationen in Maya.
• Enthält den Quellcode zur Anpassung und Integration in andere Tools zur Erstellung digitaler Inhalte.
• Optimiert den Workflow zwischen Maya und Unreal Engine 5.

Unreal Engine 5 Renderer Microservice mit Pixel Streaming:
• Verwendet die Unreal Pixel Streaming-Technologie von Epic.
• Unterstützt ab sofort den NVIDIA ACE Animation Graph Microservice und Linux OS im Early Access.
• Ermöglicht es Entwicklern, MetaHuman-Charaktere mit hoher Wiedergabetreue über Web Real-Time Communication (WebRTC) auf alle Endgeräte zu übertragen.

Vorzüge für Entwickler:
• Vereinfacht die Integration von AI-gesteuerten digitalen Personen in Spiele und Applikationen.
• Optimierte Microservices für geringe Latenzen und minimalen Speicherbedarf auf Windows-PCs.
• Verbessert die Skalierbarkeit für die Cloud-basierte Implementierung von digitalen Menschen.
• Bietet anpassbare Tools und Quellcode für individuelle Bedürfnisse bei der Entwicklung.

Entwickler können einen frühzeitigen Zugang beantragen, um den Unreal Engine 5 Renderer Microservice mit Unterstützung für Animation Graph Microservice und Linux OS herunterzuladen. Das Maya ACE-Plugin steht auf GitHub zum Download bereit.