Intégration de Nvidia DLSS et flux de travail professionnels en studio pour les projets de jeux AA basés sur Unreal Engine 5

Introduction aux architectures de rendu avancées et besoin de mise à l'échelle

Dans l'industrie moderne du jeu vidéo, les studios AA (Double-A), bien qu'ils ne disposent pas des budgets AAA et des équipes de centaines de personnes, sont les utilisateurs les plus agressifs des innovations technologiques, visant à atteindre des objectifs de qualité visuelle élevés. Le lancement du moteur Unreal Engine 5 (UE5) a repoussé les limites du photoréalisme avec le système de géométrie virtuelle Nanite et la solution d'éclairage global entièrement dynamique Lumen. Cependant, ces technologies révolutionnaires imposent une charge de calcul immense aux unités de traitement graphique (GPU). 1 La technologie Lumen, pour atteindre l'objectif de 60 images par seconde (FPS), doit réduire la résolution interne à un niveau bien inférieur à la résolution native de l'écran (par exemple, un rendu interne en 1080p sur un écran 4K). 1 À ce stade, la méthode standard de l'industrie pour surmonter les limitations matérielles et multiplier les performances tout en préservant la fidélité visuelle consiste à utiliser des algorithmes de reconstruction d'image assistés par intelligence artificielle. L'architecture Deep Learning Super Sampling (DLSS) de Nvidia, leader de l'industrie dans ce domaine, est une technologie complexe qui, au lieu d'agrandir les pixels par des méthodes spatiales traditionnelles, synthétise les pixels manquants via des réseaux neuronaux en utilisant les vecteurs de mouvement et les tampons de profondeur obtenus à partir d'images consécutives. 3 Pour un studio AA professionnel, l'ajout du DLSS au projet n'est pas seulement une simple activation de plugin ; c'est un problème d'ingénierie multidimensionnel qui nécessite une synchronisation complète du pipeline de rendu, de la gestion du code source, des processus d'assurance qualité (QA) et des flux de travail des artistes. Ce rapport examine en profondeur comment les architectures DLSS 3.5, DLSS 4 et Streamline SDK sont intégrées dans les projets Unreal Engine 5 au sein d'un environnement professionnel.

Cadre du Streamline SDK et fondations architecturales

Nvidia a développé le Streamline SDK afin de moderniser l'intégration du DLSS et d'alléger la charge d'intégration pesant sur les développeurs de jeux. Streamline est un cadre open source indépendant des fabricants de matériel (IHV) qui agit comme une couche intermédiaire (interposer) entre le moteur de jeu et les API de rendu telles que DirectX 11, DirectX 12 ou Vulkan. 6

Par le passé, les développeurs devaient écrire manuellement des hooks d'API distincts dans le pipeline de rendu du moteur de jeu pour chaque technologie de mise à l'échelle (upscaling), comme Nvidia DLSS, AMD FidelityFX Super Resolution (FSR) et Intel XeSS. 6 L'architecture Streamline réduit ce processus à un point d'intégration unique. Le développeur étiquette une fois les ressources telles que les vecteurs de mouvement, les tampons de profondeur et les tampons de couleur de l'interface utilisateur (UI), puis alimente ces données dans le cadre Streamline. 6 Streamline utilise ces données pour exécuter tous les plugins de mise à l'échelle pris en charge à l'étape appropriée du pipeline graphique.

Cycle de vie de l'intégration Streamline au niveau du C++ et du moteur

Le lancement et la gestion du Streamline SDK doivent se produire lors des premières étapes de chargement du moteur. Le processus d'initialisation est effectué via la fonction slInit avant tout appel d'API DirectX ou Vulkan. 8 À ce stade, le moteur charge les fonctionnalités prises en charge et demandées, mais ne les initialise pas encore. Le fonctionnement complet des fonctionnalités est déclenché par la création d'un périphérique (device) d'API de rendu par le moteur. 9 La structure suivante montre comment la bibliothèque Streamline est initialisée via C++ :

#include <sl.h>
#include <sl_consts.h>
#include <sl_dlss.h>

sl::Preferences pref{}; 
pref.showConsole = false;  
pref.logLevel = sl::eLogLevelDefault; 
pref.applicationId = myId;  
pref.engineType = sl::eEngineTypeUnreal;  

if (SL_FAILED(res, slInit(pref))) { 
    if (res == sl::Result::eErrorDriverOutOfDate) { 
        // Vérifier si le pilote est obsolète
    } 
} 

À ce stade, les protocoles de sécurité sont d'une importance capitale. Les studios professionnels doivent vérifier les doubles signatures numériques Nvidia et Streamline du fichier sl.interposer.dll afin d'empêcher les logiciels de triche (DLL hijacking) dans les jeux multijoueurs. 6 Avant de passer à l'étape de production (Shipping), les bibliothèques avec filigrane (watermarked) utilisées lors du processus de développement doivent impérativement être remplacées par des bibliothèques signées et prêtes pour la production. 6

Évolution et structure modulaire de la technologie DLSS

Dans l'environnement Unreal Engine 5, le DLSS n'est pas une fonctionnalité unique, mais un ensemble de technologies. 3 Les studios décident quels modules de ce package utiliser en fonction de la nature du projet :

1. DLSS Super Resolution (SR) : Il s'agit de la forme de base de la mise à l'échelle de résolution. En utilisant les cœurs Tensor, il produit une sortie haute résolution et détaillée à partir d'une entrée basse résolution. 3

2. DLSS Frame Generation (FG) : Introduite avec le DLSS 3, cette fonctionnalité utilise l'intelligence artificielle pour synthétiser une image entièrement nouvelle entre deux images de rendu réelles. Elle peut doubler les performances en surmontant les goulots d'étranglement traditionnels du CPU. 6

3. DLSS Multi Frame Generation : Il s'agit de la fonctionnalité la plus récente introduite avec les GPU de la série RTX 50 et le DLSS 4. Elle a la capacité de générer jusqu'à 3 images artificielles par image traitée. 10

4. DLSS Ray Reconstruction (RR) : Dans les scènes utilisant le Ray Tracing et le Path Tracing, il s'agit d'un modèle d'intelligence artificielle qui remplace les débruiteurs (denoisers) traditionnels réglés manuellement, offrant une stabilité temporelle bien supérieure. 3

5. Nvidia Reflex : Il s'agit d'une technologie à faible latence qui synchronise les files d'attente CPU et GPU pour compenser la latence de traitement temporelle créée par la Frame Generation. Elle est fournie directement avec le plugin Streamline. 6

Flux de travail des studios professionnels : Perforce, contrôle de source et processus de compilation

Alors que les développeurs indépendants (Indie) gèrent généralement leurs projets sur leurs disques locaux ou avec des outils de synchronisation simples basés sur le cloud, les structures de fichiers complexes des studios AA et AAA imposent l'utilisation de systèmes de contrôle de version standard de l'industrie. Les projets Unreal Engine sont généralement constitués d'innombrables fichiers binaires (binary assets) qui ne sont pas basés sur du texte et qui peuvent atteindre des dizaines de téraoctets.

Pourquoi Perforce (Helix Core) plutôt que Git ?

Bien que Git soit le standard de fait dans le monde du logiciel, une écrasante majorité des studios de jeux professionnels préfèrent l'infrastructure Perforce (Helix Core). 13 Git est par nature un système distribué et, bien qu'il fasse des merveilles pour les opérations de fusion (merge) de code textuel, il n'a pas été conçu pour gérer de gros fichiers binaires. 15 Même si le plugin Git LFS (Large File Storage) est utilisé comme correctif, il offre une expérience abstraite et complexe pour les artistes. L'avantage le plus critique de Perforce est sa structure centralisée et sa fonctionnalité "Exclusive Checkout" (Extraction exclusive). Lorsqu'un artiste d'environnement travaille sur une carte Unreal Engine (.umap) massive ou sur un fichier d'animation de personnage, il verrouille le fichier via Perforce. Cela empêche d'autres artistes d'apporter des modifications simultanées au même fichier, réduisant ainsi à zéro les conflits de fichiers binaires impossibles à fusionner. 16 De plus, grâce à son intégration native dans le moteur de jeu, Perforce permet de versionner les modifications de matériaux ou de textures directement depuis l'interface du moteur (in-engine). 13

Compilations de moteur personnalisées (Custom Engine Builds) et intégration DLSS

Les studios AA utilisent rarement les versions de moteur standard précompilées fournies via l'Epic Games Launcher. Ils compilent le moteur à partir du code source afin d'effectuer des optimisations au niveau C++, de modifier la gestion de la mémoire ou d'accrocher des plugins profonds comme Streamline en fonction des besoins spécifiques du jeu. 17 L'intégration du DLSS commence précisément par cette intégration du code source C++. Nvidia héberge ses propres branches modifiées d'Unreal Engine sur GitHub. 19 Au cours du processus d'intégration, le développeur occupant le rôle de "Build Engineer" au sein du studio suit les étapes suivantes :

1. La branche de plugin spécifique du dépôt de Nvidia (par exemple, dlss3/sl2-5.1-dlss-plugin ou la branche actuelle pour la version UE correspondante) est clonée. 20

2. Les hooks Streamline sont fusionnés (merge) avec le dépôt de code moteur principal (main) du studio. 19

3. Si la version la plus récente du moteur (par exemple 5.5.1) est utilisée et que le support officiel DLSS n'a pas encore été publié, le studio doit intégrer les correctifs non officiels (unofficial patches) issus de la communauté dans la base de code et soumettre ces codes à des tests de stabilité. 21

Intégration continue (CI/CD) et pipelines de distribution

Une fois le code source du moteur et les plugins fusionnés, l'automatisation entre en jeu pour éviter que les artistes et les concepteurs n'attendent des heures chaque matin pour la compilation du moteur. Des outils d'intégration continue (CI/CD) tels que Jenkins, GitHub Actions ou le système Horde d'Epic Games recompilent automatiquement Unreal Engine sur des serveurs cloud ou des fermes de compilation locales (build farms) à chaque modification de code importante effectuée dans le dépôt Perforce. 22 Une fois la compilation terminée, les énormes fichiers binaires (Binaries) résultants sont distribués à l'équipe via Perforce ou des outils internes dédiés. 22 Dans ce processus, les règles p4ignore ou les règles de typométrie de Perforce doivent être réglées avec une extrême précision. Alors que les bibliothèques de liaison dynamique (DLL) de Streamline, telles que sl.interposer.dll et nvngx_dlss.dll, doivent être conservées sous contrôle de version, les fichiers de cache de données compilées (Derived Data Cache - DDC) créés sur les machines des développeurs ne doivent pas être envoyés vers le dépôt. 18 Cela évite le gonflement du dépôt et le trafic réseau inutile.

Problèmes d'optimisation rencontrés dans le pipeline de rendu et solutions

L'ajout du plugin DLSS au projet (activation via le menu Edit -> Plugins) n'est que l'étape la plus simple du processus. 19 L'effort d'ingénierie réel est consacré aux points où le modèle d'intelligence artificielle entre en conflit avec les passes de rendu complexes d'Unreal Engine 5.

Conflits entre Temporal Anti-Aliasing (TAA) et Temporal Super Resolution (TSR)

Unreal Engine 5 utilise l'algorithme Temporal Super Resolution (TSR) développé par Epic Games comme solution de mise à l'échelle (upscaling) par défaut. 24 Le TSR et le DLSS sont tous deux des algorithmes temporels qui produisent de nouvelles images en évaluant les données provenant des images précédentes (history frames). Leur fonctionnement simultané non seulement consomme la bande passante du processeur graphique, mais conduit également à une "lutte" pour les ressources matérielles, produisant de lourds artefacts visuels. 25 Dans les flux de travail professionnels, le TSR doit être immédiatement désactivé lorsque le DLSS est activé. Lorsque les développeurs règlent les modes de qualité via Blueprint ou C++, le DLSS écrase (override) et désactive automatiquement le paramètre de pourcentage d'écran intégré du moteur (r.screenpercentage). 25 Cela élimine la charge pour le développeur de calculer manuellement le pourcentage d'écran.

Le tableau suivant détaille les correspondances de pourcentage d'écran standard des modes DLSS et leurs scénarios d'utilisation :

Vecteurs de mouvement (Motion Vectors) et problème de flou cinétique (Ghosting)

La plus grande faiblesse des algorithmes de reconstruction basés sur l'intelligence artificielle réside dans les artefacts de traînée (ghosting) et de maculage (smearing). Pour suivre le mouvement des objets, le DLSS demande des vecteurs de mouvement (Motion Vectors) au sein du G-Buffer depuis le pipeline de rendu. Si un objet se déplace à l'écran mais ne génère pas de vecteur de mouvement, le DLSS suppose que les pixels de cet objet restent immobiles. Lorsque la nouvelle image est dessinée, les données de l'ancienne image persistent à l'écran, laissant une longue traînée (queue) derrière l'objet.

Correction des erreurs de décalage de position dans le monde (World Position Offset - WPO) et de la végétation (Foliage)

Dans Unreal Engine 5, le domaine où ce problème se manifeste le plus fréquemment est celui des arbres et de l'herbe dotés d'effets de vent. À des fins d'optimisation, le moteur ne génère par défaut aucun vecteur de mouvement pour la végétation dont les sommets (vertices) sont animés sur le GPU via les nœuds de shader WPO (World Position Offset).

Pour résoudre ce problème chronique, les artistes techniques (Technical Artists) des studios AA interviennent en profondeur dans les fichiers de configuration du moteur (DefaultEngine.ini). Tout d'abord, il est impératif d'activer le paramètre "Support Accurate Velocities from Vertex Deformation" dans les panneaux de détails des matériaux WPO animés. Ensuite, les variables de console (CVars) suivantes sont utilisées pour forcer la passe de rendu :

• r.BasePassForceOutputsVelocity=1 : Force la passe de rendu de base (Base Pass) à générer des données de vélocité en toutes circonstances. Cette opération élimine largement le ghosting mais entraîne un coût de performance en raison de l'augmentation de la largeur de bande mémoire du GPU.

• r.NGX.DLSS.DilateMotionVectors=1 : Permet d'élargir les vecteurs de mouvement vers l'extérieur au niveau des bords des objets. Cela garantit que le DLSS capture mieux les pixels dans les scènes comportant une géométrie fine (feuilles, câbles).

• r.Shadow.Virtual.NonNanite.IncludeInCoarsePages=0 : Les mouvements induits par le WPO provoquent une invalidation constante du cache des cartes d'ombrage virtuelles (Virtual Shadow Maps - VSM), entraînant des chutes de performance massives. Cette commande exclut la végétation non Nanite des pages d'ombrage grossières pour restaurer les performances.

Gestion des modèles d'intelligence artificielle : Préréglages DLSS (Presets)

La puissance du DLSS réside dans la fourniture de différents modèles d'intelligence artificielle continuellement entraînés sur les supercalculateurs NVIDIA. Les développeurs peuvent choisir les différents modèles intégrés dans le fichier nvngx_dlss.dll en fonction du style visuel spécifique du jeu. Ces paramètres sont désignés sous les noms de préréglages J, K, L et M.

Par exemple, dans un jeu purement basé sur la rastérisation (sans ray tracing), le préréglage M est privilégié car il améliore les performances tout en réduisant le ghosting. Bien que le préréglage M offre des performances de pointe sur les séries RTX 40 et supérieures, il peut causer des problèmes de stabilité sur les générations précédentes. D'autre part, si le jeu intègre un Ray Tracing intense ou si le DLSS Ray Reconstruction est actif, le préréglage M peut rendre l'image excessivement bruitée (noisy) ; dans ces scénarios, l'utilisation du préréglage K améliore considérablement la stabilité de l'image.

Tampons d'interface utilisateur (UI) et ordre du post-processing

Même si le monde en trois dimensions du jeu est rendu à la perfection, les éléments de l'ATH (HUD) en deuxD superposés à l'écran ou les widgets 3D placés dans le monde du jeu (World Space) peuvent être ruinés par DLSS Frame Generation.

Mécanisme de couleur et d'alpha de l'interface utilisateur (TagUIColorAlpha)

Lors de la génération d'images artificielles, Frame Generation considère l'écran comme une toile globale. Si la barre de vie ou le compteur de munitions du jeu se trouve dans un coin de l'écran et que la caméra tourne en dessous, l'algorithme FG déplace et déforme (warp) également les pixels de l'interface avec le mouvement de la caméra. Cette situation provoque un scintillement et un flou sévères de l'interface.

Pour résoudre ce problème critique, NVIDIA a introduit un mécanisme de tampon d'interface utilisateur dédié dans le plugin Streamline. Immédiatement après que le moteur de jeu a rendu la couche d'interface utilisateur (mais avant qu'elle ne soit présentée à l'écran / present), ce système entre en action :

1. Séparation (Separation) : Le développeur isole les pixels de l'interface utilisateur en activant la commande r.Streamline.TagUIColorAlpha=1.

2. Détermination du seuil : En utilisant r.Streamline.TagUIColorAlphaThreshold, les pixels dont la valeur alpha est supérieure à un certain niveau sont étiquetés comme suit : "Ceci est un élément d'interface utilisateur, ne l'incluez pas dans le processus de Frame Gen" (la valeur par défaut est 0.0).

3. Recombinaison : Frame Generation fonctionne uniquement sur le monde 3D, génère les images artificielles, et lors de la dernière étape, la couche d'interface utilisateur isolée est superposée (composite) sur ces images avec sa netteté d'origine.

Le plus grand piège pour les développeurs ici est d'utiliser l'ancienne méthode UWidgetBlueprintLibrary::DrawText à la place des widgets UMG. Étant donné que cette fonction n'écrit pas dans le canal alpha, elle ne peut pas être détectée comme une interface utilisateur par Streamline, ce qui entraîne des distorsions à l'écran. De même, pour les widgets 3D dans le monde du jeu, si le mode de mélange (blend mode) du matériau est changé de Masked à Translucent (Translucide), les flous induits par TSR et DLSS peuvent être réduits.

Positionnement des effets de post-traitement (Post-Processing)

Les effets de post-traitement tels que le grain de film (Film Grain), l'aberration chromatique (Chromatic Aberration), les reflets lenticulaires (Lens Flare) et la profondeur de champ (Depth of Field), qui visent à imiter l'esthétique des cinéastes, sont les plus grands ennemis des suréchantillonneurs d'images par intelligence artificielle.

Le DLSS est entraîné pour prendre une image propre et la mettre à l'échelle vers une résolution plus élevée. Si un bruit de grain de film artificiel est ajouté à l'image avant que le traitement DLSS ne soit effectué dans le pipeline de rendu, le réseau de neurones du DLSS percevra ce grain comme une "erreur" ou un "artefact de basse résolution". L'algorithme essaiera de corriger (denoise) ces grains, ce qui rendra l'image boueuse et floue.

Les studios professionnels contrôlent strictement l'ordre de rendu des matériaux de post-traitement. Les effets optiques (grain, aberration chromatique) doivent toujours être appliqués une fois que le processus DLSS est terminé et que l'image a atteint la résolution plein écran. De plus, le paramètre de netteté (Sharpening) intégré au DLSS peut être utilisé indépendamment du pipeline de post-traitement pour éliminer le léger flou causé par les profils DLSS de basse qualité.

Assurance Qualité (QA), Profilage et Validation des Performances

Une fois l'intégration technique achevée, un processus agressif de profilage des performances et d'assurance qualité est initié pour s'assurer que le jeu atteint la qualité de commercialisation (Shipping Quality). Les outils par défaut du moteur ne fonctionnent pas toujours en parfaite harmonie avec l'architecture Streamline.

Outils de profilage avancés et lectures de métriques

Il est trompeur pour les développeurs de s'optimiser en se basant uniquement sur le compteur de FPS. Unreal Engine n'a pas conscience des images supplémentaires générées entièrement par l'intelligence artificielle via Frame Generation. Dans une situation où le moteur indique qu'il produit 60 images par seconde, le hardware peut en réalité en fournir 120 au moniteur.

Par conséquent, les studios AA n'utilisent pas le stat fps standard, mais plutôt les outils et commandes spécifiques suivants :

• stat dlssg : Cette commande de console affiche à l'écran la fréquence d'images réelle de l'écran en tenant compte des images artificielles générées, ainsi que la charge de calcul (overhead) de Frame Generation sur la carte graphique en millisecondes (ms).

• Unreal Trace Insights & GPU Profiler : Examine les goulots d'étranglement du pipeline de rendu avec une précision de l'ordre de la microseconde. Il détaille la durée de chaque passe de rendu (Base Pass, VisBuffer, Lighting). Les temps Nanite VisBuffer et HZB (Hierarchical Z-Buffer) y sont optimisés.

• Nvidia FrameView SDK et ICAT : Les équipes d'AQ mesurent les temps de latence et la consommation d'énergie du matériel avec FrameView, tout en effectuant des tests A/B à l'aide de Nvidia ICAT (Image Comparison and Analysis Tool). Ces outils sont utilisés pour détecter les pertes de qualité microscopiques dans les grillages, les cheveux ou les détails lointains entre la résolution native et la résolution DLSS.

Liste de contrôle de validation de l'intégration (QA Checklist)

Il existe une liste de contrôle Streamline stricte que les équipes techniques doivent valider avant la sortie du jeu. Le tableau suivant résume les rubriques critiques de cette liste de contrôle et les conditions à vérifier :

La grande majorité de ces tests ne peut pas être effectuée au sein d'Unreal Editor. Frame Generation présente de sérieuses limitations lorsqu'il fonctionne sur plusieurs fenêtres PIE (Play-In-Editor) ou sur une vue (viewport) sélectionnée. Pour obtenir un profilage sain et des résultats d'AQ valides, il est impératif d'exécuter le jeu en mode "Standalone Game" ou directement compilé dans sa version de package de distribution (Shipping Build).

Évaluation finale

Dans les projets AA basés sur Unreal Engine 5, l'intégration de Nvidia DLSS va bien au-delà d'un simple paramètre de menu ; c'est un pont technologique complet s'étendant à l'architecture fondamentale du moteur, au code source et aux stratégies de contrôle de version du studio. En utilisant des standards de l'industrie tels que Perforce, les studios surmontent les crises de gros fichiers binaires tout en automatisant des compilations de moteurs personnalisées grâce aux systèmes CI/CD pour intégrer le SDK Streamline dans leur propre infrastructure. 20

Ce processus, qui s'étend de l'optimisation des vecteurs de mouvement à la séparation des canaux alpha de l'interface utilisateur, de l'organisation de la hiérarchie du post-processing aux réglages fins à la microseconde des outils de profilage, ne peut être réussi qu'avec une synchronisation parfaite entre les artistes techniques, les ingénieurs de rendu et les experts en AQ. 20 En fin de compte, cette approche d'ingénierie disciplinée et méthodique est l'outil le plus critique permettant aux studios AA d'offrir aux joueurs une expérience de qualité AAA, fluide, visuellement irréprochable et réactive, même avec des budgets matériels restreints.

*Information : Les visuels ont été générés par Google Gemini.