Gaming By Division - Hardwarejunkies 2021

Wat is Nvidia DLSS?

Gepubliceerd: 08-06-2021 - 16:14 Door Division (Redacteur)




DLSS staat voor deep learning super sampling. Het is een soort video weergave techniek die framerates lijkt te verhogen door frames met een lagere resolutie te renderen dan wordt weergegeven en deep learning (een soort AI), te gebruiken om de frames op te schalen, zodat ze er zo scherper uitzien als verwacht bij de oorspronkelijke resolutie. Met DLSS kunnen de frames van een game bijvoorbeeld worden gerenderd met een resolutie van 1080p, waardoor hogere framerates beter haalbaar worden, vervolgens worden opgeschaald en uitgevoerd met een 4K-resolutie, waardoor de beeldkwaliteit scherper is dan 1080p.

Dit is een alternatief voor andere rendering technieken zoals temporal anti-aliasing (TAA), een nabewerkings algoritme waarvoor een RTX-grafische kaart en game ondersteuning nodig zijn (zie de sectie DLSS Games hieronder). Games die met lagere frame snelheden of hogere resoluties worden uitgevoerd, profiteren het meest van DLSS.



Volgens Nvidia kan DLSS 2.0 (de meest voorkomende versie) framerates met 200-300% verhogen (zie het DLSS 2.0-gedeelte hieronder voor meer). De originele DLSS is in veel minder games en we hebben ontdekt dat het minder effectief is, maar Nvidia zegt dat het framerates "met meer dan 70% kan verhogen." DLSS kan echt van pas komen, zelfs met de beste grafische kaarten,bij het gamen met een hoge resolutie of met raytracing, die beide ervoor kunnen zorgen dat framerates aanzienlijk dalen in vergelijking met 1080p.

In onze ervaring is het moeilijk om het verschil te zien tussen een game die wordt gerenderd op native 4K en een game die wordt gerenderd in 1080p en opgeschaald naar 4K via DLSS 2.0 (dat is de 'performance'-modus met 4x opschaling). In beweging is het bijna onmogelijk om het verschil te zien tussen DLSS 2.0 in de kwaliteitsmodus (d.w.z. 1440p opgeschaald naar 4K), hoewel de prestatie winsten niet zo groot zijn.

Voor een vergelijking over hoe DLSS de game prestaties beïnvloedt met ray tracing, zie: AMD vs Nvidia: Welke GPU's zijn het beste voor Ray Tracing?. In die tests gebruikten we DLSS 2.0 alleen in de kwaliteitsmodus (2x opschalen), en de winsten zijn nog steeds vrij groot in de meer veeleisende games.

Toen DLSS voor het eerst werd uitgebracht, beweerde Nvidia dat het meer tijdelijke stabiliteit en beeldhelderheid vertoonde dan TAA. Hoewel dat technisch waar kan zijn, varieert het afhankelijk van het spel en geven we veel de voorkeur aan DLSS 2.0 boven DLSS 1.0. Een Vertegenwoordiger van Nvidia bevestigde ons dat omdat DLSS een vaste hoeveelheid GPU tijd per frame vereist om het deep learning neurale netwerk uit te voeren, games die op hoge framerates of lage resoluties draaien, mogelijk geen prestatieverbetering hebben gezien met DLSS 1.0.

Hieronder staat een video van Nvidia (dus neem het met een korreltje zout), waarbij Cyberpunk 2007-gameplay wordt vergeleken met zowel 1440p-resolutie als 4K met DLSS 2.0 aan versus DLSS 2.0 uit.





DLSS is alleen beschikbaar met RTX-grafische kaarten, maar AMD's versie van deze technologie (AMD Fidelity FX Super Resolution) (FSR), debuteert op 22 juni en is GPU agnostisch, wat betekent dat het zal werken op Nvidia en zelfs Intel GPU's die de nodige hardware functies hebben. Ten minste 10 gamestudio's zullen dit jaar FSR adoptie claimen onder hun games en engines. FSR zal ook beschikbaar zijn op de Xbox Series X en S. We verwachten ook dat de volgende Nintendo Switch DLSS zal hebben via een geïntegreerde SoC ontworpen door Nvidia.

Om DLSS te gebruiken, hebt u een RTX-grafische kaart nodig en moet u een spel of een ander type applicatie spelen dat de functie ondersteunt. Je kunt een volledige lijst met games vinden die zijn aangekondigd om DLSS vanaf 31 mei te hebben via Nvidia en hieronder.

* Amid Evil
* Anthem
* Aron's Adventure
* Battlefield V
* Bright Memory
* Call of Duty: Black Ops Cold War
* Call of Duty: Modern Warfare
* Call of Duty: Warzone
* Control
* CRSED: F.O.A.D. (Formerly Cuisine Royale)
* Crysis Remastered
* Cyberpunk 2077
* Death Stranding
* Deliver Us the Moon
* Doom Eternal
* Dying: 1983
* Edge of Eternity
* Enlisted
* Everspace 2
* F1 2020
* Final Fantasy XV
* Fortnite
* Ghostrunner
* Gu Jian Qi Tan Online
* Icarus
* Into the Radius VR
* Iron Conflict
* Justice
* LEGO Builder's Journey
* Marvel's Avengers
* MechWarrior 5: Mercenaries
* Metro Exodus
* Metro Exodus PC Enhanced Edition
* Minecraft With RTX For Windows 10
* Monster Hunter: World
* Moonlight Blade
* Mortal Shell
* Mount & Blade II: Bannerlord
* Nine to Five
* Naraka: Bladepoint
* No Man's Sky
* Nioh 2 - The Complete Edition
* Outriders
* Pumpkin Jack
* Rainbow Six Seige
* Ready or Not
* Red Dead Redemption 2
* Redout: Space Assault
* Scavengers
* Shadow of the Tomb Raider
* Supraland
* System Shock
* The Ascent
* The Fabled Woods
* The Medium
* The Persistence
* War Thunder
* Watch Dogs: Legion
* Wolfenstein: Youngblood
* Wrench
* Xuan-Yuan Sword VII



Merk op dat Unreal Engine en Unity Engine beide ondersteuning hebben voor DLSS 2.0, wat betekent dat games die deze engines gebruiken, DLSS gemakkelijk moeten kunnen implementeren. Er zijn naast games ook andere soorten apps, zoals SheenCity Mars, een architecturale visualisatie, die DLSS gebruiken:



DLSS 2.0 en DLSS 2.1




In maart 2020 kondigde Nvidia DLSS 2.0 aan,een bijgewerkte versie van DLSS die een nieuw deep learning-neuraal netwerk gebruikt dat tot 2 keer sneller zou moeten zijn dan DLSS 1.0 omdat het de AI-processors van RTX-kaarten, (Tensor Cores genaamd), efficiënter gebruikt. Dit snellere netwerk stelt het bedrijf ook in staat om eventuele beperkingen op ondersteunde GPU's, instellingen en resoluties te verwijderen.

DLSS 2.0 moet ook een betere beeld kwaliteit bieden en tegelijkertijd tot 2-3 keer de framerate beloven (in 4K Performance Mode) in vergelijking met de boost van ongeveer 70% fps van de voorganger. Met behulp van dlss 2.0's 4K-prestatiemodus beweert Nvidia dat een RTX 2060-grafische kaart games op maximale instellingen kan uitvoeren met een afspeelbare framerate. Nogmaals, een game moet DLSS 2.0 ondersteunen en je hebt een RTX-grafische kaart nodig om de vruchten te plukken.

De originele DLSS was blijkbaar beperkt tot ongeveer 2x opschaling (Nvidia heeft dit niet direct bevestigd), en veel games beperkten hoe het kon worden gebruikt. Als je bijvoorbeeld in Battlefield Veen RTX 2080 Ti of snellere GPU hebt, kun je DLSS alleen inschakelen bij 4K , niet bij 1080p of 1440p. Dat komt omdat de overhead van DLSS 1.0 vaak opweegt tegen elk potentieel voordeel bij lagere resoluties en hoge framerates.

In september 2020 bracht Nvidia DLSS 2.1 uit, die een Ultra Performance Mode toevoegde voor super high-resolutie gaming (9x opschaling), ondersteuning voor VR-games en dynamische resolutie. De laatste, vertelde een Nvidia-vertegenwoordiger aan Tom's Hardware, betekent dat: "De invoerbuffer kan dimensies van frame naar frame veranderen terwijl de uitvoergrootte vast blijft. Als de rendering-engine dynamische resolutie ondersteunt, kan DLSS worden gebruikt om de vereiste schaal naar de weergaveresolutie uit te voeren." Houd er rekening mee dat u vaak mensen hoort die verwijzen naar zowel de originele DLSS 2.0 als de 2.1-update als 'DLSS 2.0'.

DLSS 2.0 Selecteerbare module

Een van de meest opvallende wijzigingen tussen de originele DLSS en de chique DLSS 2.0-versie is de introductie van selecteerbare beeldkwaliteits module: Kwaliteit, Gebalanceerd of Prestaties en Ultra prestaties met 2.1. Dit heeft invloed op de weergave resolutie van het spel, met verbeterde prestaties, maar een lagere beeldkwaliteit terwijl je door die lijst gaat.

Met 2.0 bood de prestatie modus de grootste sprong, waarbij games werden opschalen van 1080p naar 4K. Dat is 4x opschalen (2x breedte en 2x hoogte). De gebalanceerde modus maakt gebruik van 3x opschaling en de kwaliteits modus gebruikt 2x opschaling. De Ultra Performance-modus die is geïntroduceerd met DLSS 2.1 maakt gebruik van 9x opschaling en is meestal bedoeld voor gaming met een resolutie van 8K (7680 x 4320) met de RTX 3090. Hoewel het technisch kan worden gebruikt bij lagere doelresoluties, zijn de opschalings artefacten zeer merkbaar, zelfs bij 4K(720p opgeschaald). Kortom, DLSS ziet er beter uit naarmate het meer pixels krijgt om mee te werken, dus hoewel 720p tot 1080p er goed uitziet, zal rendering met 1080p of hogere resoluties een beter eindresultaat bereiken.

Hoe beïnvloedt dat alles de prestaties en kwaliteit in vergelijking met de originele DLSS? Voor een idee kunnen we ons wenden tot Control, dat oorspronkelijk DLSS 1.0 had en vervolgens DLSS 2.0-ondersteuning kreeg toen het werd uitgebracht. (Vergeet niet dat de volgende afbeelding afkomstig is van Nvidia, dus het is verstandig om deze ook met een korreltje zout te nemen.)



Een van de verbeteringen die DLSS 2.0 moet brengen, is een sterke beeldkwaliteit in gebieden met bewegende objecten. De bijgewerkte weergave in de bovenstaande ventilatorafbeelding ziet er veel beter uit dan de afbeelding met DLSS 1.0, die er eigenlijk merkbaar slechter uitzag dan dlss uit.

DLSS 2.0 moet ook een verbetering bieden ten opzichte van standaard DLSS in gebieden van de afbeelding waar details subtieler zijn.



Nvidia beloofde dat DLSS 2.0 zou leiden tot een grotere game acceptaties. Dat komt omdat de originele DLSS het AI-netwerk moest trainen voor elke nieuwe game die DLSS-ondersteuning nodig had. DLSS 2.0 maakt gebruik van een gealdaliseerd netwerk, wat betekent dat het in alle games werkt en wordt getraind met behulp van "niet game specifieke inhoud", volgens Nvidia.

Om een game de originele DLSS te ondersteunen, moest de ontwikkelaar het implementeren en vervolgens moest het AI-netwerk specifiek voor die game worden getraind. Met DLSS 2.0 wordt die laatste stap geëlimineerd. De gameontwikkelaar moet dlss 2.0 nog steeds implementeren, maar het zou veel minder werk moeten kosten, omdat het een algemeen AI-netwerk is. Het betekent ook dat updates van de DLSS-engine (in de stuurprogramma's) de kwaliteit voor bestaande games kunnen verbeteren. Unreal Engine 4 en Unity hebben beide ook DLSS 2.0-ondersteuning toegevoegd, wat betekent dat het triviaal is voor games op basis van die engines om de functie in te schakelen.



Hoe werkt DLSS?



Zowel de originele DLSS als DLSS 2.0 werken samen met Nvidia's NGX-supercomputer voor het trainen van hun respectieve AI-netwerken, evenals de Tensor Cores van RTX-kaarten, die worden gebruikt voor AI-gebaseerde renderingen.

Om een game DLSS 1.0-ondersteuning te bieden, moest eerst Nvidia het DLSS AI-neurale netwerk trainen, een type AI-netwerk genaamd "convolutional auto encoder", met NGX. Het begon met het tonen van het netwerk met duizenden schermopnames van het spel, elk met 64x super sample anti-aliasing. Nvidia toonde ook de neurale netwerk afbeeldingen die geen anti-aliasing gebruikten. Het netwerk vergeleek vervolgens de opnames om te leren hoe de kwaliteit van de 64x super sample anti-aliased afbeelding kan worden benaderd met behulp van bron frames van lagere kwaliteit. Het doel was een hogere beeldkwaliteit zonder de framerate te veel te schaden.

Het AI-netwerk zou dit proces vervolgens herhalen en onderweg zijn algoritmen aanpassen, zodat het uiteindelijk in de buurt zou kunnen komen van het matchen van de 64x-kwaliteit met de afbeeldingen van basiskwaliteit via tracking. Het eindresultaat was "anti-aliasing die de kwaliteit van [64x Super Sampled] benadert, terwijl de problemen met TAA worden vermeden, zoals schermbrede vervaging, beweging gebaseerde vervaging, ghosting en artefacten op transparanten", legde Nvidia in 2018 uit.

DLSS gebruikt ook wat Nvidia "tijdelijke feedback technieken" noemt om scherpe details in de afbeeldingen van de game te garanderen en "verbeterde stabiliteit van frame tot frame." Tijdelijke feedback is het proces van het toepassen van bewegings vectoren, die de richtingen beschrijven waarin objecten in de afbeelding zich over frames bewegen, naar de native / hogere resolutie-uitvoer, zodat het uiterlijk van het volgende frame van tevoren kan worden geschat.

DLSS 2.0 krijgt zijn snelheidsboost via zijn bijgewerkte AI-netwerk dat Tensor Cores efficiënter gebruikt, waardoor betere framerates mogelijk zijn en beperkingen op GPU's, instellingen en resoluties worden geëlimineerd. Team Green zegt ook dat DLSS 2.0 slechts 25-50% van de pixels rendert (en slechts 11% van de pixels voor dlss 2.1 Ultra Performance-modus), en maakt gebruik van nieuwe tijdelijke feedback technieken voor nog scherpere details en betere stabiliteit ten opzichte van de originele DLSS.

Nvidia's NGX-supercomputer moet nog steeds het DLSS 2.0-netwerk trainen, wat ook een convolutie auto encoder is. Er gaan twee dingen in, volgens Nvidia: "lage resolutie, alias afbeeldingen gerenderd door de game-engine" en "lage resolutie, bewegingsvectoren van dezelfde afbeeldingen - ook gegenereerd door de game-engine."

DLSS 2.0 gebruikt die bewegingsvectoren voor tijdelijke feedback, die de convolutie auto ecoder (of DLSS 2.0-netwerk) uitvoert door "het huidige frame met lage resolutie en het vorige frame met hoge resolutie te nemen om pixel voor pixel te bepalen hoe een huidig frame van hogere kwaliteit kan worden gegenereerd", zoals Nvidia het zegt.

Het trainings proces voor het DLSS 2.0-netwerk omvat ook het vergelijken van de afbeeldingsuitvoer met een "ultra-hoge kwaliteit" referentie afbeelding die offline wordt gerenderd in een resolutie van 16K (15360 x 8640). Verschillen tussen de afbeeldingen worden naar het AI-netwerk gestuurd voor leren en verbeteringen. Nvidia's super computer voert dit proces herhaaldelijk uit, op mogelijk tienduizenden of zelfs miljoenen referentie beelden in de loop van de tijd, wat een getraind AI-netwerk oplevert dat betrouwbaar beelden kan produceren met bevredigende kwaliteit en resolutie.

Met zowel DLSS als DLSS 2.0, nadat de training van het AI-netwerk voor de nieuwe game is voltooid, stuurt de NGX super computer de AI-modellen naar de Nvidia RTX-grafische kaart via GeForce Game Ready-stuurprogramma's. Van daaruit kan je GPU de AI-kracht van zijn Tensor Cores gebruiken om de DLSS 2.0 in realtime naast het ondersteunde spel uit te voeren.

Omdat DLSS 2.0 een algemene aanpak is in plaats van getraind te worden door één game, betekent dit ook dat de kwaliteit van het DLSS 2.0-algoritme in de loop van de tijd kan verbeteren zonder dat een game updates van Nvidia hoeft op te nemen. De updates bevinden zich in de stuurprogramma's en kunnen van invloed zijn op alle games die DLSS 2.0 gebruiken.







Bron: Met dank aan: Tom's Hardware



(0) Reacties:

Scroll to Top