How AI could achieve ultimate photo realism in video games

Wie man mit KI ultimativen Foto-Realismus in Computerspielen erreichen könnte.

Die Grafikqualität in Games hat so vor 10 Jahren mit Spielen wie Red Dead Redemption 2, The Last of Us und Witcher 3 ein Plateau erreicht. Die Auflösung ist vielleicht ein bisschen besser geworden und wir haben auch besseres Lighting mit Ray-Tracing bekommen, aber die Grafik noch weiter zu verbessern, wird immer schwieriger. Diminishing Returns.

Die Anzahl der Polygone weiter zu erhöhen, bringt uns nicht mehr weiter.

Um den Uncanny-Valley-Effekt zu vermeiden, streben Spieleentwickler daher immer eine Balance zwischen Foto-Realismus und Animations-Stil an.

KI-Systeme wie Genie 3 oder Grok Imagine könnte die Art, wie die Grafik in Computerspielen gerendert wird, in Zukunft dramatisch verändern und erstmals für echten Foto-Realismus sorgen.

Die Idee ist, dass mit Polygonen die Szenerie grob vorgerendert wird und dass dann eine Bild/Video-KI wie Genie 3 oder Grok die Szene fertig rendert. Dadurch wäre es in Zukunft vielleicht möglich Foto-Realismus in Computerspielen ohne den Uncanny-Valley-Effekt zu erreichen.

Vorausgesetzt Gaming-GPUs schaffen es in Zukunft in Echtzeit KI-generierte Videos zu generieren, wovon ich mittelfristig ausgehe.

Diese Idee ist übrigens nicht neu, sondern wurde von Nvidia bereits 2018 ansatzweise in Form von DLSS (Deep Learning Super Sampling) eingeführt. Eine KI skaliert mittlerweile die Grafik in Computerspielen hoch, um die aufwendige Berechnung von Ray-Tracing etc. zu beschleunigen. Das ist bereits Realität.

DLSS könnte in Zukunft auch die Grafikqualität Richtung Foto-Realismus an sich verbessern.

Noch ein Schritt weiter wäre die Grafik überhaupt nicht mehr mit Polygonen zu berechnen, sondern das gesamte Computerspiel von einer KI wie Genie 3 rendern zu lassen.

Was sagt ihr dazu? Denkt ihr werden wir mit KI bald echten Foto-Realismus in Computerspielen erreichen? Rückt das Holodeck immer näher?

Is AI the future of gaming?

https://x.com/elonmusk/status/1954486538630476111

https://x.com/hundenrufus/status/1953646187455644122

https://x.com/CharaspowerAI/status/1954581035779260910

English

How AI could be used to achieve ultimate photorealism in computer games.

The graphic quality in games reached a plateau 10 years ago with games such as Red Dead Redemption 2, The Last of Us, and Witcher 3. The resolution may have improved a bit, and we have also gained better lighting with ray tracing, but further improving the graphics is becoming increasingly difficult. Diminishing returns.

Increasing the number of polygons further will not get us anywhere.

Game developers are therefore always striving to strike a balance between photorealism and animation/comic style in video games to avoid the uncanny valley effect.

AI systems such as Genie 3 or Grok Imagine could dramatically change the way graphics are rendered in computer games in the future and provide true photorealism for the first time.

The idea is that the scenery is roughly pre-rendered with polygons and then an image/video AI such as Genie 3 or Grok finishes rendering the scene. This could make it possible to achieve photo-realism in computer games without the uncanny valley effect in the future.

Provided that gaming GPUs are able to generate AI-generated videos in real time in the future, which I expect to be the case in the medium term.

Incidentally, this idea is not new, but was already introduced by Nvidia in 2018 in the form of DLSS (Deep Learning Super Sampling). AI now scales up the graphics in computer games to speed up the complex calculation of ray tracing, etc. This is already a reality.

In the future, DLSS could also improve the graphic quality itself towards photorealism.

A step further would be to no longer calculate the graphics with polygons at all, but to have the entire computer game rendered by an AI such as Genie 3.

What do you think? Do you think we will soon achieve true photorealism in computer games with AI? Is the holodeck getting closer and closer?