NVIDIA представила детальний огляд технології DLSS 5 на конференції SIGGRAPH, розвіявши сумніви щодо складності реалізації штучного інтелекту в апскейлері. На відміну від простої генерації зображень, новий інструмент включає комплексну систему контролю та адаптації.
Три моделі та гнучке налаштування
Ядро DLSS 5 складається з трьох різних генеративних моделей, які розробники можуть вибирати залежно від потреб сцени. Кожна модель (Модель А, Модель B та Модель C) видає унікальну варіацію однієї й тієї ж відрендереної сцени, дозволяючи студіям змінювати підхід протягом однієї гри.
Система DLSS 5 надає розробникам два основних інструменти керування:
- Інтенсивність структури — впливає на високочастотні деталі, затінення, відбиття та підповерхневе розсіювання
- Інтенсивність тону — контролює масштабніші аспекти, такі як освітлення, колір та загальний вид
Збереження художнього задуму
Одна з найбільших проблем, яку вирішив апскейлер DLSS 5, стосується зберігання авторського наміру дизайнерів. На відміну від традиційних генеративних моделей ШІ, які можуть непередбачуваного змінювати деталі (риси обличчя, шрами, елементи одягу), NVIDIA використовує вихідно відрендерені кадри та внутрішні дані рушія — альбедо, нормалі поверхні та інформацію про освітлення.
Апскейлер обробляє цей матеріал для покращення тіней, відбиттів та інших візуальних елементів, залишаючи композицію, геометрію та камеру незмінними.
Причинно-наслідковий рендеринг та маскування
DLSS 5 працює в причинно-наслідковому режимі, обробляючи один кадр за раз без аналізу наступних. Це критично важливо для гейм-девелопменту, де миттєва реакція на дії гравця є обов’язковою. Вектори руху та дані рушія зменшують мерехтіння та артефакти між кадрами.
Система також підтримує автоматичне маскування персонажів, коли модель самостійно визначає фігуру й застосовує ефект виключно до неї. Розробники можуть створювати додаткові маски в рушії для окремих об’єктів, надаючи кожній незалежні налаштування структури та тону.
Оптимізація продуктивності
NVIDIA поєднала знання з більших генеративних моделей у компактний однокроковий трансформер дифузії в піксельному просторі. Модель спеціалізована виключно на покращенні вихідних ігрових кадрів, а не на необмеженій генерації контенту. Апскейлер DLSS 5 працює на одному графічному процесорі з ефективним розподіленням пам’яті.
NVIDIA підкреслює, що DLSS 5 розширює наявні конвеєри растеризації, рейтрейсингу та трасування шляху, а не замінює їх. Технологія визначається як третя категорія нейронного рендерингу поряд з реконструкцією та апроксимацією функцій.
Офіційний релізу DLSS 5 запланований на осінь. Наразі NVIDIA коригує елементи управління на основі зворотного зв’язку розробників та художників. Натяки на технологію вже з’явились у оновленні NVIDIA GeForce Game Ready.
