엔비디아 CEO도 엉성한 AI를 싫어한다며, 증거가 있음에도 불구하고 DLSS 5가 더 많은 문제를 일으키지 않을 것이라고 약속했다

엔비디아의 젠슨 황 CEO는 자신도 AI로 무분별하게 만든 저품질 콘텐츠를 좋아하지는 않지만, DLSS 5가 게임을 그런 식으로 만들려는 것은 아니라고 분명히 밝혔다. 오히려 DLSS 5는 개발자들이 개발에 활용할지 말지 선택할 수 있는 도구일 뿐이다.

엔비디아가 GTC에서 새로운 AI 기반 도구를 발표한 지 일주일 후, 렉스 프리드먼의 최신 팟캐스트 에피소드에 출연한 황 CEO는 DLSS 5와 이에 대한 비판에 대한 질문을 받았다. 황 CEO는 불과 며칠 전만 해도 DLSS 5를 비판하는 모든 이들을 "완전히 틀렸다"고 단언했던 것과 달리, 이제는 비판의 근원이 어디인지 이해하게 되었다고 밝혔다.

"저는 그들의 관점이 타당하다고 생각하며, 그들의 입장이 이해가 갑니다. 저 역시 AI로 만든 엉성한 결과물을 좋아하지 않기 때문이죠. 아시다시피, AI로 생성된 콘텐츠는 점점 비슷해 보이고, 모두 아름답게 보이지만... 그래서 저는... 그들의 생각을 공감할 수 있습니다,"라고 황은 말했다.

DLSS 5가 게임을 AI로 만든 엉성한 결과물로 만들 가능성에 대해 언급하며, 황은 이 도구가 전적으로 개발자들의 손에 달려 있으며 그들의 통제 하에 있다고 재차 강조했다.

"DLSS 5는 3D 조건에 따라 작동하며, 3D 지침을 따릅니다. 이는 실제 구조 데이터에 기반한 지침을 따르는 것이죠. 아티스트가 지오메트리를 결정하면, 우리는 [매 프레임마다 그 지오메트리에] 완전히 충실합니다,"라고 그는 이어 말했다. "이는 텍스처와 아티스트의 예술성에 의해 결정됩니다. 따라서 모든 프레임에서 향상은 시키지만, 변경하지는 않습니다."

이는 DLSS 5 발표 이후 엔비디아가 강조해 온 메시지와 일치한다. 엔비디아는 이 기술이 원본 장면의 구조와 의미를 변경하지 않으면서도 직물의 광택이나 머리카락에 비치는 빛의 상호작용 등을 향상시킬 수 있다고 명시적으로 밝힌 바 있다. 또한 발표를 통해 개발자들이 강도, 색보정, 마스킹 등 구현의 다양한 측면을 제어할 수 있을 것이라고 언급했다.

하지만 이는 유튜브 크리에이터 다니엘 오웬(Daniel Owen)과 DLSS 5의 작동 방식을 더 자세히 설명한 또 다른 엔비디아 직원의 발언과는 대조적이다. 오웬은 엔비디아의 지포스 에반젤리스트인 제이콥 프리먼과 대화하며, DLSS 5가 게임에서 정적인 2D 렌더링 프레임을 가져와 이를 모델이 향상시킬 유일한 입력으로 사용하는지 직설적으로 물었습니다. 프리먼은 이메일을 통해 "네, DLSS 5는 2D 프레임과 모션 벡터를 입력으로 사용합니다"라고 답했습니다.

이어 오웬은 DLSS 5가 게임 엔진에 존재하는 기본 3D 지오메트리 데이터에 접근할 수 있는지, 아니면 DLSS가 스크린샷을 찍어 생성형 AI 모델에 보정하도록 요청하는 방식과 유사한지 물었습니다. 이에 대한 프리먼의 답변은 엔비디아의 이전 설명과 일치했는데, 모델이 복잡한 장면을 이해하도록 훈련받았다고 밝히면서도, 결국 이 모든 작업이 "단일 프레임을 분석"함으로써 이루어진다고 결론지었습니다. 이는 모델이 현재 렌더링된 프레임과 그 직후의 프레임 외에는, 모델이 구현된 게임으로부터 직접적인 정보를 제공받지 못함을 시사합니다.

이는 오웬이 영상 전반에 걸쳐 언급한 바와 같이, 캐릭터 모델에 원래 3D 모델에는 전혀 존재하지 않는 추가적인 머리카락이나 메이크업 같은 디테일이 나타나는 이유를 설명해 줄 수 있습니다. DLSS 5는 단 하나의 프레임만을 가정하여 이러한 개선 사항을 추론해 내기 때문입니다. 이는 황이 이번 인터뷰에서 설명한 것보다 훨씬 덜 정교하게 들릴 수 있지만, 그가 이 도구가 아티스트들이 원래 의도했던 것과는 완전히 다른 아트 스타일로 게임을 개선하는 데 유용할 것이라고 생각하는 이유를 설명해 줄 수 있습니다.

"...앞으로 '툰 셰이더로 만들어 줘'라고 지시할 수 있게 될 겁니다. '대충 이런 느낌으로 만들어 줘'라고 예시를 제시하면, 그 스타일에 맞춰 생성해 줄 거예요. "아티스트의 예술성, 스타일, 의도와 완벽하게 일치하는 결과물이 나올 겁니다. 이 모든 작업은 아티스트를 위해 이루어지므로, 아티스트는 자신이 원하는 스타일을 유지하면서도 더 아름다운 작품을 만들 수 있게 될 것입니다,"라고 황은 결론지었습니다.

2025년 10월, 콘텐츠 해외 유통 협회(CODA)는 스튜디오 지브리 영화의 툰 아트 스타일을 사용해 생성된 이미지와 동영상이 쏟아져 나오자, 자사가 대표하는 저작권 보호 콘텐츠로 모델 훈련을 중단해 달라고 OpenAI에 공개 서한을 보냈다. OpenAI는 이전에 사용자가 최신 Sora 2 모델에 프롬프트를 입력해 제공된 이미지와 동영상에 셰이더를 적용할 수 있도록 허용했었다.