1. When applying graphics presets like “Ultra Nightmare,” enabling ray tracing for GPUs with 8 GB or 6 GB frame buffers requires enabling DLSS and adjusting the texture pool size to fit within allocated memory. 2. Are you using the latest update of windows 10? I remember I had this issue with not being able to use ray tracing in the Resident Evil 8 demo until I got the 20H2 update.
Это все что я накопал. Если я правильно понял, то dlss должен быть обязательно включен, ни в коем случае нельзя получить предупреждения по видеопамяти, т.е нужно подобрать размер текстур, чтобы не выйти за границы имеющейся у вас видеопамяти. Ну и удостоверится, что на Винде стоит 20H2 Обнова. Последний драйвер. Проблема не только у вас, о ней несколько человек пишут в этой теме https://www.nvidia.com/en-us/geforce/news/doom-eternal-ray-tracing-nvidia-dlss-upgrade-available-now/  Следите за ней, может там реальное объяснение и решение появится.