Попробуй сделай через панель нвидиа. В игре отключи синхрон, в панели включи принудительно. Там же в панели лок ФПС на герцовка монитора -2, минус два кадра. Отключи включи если они есть ресайз бар. Отключи в Винде игровой режим, все оверлеи типа иксбокс и фоновую запись видео. Попробуй разные варианты захвата, весь экран целиком, только игра, игра в полноэкранном, игра в окне на весь экран. Попробуй разные кодеки, h264/265 и так далее. Попробуй захват от самой нвидии, обычно он дико стабильный. Сделай анлервольт. Захват лагает при перегрузках карты. Попробуй по олдскулу захват афтербенером, но он ресурсоемкий.