РЕШЕНИЕ: перешел на Windows 10, но как мне кажется, окончательно проблему решила ручная установка таймингов, напряжения и частоты оперативной памяти. Использовал данное видео в помощь
Хз насколько это может помочь в конкретном случае, но мне это помогло https://dtf.ru/games/2814758-dlya-polzovatelei-videokart-nvidia-nachinaya-s-gtx-1080-i-vyshe-kotorye-oshushayut-neplavnost-gercovki-i-mikrofrizy-v-igrah-na-moshnyh-sistemah