В rtx 3080 больше cuda ядер. А это основной показатель производительности.
А количество видео памяти не влияет на производительность. главное чтобы ее хватало. а если нацепить кучу памяти она от этого быстрее не станет. Как например в автомобилях если если приделать больше 4х колес машина поедет быстрее? нет. по аналогии cuda ядра это лошадиные силы