Очень похоже, что проц в какой-то момент просто перестаёт отдавать кадры на рендер видяхе и она заливается рандомным цветом за отсутствием других инструкций. Причём не факт, что дело в процессоре, может быть и в мамке. Рекомендую видяхи с памятью затестить на каком нить другом компе.