Векторная математика нужна, так как часто требуется что-то посчитать в пространстве (нормали, сложение/вычитание векторов, скалярное/векторное произведение векторов). Если писать шейдеры, то там может потребоваться тригонометрия, знание координатных систем и другие функции из математики, но они не сложные, не думаю, что их нужно изучать отдельно, лучше практиковаться и тогда будет понятно, где и какая функции нужны.