Всё дело в шейдерных вариантах.
Есть такая штука как "условная компиляция". В зависимости от оборудования (доступные технологии видяхи), контекста сцены (количество источников света, наличие отражений) и контекста объекта (использует ли объект отражения, свечение, тесселяцию, какой у него набор текстур) - шейдер перестраивается, чтобы оптимизировать вычисления.

Такая перестройка шейдера позволяет повысить производительность, но цена тому - создание десятков тысяч вариантов шейдера, использующих все возможные сочетания конфигураций, из-за чего кэш шейдеров и занимает такую кучу места.