В общем, суть проблемы, как только не менял настройки, тени остаются квадратными. Если включить сглаживание "Filmic" то еще худо бедно, но это не сильно спасает.