Понял вашу проблему. Сам сталкивался еще на 2017 версии, не знаю как сейчас, но тогда решили проблему создав два дублирующие друг друга навмеша. Костыль жуткий, но игра была маленькая и это сработало без потерь производительности. У юнитевого навмеша много не приятностей с тех пор используем сторонние плагины.