Эм, а что понимается под игнорированием? 

Если условно надо "обойти" - можно сделать по атрибуту в префабе, и задать поведение при collision с соответствующим объектом.

То же можно через navmesh obstacles.

Вообще вот тут посоны разные методы пробуют) 
https://forum.unity.com/threads/navmesh-agents-to-avoid-other-agents.500416/