В отрыве от других механик трудно сказать. Но если это просто ограничение ради ограничения/реализма, то будет с большой вероятностью бесить. Если игра подразумевает что в городе нужно готовиться к походам и от этого будет зависеть усех, то может сыграть положительно. Если как в скайриме пока идешь от одного места до другого пройдешь 100500 пещер и данжей с лутом, то будет бесить что до города не все донести получится.

Tldr;
Это скорее всего будет бесить в любом случае, поэтому нужно ясно понимать для чего бесить игрока.