Делать плавное движение лерпом - такая себе затея. Во-первых, нельзя контролировать скорость, так как 10% от миллиона куда больше, чем 10% от десяти, во-вторых, движение будет не равномерное, так как каждый раз оно начинается с текущей позиции (1 * 0. 1 + 0.9 * 0.2) != (1 * 0.2)