В прошлое - скорее всего нет, и ты правильно озвучил одно из косвенных доказательств. Либо такие путешествия невозможны (И не будут возможны в будущем), либо мы бы сейчас уже видели множество путешественников из будущего, либо человечество вымрет до того как изобретёт машину времени.
Теоретическая физика допускает что-то такое, но требует для этого вещество с отрицательной массой. Ничего подобного в мире учёные пока не наблюдали.
Путешествие в будущее - возможно, и мы все безостановочно путешествуем в будщее. Но можно и на самом деле путешествовать в будущее быстрее остальных, если замедлить скорость течения локального времени за счёт нахождения в области высокой гравитации или постоянного ускорения.
Пока мы слоупочим на разгоняющемся куда-то вдаль космическом корабле, а потом обратно, сраная Земляшка летит вперёд во времени. Если ускорение будет достаточно быстрым, то можно вернуться значительно в более поздний период истории Земли, чем космонафт сам мог бы дожить, оставаясь на Земле. Вариант с путешествием вперёд во времени в поле высокой гравитации был показан в Интерстилларе, и это, наверное единственное, что не противоречит законам физики в этом фильме.