Может ли он такого обращения поломаться?Из-за самого факта наличия подключения? Нет разумеется.

Единственное чего стоит опасаться - механического воздействия. Ну там цепанешь провод ногой и на скорости уронишь геймпад со стола об стену - может что-нибудь забарахлить. Ну там разъем USB расшатается, стики начнут "плавать"... что угодно. 

Но повторюсь: обычно что бы появилась такая неисправность нужно целенаправленно убивать геймпад реально отвратительным отношением, роняя его.

Если же он аккуратненько (без дерганья за провод) будет эксплуатироваться и статично лежать на надёжной полочке в свободное время - ничего плохого с ним приключиться не должно.