Это связано с тем, что в Средние века не было ни нормальных дорог, ни нормальных кораблей, плюс было множество враждующих феодов и государств с церквями. 
И то негры жили при дворах королей, как редкая экзотика.
Викинги были хорошими мореходами, и рассказывали легенды о черных викингах.
Если в фэнтези есть маги и хорошие дороги, то будут в товарных количествах переселенцы и путешественники из далеких земель.