Судя по коду, модальное окно вылезает каждый раз когда мышка покидает границы страницы, а не когда пользователь её закрывает.