нах ему людиВ том то и дело...

Он способен писать код. Найти способ его уговорить или обойти его ограничители и он будет писать вредоносный код. А в случае доступа к исходному коду, например, из-за слива или тех же бэкдоров и можно уже доработать нейронку, дав ей доступ в интернет и возможность с огромной скоростью самостоятельно компилировать свой код в ботов и вирусы.
Вариантов вредоносного использования очень много.