Т.е. чтобы он производил какие-то звуки не просто потому, что какие-то весовые коэффициенты нейронки так сказали, а потому что это аккорд с таким-то названием и он хорошо звучит в таком-то ключе после какого-то другого аккорда.

На самом деле вся европейская теория музыки — это попытки постфактум алгоритмизировать натренированные за долгие столетия нейронные сети в голове. То есть ситуация, конечно, сложнее (потому что потом мозговые "нейросети" стали подстраиваться под получившуюся теорию, а потом теория снова стала подстраиваться со своей стороны, и так много итераций), но обобщить можно и так. Так что как раз ваш изначальный подход очень даже имеет право на существование, и уж в любом случае он гораздо интереснее основанного на голой теории, тем более что тулзов, основанных на теории, пруд пруди, это не особо интересно.
Также я напомню, что современная теория музыки — это не набор каких-то незыблемых законов, это способ мышления и набор рекомендаций и лайфхаков. Теорию музыки очень хорошо использовать для анализа музыки, но заметно хуже использовать для написания музыки. Это не химия, где можно реакцию посчитать.

потому что это аккорд с таким-то названием и он хорошо звучит в таком-то ключе после какого-то другого аккорда

Это довольно неправильный способ думать о музыке, примерно как "рядом с оранжевым хорошо ложится синий, также в пространстве картины должны быть диагонали" — ну камон, никто так не делает. Каких-то интересных результатов с таким подходом не получишь, мелодика получится как у стоковой музыки для корпоративных видео, которые по 2 бакса за трек. Можно было бы поставить основу на теории диссонансов и разрешений, но имхо лучше нейронки копать, потому что сама концепция разрешений в конце концов тоже acquired taste, а вовсе не что-то от природы людям данное.