Отличная взвешенная статья. На самом деле сейчас очень бурно идут исследования и чуть ли не каждую неделю публикуют то новую архитектуру, то старую оптимизирует. Очень много уже всякого изобрели, что только предстоит опробовать "в бою". Одних только гибридных трансформеров уже пару десятков разных типов придумали. Короче, прогнозирую, что в ближайшее года 2 прогресс в ML/AI будет только ускоряться.