Ilya Zelenskiy
Google ступил, когда назвал себя поисковиком в самом начале. Уверен, что если бы он возник сейчас, то назывался бы иерархический ИИ.
Те кто называют LLM ИИ либо совершенно ничего н понимают в этом и изучали данную тему поверхностно и не работали с ней. Либо эти LLM обошли и находятся на одном уровне с этими людьми. Вторые, это обычно пиздоболы, которые нахватались поверхностных знаний и не отвечают за свои слова (ну ошибся и ошибся, несите нового).
LLM это крутое достижение и шаг вперёд. Супер крутой инструмент. Но говорить что LLM это ИИ, это на уровне таксиста рассуждающего о рептилоидах в мировом заговоре.
Я хотел упор сделать именно на разговорную речь. Чтобы подтягивать ее. Складывать буквы, это скорее детское что-то.
Я всё думаю, как совместить реальную механику и словесную. И дать сеткам свободу импровизации.
Но именно слова и фразы, да, тут выбор не велик: поэтому инди показалось что лучше в них вписываются.
Я сейчас пытаюсь найти нишу в этой области. Где главный упор был бы на реализм общения с персонажами.
Тут было намного больше об этом
https://dtf.ru/flood/2746163-s-kakim-personazhem-vy-hoteli-by-poobshatsya-vzhivuyu
Я подобное сейчас пытаюсь перенести на зомби и идущие на тебя либо в доме либо на улице в разных локациях. А-ля Тир. Но их пока не публиковал.
Так как перебираю разные MVP, чтобы нащупать интересный подход.
Посмотрел игру. Да интересно. Динамики намного больше. Идея вроде такая же как при заучивании слов
Например, я пробовал встроить передачу эмоций речи персонажа через измените лица. На картинки выражения лиц полученные сеткой для разных эмоций в результате общения с персонажем.
Мне хотелось попробовать сделать игровую механику построенную на диалогах. Где сюжет и действия разворачиваются и зависят от того что и как ты говоришь.
А дальше, уже пробовать добавлять больше игровой механики через ручное управление персонажем.
Хочется проверить, как пользователю зайдёт общение с персонажами и их реакция.
Это как первые пробные шаги. Чтобы сделать такое в 3D, надо
1) обучить противника независимо перемещаться и изучать.
2) обучить его каким то мотивациями, кроме как общение и желанию прибить тебя
3) обучить его разным действиям, которые он может совершать независимо. То есть, уговорив его, он пойдёт с тобой мочить врагов.
Всё это требует обучать сетки, под конкретную игру и механику. Долго настраивать каждого. Это пока очень затратно. Непонятно, будет ли востребовано. Да и работы в этом случае будет на несколько лет, чтоб обучить сетки этому.
Я сделал иначе:
1) есть десятки сцен, где в результате диалогов действий в сцене, можно попасть на другую. Например, уговорив персонажа пойти в кафе.
2) добавление действий. Где персонаж может совершить какое-то, не считая диалога.
3) весь замес в том, что я создал модель эмоций и характера. Где каждый ведёт себя непредсказуемо, согласно своему характеру и тому каким голосом и что говорит пользователь
4) динамика через генерацию изображений диалога. Скучно, но до 3д там ещё делать и делать.
5) мини игры. Сейчас добавляю простые в локациях, типа езда на мотоцикле с диалогами. Или же чтобы пройти дальше, надо убедить персонала пропустить тебя. Всё на полной импровизации сеток, которые наделённые сложной моделью характера через эмоции
Замечу. Что тут задача была мгновенного распознавания речи. Задержки даже в полсекунды это много. Поэтому whisper, и другие подходы совершенно не подходят для динамических игр.
Сейчас у меня ещё есть несколько набросков: зомби, приключения где бежишь вперёд и словами влияешь на врагов и предметы.
Задача исключительно в улучшении подхода для изучения новых иностранных слов. В Doom такое встраивать смысла нет.
А для полноценных 3D игр, пока нет возможности полноценно создавать импровизацию сюжета. Поэтому щупаю почву
Я например пробую сейчас, сделать переходный вариант между диалоговой игрой через общение голосом с импровизацией и игровой механикой ч перемещением между локациями. Где, формируются образы происходящих действий через нейронки (там сложно, так как персонаж не должен меняться внешне).
Для игровой механики, я сейчас пытаюсь адаптировать подход. Где идёт общение с персонажами и можно совершать действие. Переноситься между локациями.
Я пытаюсь нащупать модель, переходную, где данный подход будет оправдан. Начал с более простых вещей, наделив персонажей эмоциями, характером, возможностью влиять на ситуацию. Чтобы нащупать почву для развития
Согласен, что просто в играх нет. Речь про изучение новых иностранных слов. Просто учить в сухую, повторяя их и переводы по 100 раз, очень скучно
Просто у меня есть, простое заучивание словаря с текстами. (Сейчас gpu выключено дорого, по этому недоступно). Но там генерирует картинки под слова и фразы и тупо учишь.
Игровая механика мне показалась интересней.
Как игровая механика для взаимодействия да, смысла нет. Но как частный инструмент при заучивании новых слов, мне показалась интересной механикой
Согласен. Просто вставлять их в игры смысла нет. Поэтому я пытаюсь нащупать так где уместно.
Мне кажется, это неплохая механика при изучении языка. Когда надо расширить словарный запас. Так как пока пройдёшь уровень, 100 раз повторишь и слово/фразу на английском и её на русском.
Меня сложно заставить так долго, заучивать слова. Если в сухую их просто повторяю
В данном браслете не нейро сигналы (нет ЭКГ) , а ЭМГ. То есть считывание мышечной активности. На том же принципе сделаны протезы.
Нет, там именно VR с камерами, где можно переключится в MX за счёт изображения с камер. Плюс они дисплей хотят спереди поставить, что кажется излишком, так как это съедает батарею.
До AR, чтобы сделать MX с нормальным Fov пока ещё технологии не развились. Поэтому на 200% уверен что это VR шлем с камерами.
Термин смешанной реальности ввели майки, когда сделали MX шлем VR с камерами, Apple готовит к запуску именно VR шлем с камерами. Они давно над ним работают, много патентов по переделкам корпуса VR шлема. Поэтому это просто VR шлем. Мне не совсем комфортно, когда добавление камеры называют MX, с другой стороны камеры дают больше возможностей для добавления изображение внешнего окружения, для трекинга рук и т.д. Просто надо понимать что Apple сейчас собирается выходить именно на рынок VR, а не AR. Но это чисто придирки к маркетингу.
Интересно посмотреть, какую часть VR рынка Apple откусить у Oculus.
Гарнитура смешанной реальности - это VR с камерами, аналог Oculus Pro.
Я бы назвал это точнее. Не просто аналогии, а в абстракции. И это только мизерная часть. Я уже молчу про память. Удержание контекста на уровне ребёнка.. Приходится тратить много времени, чтобы скормить повторно прежние части (он забывает и придумывает). Но это приводит к другой проблеме, он забывает как мы это получили. И эффект напоминает рыбку, которая через 5 минут уже её помнит что было. Хотя для некоторых людей видимо норм, и они сами не помнят уже что было 😂
Что уже говорить про модель автобиографической памяти, которая играет важную роль в самоанализе и помогает продумать дальнейшие шаги.
Там до реального ИИ ещё топать и топать.
Хотя реально, ощущение что надо поднимать вопрос, а точно ли у всех людей есть биологический ИИ. 🤔