Marat Khamadeev

Каким был бы 2035 год альтернативного мира, где покушение на Джона Кеннеди оказалось неудачным, а Советский Союз все еще не распался? Физику интереснее другой вопрос: каким был бы мир, где подтвердились гипотезы, которые современная наука считает крайне сомнительными или по крайней мере спорными?

Ответ на эти вопросы дает научно-фантастическая игра Prey, выпущенная в 2017 году. На довольно зыбкую почву альтернативной истории и альтернативной науки вселенной Prey в своем очередном блоге о науке в видеоиграх смело зашел наш физик Марат Хамадеев — и нашел там немало полноценной серьезной научной базы

#Физика | #Мезонин | *4.3

Для обучения по-настоящему успешных больших языковых моделей нужно много, очень много текста. Сейчас его берут из интернета, но количество человеческой писанины в вебе растёт несравненно медленнее, чем потребности ИИ.

Эту проблему хотят решать с помощью текстов, написанных другими нейросетями. Но будет ли это работать? В попытке ответить на этот вопрос, одна из групп провела эксперимент, который показал, что при обучении модели на тексте, написанном моделью, которая обучалась на тексте, написанном моделью [повторить N раз], на выходе получится полная ерунда. Особенность этой работы (я уже упоминал её недавно) в том, что она не ограничилась препринтом или публикацией в сборнике конференции, а добралась не много не мало до Nature — вообще говоря, редкость для ИИ, — затратив, однако, на это целый год.

Статья вышла в июле и наделала шуму в медиасфере. Шутка ли, выходит, что развитие LLM семимильными шагами несётся в тупик! Действительно, такой вывод кажется неизбежным, учитывая, что скоро количество текстов в интернете, написанных машинами, превысит человеческие.

Я решил разобраться, что к чему, и вооружился мнением экспертов по ИИ, которых в моём окружении сейчас достаточно. Итог увидел свет сегодня в виде материала на N + 1