ИИ проигрывает людям при анализе и обобщении информации

Искусственный интеллект пока не может заменить людей – к такому выводу пришли исследователи из Комиссии по ценным бумагам и инвестициям Австралии (ASIC), которые провели эксперимент совместно с Amazon.

Для эксперимента сотрудникам поручили составить резюме правительственных документов, уделив особое внимание ссылкам на документацию и решения ASIC, нормативную базу и общий контекст. Ту же работу поручили ИИ с открытым исходным кодом Llama2-70B от Meta (признана в России экстремистской организацией и запрещена). Затем независимые эксперты оценили результаты работы людей и искусственного интеллекта. При этом они не знали, что участвуют в эксперименте по оценке эффективности ИИ.

Как оказалось, ИИ не смог вычленить наиболее важную информацию, уловить контекст и нюансы, а потому сформировал очень пространные и многословные отчеты, не отвечающие поставленной задаче. В составленных ИИ документах также присутствовала неточная и даже ошибочная информация. По итогам испытания ИИ набрал всего 47% от максимально возможного результата по разработанной для исследования шкале оценок, в то время как люди справились на 81%.

Исследователи заявили, что искусственный интеллект пока не в состоянии заменить людей в выполнении задач, которые требуют глубокого анализа информации и умения выделять главное, отметая второстепенные детали, сообщает издание Crikey, ссылаясь на информацию специального комитета Сената Австралии по внедрению искусственного интеллекта.

Авторы эксперимента пришли к выводу, что использование искусственного интеллекта в составлении обобщающих документов для Комиссии по ценным бумагам и инвестициям Австралии на данном этапе развития технологий может не облегчить работу сотрудников, но напротив – потребовать дополнительных усилий, направленных на доработку выданного ИИ результата и проверку фактов. Иными словами, пока всё выглядит так, что проще составить документ самому, чем переписывать его за машиной.

В то же время исследователи указывают на постоянное совершенствование генеративных моделей искусственного интеллекта, поэтому не исключают, что в будущем машины будут справляться с поставленными задачами на нужном уровне качества.

Читайте также: