Бог или Харви Вайнштейн: разбираемся, кого чаще благодарят на Оскаре.

Наткнулся на любопытную статью, в которой автор проводит нетривиальное исследование по анализу благодарностей на Оскаре, его основной целью было проверить, раздутую во времена рассвета культуры отмены, теорию о том, что Харви Вайнштейна благодарят чаще, чем Бога. Но как это обычно бывает, в ходе анализа обнаружились и другие занимательные данные. Анализ был основан на полных стенограммах 1884 благодарственных речей лауреатов премии «Оскар» за период с 1939 по 2023 год.

Как вообще проводятся подобные исследования? Базово есть 3 этапа.

1. Сбор данных: Для него чаще всего используют.

• OSINT и API: Сбор текстовых данных с различных социальных платформ (Twitter, комментарии на блогах и форумах) с помощью API для извлечения упоминаний и ключевых слов, связанных с благодарностями.

• Web Scraping: Использование (например) Python и библиотек Beautiful Soup для парсинга открытых источников, где фиксировались фразы благодарностей в адрес различных публичных фигур.

2. Анализ данных:

• Частотный анализ: Применение методов статистического анализа с использованием Pandas и NLTK для подсчёта количества благодарственных обращений к Harvey Weinstein и к Богу.

• Оценка настроений: С помощью алгоритмов машинного обучения (Scikit-learn) проводилась классификация эмоциональной окраски сообщений – чтобы понять, действительно ли благодарности выражались искренне или носили иронический характер.

• Построение сетевых графов: Инструменты NetworkX и Matplotlib позволили визуализировать взаимосвязи между пользователями, обсуждающими данную тему, и выявить ключевые кластеры в дискурсе.

3. Валидация результатов: Ручная проверка выборок для устранения ложных срабатываний и учета особенностей сленга и сарказма в онлайн-общении.

• За последнее столетие объём речей на церемонии вручения премии «Оскар» увеличился, достигнув в 2010-х годах почти 300 слов на речь.

• Сценаристы — самые многословные, а самые короткие речи у звуковиков

• Раньше благодарственные речи были именно тем, чем они и были, — возможностью принять награду и сказать «спасибо». Со временем они превратились в платформу для выражения мнений, обмена эмоциями и рассказа о личных достижениях.

• Матерей благодарят чаще чем отцов, а жён чаще - чем мужей

• Нет, Бог все еще популярнее Харви Вайнштейна на Оскаре (хотя он был близок, на пике своей карьеры - 6.4% и 5.4% соответственно)

• А вот Стивен Спилберг и Питер Джексон несколько раз были популярнее по части благодарностей.

Зачем это нужно?

Во-первых, чтобы показать, что даже в самых противоречивых и неожиданных анализах, можно найти интересные данные. Во-вторых, чтобы продемонстрировать силу современных аналитических инструментов (Python, Pandas, NLTK, NetworkX) в разборе, например, культурных трендов и онлайн-дискурсов.

Подписывайтесь на мой канал - Neko.Play.Panic() делюсь там мыслями, интересными находками и новостями о всяком.