Немного забавной и бесполезной статистики о комментариях на DTF [Микро-лонг]

Всем привет! Я нашел прикольный скрипт, который посчитал среднюю тональность комментариев, а также выявил самые популярные слова в комментариях. Статистика была взята с 2021 по 2024 год. Погнали!

Тональность комментариев считается так: -1 - это настолько токсично, насколько вообще возможно, а 1 - самая добрая доброта, котики и вообще. Ну а самые популярные слова были разделены на 10 тем, которые никак не названы, так что их можно интерпритировать по разному.

Я удалил лишние и мусорные слова, типа местоимений, предлогов и общих слов, не несущих особого смысла, но скрипт отработал криво, и большая часть этих "мусорных" слов осталось в датасете. Что ж, буду его чистить более ответственно уже для попыток в обучение модели, вот там я заморочусь, если смогу подступиться к этому.

Кстати, вчера я все таки попробовал обучить модель, но очень приблизительно и скорее тестово, и получилось забавно, но совершенно неправильно:

Ни то и не другое, он - нейтральный. Удивительно, да? Давайте по годам. Итак, вот циферки:

2021 год: 0.01 0111987402766216
2022 год: 0.008 184518565485624
2023 год: 0.007 087604554311408
2024 год: 0.008 193769260433366

В целом все 4 года комментарии на DTF - максимально приближены к нулю, то есть нейтральные. Колебания находятся на уровне погрешности. Если душнить, то 2021 год был подобрее, чем все остальные.

Безусловно, если мы проанализируем каждого пользователя DTF, то какой-нибудь GABE (опять забанен) будет довольно токсичным, а условно Despair (братишка мой) будет ближе к единице по шкале милашности в комментах.

Но тут высчитывается среднее значение, и в среднем - DTF нейтрален, хотя может показаться, что тут все очень страшно.

Получается дтферы - нейтральные сойбои?

Снова, как не удивительно, но слово "игра" и ее производные на довольно высоких позициях!

Давайте по темам.

Во все года самыми популярными ссылками куда-либо были либо сам DTF, либо Youtube. В 2021 году среди них еще затесался steamcommunity.

Слово "игры" было написано:

В 2021 году - 113 466 раз
В 2022 году - 117 365 раз
В 2023 году - 217 931 раз
В 2024 году - 72 920 раз. А так как прошла только треть года, то предположу, что будет где-то около 218 000 раз, на уровне 2023 года.

2021 год:

Average sentiment: 0.010111987402766216 Top 10 words for Topic #0 ['watch', 'id', 'youtube', 'steamcommunity', 'dtf', 'www', 'ru', 'com', 'спасибо', 'https'] Top 10 words for Topic #1 ['часть', 'сони', 'пк', 'играл', 'то', 'играть', 'игр', 'игру', 'игра', 'игры'] Top 10 words for Topic #2 ['человека', 'за', 'именно', 'нужно', 'нет', 'человек', 'людей', 'тебе', 'да', 'то'] Top 10 words for Topic #3 ['понимаю', 'ты', 'че', 'да', 'тебе', 'пост', 'дтф', 'мне', 'может', 'то'] Top 10 words for Topic #4 ['самом', 'есть', 'мне', 'именно', 'вопрос', 'фильм', 'хотя', 'да', 'нет', 'то'] Top 10 words for Topic #5 ['лучше', 'время', '30', 'то', 'во', '4к', '60', 'да', 'd0', 'фпс'] Top 10 words for Topic #6 ['могут', 'людей', 'будут', 'денег', 'время', 'нет', 'сих', 'деньги', 'пор', 'люди'] Top 10 words for Topic #7 ['аниме', 'бля', 'смотрел', 'какой', 'фильм', 'ладно', 'то', 'модератором', 'удален', 'комментарий'] Top 10 words for Topic #8 ['нужно', 'купить', 'игры', 'то', 'нет', 'пк', 'работает', 'есть', 'из', 'за'] Top 10 words for Topic #9 ['купил', 'рублей', 'день', 'понял', 'пару', '20', 'год', 'года', '10', 'лет'] - 479956 В 142751 игры 113466 игра 75963 тебе 70884 ... залупкино) 1 метрику. 1 ""Хороша 1 обеду"", 1 дисппорт 1

2022 год:

Average sentiment: 0.008184518565485624 Top 10 words for Topic #0 ['люди', 'будут', 'то', 'да', 'людей', 'деньги', 'нет', 'сша', 'россии', 'рф'] Top 10 words for Topic #1 ['человек', 'нужно', 'd0', 'людей', 'да', 'нет', 'дтф', 'какой', 'тебе', 'то'] Top 10 words for Topic #2 ['пожалуйста', 'youtu', 'watch', 'youtube', 'dtf', 'www', 'ru', 'com', 'спасибо', 'https'] Top 10 words for Topic #3 ['че', 'да', 'игра', '60', 'понял', 'играть', 'игры', 'фпс', 'работает', 'пк'] Top 10 words for Topic #4 ['смотрел', 'норм', 'думал', 'бля', 'буду', 'точно', 'игра', 'тоже', 'играл', 'участвую'] Top 10 words for Topic #5 ['делают', 'могут', 'что', 'делать', 'так', 'игру', 'люди', 'сони', 'будут', 'игры'] Top 10 words for Topic #6 ['нужно', 'хотя', 'игр', 'играть', 'да', 'нет', 'игру', 'то', 'игра', 'игры'] Top 10 words for Topic #7 ['деле', '20', 'самом', 'год', 'году', 'было', 'пару', '10', 'года', 'лет'] Top 10 words for Topic #8 ['стоит', 'год', 'покупать', 'рублей', 'стиме', 'деньги', 'купил', 'игры', 'купить', 'да'] Top 10 words for Topic #9 ['да', 'мне', 'сериал', 'то', 'фильм', 'из', 'за', 'модератором', 'удален', 'комментарий'] - 538520 В 171253 игры 117365 Комментарий 98687 удален 98330 ... типе" 1 Ковтыкова, 1 Ковтыков. 1 Sorento 1 "СПАААСИБООО!!!! 1

2023 год:

Average sentiment: 0.007087604554311408 Top 10 words for Topic #0 ['да', 'бля', 'лол', 'помню', 'её', 'сих', 'пиздец', 'пор', 'блять', 'нахуй'] Top 10 words for Topic #1 ['мне', 'надо', 'пост', 'понял', 'хочу', 'день', 'буду', 'дтф', 'тебе', 'спасибо'] Top 10 words for Topic #2 ['норм', 'знает', 'да', 'чё', 'бля', 'хуй', 'нет', 'либо', 'есть', 'работает'] Top 10 words for Topic #3 ['год', 'играть', 'пк', 'будут', 'сони', 'года', 'игра', 'игр', 'игру', 'игры'] Top 10 words for Topic #4 ['20', 'играть', 'работает', '4к', '10', '60', '30', 'лет', 'пк', 'фпс'] Top 10 words for Topic #5 ['выглядит', 'сюжет', 'хотя', 'играл', 'часть', 'части', 'игры', 'да', 'то', 'игра'] Top 10 words for Topic #6 ['рублей', '10', 'да', 'денег', 'рф', 'нет', 'лет', 'какой', 'деньги', 'то'] Top 10 words for Topic #7 ['шутка', 'без', 'watch', 'youtu', 'youtube', 'www', 'dtf', 'ru', 'com', 'https'] Top 10 words for Topic #8 ['давай', 'согласен', 'чс', 'привет', 'автором', 'поста', 'че', 'модератором', 'удален', 'комментарий'] Top 10 words for Topic #9 ['либо', 'да', 'игры', 'людей', 'нет', 'нужно', 'из', 'за', 'то', 'тебе'] - 860806 В 288475 игры 217931 Комментарий 178834 удален 178368 ... графосборка 1 SLMP.сам 1 стабильнее,но 1 вдохновили.или 1 Передохнут 1

2024 год:

Average sentiment: 0.008193769260433366 Top 10 words for Topic #0 ['какой', 'нет', 'игры', 'игра', 'именно', 'люди', 'фильм', 'часть', 'есть', 'то'] Top 10 words for Topic #1 ['работать', 'работы', 'работает', 'из', 'за', 'деньги', 'день', 'время', 'надо', 'лет'] Top 10 words for Topic #2 ['выглядит', 'хотя', 'то', 'да', 'мне', 'играл', 'играть', 'игру', 'игра', 'игры'] Top 10 words for Topic #3 ['удачи', '60', '30', 'надеюсь', 'автором', 'поста', 'че', 'модератором', 'удален', 'комментарий'] Top 10 words for Topic #4 ['могу', 'ладно', 'нужно', 'так', 'можно', 'можешь', 'тебе', 'да', 'то', 'нет'] Top 10 words for Topic #5 ['youtu', 'чё', 'думал', 'www', 'dtf', 'ru', 'com', 'понял', 'спасибо', 'https'] Top 10 words for Topic #6 ['году', 'год', 'стоит', 'сони', 'купил', 'игра', 'игр', 'года', 'пк', 'игры'] Top 10 words for Topic #7 ['хз', 'люди', 'за', 'будут', 'было', 'вопрос', 'без', 'база', 'случае', 'ага'] Top 10 words for Topic #8 ['смотрел', 'говно', 'аниме', 'чел', 'смотреть', 'пиздец', 'нахуй', 'бля', 'блять', 'дтф'] Top 10 words for Topic #9 ['жаль', 'хуйня', 'будет', 'всем', 'знаю', 'ли', 'да', 'нибудь', 'то', 'что'] - 254679 В 90749 Комментарий 75436 удален 75217 игры 72920 ... "Пиха 1 ноэлей" 1 "некогда,надо 1 гидро? 1 еблы" 1