Nikita Sushko

+2719
с 2020
5 подписчиков
30 подписок

Специально для тебя сфотографировался в отражении двери.

14

Смотря сколько у тебя денег и чего ты хочешь от приставки. Второй свич будет больше первого, тем более и лайта, так что вопросы по эргономике и портативности пока что ещё висят.

Я свой свич продал где-то год назад, потому что прошёл все экзы на тот момент и Yuzu был жив. Сейчас Yuzu с Ryujinx умерли, так что на выходе второго свича возьму его. Но я богатый, так что варик с "куплю свич 1 и проживу годик с ним" вполне валидный. Но я бы брал его не сейчас, а где-нибудь в марте. Сейчас все на хайпе после анонса второй версии хотят прикоснуться к экзам нинки, так что покупают первый свич и он растёт в цене. Через месяц-полтора цена снизится и начнёт расти только к началу апреля, когда будет анонс игр со второго свича. Если наиграешься, тогда сможешь продать, если не захочешь — не продашь и будешь пользоваться отличной приставкой.

Марио одиссей мне (и не только мне) ваще не зашёл, так что лучше бери Wonder. Вот он реально universally офигенный.

1

Это чуть другое.

Если речь про SSAO и его модификации, то во времена HL2 их не было и они всегда с артефактами (так как SS = Screen Space). Сейчас более-менее научились делать их реалистично (очень неплохо в Black Ops 6, например), но даже там заметно, что RT был бы лучше. К примеру, если убрать объект из поля зрения, тень тоже исчезнет.

Если речь просто про тени, которые во второй халфе были — речь тут идёт про непрямое освещение, а не про прямое освещение, так что это неприменимо.

Собственно, если ты запустишь вторую халфу, ты увидишь, что в тени дома под персонажем есть чёткая тень — так быть не должно. Это потому что тень под персонажем динамическая, а день под домом запечённая и в сумме выглядит всё нереалистично.

Спроси у, например, бомбы, которая в него прилетит.

Трассировка есть, но не в риалтайме, а на этапе рендеринга карты и запекания освещения в текстуры.

Это валидный подход, но с ограничениями — если вдруг какое-то здание исчезнет или шкаф сдвинется, то тень от здания/шкафа останется — и картинка станет нереалистичной.

Что, конечно же, не умаляет того, что сурс 2 может выдавать офигенную статичную картинку.

37

Хидэки Камия об авторах утечек о Switch 2: «Их следует облить дерьмом с головы до ног и выбросить за пределы атмосферы» Геймдизайнер даже проклял их, до такой степени они ему не нравятся.

"Я ЕБАЛ В РОТ ИХ МАТЕРЕЙ И ОТЦАМ КИРПИЧАМИ ГОЛОВЫ РАЗБИВАЛ БЛЯТЬ" произнес Хидеки Камия и грязно выругался.

3
1

А оптимизация то тут причём? Я про игры, где дают говорил.

1

Да, я ресерчер, собственно поэтому и написал, что в млопс можно без фундаменталки, а вот чтобы учить прикольные модельки (и, тем более, пилить тру ресерч, где самое интересное) нужно знать гораздо больше.

Ну, из бекенда или, тем более, графики, перейти гораздо проще. В дл много линала, в графике, насколько я помню, его ещё больше. Плюс, самое важное в этом всем — уметь программировать на каком-нибудь языке программирования (тот же питон, https://uneex.org/LecturesCMC/PythonIntro2024), а этого и у беков, и у CGшников навалом.

Весь классический ML (SVM, деревья, классические методы регуляризации и пр) можно пропустить, это уже почти не релевантно. Потом можете из интереса почитать.

Не соглашусь, в том же нлп вполне себе релевантно. Раг строится на aknn, классификаторы можно делать как логрег/катбуст над эмбеддингами берта и тратить меньше компьюта как бейзлайн решения, да и в целом, понять что такое классификационная голова (линейный слой с софтмаксом = линрег) проще иметь в том числе базу по мл хотя бы в виде ml crash course от kaggle: https://www.kaggle.com/learn/intro-to-machine-learning

Скорее тогда уж неактуальны методы классического статистического нлп, которых как раз больше всего в курсе Лены Войты (tfidf, например), но от них я бы тоже отказываться не стал, потому что они могут внезапно всплывать в рандомные моменты. Например, есть чудесная wordllama и potion, где в качестве эмбеддеров используют статические безконтекстные модели, сдистиллированные из эмбеддинговых слоев предобученных декодеров. Чтобы сделать векторизацию лучше, можно получить веса важности для всех токенов через tfidf, как когда-то делали с GloVe.

В общем, важно всё. Если прочитать только ссылки в посте, то можно стать стажёром в ООО "Рога и Копыта", которого будут подпускать к разметке данных и мб к млопсу, не больше. Чтобы заниматься действительно интересными вещами, надо расшарить достаточно много теории и это, к сожалению, займет не три месяца, а пару лет непрерывного обучения, чтения статей, экспериментов, петпроектов, курсов и прочего.

1

Если у вас нет GPU от NVIDIA под рукой для самостоятельного обучения – воспользуйтесь бесплатным Nvidia T4 в Google Colab. Это что-то около RTX 2070 по производительности с 12GB VRAM (да, в отличае от геймеров, наносекам можно бесплатно пользоваться RTX 2070). Насколько я помню каких-то жестких лимитов по использованию там нет.

Там 16 гигов видеопамяти и лимиты там точно есть, как на активные вычисления (надо трогать кнопки и запускать клетки), так и на гпу время (чё то типа 5-6 часов в день, потом кулдаун). Реальных цифр не скажу, они динамические.

Вместо колаба есть kaggle, там те же гпу, выше лимиты и они прозрачные.

1

Их хрен купишь, а Тиньков как грязи. В сисадминской среде вообще только тиньки и деллы.

Хз, у меня х280, про новые ничего не знаю, может быть с ними все стало хуже. Но энивей, ноут это тонкий клиент, так что следующим ноутом у меня либо опять будет х280, либо чё то подобное.

Много запчастей, легкая починка, лучшая клава и очень хорошие цены на бу рынке, потому что это бизнес ноуты.

Например, я на своем ноуте заменил батарейку (сам, минут за пять — там шесть винтов на задней крышке было) и тачпад на стеклянный (который купил за полторы тыщи на алике). На девушкином маке так сделать не получится — судя по инструкции с ifixit, чтобы только вынуть батарею, нужно 36 шагов. Как то не очень располагает к покупке, учитывая, что ноут штука дорогая, а починить в случае поломки или естественного старения будет дорого или невозможно.

Плюс мне оч нравится дизайн. У финкпадов он черный и квадратный — буквально ноутбук для работы. Он не пытается быть элегантным или сексуальным, он как глок или зиг зауер, делает одно дело и делает его хорошо.

2

Не, не топовая, но 1440р is a thing ещё со времён 1070, так что я мог бы апгрейднуть моник, но не стал)

Ну вот я сейчас играю, не поможет, очень сильно мажет картинку и на DLAA, и на DLSS в 1440р. Может быть с апдейтом станет лучше, но это в будущем, играю я сейчас.

В итоге я вообще его выключил нафиг, TSR в нативном 1080 выглядит лучше, как ни странно.

Если моник FHD, например. Предположу, что в 1440p/4к уже пофиг, но в FHD DLSS в некоторых играх мажет просто пиздецово.

9

Ну типа того, да. С другой стороны, есть же всякие квантизации с последующим дообучением или калибровкой (exl2, aqlm+pv, spinquant), я думаю, что настолько жирные слои как эмбеддинги можно попробовать сквантовать под, например, определенный язык так, чтобы сильно уменьшить модель и не очень задеть качество на таргет языке.

Fun fact: в multilingual-e5-small из 117М параметров где-то 85-90М занимают именно эмбеддинги.

Llama-3.3-70B-Instruct-Q6_K_L.gguf Q6_K_L 58.40GB true Uses Q8_0 for embed and output weights. Very high quality, near perfect, recommended

https://huggingface.co/bartowski/Llama-3.3-70B-Instruct-GGUF

Так что эмбеддинги и голова точно квантуются в некоторых алгоритмах.

Отличная статья, тоже её всем кидаю в качестве crash course в квантизацию.

Оговорюсь сразу, что я почти ничего не знаю про CV, за исключением классики типа резнетов, алекснетов и юнетов, нлпшник и буду говорить со своего дивана о трансформерах и своем опыте их обучения, инференса, прунинга, квантизации и прочих видов издевательств.

На самом деле, там все ещё хитрее: в зависимости от варианта квантизации могут квантоваться в том числе и эмбеддинг слои. Поддержка этого есть, например, в Q6_K_L схеме в llama.cpp — там эмбеддинг и выходные слои квантуются до 8 бит. Емнип, на Н100 при запуске моделей в fp8 квантуются все слои — по крайней мере я так понял.

По поводу структур для хранения сдвига и нормализации — не во всех вариантах квантизации они нужны, насколько я помню, а там где нужны, эти структуры будут весить буквально копейки по сравнению с размером самой модели, которую мы квантуем. Все же два флота на блок это пренебрежимо.

Кроме того, если говорить про квантизацию в целом, а не только fp4, мы можем квантовать разные слои по разному, потому что не каждый слой в том же трансформере одинаково важен. Например, я обучил простенький классификатор на основе e5-small (12 блоков трансформера) и смог удалить аж 7 слоев прежде чем f1-мера упала до 0.9. Так что, как правило, квантовать все слои одинаково смысла нет и пишут про *среднюю* битность на вес — и эта средняя битность вполне может равняться 4 битам.

Как это работает в fp4 я не знаю, потому что ни 5090, ни GB200 в наш маленький стартап пока что не завезли и приходится довольствоваться жалкими H100. Возможно, там что-то умнее, чем bnb nf4, учитывая, что четырехбитная квантизация из bnb очень сильно портит модели по сравнению с более продвинутыми методами.

А возможно я вообще не разбираюсь в вопросе и речь только про хардварную поддержку вычислений в том или ином формате. В таком случае действительно можно не квантовать некоторые слои.

Была такая, продал, потому что перестал ездить на работу в офис. Потом снова начал, так что стал смотреть, что ещё там вышло. А вышла ещё TrimUI Brick — купил, приехала, играюсь вот. Стоит она практически тех же денег, но лишена части минусов:

- Можно заряжать обычным USB Type C проводом, ничего не сгорит (MM+ и RG35XX низзя, могут поплавиться).
- Гораздо приятнее сборка, говорю как бывший владелец MM+.
- Более мощное железо — тянет даже некоторые игры с PSP. Это скорее бонус, потому что стика нет, но для какого нибудь Loco Roco элементов управления хватает.
- Чуть меньший, чем у MM+ размер — лучше влезает в карман. При этом размер больше, чем у MMv2/v4, так что играть все ещё удобно. Я думал, что не почувствую разницу, ан нет.
- Есть хардварные часы — имба, потому что в тех же покемонах на MM+ каждое включение время перематывалось на 2 часа вперёд, так как RTC банально нет.
- Квик резьюм работает гораздо быстрее чем на MM+.
- Есть блютус

Но есть и минусы, которых не было у MM+:

- Задняя крышка сделана из металла, а так как процессор достаточно мощный и приклеенный к ней термопрокладкой, металл греется. Допускаю, что в каких-то играх будет нагреваться прям очень ощутимо.
- Пока что приставка новая и прошивок под нее мало. Слава богу дефолтная вполне нормальная, особенно если накатить твики.
- Нет стика — но имхо приставка не для тех игр, где он нужен.

В общем, рекомендую.

Обзор от RGC:

https://youtu.be/F1fHemFCi3I?si=xNY7uyg5XF483ghX

14

погрузиться в платную версию Chatgpt — это ещё по 20 $ в месяц

Не надо. Как ни странно, гугл ебёт сейчас.

Они недавно выкатили Gemini 2.0, эта штука мощнее, чем 4o. Плюс у них есть офигенная фича — Deep Research, это когда моделька бегает по интернету, гуглит за тебя то, что попросишь, а потом выдаёт 5-6 страниц текста на заданную тему со ссылками на источники. Чего-то очень специфического оно не найдёт, конечно, но я получал вполне нормальные результаты по запросам "какие бывают виды унитазов" для ремонта и, когда я гуглил по своей работе, он мне нашёл статью, которую я же опубликовал летом.

Кроме того, в подписку входит 2 ТБ места на гугл диске, интеграция в гуглослайды, гуглотаблицы и гуглодоки (Оно может САМО рисовать слайды для тебя! Я так презу по философии в универе сделал), какие-то мелочи для гугл календаря, возможность пообщаться с письмами в гмейле и так далее.

Можно бесплатно оценить как работает на:

http://aistudio.google.com

Если хочется что-то типа o1, то там есть Gemini Flash 2.0 Thinking experimental, это, считай, то же самое. По метрикам оно даже лучше — и на сложные вопросы про матан оно отвечает лучше, чем о1.

Бонусом — видеорежим, где ты можешь показывать экран компа, а он тебе будет нашёптывать (на английском) ответы на твои вопросы, заданные голосом в ухо. Но это только с генерацией звука проблемы — текст на русском получается у модели отличный, где-то даже лучше, чем чатгпт.

Я был подписан и на то, и на то, сейчас отменил подписку на чатгпт тупо потому что гугл выгоднее, а стоит столько же (а ещё первые два месяца бесплатные!).

1

А ещё что ютуб не блокируют и это деградация серверов, угу.

653
10
2
1