ЦОД на балконе: собираем домашний файловый сервер из хлама. Часть 2

Сиквел, о котором никто не просил.

Первая часть | Третья часть

На чем я там остановился в первом посте на данную тему? Ах да, собрал из мусора домашний сервер на Винде и пробросил туннель к нему. Так сказать, освоил точку входа. Но воспалённый разум требовал продолжения, ведь голод по экспериментам все еще был силен. Полет фантазии останавливает лишь бюджет и еще тлеющая толика здравого смысла. Советую прочитать первую часть, чтобы можно было понять, что тут происходит.

Во-первых, я решил ворваться со всех имеющихся ног в тему с хардверным RAID-контроллером. Во-вторых, корпус хоть и мог впихнуть в себя 6 дисков формата 3,5, но на мои наполеоновские планы этого было недостаточно, так что следом в заказ упала корзины расширения.

Стартуем с выбора контроллера. В текущей итерации, имеющаяся материнка H81M-K c ее четырьмя портами SATA ограничивала мои возможности по количеству подключения накопителей, так что была предпринята вылазка на Али за вариантами исправления данной несправедливости. Но перед объяснением моего выбора, нужно углубиться в тему предмета обсуждения.

Итак, контроллеры под накопители делятся на два вида: HBA и RAID, изредка есть гибриды. HBA работает аналогично (ну типа) чипсетным портам SATA, и просто предоставляет доступ к накопителям без возможности создания "железного" массива. RAID-контроллер прямого доступа к дискам вам не даст, пока вы не нарежете массив. Можно сэмулировать HBA, просто нарезав на каждый отдельный диск RAID0, который будет, возможно, немного ускорен кэшем.

Ах да, кэш. HBA работают без него, а вот RAID используют или заменяемую плату, или уже интегрированное в контроллер решение. Кэш содержит информацию, которая в данный момент записывается, и снабжен либо батарейкой, либо суперконденсатором на случай внезапной потери электричества, чтобы эти самые данные не потерялись на флеш-памяти. Бонусом, он ускоряет I/O операции с данными, ведь он простроен де-факто на чипах DDRX, чем свежее, тем выше спецификация.

Информация о массивах хранится на самих дисках, но схавать ее сможет только такой же аппаратный контроллер, с помощью которого они были созданы. С массивом, созданным силами ОС нужна будет только OC, которая сможет его распознать.

Разумным выбором для дома является HBA и софтовый RAID, в котором вы можете собрать все на файловой системе ZFS в каком-нибудь FreeNAS, Unraid, OpenNAS т.д. и не париться. Подойдет для этих целей LSI 9211-8i, который продается у китайцев в комплекте с двумя проводами MiniSAS SFF-8087.

Но так как с разумными выборами у меня плохо, я решил брать аппаратный RAID-контроллер. Выбор пал на HP P410, с кэшем в 512мб и суперкондером, который все нахваливали, мол в отличии от аккумуляторов он буквально вечный.

Перед покупкой я естественно все вызубрил, что и как мне может пригодиться. Здорово помогла, кстати, данная серия постов, за что спасибо автору. Итак, плата за 11 дней доехала до моего уездного городка. В отзывах пугали, мол греется при активном копировании чип аки печь, поэтому была предпринята попытка колхозинга вентилятора 40х40. Ну а чего ему новому без дела валяться. Вышло не очень, стяжки не притянулись нормально и достаточно сильно болтались. Так что решил потестить без активного охлаждения. И даже в комнатной температуре при долгом копировании большого объема данных никакого криминала мой тепловизор в виде пальца не выявил.

По спекам следущее: PCIe 2.0 x8, максимум на 8 дисков, поддержка SATA/SAS. Прошивка стояла 5.08, что мне было не интересно. Объясняю: все прошивки после 3.66 были лишены встроенного BIOS платы, и после ее инициализации невозможно было загрузиться в ОС. А массив можно нарезать только в системе, если у вас не брендовый сервер HP. На некоторых платах вроде проканывает отключение UEFI у PCI-устройств, но я пошел по другому пути.

Благо у нас в офисе стоит брендовый сервак в десктопном от HP под тесты, с которого я зашел в Windows и уже перепрошился в 3.66. После этого все проблемы ушли. Насколько помню, на этой прошивке нельзя цеплять диски больше или 2ТБ, или 4ТБ. Но мне это и не нужно, так как мои харды будут не более 1ТБ.

И вот, уже предвкушая веселую нарезку массивов, я воткнул контроллер в плату, собрал RAID 10 из четырех дисков по 500ГБ под бэкапы всякого добра, порадовлся скоростям копирования на уровне 250МБ/сек, как после перезагрузки увидел, что кэш отвалился. "Вечный" суперкондер оказался вообще не вечным. Из ролика какого-то индуса я выяснил, что HP не припаяли "выравнивающие" резисторы, хоть место и было на плате, и поэтому один кондер сдохнет раньше. Да и коллеги с работы сообщили, что кондеры они вечно меняли на этих контроллерах, типовуха. Впервые лично столкнулся с запланированным устареванием, хех.

А новый (вообще, на самом деле маловероятно, что он новый) такой кэш на том же Али стоит около 1200 рублей. По номиналам там стоят два последовательно соединенных ионистора 2,7В 34Ф, но такой емкости я отдельно не нашел. Самое близкое, что смог отрыть, были православные Фениксы по 33Ф. Но пока что идет спор с обозревшим товарищем из поднебесной, который морозил меня две недели, а по итогу предложил 2 бакса за кондеры. Так что я еще не экспериментировал с импортозамещением.

Ну а контроллер в целом работает даже и без кэша. Далее я накатил Smart Array Administrator, чтобы можно было из ОС мониторить состояние массива. Кстати, есть еще одна ловушка, связанная с накопителями и аппаратным RAID. Дело в том, что любой диск от балды туда не засунуть. Ну как не засунуть - я вот попытался, и спустя сутки он выпал из массива. При этом, когда я его создавал, диск не выкинуло из него. А за некоторое время, контроллер провел что-то вроде селф-теста HDD, и ему не понравилось некоторое количество аппаратно-скорректированных ошибок.

Поэтому предварительно проверяйте диск чем-то вроде HDD Sentinel во избежании таких конфузов. Меньше 100% по состоянию - будьте уверенны, либо его выкинет в лучшем случае сразу, либо спустя время после использования, когда у вас все уже будет собрано и упаковано, а сам сервер где-то далеко и ручками это все в ближайшее время не пофиксить. Диски не в лучшем состоянии виндовый софтовый рейд сожрет и не подавиться, но пеняйте на себя - если он на грани выхода из строя, есть риск потери данных из-за неустойчивого массива.

Собственно, конфиг на тот момент был такой: 2 диска по 120гб в софтовом зеркале из-под винды (способ их создания был описан в прошлой статье), еще 2 диска по террабайту в софтовом зеркале под торренты и кинчики, а 4 по 500 гигабайт были собраны в RAID 10 на аппаратном контроллере под бэкап всякого разного. Без конденсатора скорость 10ки была примерно 140 МБ/сек, с ней же должна была быть ~ 220 МБ/сек.

Между тем, я случайно дотронулся рукой до блока питания, и ощутил неприятное тепло градусов за 45. С прошлой статьи я поменял его на какой-то PowerMan на 360 честных ватт, что должно хватать с головой на данный конфиг. И это меня насторожило: чему там греться, ведь он жрет с розетки 100 ватт максимум. А оказалось, что пока он лежал в закромах, решетка перед вентилятором вогнулась внутрь и не давала вертушке крутиться. Хорошо хоть не вспыхнул на обитом вагонкой балконе, благо, на улице уже стоял минус.

Собственно, раз уж появился повод его вынуть, решил и внутрь заглянуть. Скажу так: чистить комплектующие после курильщика - это настоящая пытка. А курил рядом с ним кто-то нехило. Несмотря на то, что мой нос после ковида уже 2 года не воспринимает запахи, тут пробило даже его. А решетку пришлось все равно вытягивать плоскогубцами наружу.

Вместо нищих 4 гигабайт ОЗУ, мне перепало уже две плашки ECC безбуферной памяти общим объемом в 8ГБ. С ее работой в обычной десктопной матери никаких проблем не возникает, в отличии от регистровой. Плюсом вышел небольшой разгон с 1333МГц до 1600. К сожалению, сам ECC режим не работает. Но на халяву итак пойдет - больше объема под файломедиапомойку я не вижу смысла втыкать.

Ну и заодно решил проклеить корпус в круг валявшейся без дела виброшумкой. Идея была в том, что зимой он не слишком мерз, летом не слишком нагревался. Ну и главное, шумел поменьше. В идеальном мире, нужно не оставлять зазоров при этом, но у меня сзади отсутствовала планка удержания (хз как ее обозвать) для слотов расширения, и поэтому сзади образовалась приличная дырка. Но в остальном, получилось почти везде стык-в-стык. Температура дисков упала на пару градусов, зато когда вдарил в одну из ночей мороз под -15, температура не просела. Да, сам балкон утепленный, но не настолько же.

Далее была заказана всякая мишура: пара вертушек 80х80 на заднюю часть корпуса и одна того же размера на перед для охлаждения дисков. Изначально, сзади стоял непонятный вентилятор на 4 пина от какого-то нонейм куллера с AMD, а спереди molex-вертушка без регулировки и занимала этот самый molex.

Забегая вперед, скажу сразу, что если тонкие малютки от ID-COOLING особо не шумят, то вот как орет ARCTIC - мое почтение. Желательно под него иметь на материнке свободный отдельный 4pin и занижать кривую скорости оборотов из BIOS. Но эффективность у него тоже отличная, диски на которые попадал обдув скинули градусов 7-8.

А так как на моей дешевой материнке было всего два 4pin под вентиляторы, заодно приобрел с Озона разветвитель с одного на сразу пять таких разъемов. Очень важно следить, сколько вы понавешали на него - в мануале и на самих вертушках есть показатели потребляемого тока в амперах и заходить за них очень не рекомендую. Хорошо, если материнка просто не стартует и уйдет в защиту, но на дешевых платах она скорее всего включится и будет работать на износ, пока разъем не поплавится. У меня же по мануалу нельзя на коннекторах превышать один ампер, по даташитам вентиялоров за это значение я не выходил даже с четыремя вентиляторами.

Ну и важно помнить, что все эти переходники от лукавого. Кто знает, как сегодня в свою смену китаец это все спаял и не коротнет ли это чудо сегодня. Так что пользоваться ими можно только по большой нужде и не самыми дешевыми. Ну и на сдачу я взял еще переходник molex-5xSATA, чтобы подключить корзинку, о которой пойдет речь далее.

Следом начал продумывать, а как адекватно уместить 12 дисков в таком корпусе? Ведь кроме восьми уже напиханных туда, хотелось бы добавить к облаку вместо двух дисков в зеркале еще два и пересобрать на RAID 5 через контроллер. Плюсом у меня лежали два ноутбучных диска по 500ГБ, которые можно использовать в качестве тестовых, или писать на них видео с домофона на входе квартиры. Так я и вспомнил, что вместо отсеков 5,25, которых у меня на корпусе было целых 4 штуки, можно засунуть корзины под 3,5 накопители.

Хотелось, конечно, побыть самым модным пацаном на районе, и взять корзинки с hot-swap (быстрой заменой), индикаторами работы/ошибок и встроенным обдувом. Но ни на Авито, ни на Али за адекватный ценник для десктопного корпуса такого не найти. Так за такие деньги они еще только под SATA, так что никаких даже возможных SAS-дисков в системе. Да и остальные диски без хот-свапа, все равно придется разбирать корпус, если какой-то из них накроется.

Так что выбор пал на обычную корзину из металла, к которой спереди прикручивается 120мм вертушка на три слота 5,25. Под 2,5 диски в свободный слот был взят кейс попроще, из пластика. Туда можно засунуть либо 4 маленьких диска, либо один полноразмерный и два мелких.

И пока это добро выезжало ко мне с Китая, мне перепало 2х4ГБ DDR3 ECC не регистровой памяти, которая прекрасно работает на десктопах, но естественно материнка не поддерживает коррекцию ошибок, и она не работала. Тогда в моей голове появился план: быть может, докинуть еще сколько-то денег и собрать это все в удобоваримом корпусе? Но пока я еще гнал от себя такие мысли.

Последним штрихом для моей балконной серверной должен был стать термометр, у которого показания можно снимать удаленно. Сперва положив взгляд на всякие сяоми аля "умный дом", не смог найти среди них ни одно, который бы питался по проводу и стоил адекватных денег. Собственно, хотелось что-то непосредственно подключаемое к ПК через USB, и передающее на него же данные. И Озон подкинул такую идейку.

Абсолютно случайно я вышел на такой свисток от российских разработчиков. Чуваки пилят всякие аксессуары для майнеров, а им тоже во времена ригов с кучей видеокарт отслеживать температуру было критически важно. Собственно, они припаяли НАЗВАНИЕ ДАЧИКА к плате (а может и купили сразу в сборе), засунули все в корпус и написали софт. Только вот для корректного отображения показателей длину надо увеличивать либо USB-удлинителем, либо отпаивать датчик и пересаживать его на отдельный проводок. Опять же, благо удлинитель у меня был.

С софтом особо не побалуешься. Есть виндовая программка (также существуют версии под MacOS и Linux), последнее обновление которой датируется в 2018 году. Есть журнал показаний из программы на 15 пунктов, и обновляется он после изменения температуры. Полный лог можно выгрузить в txt-файл. Иногда кажется, что программа работает кривовато, будто забывает опросить датчик, но в целом, пойдет. Еще бы как-нибудь присрать все это к какому-нибудь Заббиксу, который у меня в планах тоже развернуть ради обучения, но это в будущем.

После развертывания Plex и использования его в качестве удаленного медиасервера, чтобы смотреть скачанные сериалы на хранилку с любого устройства, на котором есть интернет без обязательного подключения к локальной сети (другие ПК, телевизоры, смартфоны) стало понятно, что i3 4130 задыхается при декодировании видео. Так что последним штрихом к серверу был заказан Xeon E3-1265L v3. Четыре ядра, восемь потоков, встроенное видеоядро и урезанный теплопакет - идеальный выбор для меня. Правда, я в этот раз решил гнать его не через Китай, а через "СНГ". Не повторяйте моих ошибок, он поехал из Узбекистана, и потерялся у них недели на три. Так что от китайцев вышло бы даже быстрее. Итого, его узбекский вояж занял ровно месяц.

И оглядываясь назад, я понимаю, что предал первоначальную концепцию, когда все было выполнено с абсолютным нулем вложений. Итоговый бюджет выглядит так:

Итого: 8898 рублей.

Вот так, планомерно, сервак из говна и палок стал превращаться во что-то более интересное. Но раз у меня уже есть серверный проц и серверная память, почему бы не собрать полноценный сервер, который не стыдно было бы при переезде в новую квартиру воткнуть в настенный шкаф? Именно этим я и займусь в следующей (и в то же время заключительной) части серии данных статей. А в наступающем Новом Году желаю здоровья вашим накопителям и их владельцам.