Мне нужно дома развернуть кластер из 1 петабайта строейджа. Подскажите пожалуйста, как это компактно можно разместить? Вообще для начала куплю не 1 петабайт, а всего лишь дисков 5-10 по 16тб каждый, но в перспективе нужен петабайт. Нашел в онлайне неплохой кейс для 16-ти дисков. Но, там где нашел, там уже нет(. Аноны, кто шарит, можете пожалуйста подсказать как лучше это оргнанизовать? Волнует охлаждение, масштабирование и нужно чтобы я по большому сетевому каналу мог эти данные получать на свой ноут. А, ну еще главное чтобы это не сгорело. Бтв, может кто-то проконсультирует как сделать максимальный аптайм этого кластера и нормальна ли это идея продавать свой API внешним клиентам через белый ипшник? Типо не отхуярит ли меня провайдер по шее за такое.
Еще вопрос на счет типо сторейджа. У меня денег на ssd нет, это выбивается из бюджета. Есть ли смысл ставить optane/hybrid?
Ну и самый тупой вопрос, можно ли на винде все эти диски объединить в один диск E на петабайт? Есть ли какие-то ограничения или перфоманс проблемы в этом плане?
Мими датасайнс инженер / стартапер
Провайдер будет ебать в зависимости от объема трафика, но с такими объемами дело пахнет большими числами и особым бизнес тарифом, без которого тебя провайдер через хуй кинет.
Так и быть, отвечу в фантазий-тред.
Если делать все правильно, то тебе нужен top loading сервер на 90 дисков (гугли Supermicro SuperStorage 6048R-E1CR90L и 6049SP-E1CR90). Забиваешь это все дисками по 18TB, делаешь из них 9 групп RAIDZ2 по 10 дисков и получаешь как раз примерно 1PB.
Примерная стоимость такой системы (без ИБП, стойки, кондиционирования):
90 x 18TB дисков - около 3 млн. руб.
Платформа, процы, память, контроллеры - около 1.5 млн. руб.
Итого: 4.5 млн рублей минимум
Можно попробовать немного сэкономить, взяв вместо хитрой платформы - обычную (можно б/у) с 24 слотами под 3.5 дюймовые диски, а затем к ней подключить еще 3 (опять-таки можно б/у) дисковые полки с 24 дисками каждая. Получится чуть дешевле, но смысла особо в этом нет, так как основная стоимость все равно будет приходиться на диски.
/thread
Да, и еще совершенно непонятно, что ОП подразумевает под "кластером на 1 петабайт".
Несколько вычислительных нод с общим хранилищем в 1ПБ? Тогда вопрос, нужен ли нодам одновременный доступ к одному и тому же массиву, или нужно распилить диски под каждую виртуалку, например. Сколько нод, какие требования к IOPS/скорости?
Или речь про параллельную файловую систему? Тогда решение совсем другое, нужен отдельный сервер с быстрыми SSD для мета-данных и быстрый интерконнект (хотя бы 25Гб/с), чтобы производительность не была совсем на дне.
Далее по тексту ОП говорит про то, чтобы юзать свой петабайт тупо как сетевой диск, что предполагает, что речь просто о NAS очень большого объема, и тогда то, что я >>5858343 написал - верно. Расшарить такой массив не составляет труда по SMB или NFS (если винда - Pro). И тогда он действительно будет виден в винде как один большой петабайтный диск, хотя на деле это будет сервак под linux и с ZFS под капотом.
Ну зачем так много, один новый сторинатор 60 за лям плюс 18 тб диски еще 2
итого за 3 ляма готовое решение, только флешку с линуксом вставить
или два бу кейса 45 от хитачи за 150к к серверу макс за 150к плюс диски 16 тб оптом купить у майнера с авито или повскрывать внешние usb - будет 1,5 - 2 ляма.
ну плюс пара ибп 2 кв и кондишен, плюс стойка - все вместе еще сотка.
на электричество в месяц 5-10 тысяч.
>>5867959
Нарезать этот корпус, плата+проц и x4 LSI 9305. Примерно $5к.
Ещё $17к на диски пикрил.
Итого дома можно собрать петабайт за примерно 1 700 000рублейс округлениями в большую сторону
Собирать массив имеет смысл только под zfs.
>>5858410
Супермикрошизику с его 4.5кк можно смело ссать на голову. Тому что решение за менее чем 2кк будет лучше всем.
Если собирать кластер для Ceph или Gluster выйдет еще дешевле из-за цены бесполезных контроллеров дисков.
Откуда там 5-10к на электричество?
У Exos X18 максимальное потребление 10Вт при рандомной записи чтении.
60 дисков это 600Вт + еще на сервер и упсы ~300Вт. Это меньше 3к рублей в месяц.
Если диски еще и усыплять выйдет вообще рублей 500.
Трата которую можно не считать.
А с кластерными ФС дома он точно наебнется это только вопрос времени.
Лучше отдельные несвязанные хранилки городить по 100Тб.
> несколько томов на raidz2 ecc память ничего не ёбнется главное на питании не экономить
https://www.youtube.com/watch?v=Npu7jkJk5nM&t=630s
Под какую задачу тебе нужен петабайт?
Подскажи пожалуйста, каким аутистом надо быть, чтобы такие специфические вопросы задавать на двачепараше? Иди сходи в ларкатред лучше, спроси как разогнать бидаи.
Прям как год назад с чией, ололо. У тех же чияшизиков наверное можно набрать и дисков и корпусов и контроллеров.
Смотри анон какая хуйня: мало поставить 10 дисков, надо их еще кудато включить, а такой дохуилион обычно включают в серверные материнки EATX или SSIB, которые в простые корпуса не встают. Например недорогие асусы LGA 2011 с картой PIKE могут тебе дать столько портов но каждая такая материнка занимает оче дохуя места.
Я бы смотрел исключительно в сторону списанных корпоративных хранилок, время дороже.
Вот самое компактное из возможного в принципе:
https://www.youtube.com/watch?v=pqZFcrQTZ_E
Пикрилы можно купить на вторичном рынке. Нихуя не компактно. Чтобы подрубить 24 диска нужно три карты HBA (3 карты по 2 порта по 4 диска) или одна карта HBA и один экспандер.
> Есть ли смысл ставить optane/hybrid?
Нет. Максимум на каждый сервер пара NVME для кэша.
> как сделать максимальный аптайм этого кластера
Как всегда. Иметь горячий резерв для всего.
> Ну и самый тупой вопрос, можно ли на винде все эти диски объединить в один диск E на петабайт?
Можно. Не, особо проблем нет. Но ЯСЕН ХУЙ хранилку надо собирать на бзде или линуксе.
> нормальна ли это идея продавать свой API внешним клиентам через белый ипшник?
Нет.
Сука, блядь, необучаемый. Серваки НЕ ДОЛЖНЫ отрубаться по питанию. А если такое вдруг произошло, то пробежать скрабом после включения обязательно. Дело не в том, что вы не поставили скраб в расписание. Вы же вообще хуй забили.
Ну и, блядь, если бы ты не был клоуном, то СТАРОЕ АРХИВНОЕ хранилище догадался бы отключить по питанию и унести куда-нибудь.
Нет бэкапа - нет данных. Просто факт ебаный. Нехуй и городить было хранилку на ёбаный петабайт. Всё равно в мусор все данные ушли. Найми мальчика-стажёра в свою команду, дай ему машинку с приводом LTO-8 пусть потренируется и тупо руками твои архивные футажи запишет на ленты, в ящик сложит.
> Волнует охлаждение, масштабирование и нужно чтобы я по большому сетевому каналу мог эти данные получать на свой ноут.
Ну usb адаптеры на 5 гбит существуют
А, ну еще главное чтобы это не сгорело.
> Бтв, может кто-то проконсультирует как сделать максимальный аптайм этого кластера и нормальна ли это идея продавать свой API внешним клиентам через белый ипшник? Типо не отхуярит ли меня провайдер по шее за такое.
Да у тебя тупо не выдержит канал если много клиентов будет, и да аптайм проблемный, свет могут отключить или ещё что
> Ну и самый тупой вопрос, можно ли на винде все эти диски объединить в один диск E на петабайт? Есть ли какие-то ограничения или перфоманс проблемы в этом плане?
В ntfs точно нет
> Мими датасайнс инженер / стартапер
>>5868679 а этого дебила вообще надо в музей необучаемых фантазеров-пидоров, корпус он собрался, блять, собрался, вырезать, по мануалу еще одного фантазера 15-ти летней давности, охуеть можно
Шизя пей таблетки. На 60 дисках 20Тб выходит петабайт с вылетом любых 6 дисков.
Хуйню свою иди рассказывай на кухне конторы обслуживающий сельские туалеты.
https://www.youtube.com/watch?v=pqZFcrQTZ_E
Этот https://wintelguy.com/zfs-calc.pl калькулятор был бы получше.
И то, относительно мелкие блоки для их видеоархива не очень оптимальный вариант. Может деньгами проблему не обдумывая залили, чтобы прорекламировать производителя или собрать дорогостоящую йобу, не вполне, по моему мнению, несоответствующую запросу.
Этих йоб у них уже 4 штуки.
Вот самая первая https://www.youtube.com/watch?v=eCz-IixxR_k&t=204
Но шизопетушку с сосача виднее, конечно.
Оп-хуй еще и не конкретизировал, что он с дисками делать будет. Раз он волнуется за аптайм, хочет часто к дискам обращаться и даже доступ к дискам продавать - то ему-то и RAIDZ2 не факт что подойдет, думать надо, не лучше ли собрать 10.
>>5857933 (OP)
Вместо того, чтобы хуйней страдать и на дваче совета спрашивать, заплати профессионалу, а желательно посоветуйся с несколькими. Иначе потом с горящей жопой будешь бегать данные восстанавливать.
>>5895701
Ух, диванные профессионалы подъехали.
Ты зачем неформатированную емкость в расчетах используешь (вопрос риторический, потому что ты никогда в реальности не занимался СХД или администрированием чего-то кроме своего ануса)?
18ТБ диск после форматирования превращается примерно в 16.6 ТБ, итого даже в RAID0 будет 60*16.6=996ГБ, что меньше петабайта.
Да похуй, пусть даже не 16.6ТБ, а 17ТБ, идем вот сюда: https://wintelguy.com/zfs-calc.pl, забиваем туда 6 групп по 10 дисков для RAIDZ2 с объемом 17ТБ. Даже при такой завышенной оценке получается Practical usable storage capacity: 682TB
Так что учи матчасть, школьник, ебучий
Поддерживаю, что ОП-хуй.
Дико проигрываю при этом с местных ойти-ютуб диванов, может пора открывать свой бизнес по восстановлению данных, учитывая количество долбоебов, которые уврены, что они что-то понимают. В принципе, опыт Линуса, который, впрочем, очевидно делает все ради контента для своего канала, вполне релевантный.
Блять, я только что прочитал, что этот долбоеб посчитал в своем калькуляторе неформатированный объем 60x18ТБ дисков минус 2 диска на parity, и сам таким образом нассал себе на лицо.
>>5912124
Вот тут в калькулятор надо неформатированную емкость подставлять, объем тупо 60 дисков в RAIDZ2 (что пиздец само по себе) будет 840ТБ
Хуяси сосачный эксперт наезжает на диванных. Чет пержу как слон с важности этого додика.
мимотреднечитал
На али этих корпусов есть. Сам поглядываю, для сборки NAS в этом году.
Дык я про корпус из тредрила.
https://aliexpress.ru/item/1005003148866235.html
Влезет 18 дисков. Охлад такой же или лучше чем в китаеговне
когда у меня появятся бабосы сделаю себе так как написал, хочу себе годноты выкачать с трекеров, на случай БП
на пикче тяжёлая железная пластина ~1.5 мм закреплённая на обратной стороне монитора
