Render.ru

Небольшой опыт в строительстве фермы

Dimka890

Пользователь сайта
Рейтинг
4
#1
Всем привет. Недавно собирал рендер-ферму под заказ, получилась машинка, которой хотелось бы поделится, может будет кому-то интересно :)
Итак ко мне обратилась одна небольшая студия, им нужна была рендер ферма для собственных нужд + хотели немного рендерить на коммерческой основе.
В итоге, долго думали, выбирали и пришли к такому решению - нужно как минимум 32 ноды, NAS сервер для бекапа проектов и СХД для рендера. Плюс ферма должна была быть полностью автономной (поставил рендер и ушел, выключив рабочий комп).
По железу получился такой список:
СХД для рендера:
HP DL180 G6 25SFF с парой Intel Xeon X5560, 32 ГБ ОЗУ, Nvidia Quadro K2000, LSI9268-8i, 23x HP 300Gb SAS 10k HDD, 2x Intel SSD 240 Gb
NAS для бекапов:
HP DL180 G6 с одним процессором L5520, 12 ГБ ОЗУ, 2 HDD 80ГБ в RAID 1 под систему и 4 диска по 3 ТБ в RAID 5 для данных
Сама ферма построена на HP DL1000 и DL2000 - это 4 сервера в одной коробке. Каждый сервер на борту имеет пару процессоров E5540, 24 Гб ОЗУ и жесткий диск 300GB SAS
В качестве сети использовали top rack свич от Quanta. 48 гигабитных портов и два 10-ти гигабитных. Свичик использует ОС VxWorks, очень надежен (ОС используется в некоторых самолетах) и не требует к себе много внимания
Так же была задача минимизировать потребление электроэнергии при простоях. Для этого использовали управляемые PDU от APC - они позволяют мониторить состояние розеток, включать и выключать их, а так же мониторить потребляемую мощность из сети. Путем нехитрых манипуляций получилась вот такая железка (фото ещё на стадии сборки)
Получаем мелкие железки:
^0B83821B54FB835E0F4B31B49989E22FEB8EED5FB2A18111ED^pimgpsh_fullsize_distr.jpg
На фото сервера установлены в стойку и проброшена витая пара:
DSC_0058.JPG
DSC_0059.JPG
DSC_0060.JPG
DSC_0061.JPG
DSC_0062.JPG
DSC_0063.JPG
DSC_0064.JPG
DSC_0066.JPG

Основной СХД соединили с фермой по 10 ГБит, там же развернули Hyper-V сервер с RemoteFX - теперь можно было создавать виртуальные машины с ускорением графики. SSD используются как кеш для горячих данных (аппаратная функция рейд контроллера, всё происходит без участия пользователя), а вот по производительности дисковой подситсемы уперлись в RAID контроллер, преодолеть 1.4 Гб/сек не удалось, но этого было более чем достаточно. Всё было собрано в недорогую 24U стойку, занимает крайне мало места (примерные габариты ШхГхВ 60х80х120 см)
Ну а вот ферма погружена в газельку и уезжает к заказчику, а я сажусь на поезд и следую за ней почти 1000 км :)
526f10a2-ccd4-41f3-bcff-b39be1df5754.jpg
P.S на выходе - 256 ядер и 512 потоков которые принимают непосредственное участие в рендере, 768 ГБ оперативной памяти, 6.3ТБ быстрого хранилища с SSD кешированием.
Теоритечески эту платформу можно без проблем проапгрейдить (заменой процессоров на 6-ти ядерные и забить все слоты под паять планками в 4, 8 или 16 Гб) и получить 384 ядра и 768 потоков соответственно. По памяти 4-х гиговые модули - 2 Тб ОЗУ, 8-ми гиговые модули - 4 Тб ОЗУ, 16-ти гиговые модули - 6,14 Тб
 
Последнее редактирование:
Рейтинг
58
#2
Как бы всё не выглядело четко и визуально красиво, нужно знать цена/выхлоп. Я понимаю, что это всё "обдумано, выбрано", но без итогов выглядит пока как чисто сборка. Хотелось бы потом поста о производительности и затратах. Какова средняя потребляемая мощность под нагрузкой, в простое. Интересно, на сколько целесообразно собирать подобных ибейных "динозавров".
 
Последнее редактирование:

Dimka890

Пользователь сайта
Рейтинг
4
#3
точную цифру уже не припомню, но целиком вышло оно ребятам 15к $
Производительность равна 25-26 тазикам на i7-6700 (суммарно ~275 pts в Cinebench R11.5)
С каждой фазы кушало 10-12 ампер при полной нагрузке, что в среднем дает около 8 кВт потребляемой мощности когда жарит, и около 4 кВт когда просто включена.
 
Рейтинг
58
#4
суммарно ~275 pts в Cinebench R11.5
Это где-то 4,3 на один ЦП. Практически чистый нехалем в тестах, по баллам почти аналог i7-920.
около 8 кВт потребляемой мощности когда жарит, и около 4 кВт когда просто включена.
Фига себе простой. Это периферия столько ест что ли?

Вообще, если есть доступ к халявному электричеству, то вообще хорошо. Интересно, сколько бы обошлось собрать на тот же префоменс, но с последним железом аля E5-2630Lv4 + DL60(80).
 

Dimka890

Пользователь сайта
Рейтинг
4
#5
Это где-то 4,3 на один ЦП. Практически чистый нехалем в тестах, по баллам почти аналог i7-920.

Фига себе простой. Это периферия столько ест что ли?

Вообще, если есть доступ к халявному электричеству, то вообще хорошо. Интересно, сколько бы обошлось собрать на тот же префоменс, но с последним железом аля E5-2630Lv4 + DL60(80).
Дак это и есть Nahelam в чистом его виде)
Халявного электричества и не надо, ферма не для дома, зарабатывает деньги, так что электричество не так и важно.
Собирать фермы из v3/v4 камней не целесообразно, даже если брать цены в штатах, 1 сервак обойдется в 2.5-3к$, т.е. на ту же сумму (если убрать цену сторейджа, свича, пду, стойки, etc), то на оставшиеся деньги можно взять 3-4 dl60 gen8, а это куда меньше по производительности будет, чем есть. И это не считая стоимости доставки и таможни серверов.
 

Иван Алексеев 23248

Активный участник
Рейтинг
5
#6
По управляемым розеткам и минимизации потребления электричества - нода просто физически отключается? то есть никакого ухода в гибернацию, никакого wake on lan?
 

Dimka890

Пользователь сайта
Рейтинг
4
#7
По управляемым розеткам и минимизации потребления электричества - нода просто физически отключается? то есть никакого ухода в гибернацию, никакого wake on lan?
Да, полностью снимается питание с БП. При подаче питания - автостарт.
 

Иван Алексеев 23248

Активный участник
Рейтинг
5
#8
Да, полностью снимается питание с БП. При подаче питания - автостарт.
то есть это нештатное вырубание виндоуз, система по сути грохается, так ведь? проблем потенциальных не опасаетесь?
 

Dimka890

Пользователь сайта
Рейтинг
4
#9

Иван Алексеев 23248

Активный участник
Рейтинг
5
#10
Ну зачем же так. Корректно завершается работа, а потом вырубается питание.
Но как вы корректно завершаете работу? Это ведь равносильно тому, что выдрать вилку из розетки. Я, возможно, чего то не понимаю...
 

Dimka890

Пользователь сайта
Рейтинг
4
#11
Но как вы корректно завершаете работу? Это ведь равносильно тому, что выдрать вилку из розетки. Я, возможно, чего то не понимаю...
Аналогия - выключаете свой домашний компьютер (пуск-завершение работы) и потом выдергиваете его из розетки. Там почти тоже самое, только руками не надо клацать везде завершение работы и из розеток руками тоже не надо дергать
 

Иван Алексеев 23248

Активный участник
Рейтинг
5
#12
Аналогия - выключаете свой домашний компьютер (пуск-завершение работы) и потом выдергиваете его из розетки. Там почти тоже самое, только руками не надо клацать везде завершение работы и из розеток руками тоже не надо дергать
Вот теперь прояснилось. То есть это такие смарт розетки, которые имеют связь с конкретной нодой или группой нод, дающих сначала команду на завершение работы, а потом отключающихся физически. Правильно?
А какая модель розетки или это блок розеток, и сколько стоит - не подскажите?
 

Dimka890

Пользователь сайта
Рейтинг
4
#13
Розетки никаких команд не дают, завершение работы делается либо руками, либо скриптами (кто на что горазд). Розеток этих куча, в данном случае APC 9211 если не ошибаюсь. Стоят прилично, цену уже не вспомню на них
 

Инди-студио

Активный участник
Рейтинг
5
#14
Не подскажешь, как собрать Домашнию рендер ферму ,если есть 10 видеокарт радеон р390 или р380.
Моя цель сдавать их в аренду!
Пока что в планах доступ по удалённому рабочему столу!

Но вот с Оплатой я пока не определился! Наверно надо продавать Логин и пароль ,например на 6 часов за 180 рублей тип такова?

Есть ещё варианты как сдавать ферму на прокат, может есть какие скрипты ,или программы ,для автоматизации процесса?
 

Инди-студио

Активный участник
Рейтинг
5
#16
Видяхи для добычи криптовалюты!А ссд для понта,для того же хостинга пойдут-это омдно сейчас!Что тут не понятного!
А ещё это круто для Конвертации видео из 1 формата в другой-в лёт!
 

Dimka890

Пользователь сайта
Рейтинг
4
#17
Квадра там всего 1, нужна для виртуальных машин (используют RemoteFX, т.к. фермой пользуется не 1 человек). Задача - открыть сцену на ферме непосредственно через RDP и посмотреть всё ли в порядке.
SSD используются как кэш для массива из винтов, просто для ускорения работы дисковой подсистемы хранилища, хотя она там итак быстрая, но цена тех ссд на фоне фермы просто пылинка (их там всего 2) .
P.S. сегодня тестили ещё одну железку, правда результат не очень порадовал, надо ещё разбираться с производительностью
Пара таких процессоров показала 1666 cb, а вот 4 почему-то 2822 cb
Так же в ближайшее время будем тестировать сарай с процессорами в качестве фермы (там уже правда 8 отдельных систем), в теории должны получить с него в сумме аналог 13-14к cb
 
Сверху