1. Пользоваться форумом на планшетах и телефонах стало удобнее благодаря Tapatalk

Небольшой опыт в строительстве фермы

Тема в разделе "Железо", создана пользователем Dimka890, 1 авг 2016.

Модераторы: M.R.K.(MindThrower), morro
  1. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    Всем привет. Недавно собирал рендер-ферму под заказ, получилась машинка, которой хотелось бы поделится, может будет кому-то интересно :)
    Итак ко мне обратилась одна небольшая студия, им нужна была рендер ферма для собственных нужд + хотели немного рендерить на коммерческой основе.
    В итоге, долго думали, выбирали и пришли к такому решению - нужно как минимум 32 ноды, NAS сервер для бекапа проектов и СХД для рендера. Плюс ферма должна была быть полностью автономной (поставил рендер и ушел, выключив рабочий комп).
    По железу получился такой список:
    СХД для рендера:
    HP DL180 G6 25SFF с парой Intel Xeon X5560, 32 ГБ ОЗУ, Nvidia Quadro K2000, LSI9268-8i, 23x HP 300Gb SAS 10k HDD, 2x Intel SSD 240 Gb
    NAS для бекапов:
    HP DL180 G6 с одним процессором L5520, 12 ГБ ОЗУ, 2 HDD 80ГБ в RAID 1 под систему и 4 диска по 3 ТБ в RAID 5 для данных
    Сама ферма построена на HP DL1000 и DL2000 - это 4 сервера в одной коробке. Каждый сервер на борту имеет пару процессоров E5540, 24 Гб ОЗУ и жесткий диск 300GB SAS
    В качестве сети использовали top rack свич от Quanta. 48 гигабитных портов и два 10-ти гигабитных. Свичик использует ОС VxWorks, очень надежен (ОС используется в некоторых самолетах) и не требует к себе много внимания
    Так же была задача минимизировать потребление электроэнергии при простоях. Для этого использовали управляемые PDU от APC - они позволяют мониторить состояние розеток, включать и выключать их, а так же мониторить потребляемую мощность из сети. Путем нехитрых манипуляций получилась вот такая железка (фото ещё на стадии сборки)
    Получаем мелкие железки:
    ^0B83821B54FB835E0F4B31B49989E22FEB8EED5FB2A18111ED^pimgpsh_fullsize_distr.jpg
    На фото сервера установлены в стойку и проброшена витая пара:
    DSC_0058.JPG
    DSC_0059.JPG
    DSC_0060.JPG
    DSC_0061.JPG
    DSC_0062.JPG
    DSC_0063.JPG
    DSC_0064.JPG
    DSC_0066.JPG

    Основной СХД соединили с фермой по 10 ГБит, там же развернули Hyper-V сервер с RemoteFX - теперь можно было создавать виртуальные машины с ускорением графики. SSD используются как кеш для горячих данных (аппаратная функция рейд контроллера, всё происходит без участия пользователя), а вот по производительности дисковой подситсемы уперлись в RAID контроллер, преодолеть 1.4 Гб/сек не удалось, но этого было более чем достаточно. Всё было собрано в недорогую 24U стойку, занимает крайне мало места (примерные габариты ШхГхВ 60х80х120 см)
    Ну а вот ферма погружена в газельку и уезжает к заказчику, а я сажусь на поезд и следую за ней почти 1000 км :)
    526f10a2-ccd4-41f3-bcff-b39be1df5754.jpg
    P.S на выходе - 256 ядер и 512 потоков которые принимают непосредственное участие в рендере, 768 ГБ оперативной памяти, 6.3ТБ быстрого хранилища с SSD кешированием.
    Теоритечески эту платформу можно без проблем проапгрейдить (заменой процессоров на 6-ти ядерные и забить все слоты под паять планками в 4, 8 или 16 Гб) и получить 384 ядра и 768 потоков соответственно. По памяти 4-х гиговые модули - 2 Тб ОЗУ, 8-ми гиговые модули - 4 Тб ОЗУ, 16-ти гиговые модули - 6,14 Тб
     
    Последнее редактирование: 1 авг 2016
    Иван Алексеев 23248 нравится это.
  2. Rebate

    Rebate Знаток

    С нами с:
    19.01.2010
    Сообщения:
    1.694
    Симпатии:
    60
    Баллы:
    59
    Как бы всё не выглядело четко и визуально красиво, нужно знать цена/выхлоп. Я понимаю, что это всё "обдумано, выбрано", но без итогов выглядит пока как чисто сборка. Хотелось бы потом поста о производительности и затратах. Какова средняя потребляемая мощность под нагрузкой, в простое. Интересно, на сколько целесообразно собирать подобных ибейных "динозавров".
     
    Последнее редактирование: 1 авг 2016
  3. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    точную цифру уже не припомню, но целиком вышло оно ребятам 15к $
    Производительность равна 25-26 тазикам на i7-6700 (суммарно ~275 pts в Cinebench R11.5)
    С каждой фазы кушало 10-12 ампер при полной нагрузке, что в среднем дает около 8 кВт потребляемой мощности когда жарит, и около 4 кВт когда просто включена.
     
  4. Rebate

    Rebate Знаток

    С нами с:
    19.01.2010
    Сообщения:
    1.694
    Симпатии:
    60
    Баллы:
    59
    Это где-то 4,3 на один ЦП. Практически чистый нехалем в тестах, по баллам почти аналог i7-920.
    Фига себе простой. Это периферия столько ест что ли?

    Вообще, если есть доступ к халявному электричеству, то вообще хорошо. Интересно, сколько бы обошлось собрать на тот же префоменс, но с последним железом аля E5-2630Lv4 + DL60(80).
     
  5. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    Дак это и есть Nahelam в чистом его виде)
    Халявного электричества и не надо, ферма не для дома, зарабатывает деньги, так что электричество не так и важно.
    Собирать фермы из v3/v4 камней не целесообразно, даже если брать цены в штатах, 1 сервак обойдется в 2.5-3к$, т.е. на ту же сумму (если убрать цену сторейджа, свича, пду, стойки, etc), то на оставшиеся деньги можно взять 3-4 dl60 gen8, а это куда меньше по производительности будет, чем есть. И это не считая стоимости доставки и таможни серверов.
     
  6. Иван Алексеев 23248

    Иван Алексеев 23248 Пользователь сайта

    С нами с:
    28.08.2006
    Сообщения:
    11
    Симпатии:
    13
    Баллы:
    3
    По управляемым розеткам и минимизации потребления электричества - нода просто физически отключается? то есть никакого ухода в гибернацию, никакого wake on lan?
     
  7. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    Да, полностью снимается питание с БП. При подаче питания - автостарт.
     
  8. Иван Алексеев 23248

    Иван Алексеев 23248 Пользователь сайта

    С нами с:
    28.08.2006
    Сообщения:
    11
    Симпатии:
    13
    Баллы:
    3
    то есть это нештатное вырубание виндоуз, система по сути грохается, так ведь? проблем потенциальных не опасаетесь?
     
  9. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    Ну зачем же так. Корректно завершается работа, а потом вырубается питание.
     
  10. Иван Алексеев 23248

    Иван Алексеев 23248 Пользователь сайта

    С нами с:
    28.08.2006
    Сообщения:
    11
    Симпатии:
    13
    Баллы:
    3
    Но как вы корректно завершаете работу? Это ведь равносильно тому, что выдрать вилку из розетки. Я, возможно, чего то не понимаю...
     
  11. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    Аналогия - выключаете свой домашний компьютер (пуск-завершение работы) и потом выдергиваете его из розетки. Там почти тоже самое, только руками не надо клацать везде завершение работы и из розеток руками тоже не надо дергать
     
  12. Иван Алексеев 23248

    Иван Алексеев 23248 Пользователь сайта

    С нами с:
    28.08.2006
    Сообщения:
    11
    Симпатии:
    13
    Баллы:
    3
    Вот теперь прояснилось. То есть это такие смарт розетки, которые имеют связь с конкретной нодой или группой нод, дающих сначала команду на завершение работы, а потом отключающихся физически. Правильно?
    А какая модель розетки или это блок розеток, и сколько стоит - не подскажите?
     
  13. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    Розетки никаких команд не дают, завершение работы делается либо руками, либо скриптами (кто на что горазд). Розеток этих куча, в данном случае APC 9211 если не ошибаюсь. Стоят прилично, цену уже не вспомню на них
     
  14. Инди-студио

    Инди-студио

    С нами с:
    13.09.2016
    Сообщения:
    8
    Симпатии:
    0
    Баллы:
    0
    Не подскажешь, как собрать Домашнию рендер ферму ,если есть 10 видеокарт радеон р390 или р380.
    Моя цель сдавать их в аренду!
    Пока что в планах доступ по удалённому рабочему столу!

    Но вот с Оплатой я пока не определился! Наверно надо продавать Логин и пароль ,например на 6 часов за 180 рублей тип такова?

    Есть ещё варианты как сдавать ферму на прокат, может есть какие скрипты ,или программы ,для автоматизации процесса?
     
  15. eddy444

    eddy444 Активный участник

    С нами с:
    07.11.2010
    Сообщения:
    27
    Симпатии:
    2
    Баллы:
    9
    а зачем там квадры и SSD ?
     
  16. Инди-студио

    Инди-студио

    С нами с:
    13.09.2016
    Сообщения:
    8
    Симпатии:
    0
    Баллы:
    0
    Видяхи для добычи криптовалюты!А ссд для понта,для того же хостинга пойдут-это омдно сейчас!Что тут не понятного!
    А ещё это круто для Конвертации видео из 1 формата в другой-в лёт!
     
  17. Dimka890

    Dimka890 Пользователь сайта

    С нами с:
    01.08.2016
    Сообщения:
    8
    Симпатии:
    1
    Баллы:
    4
    Квадра там всего 1, нужна для виртуальных машин (используют RemoteFX, т.к. фермой пользуется не 1 человек). Задача - открыть сцену на ферме непосредственно через RDP и посмотреть всё ли в порядке.
    SSD используются как кэш для массива из винтов, просто для ускорения работы дисковой подсистемы хранилища, хотя она там итак быстрая, но цена тех ссд на фоне фермы просто пылинка (их там всего 2) .
    P.S. сегодня тестили ещё одну железку, правда результат не очень порадовал, надо ещё разбираться с производительностью

    Пара таких процессоров показала 1666 cb, а вот 4 почему-то 2822 cb
    Так же в ближайшее время будем тестировать сарай с процессорами в качестве фермы (там уже правда 8 отдельных систем), в теории должны получить с него в сумме аналог 13-14к cb
     
Модераторы: M.R.K.(MindThrower), morro

Поделиться этой страницей