Всем привет. Недавно собирал рендер-ферму под заказ, получилась машинка, которой хотелось бы поделится, может будет кому-то интересно
Итак ко мне обратилась одна небольшая студия, им нужна была рендер ферма для собственных нужд + хотели немного рендерить на коммерческой основе.
В итоге, долго думали, выбирали и пришли к такому решению - нужно как минимум 32 ноды, NAS сервер для бекапа проектов и СХД для рендера. Плюс ферма должна была быть полностью автономной (поставил рендер и ушел, выключив рабочий комп).
По железу получился такой список:
СХД для рендера:
HP DL180 G6 25SFF с парой Intel Xeon X5560, 32 ГБ ОЗУ, Nvidia Quadro K2000, LSI9268-8i, 23x HP 300Gb SAS 10k HDD, 2x Intel SSD 240 Gb
NAS для бекапов:
HP DL180 G6 с одним процессором L5520, 12 ГБ ОЗУ, 2 HDD 80ГБ в RAID 1 под систему и 4 диска по 3 ТБ в RAID 5 для данных
Сама ферма построена на HP DL1000 и DL2000 - это 4 сервера в одной коробке. Каждый сервер на борту имеет пару процессоров E5540, 24 Гб ОЗУ и жесткий диск 300GB SAS
В качестве сети использовали top rack свич от Quanta. 48 гигабитных портов и два 10-ти гигабитных. Свичик использует ОС VxWorks, очень надежен (ОС используется в некоторых самолетах) и не требует к себе много внимания
Так же была задача минимизировать потребление электроэнергии при простоях. Для этого использовали управляемые PDU от APC - они позволяют мониторить состояние розеток, включать и выключать их, а так же мониторить потребляемую мощность из сети. Путем нехитрых манипуляций получилась вот такая железка (фото ещё на стадии сборки)
Получаем мелкие железки:
На фото сервера установлены в стойку и проброшена витая пара:
Основной СХД соединили с фермой по 10 ГБит, там же развернули Hyper-V сервер с RemoteFX - теперь можно было создавать виртуальные машины с ускорением графики. SSD используются как кеш для горячих данных (аппаратная функция рейд контроллера, всё происходит без участия пользователя), а вот по производительности дисковой подситсемы уперлись в RAID контроллер, преодолеть 1.4 Гб/сек не удалось, но этого было более чем достаточно. Всё было собрано в недорогую 24U стойку, занимает крайне мало места (примерные габариты ШхГхВ 60х80х120 см)
Ну а вот ферма погружена в газельку и уезжает к заказчику, а я сажусь на поезд и следую за ней почти 1000 км
P.S на выходе - 256 ядер и 512 потоков которые принимают непосредственное участие в рендере, 768 ГБ оперативной памяти, 6.3ТБ быстрого хранилища с SSD кешированием.
Теоритечески эту платформу можно без проблем проапгрейдить (заменой процессоров на 6-ти ядерные и забить все слоты под паять планками в 4, 8 или 16 Гб) и получить 384 ядра и 768 потоков соответственно. По памяти 4-х гиговые модули - 2 Тб ОЗУ, 8-ми гиговые модули - 4 Тб ОЗУ, 16-ти гиговые модули - 6,14 Тб
Итак ко мне обратилась одна небольшая студия, им нужна была рендер ферма для собственных нужд + хотели немного рендерить на коммерческой основе.
В итоге, долго думали, выбирали и пришли к такому решению - нужно как минимум 32 ноды, NAS сервер для бекапа проектов и СХД для рендера. Плюс ферма должна была быть полностью автономной (поставил рендер и ушел, выключив рабочий комп).
По железу получился такой список:
СХД для рендера:
HP DL180 G6 25SFF с парой Intel Xeon X5560, 32 ГБ ОЗУ, Nvidia Quadro K2000, LSI9268-8i, 23x HP 300Gb SAS 10k HDD, 2x Intel SSD 240 Gb
NAS для бекапов:
HP DL180 G6 с одним процессором L5520, 12 ГБ ОЗУ, 2 HDD 80ГБ в RAID 1 под систему и 4 диска по 3 ТБ в RAID 5 для данных
Сама ферма построена на HP DL1000 и DL2000 - это 4 сервера в одной коробке. Каждый сервер на борту имеет пару процессоров E5540, 24 Гб ОЗУ и жесткий диск 300GB SAS
В качестве сети использовали top rack свич от Quanta. 48 гигабитных портов и два 10-ти гигабитных. Свичик использует ОС VxWorks, очень надежен (ОС используется в некоторых самолетах) и не требует к себе много внимания
Так же была задача минимизировать потребление электроэнергии при простоях. Для этого использовали управляемые PDU от APC - они позволяют мониторить состояние розеток, включать и выключать их, а так же мониторить потребляемую мощность из сети. Путем нехитрых манипуляций получилась вот такая железка (фото ещё на стадии сборки)
Получаем мелкие железки:
На фото сервера установлены в стойку и проброшена витая пара:
Основной СХД соединили с фермой по 10 ГБит, там же развернули Hyper-V сервер с RemoteFX - теперь можно было создавать виртуальные машины с ускорением графики. SSD используются как кеш для горячих данных (аппаратная функция рейд контроллера, всё происходит без участия пользователя), а вот по производительности дисковой подситсемы уперлись в RAID контроллер, преодолеть 1.4 Гб/сек не удалось, но этого было более чем достаточно. Всё было собрано в недорогую 24U стойку, занимает крайне мало места (примерные габариты ШхГхВ 60х80х120 см)
Ну а вот ферма погружена в газельку и уезжает к заказчику, а я сажусь на поезд и следую за ней почти 1000 км
P.S на выходе - 256 ядер и 512 потоков которые принимают непосредственное участие в рендере, 768 ГБ оперативной памяти, 6.3ТБ быстрого хранилища с SSD кешированием.
Теоритечески эту платформу можно без проблем проапгрейдить (заменой процессоров на 6-ти ядерные и забить все слоты под паять планками в 4, 8 или 16 Гб) и получить 384 ядра и 768 потоков соответственно. По памяти 4-х гиговые модули - 2 Тб ОЗУ, 8-ми гиговые модули - 4 Тб ОЗУ, 16-ти гиговые модули - 6,14 Тб
Последнее редактирование: