Render.ru

Рабочая станция на 4xGPU

Xiruim Farm

Пользователь сайта
Рейтинг
2
#1
4xGPUheader.jpg

В этом посте опишу создание Рабочей Станции на 4 видеокарты. Цель — создать компьютер для CG художников, работающих на GPU движках. Максимально простой, эффективный и надежный. Не модифицировать видеокарты под водяное охлаждение. Добиться рабочих температур видеокарт в районе 70 градусов. С возможностью модификации и апгрейда.

vinga_starkad_10slotov.jpg Первое с чем нужно было определиться — это Корпус. Идеально было бы разработать корпус самому, который бы точно отвечал поставленным задачам, но будет дешевле и быстрее, если получится найти уже готовый корпус. Покопавшись в интернете, я наткнулся на корпус Vinga Starkad.
Меня привлекло количество слотов расширения в нем. Их целых 10 штук горизонтально и еще 2 вертикально. Это давало шанс разместить видеокарты на достаточном расстоянии без переделки внутренней и задней части корпуса. Куплено!
Комплектация:
Материнская Плата Asus X99-E WS. Во-первых, она у меня уже была, а во вторых она обеспечивает работу 4х слотов PCI-E в режиме 16x. Хотя для GPU рендера это и неважно, но всё равно круто
Процессор Xeon 1650 v3. Посчитал это оптимальным вариантом. 6 ядер достаточно для GPU рендера, исходя из моего опыта. Высокая частота на ядро, что немаловажно при работе с CG приложениями. Поддерживает серверную память.
Память 96Gb. Так как в гпу задачах я сталкивался с нехваткой оперативной памяти, то решил что 96GB будет правильным объемом для такого компьютера. Память серверная, с коррекцией ошибок, 2133 частота. Не быстрая, но объем важнее, да и на скорость рендера частота памяти почти не влияет.
Блок питания. Для такой мощной системы нужен надежный блок питания. Я выбрал EVGA 1600 G2 на 1600 Ватт. Не очень известная марка на нашем рынке, но это действительно очень качественный блок питания, который может держать всю свою заявленную мощность. С мировой гарантией 10 лет. Система показала свое максимальное потребление в 1100 Ватт, так что запас у блока питания еще большой для апгрейда.
Кулер процессора bequiet! dark rock pro 3. Так как процессор будет разгоняться, и в корпусе будет довольно тесно и жарко, решил поставить самый большой кулер.
Корпусные вентиляторы. Их много. И покупать я их решил качественными, с шарикоподшипниками, или более продвинутыми подшипниками. Система охлаждения должны быть надежной, так как 1100 Ватт охладить не так просто в закрытом корпусе. Вентиляторы будут работать на полную мощность. Были куплены Deepcool UF 120 — 3 штуки, Deepcool UF 140 — 3 штуки, Noctua Indastrial 2000 — 2 штуки. Всего в корпусе установил 8 вентиляторов.
Видеокарты. Вот и добрались к самой основной составляющей системы. Я выбрал Nvidia GTX 1080ti, так как эта самая выгодная видеокарта по показателю цена/производительность, на момент сборки ПК. Производителя решил взять EVGA, так имел только положительный опыт работы с видеокартами этого производителя. Так же мне нравится, что они используют вентиляторы на шарикоподшипниках, которые очень долго служат. Немаловажным был и размер карт. В итоге я взял 3 карты EVGA GTX 1080ti SC и одну GTX 1080ti FTW3.
Все компоненты набраны, пора собирать!
2020-07-24-13.12.53-scaled.jpg 2020-07-24-15.11.35-scaled.jpg 2020-07-25-13.57.49_e.jpg
Снял все корзины для жестких дисков, оставил только одну внизу. Корпус значительно облегчился. Воткнул 3 карты в материнскую плату, а одну вынес на райзере (EZDIY 300mm) и поставил вертикально. Зазор между картами получился в один слот. Тесты показали, что верхняя и средняя карта перегреваются, как в закрытом корпусе, так и в открытом. Температуры у них были 77 градусов, притом что я пробовал продувать воздух между ними 140мм ноктуа на 2000 оборотов. Ставить более мощный вентилятор — будет слишком шумно. Нужно увеличивать расстояние между картами.

Ок. Приступаем к варианту Б. Для этого нам понадобится еще один райзер, отверстия в нижней перегородке для забора воздуха нижней видеокартой. Все разбираем и начинаем кромсать корпус.
2020-08-11-10.15.51-scaled.jpg 2020-08-11-16.49.36_e-scaled.jpg
Прорезал 2 отверстия дремелем, прямо под вентиляторами видеокарты. Сделал крепление для второго райзера. Это уже другой райзер HLX-Link на нем написано, он боковой и имеет длину примерно 150мм. Для его крепления я просверлил 2 отверстия и вкрутил в них стойки для крепления материнской платы.
Собрал компьютер и начал тестировать. Результаты меня обнадежили. Температуры на верхней и средней видеокартах упали. Дальше оставалось организовать оптимальный поток воздуха в корпусе. Я выяснил, что чем ближе я расположу вентилятор к видеокартам, тем лучше они будут охлаждаться. Так же я добавил еще один вентилятор выше для подачи воздуха процессору и более быстрого отвода тепла из верхней части корпуса. В дальнейшем я изготовил специальные крепления для этих двух вентиляторов.

Передняя часть у корпуса глухая и вентиляторы стоящие спереди не создают нужного потока. Пришлось брать воздух с боковой крышки. В комплекте с этими корпусам идет специальная пластина для крепления трех 120мм вентиляторов вместо HDD корзин. Но возникла еще одна проблема, в боковой крышке отверстия вентиляции слишком малы. Ну что же, беремся за болгарку и режем дырки по форме купленных магнитных сеточек. Заодно решаем вопрос отсутствия пыльников в корпусе.

2020-09-20-17.39.13-scaled.jpg 2020-09-25-11.52.32-scaled.jpg Корпус теперь «задышал». Еще прикрутил небольшие резиновые ножки на боковую крышку, чтоб нельзя было прислонить корпус к плоскости и перекрыть вентиляционные отверстия.
Были насверлены дополнительные вентиляционные отверстия в задней стенке корпуса, вокруг вертикально стоящей видеокарты, сделаны прорези в верхней крышке. Это тоже позволило улучшить выход горячего воздуха из корпуса.
Стандартные ножки заменил на мебельные колесики. Это не только придало мобильности тяжелому корпусу, но и увеличило зазор между вентиляционной решеткой блока питания и полом. Все получилось. Горячий воздух выходит, холодный заходит, все компоненты не перегреваются. Пора делать окончательную сборку. Опять все разбираем, красим все кастомные детали из баллончика черной матовой краской. Изготавливаю крепления для вентиляторов на фрезерном станке из стеклотекстолита, красим
Проект закончен. Рабочая станция собрана и прошла все тесты. Больше фотографий и видео тестов, можно посмотреть в блоге на сайте: https://xiruim-farm.net/2020/11/18/workstation-4xgpu/
 
Сверху