Интервью с Валентином Дороховым. Облачная рендер-ферма Turborender.

Уважаемые читатели и гости RENDER.RU, в сентябре этого года, команда одного из самых мощных суперкомпьютеров в СНГ запустила на своем оборудовании автоматизированную рендер-ферму Turborender, а сегодня нам удалось пообщаться с директором Turborender Валентином Дороховым, в этом интервью Валентин расскажет нам о принципе работы, о том, в каких случаях стоит прибегать к услугам рендер-фермы и многое другое.


RENDER.RU: Валентин, добрый день! Расскажите нам в двух словах, что такое облачная рендер-ферма и каков принцип ее работы? Эта информация будет крайне полезна для художников которые только слышали о рендер фермах, но никогда не читали и не пробовали работать с ними.
Валентин Дорохов: Облачная рендер-ферма – это по сути мощный программно-аппаратный комплекс, не важно где расположенный, состоящий из большого количества серверов, в данном комплексе установлено различное графическое ПО, рендеры и вся система настроена на выполнение рендера.
Облачность заключается в том – что визуализатор работает с рендер-фермой напрямую из графического пакета, буквально из окна Render Setup, минуя общение с операторами, менеджерами и т.п., лишь изредка заглядывая в личный кабинет для пополнения счета.
Наша рендер-ферма еще не достигла такого уровня интеграции в облако, у нас работа осуществляется через веб-интерфейс, в который загружаются архивы со сценами и запускается процесс рендера на ферме. Но мы не стоим на месте и развиваем свое ПО.

RENDER.RU: Расскажите, пожалуйста, о “начинке” рендер-фермы? Какими мощностями Вы располагаете?
Валентин Дорохов: У нас имеется несколько суперкомпьютеров, самый мощный из них отведен под рендер-ферму. В нем находится 480 вычислительных узлов, в каждом из которых установлено 2 процессора Intel Xeon X5680 и 48 Гб оперативной памяти. Вычислительные узлы общаются между собой по сети InfiniBand со скоростью 40 Гб/сек. Непосредственно над задачами рендера трудиться 400 узлов, 80 используются для своих нужд, там же находятся сервера разработки и тестирования ПО.

RENDER.RU: Насколько сложным оказалась задача, собрать практически самую лучшую и мощную рендер-ферму на территории СНГ? Как много времени это заняло? Сколько человек ее обслуживают?
Валентин Дорохов: К моменту запуска рендер-фермы мы уже давно занимались суперкомпьютерными вычислениями. Изначально мы работали исключительно над инженерными задачами, у нас было написано свое программное обеспечение, которое позволяло интегрировать в ГРИД (в облако) любой инженерный пакет, и предоставлять пользователю интерфейс для решения конкретной предметной задачи. Получается на тот момент уже был штат администраторов, обслуживающих вычислительные установки и был софт, позволяющий удаленно запускать расчеты на суперкомпьютере.
В этом году мы решили запустить рендер-ферму, для этого дополнили штат программистов, за полгода интегрировали в нашу систему графическое ПО, реализовали под каждый пакет интерфейс пользователя, купили и прикрутили систему биллинга и запустились. В настоящий момент на рендер-ферме работает 12 человек.
Из них 5 программистов, постоянно работающих над интерфейсом пользователя, над серверным софтом и т.д., т.е. все замечания и пожелания от клиентов мы вносим в список и на ходу устраняем/выполняем.
На техподдержке сидят 2 человека, еще четверо работают с железом.
Стать самой мощной фермой в СНГ нам было не сложно – наша установка на момент запуска была на 4 месте в рейтинге ТОР50 самых мощных суперкомпьютеров СНГ.
Стояла другая задача – как стать лучшей для пользователей, мы решили что необходимо организовывать процесс так же, как у хостеров – к ним сейчас не надо звонить, чтобы получить услугу, а если и надо звонить – то можно это делать в любое время суток и это ничего не будет стоить. Работаем мы сейчас круглосуточно, есть горячая линия, над софтом все время трудятся, сапорт правда ночью не сидит, но это появится в скором времени.
Главное для нас – служить своим клиентам. Это тот принцип, которого придерживаюсь я лично.

RENDER.RU: Как долго решался вопрос с выбором поддерживаемого софта? На что Вы старались ориентироваться в первую очередь?
Валентин Дорохов: Вопрос решался быстро. И сделали мы очень просто – взяли все, что есть у RebusFarm, т.к. мы равнялись на лучших на тот момент, а потом вычеркнули то, что запредельно дорого и про что нас никто ни разу не спросил.

RENDER.RU: При сборке рендер-фермы, на какой рендеринг Вы больше ориентировались, с помощью GPU или CPU?
Валентин Дорохов: Данным вопросом заниматься не пришлось, т.к. на момент создания рендер-фермы у нас уже был парк CPU оборудования. Но сейчас мы поставим экспериментальную GPU стойку, поработаем с ней сами, потом будем запускать услугу GPU рендера.

RENDER.RU: Когда ожидается ее запуск? Уже есть представления о том насколько хорошо будет пользоваться спросом данная услуга? Будут ли набираться тестеры со стороны?
Валентин Дорохов: В начале следующего года мы закупим 4 сервера, в каждом будет 128 Гб оперативной памяти и 4 или 6 карточек Tesla K40. Запустим на них услугу GPU рендера, которая первая время будет абсолютно бесплатна, это надо будет как раз для тестирования и отладки GPU сервиса.

RENDER.RU: Ваша рендер-ферма ориентирована на крупные компании или одиночные художники тоже смогут найти для себя интересные предложения?
Валентин Дорохов: Мы нацелены на обе группы. В крупных компаниях непосредственно рендером занимаются конкретные люди, поэтому подходы нами не разделяются. Мы стремимся, чтобы у всех все работало, чтобы на вопросы все клиенты быстро получали ответы.

RENDER.RU: Насколько мы поняли у вас есть особые условия для работы с крупными компаниями, расскажите подробнее о них?
Валентин Дорохов: Конечно крупные компании и крупные проекты имеют свои особенности, и мы их учитываем. У крупных компаний отдельные бюджеты на рендер и свои финансовые планы, поэтому мы всегда индивидуально согласуем стоимость проектов, т.к. она составляет немалые суммы, согласуем порядок и график оплаты. Даем работать в кредит до 100.000 рулей и даем отсрочки платежей. Так же на особо крупные проекты у нас выделяется штат сотрудников, которые сами донастраивают сцену для рендера на нашей ферме, обычно это бывает необходимым, сами контролируют процесс рендера, в итоге заказчику не приходится перезаливать гигабайты данных после каждого изменения сцены, т.к. изменения мы делаем у себя. Так же мы под проект выдаем нужное количество ресурсов, т.е. можем отвести и 300 узлов и все 400, т.к. проекты у нас бывали сверхтяжелые, и их было не вытащить даже на 50 узлах.

RENDER.RU: Есть ли у вас за плечами реальный опыт выделения ваших специалистов под нужны заказчика? Чем именно им приходилось заниматься?
Валентин Дорохов: Да, у нас так было уже в нескольких проектах, когда наши специалисты настраивали траектории камер, чистили сцену от битых текстур, удаляли корявые объекты или заменяли их на другие. Все это мы делаем для того, чтобы после общения с нами клиент сказал: «Вот это сервис! Клевые ребята!»

RENDER.RU: Какой объем серверов вы можете выделить под нужны действительно большого проекта?
Валентин Дорохов: Как я уже говорил, мы можем выдать все 400, а можем в случае жесткой необходимости дойти до 450, 30 не отдадим, т.к. там серверное ПО, резервные дубли, серверы разработки и т.д. К тому же мы в скором времени присоединим ресурсы других установок, когда доработаем свое ПО и тогда сможем выделять до 700 узлов.

RENDER.RU: Можете ли Вы назвать основные минусы рендер-ферм? И какие минусы вам удалось победить, запустив свой проект?
Валентин Дорохов: Основные минусы? Для западных ферм это наверное цена, и высокие требования к техническому уровню клиента. У наших ферм – это низкий уровень сервиса, когда ответа по скайпу можно ждать полдня, и их офлайновый режим работы.
Мы решили быть недорогой онлайновой рендер-фермой с качественной техподдержкой. По цене – мы точно знаем, мы самые низкие из всех, можно сделать пререндер на разных фермах и убедиться в этом. По качеству и сервису – качество у нас еще не дотягивает до того же Rebus'а, но мы только открылись и постоянно движемся в этом направлении, сервис вроде бы стараемся организовать по максимуму, как есть на самом деле – только клиенты смогут дать оценку. У нас 4 бесплатных канала связи с техподдержкой, в том числе телефон – думаю это хорошее начало.

RENDER.RU: При регистрации вы даете на счет 400 рублей, но как показали комментарии под новостью не все поняли, почему у них не высокая скорость, правильно ли мы понимаем, что деньги нужны, что бы протестировать работоспособность и под тестирование выделяется небольшой ресурс?
Валентин Дорохов: Количество ресурсов, выделяемых системой для любого пользователя одинаково. Просто надо понимать, что на рендер статичной картинки отдается не все 15985 ГГц из 400 серверов, на рендер статики выделяется 1или 5 узлов, смотря что выберет пользователь (там есть распределенный рендер и обычный). На рендер анимации так же выделяется 5 узлов. Мы опасаемся давать волю выбора количества узлов, т.к. у нас цена не зависит от этого, и у нас тогда просто могут забрать всю ферму и сформировать большую очередь ожидания ресурсов. Для реально больших коммерческих проектов мы отдаем много по 150 по 200 узлов, и здесь уже не сравнить домашний компьютер с фермой.

RENDER.RU: Что еще нужно учитывать при начале работы с сервисом? Можете подсказать так скажем, в каких случаях выгода очевидна, а в каких незначительна, что бы люди сразу подходили с правильной стороны к решению задач с использованием вашего сервиса?
Валентин Дорохов: По опыту эксплуатации 3 месяцев, сразу скажу, что загружать на ферму статику, которая рендерится дома менее часа, нет смысла. С учетом времени передачи файлов в одну, а потом в другую сторону, выгода не будет ощущаться. Статику стоит грузить только тяжелую и распределять ее на несколько узлов. Например, мы сокращали время рендера статичной картинки с 58 часов до 2 часов 19 минут задействую 37 серверов. С анимацией же выгода сразу на лицо, потому что каждый кадр отдается отдельному узлу и все они рендерятся параллельно друг другу.

RENDER.RU: Многие художники испытывающие потребность в рендер-ферме для своих проектов, откладывают ее использование, так как опасаются сложностей связанных с удаленным рендером, изучением большого объема новой информации, потери времени и т.д. Уверены, вы как никто знаете основной список таких «страхов и мифов», можете развеять хотя бы часть из них?
Валентин Дорохов: Ну вот кстати я знаю этих мифов меньше, чем визуализаторы, потому что я нахожусь по другую сторону баррикад :-). Вообще мы недавно совместно с партнерами проводили опрос на тему, пользуются ли люди рендер-фермами, и 40% ответили, что это дорого.
Но дорого – это уже отдельная тема, кто как считает свое время/деньги. У меня есть знакомый на Украине, он всегда рендерит на ферме, потому что не может нормально работать за компом, когда на нем запущен рендер. Проекты делает быстрее и делает их больше по количеству. Но этой такой режим, в него надо войти, это не ощущается вот так на пальцах, что у меня будет больше времени или на отдых или на новые проекты.
Знаю человека, который держит дома 4 мощных компьютера, стоимость этих компьютеров весьма высока, под сотню тысяч рублей каждый, вроде как экономит на ферме. Но с большими проектами все же обращается к нам, т.к. посчитать 7500 кадров на 4 компьютерах – это невыполнимая задача. Поэтому аргумент дорого – относительный и неоднозначный. Смотря что требуется. Большие компании без вопросов тратят средства на аутсорс рендера, они видят выгоду напрямую.
А насчет сложно – на самом деле не сложно, главное первый раз взяться и сделать, сам знакомился с другими фермами, штук 5 перепробовал, у меня нигде сложностей не возникло. А на освоение работы с одной фермой требовалось около 20-30 минут.

RENDER.RU: Возможна ли установка ряда плагинов с вашей стороны, если этого требует проект заказчика?
Валентин Дорохов: Да, мы всегда запрашиваем, какие плагины требуются для рендера и уже много ставили и бесплатных и приобретали платные плагины.

RENDER.RU: Какую систему охлаждения Вы используете? Не возникает ли риска перегрева? Насколько часто оборудование выходит из строя?
Валентин Дорохов: В суперкомпьютере используется исключительно жидкостная система охлаждения, каждая плата вместе с процессором, памятью, SSD диском целиком покрыта охлаждающей пластиной, через которую прогоняют воду насосы, установленные рядом на улице. Система в целом работает стабильно, бывали сбои, когда некорректно срабатывали датчики в системе охлаждения, но эти моменты мы устраняем, по регламенту регулярно все осматриваем.

RENDER.RU: Сколько в среднем заказов Вы способны принять в течении месяца?
Валентин Дорохов: Сложны вопрос, все зависит от их объема, можно и 2-3 заказами загрузить всю рендер-фермы, а можно выполнять по 100 заказов в день параллельно. У нас пока что только два раза наступали ситуации, когда все узлы были заняты и новые задачи уходили в очередь.

RENDER.RU: Как часто к Вам обращаются крупные/известные студии (личности), которым необходима та или иная помощь ввиду нехватки мощностей? С кем уже удалось поработать?
Валентин Дорохов: У нас уже рендерили ролики, которые показывали оборон сервису и т.д., но имена компаний не сильно громкие. Art Render Studio, Brain CPS.
Мы общаемся сейчас с CGF и MainRoadPost, чтобы сделать с ними тестовые проекты. Но пока есть ряд технических задач, которые необходимо решить, чтобы можно было физически пользоваться нашей рендер-фермой этим студиям.

RENDER.RU: Насколько сильна конкуренция с другими крупными рендер-фермами? Какое вообще соотношение предложения и спроса на этом рынке?
Валентин Дорохов: Конкуренция есть, но не могу сказать, что я ее очень сильно ощущаю. Да нас сравнивают с теми или иными фермами, мы знаем, что не дотягиваем по качеству до зарубежных, но не дотягиваем совсем чуть-чуть, при этом мы на порядок дешевле и с нами можно связаться, задать вопросы на родном языке.

689 0 850 5
10
2013-12-11
в каких случаях стоит пользоваться рендер-фермой: судя по приведённым на сайте примерам [b]с указанием стоимости[/b] - во всех случаях.
2013-12-11
Все же хотелось бы иметь полноценный плаг к максу (в том числе) по сбору архива и проверке на ошибки, а так же ту-самую-фиговинку )) которая есть у Ребуса ))
2013-12-12
[quote=5ergunka] в каких случаях стоит пользоваться рендер-фермой: судя по приведённым на сайте примерам с указанием стоимости - во всех случаях. [/quote] ну по факту нет смысла заливать то, что рендерится буедт 10 минут у себя. т.к. 10 минут уйдет на заливку и скачивание..
2013-12-13
На самом деле компания TurboRender ведет разработки в области облачных вычислений. Вот небольшой анонс! Разрабатываемый комплекс это полноценное облачное решения для рендеринга в режиме реального времени. Реализован уникальный метод синхронизации пакетов 3D графики с удаленным сервером. Данное решение так же позволяет использовать режим ActiveShade для GPU-рендеров. Таким образом пользователь работаем в привычной среде и имеет возможность использовать суперкомпьютер для рендеринга в несколько кликов. Данное решение будет внедрено во втором квартале 2014 года. http://youtu.be/DhnHk09R3kM GPU рендеринг (Octane Render on 4 Nvidia Tesla M2090) http://youtu.be/IrDyL7ERN6Q CPU рендеринг (V-ray on 10 servers Intel Xeon)
2013-12-15
Попробовали сотрудничать с этой рендер фермой для просчета анимации. В итоге за 200 кадров Только за просчет лайт кэша! с нас попросили почти 2 тысячи рублей. рендерились 200 кадров в течении одного дня свыше 8 часов. Сцена до 1 млн полигонов, один источник освещения один анимированный объект с весьма скромными настройками рендера. За статичную картинку например экстерьера дома (свыше 1 млн поликов) попросят порядка 600-800 рублей время рендера от 3-х часов. Возникают проблемы с ФТП, сцены свыше 200 МБ, можно передавать сутками. Что касается поддержки какие то менеджеры понимают вопрос вроде: "Как я смогу сменить просчитанное ГИ в сцене на уже отредеренный, а так же подключить пассы?" а кто то не понимает о чем речь. Плюс в карму производства что хоть не скрывают что пока работает не Всё как нужно. ждем.надеемся.верим.
2013-12-19
Уже третий раз на сайте про эту ферму рассказывают, а я так и не могу зайти на их вебсайт. Не находит браузер сайт http://www.turborender.com/ из США. Что за глюки? Или это конкуренты блокируют? ;)
2013-12-20
Ну пока очень слабовато, ожидал большего. Рендер статики 1 рендер- 1 сервер это не есть хорошо. Было бы очень здорово если вы рассмотрели возможность выбора подключения количества серверов хотя бы до 3-х. Статика, интерьер, 800 тыс. пол., настройки средние рендерился на ферме 1 час 6 мин. На моем домашнем компьютере та же сцена 2 часа 49 мин, при этом два ядра были выключены из процесса рендера. Процессор i-7 3770, как вы понимаете компьютер у меня не "супер пупер", так неплохой домашний компьютер. На работе стоят компы с процессорами i-7 3820 время рендера 2 часа 7 мин. Вообщем в моем случае в два раза быстрей этого очень и очень мало. Пропадает смысл платить лишние деньги. А в остальном вроде все грамотно сделано, персонал дружелюбный.
2013-12-20
[quote=medium] [/quote] На самом деле немного не разумно использовать рендер ферму для просчета статики причем совсем не сложной. Об этом кстати говориться и в статье. Рендер ферма изначально предназначена для просчета трудоемких задач, которые на обычном ПК либо совсем не могут быть просчитаны, либо занимают очень длительное время. Рендер ферма дает большое ускорение в анимационных проектах, где обработать нужно тысячи кадров. Какой смысл посылать на ферму сцену в 1 кадр когда и она рендериться на обычном ПК за час или 2? Ренедр ферма это не универсальный ускоритель на все случаи жизни и это нужно понимать. В анимационных просчетах вы можете быть уверенны в ускорение более чем в 400 раз как минимум.
2013-12-20
[quote=Дмитрий Сафронов] На самом деле немного не разумно использовать рендер ферму для просчета статики причем совсем не сложной. Об этом кстати говориться и в статье. Рендер ферма изначально предназначена для просчета трудоемких задач, которые на обычном ПК либо совсем не могут быть просчитаны, либо занимают очень длительное время. Рендер ферма дает большое ускорение в анимационных проектах, где обработать нужно тысячи кадров. Какой смысл посылать на ферму сцену в 1 кадр когда и она рендериться на обычном ПК за час или 2? Ренедр ферма это не универсальный ускоритель на все случаи жизни и это нужно понимать. В анимационных просчетах вы можете быть уверенны в ускорение более чем в 400 раз как минимум. [/quote] Сцена в один кадр была послана для тестирования рендер фермы и понимания ее возможностей. А теперь представте два визуализатора выполняют проект дома площадью 4000 кв. метра. Каждый за 1-2 дня выдает по вырианту на помещение. Кждый вариант это 5 камер размером 3200 пх. по длинной стороне. От 1,5 до 12 миллионов сцена. По одному помещению 3-4 варианта. Вам вопрос как вы думаете нужна ли рендер ферма и есть ли в ней смысл ?
2014-07-17
Они это те же CG-FARM (одна и та же шарага) денег набрали и пропали.Так что аккуратней с ними.
RENDER.RU