Уроки: Общие принципы

Рендеринг в облаке

Все мы наверняка слышали про облака. Знаем что туда переносят самые глобальные и тяжелые вычисления.  На облаках работают самые тяжелые сайты, и даже я уже давно опробовал вкус облака и перенес туда свой сайт. Естественно я сразу почувствовал разницу, сайт стал работать мгновенно, а я смог настроить его очень тонко под свой вкус и потребности, чего нельзя было делать на обычном sharing хостинге, а цена за единицу ресурса сократилась в десятки раз. И теперь мне пришла в голову идея, а что если перенести в облака рендеринг. Я не стану детально описывать что такое облако, для этого есть хорошая статья на Wikipedia. Я лишь скажу что любое облако гарантирует 99.999999% работоспособность и оплату по мере пользования ресурса, т.е. не пользуешься не платишь.

 А теперь в чем разница между облаком и обычными услугами. Допустим для если вы хотите разместить сайт раньше необходимо было обратить к sharing хостинг провайдеру который дает вам папочку на своем сервере куда вы загружаете свой сайт, в таком случае возможности вашего сайта ограничены возможностями хостера. Или в случае с рендер фермой, для того чтобы отрендерить сцену вы должны собрать и передать эту сцену на чужую рендер ферму, где вам ее посчитают, опять же такие услуги ограничены возможностями этой рендер фермы.
 В облаке вам дается не ресурс, а целая операционная система выполняемой в неком подобии виртуальной среды. Каждой такой системе выделяется до 100% ресурсов машины на которой она выполняется, т.е. если система выполняется на компьютере с 2 процессорами XEON и 44 ГБ оперативной памяти то она может по необходимости получить все эти ресурсы. А в случае если реальный компьютер на котором выполняется ваша задача падает, задача автоматически перекидывается на другой рабочий компьютер, то же самое касается дискового пространства, за счет этого и достигается гарантия в 99.999999% работоспособности.
 Так как для описания всего процесса понадобилась не один десяток или даже сотня страниц, а также я не хочу вас привязывать к конкретному облаку, вся информация приводится в обобщенном и очень плотном виде. А вы уже на основе этой статьи можете понять как работает облака и что это такое для компьютерной графики. Для более детального понимания всех настроек вам придется прочитать инструкцию по вашему облаку. Так же в статье не указаны совсем уже бытовые операции, как какая программа ставится и как вообще происходит сетевой рендеринг, и подразумевает определенный опыт у читателя.

 

Как создать облако

 Существует большое количество облачных провайдеров, описание и различие которых я привожу ниже в следующем разделе. Для примера я решил выбрать самый навороченный из них с максимальным удобством и функционалом Amazon EC2. А потом уже исходя из перечисленных и необходимых каждому возможностей выберет себе своего облачного хостера.

Этап первый. Знакомство с облаком и создание одной машины.

 Первым делом необходимо зарегистрироваться. В регистрации нет ничего сложного, и напоминает регистрацию на любом другом интернет сервисе, за исключением того что пароль вам сообщит робот позвонив с американского номера на ваш телефон, на английском языке конечно. В процессе регистрации вам также необходимо привязать свою карточку виза или мастеркард, или любой другой поддерживаемой системы к аккаунту, с которой по мере использования облака будут списываться средства. Во время регистрации с вас спишут 2 доллара, это тестовое списание, через неделю вернут.

 

После успешной регистрации вам необходимо войти в свой аккаунт и найти там пункт AWS Management Console , щелкаем по нему и попадаем в консоль управления облаком.

 Не пугайтесь слова консоль, на самом деле это очень простая и информативная система управления, ничего писать вручную тут не надо. Каждая закладка представляет из себя отдельный сервис. Для чего служит каждая мы рассматривать не будем, для этого есть официальное руководство к облаку которое выберете вы. А для работы нам понадобиться итого меньше, не больше трех.

Находим закладку Amazon EC2 и щелкаем ее. Попадаем в сервис создания и управления виртуальными машинами.

 Перед тем как создавать виртуальные машины необходимо выбрать регион в котором они будут располагаться. В зависимости от региона меняется как стоимость услуги так и имеющаяся конфигурация машин. Мне для личных потребностей больше подходит США Вирджиния, почему объясню чуть позже.

 Теперь можем начать создавать первую виртуальную машину. Щелкаем по кнопочке создать инстанс. И следуем по не хитрому помощнику, но учтите что часть подключаемых услуг оплачивается отдельно, внимательно прочитайте руководство перед подключением. Первое время от настроек могут глаза разбегаться, но со временем привыкаешь и понимаешь что мастер создания не сложнее калькулятора. Когда все настройки сделаны можно нажать заветную кнопочку Запустить Инстанс.

Началось создание инстанса. Занимает это до 15 минут, но как правило гораздо меньше. После создания инстанса нам нужно получить к нему доступ. Для этого нам нужно знать пароль от него. Для этого щелкаем по инстансу ПКМ и выбираем Get Windows Password, скармливаем мастеру парольную пару которую вы получили на этапе создания инстанса, а он вам в ответ все необходимое для удаленного подключения к машине, адрес машини, имя пользователя и пароль.

 Как видите в этом нет ничего сложного, надо только пощупать. Вся процедура напоминает работу с обычными виртальными машинами, только в браузере.

 Некоторые важные элементы в настройках: 1. Security Group — это aws фаервол для ваших машин, тут вы разрешаете или запрещаете порты. 2. Elatic IPs — сдесь вы можете получить персональный внешний IP для ваших машин, один бесплатно, остальные за деньги. 3. К сожалению у Амазона (как и у большинства облаков) нельзя создать общее для всех инстансов хранилище, поэтому эту проблему вам придеться решать самостоятельно, любым доступным вам способом, самый простой способ это использовать машину для хранилища в конфигурации которой имеется 10ГБ/с сеть. 4. Elastik Block Store - эластичное хранилище, здесь вы можете создавать дополнительное хранилище и подключать его к вашим машинам как обычное устройство хранения (винчестер, диск).

Этап второйУстановка необходимых программ.

 Теперь когда у нас есть виртуальная машина мы можем поставить необходимые нам программы, на свой и вкус и цвет. Вообще необходимо создать три машины. На первой будет располагаться сам рендер менеджер и сервер лицензий, на второй программы для рендеринга, и будет он выполнять роль исходного инстанса при размножении рендер нод, на третьей будем хранить рабочие файлы.
 Для облегчения работы с удаленной машиной сразу рекомендуется поставить необходимые программы, например программу для удаленной передачи файлов, отлично подходит teamviewer. После чего мы сможем поставить все необходимые для рендеринга программы. У меня для примера это будет 3DS MAX 2013 + VRay 2.30, но вы можете поставить любую свою, которая вам необходима.

 

 Далее ставим рендер менеджер, опять же любой какой вам больше нравится, я для примера Deadline. На машину с софтом для рендеринга ставим Deadline Client.

 Примечание: Изначально я пытался поставить Backburner, но на этапе автоматического размножения рендер нод он отказался корректно работать. В случае если рендер ноды создавать из индивидуально созданных машин, он отрабатывает нормально.

 Далее нам понадобится новая машина на которой будет стоять Репозиторий дедлайна.По такому же принципу как в первом пункте создаем новую машину, расшариваем на ней папочку и ставим туда Deadline Reposytories.
Делаем окончательную настройку, в Deadline Client пописываем сетевой путь до Deadline Reposytories. Пробуем запустить сервер и монитор.

Настало время создать общее для всей рендер фермы хранилища. Для этого создаем еще один инстанс и расшарим на нем папочку. В дальнейшем в эту папочку будем складывать сцены и прилагающееся к ней файлы. Аккуратно выбирайте тип инстанса, слабый потянет до 5-10 рендер нод, посильнее до 10-20, кластерный до 100-300, для большего количества необходимо самостоятельно построить распределенную файловую систему.
Осталось только отладить процесс автоматического запуска рендер ноды после старта компьютера. Проверяем запускается ли автоматически дедлайн клиент, может ли компьютер подключиться к папке репозитория без запроса пароля и другие настройки. Когда все будет налажено, можно сделать тестовый запуск рендера.

Если все сделано правильно, можно начинать размножать рендер ноды.

Этап третий. Размножение рендер нод.

 А вот теперь самое интересное. Как же из одной ноды сделать десятки, сотни, тысячи рендер нод. А все опять же крайне просто. Для начала нам из одной готовой, полностью настроенной рендер ноды надо создать образец. Для этого щелкаем ПКМ по инстансу рендер ноды и нажимаем Создать образ (EBS AMI). Начнется создание образа, занимает это около 15 минут.

Теперь у нас есть образ рендер ноды из которого можно запустить множество клонов. Действовать можно по двум вариантам:

Вариант 1 — вручную.

Заходим в закладку AMIs находим нашь образ рендер ноды, щелкаем ПКМ и нажимаем запустить инстанс. И попадаем в уже знакомый нам мастер создания инстанса, только в этот раз сразу на вторую закладку, потому что образ уже выбран.

В пункте Number of Instance указываем необходимое нам количество рендер нод, а в пункте Instance Type указываем оборудование на котором наши рендер ноды будут выполняться, зоны обязательно должны совпадать у всей рендер фермы, иначе они друг друга не увидят. Щелкаем несколько раз Continue и смотрим как началось создание указаного количества рендер нод.

По окончанию процесса смотрим на рендер менеджер и наблюдаем как в нем постепенно начинают появляться ренд ноды. Вот вообщем то и все, наша рендер ферма готова, можно запускать задания на рендер.

 А далее по мере необходимости можно регулировать количество машин в рендер ферме, поднимать дополнительные машины в случае необходимости из образа AMI, или уничтожать лишние машины если они временно не нужны. Самое главное следить за количеством, потому что деньги снимают за любые включенные машины, независимо есть на них нагрузка или нет.
 Примечание: При таком методе клонирования машин они имеют одно и то же сетевое имя, из-за чего в Deadline они определяются как одна рендер нода. Что не мешает ему рендерить на рендер нодах, но затрудняет управление рендер нодами через рендер менеджер. Если вы хотите разделить машины, что бы каждая отображалась как отдельная рендер нода, достаточно просто задать рендер ноде уникальное имя. Что бы автоматизировать этот процесс можно в автозапуск рендер ноды поместить bat файл который автоматически при первом запуске переименует машину. В Backburner существует такая же проблема, но гораздо более тяжелая, каждая машина с одинаковым именем периодически отбирает соединение к менеджеру, что приводит к краху рендера. Переименование машины проблему не решает, зато если поднимать каждую рендер ноду индивидуально проблема не проявляется.

Вариант 2 — автоматически, по мере необходимости.

Для этого существуют специальные сервисы CloudWatch, используется для мониторинга облака и создание оповещений, и Elastik MapReduce , используется для автоматического запуска определенных видов работ, но так как они понятия не имеют что такое рендеринг и рендер менеджер, для нас они трудно применимы.

Гораздо более практичным решением будет использование инструментов управления облаком. Инструменты довольно таки простые и все управление сведено к простым командам, прикрутив эти инструменты к вашему рендер менеджеру можно автоматически регулировать количество машин. Например если в рендер менеджере более 10 задач, то запускается 10 рендер нод, если 20 то 20, и наоборот, если есть простаивающие машины, они автоматически уничтожаются.

Вывод: Вот так просто происходит создание и управление своим собственным облаком. Как видите в этом нет ничего сложного. А работать намного проще и приятнее чем с услугами посторонних организаций, будь то шаринг хостинг или рендер ферма или любая другая задача. Цена такого облако в разы ниже коммерческих рендер ферм, вычислительные ресурсы значительно больше, а набор возможностей определяете именно вы из ваших потребностей. По окончанию пользования облаком не забывайте выключать ненужные машины, что бы не платить лишнего за простаивающие машины.

По окончанию расчетного периода с вас снимут деньги в количестве тех ресурсов которыми вы воспользовались и пришлют выписку в которой можно детально ознакомиться с информацией по используемым ресурсам.

 

Игры для взрослых или пробуем аж 2 теслы живьем

Еще одно из замечательных преимуществ облаков, это наличие большого выбора железа на котором будет выполняться облако. Здесь мы можем попробовать разные поколения серверных процессоров и на практике увидеть разницу между ними. А в случае с Амазоном мы можем попробовать и GPUвычисления. Вообще разговор о GPU можно вынести и в отдельную статью, но я все го лишь приведу результаты тестов. На картинках ниже мы видим результаты вычислений одинаковых картинок на 3 типах железа и результат GPU вычислений.

Без GI

Core i7 920 — 40 min

2 x Intel Xeon X5570 - 18 min

2 x Intel Xeon E5-2670 - 12 min

GI Включено, LC + IR

 

2 x Intel Xeon X5570 - 37 min

2 x Intel Xeon E5-2670 - 23 min

                                                                  2 * Tesla M2050 — 18 min

 Как видим разные поколения серверных процессоров при равной частоте дают разницу более 50% производительности, поэтому будьте внимательны при выборе железа и его стоимости, в том числе и облачного.
 А что касается GPU вычисления, то тут каждый сделает выводы для себя сам. Если архвизер увидит гораздо более шумную картинку посчитанное за то же время, то киношник увидит картинку с приемлемым уровнем шума с не шумящим глобальным освещением посчитанное почти за тоже время. Однако качество текстур при GPU вычислениях резко снижается, и количество поддерживаемых технологий VRay ограничено, что сильно ограничивает GPU рендер в анимации.
А вот что касается iRay, то с ним тесты провести не удалось, он просто не смог найти Tesla, оставим это на совести разработчиков.

 

Эксперимент с Selectel

Облако Selectel работает только на Linux машинах. Но так как 3DS MAX для Linux пока еще не написали, действовать напрямую мы не можем, но это и не нужно. На самом деле не во всех задачах требуется обязательного присутствия 3DS MAX на рендер нодах, в большинстве случаях достаточно наличия одного только рендера, которые как правило представлены и в Linux версиях. Я для примера буду показывать на VRay Standalone. Детали работы с линуксом я опускаю, с набега его не освоить и подразумевается определенный опыт у читателей этого раздела.

Регистрируемся в Selectel и заводим облачную машину. Я пользуюсь моим любимым Linux дистрибутивом OpenSuse.

 Начнется создание виртуальной машины, занимает это минут 5. По окончанию создания мы можем подключиться к ней по SSH. Теперь нам необходимо настроить рендер ноду, для этого достаточно всего лишь закачать туда VrayStandalone, можно взять из версии Vray для Maya под Linux, и во время установки выбрать пункт Standalone Only. Описание процесса установки и протягивания сервера лицензий детально описано к хелпе к инсталятору. Также для его работы нужна библиотека Xinerama, входит в X11, достаточно поставить через консольный YAST пакеты X11, можно без сервера. Вот в принципе и все, рендер нода готова.
 Теперь давайте запустим ее на рендер. Делается это тоже очень просто. Из под машины Windows открываем сцену которую нужно отрендерить в 3DS MAX (Maya, Cinema4D, XSI, Blender или любую другую) и нажимаешь кнопочку экспорт сцены в формат Vray сцены и указываем место и имя файла куда ее сохранить (кириллицу не поддерживает, создаст не рабочий файл).

 Получаем сцену которую понимает Vray, если вы пользуетесь другими рендерами у них как правило тоже есть возможность создавать свои сцены. VrayScene это открытый файл, его можно открыть и редактировать в текстовом редакторе. Внутри находится вся информация о сцене геометрия, шейдинг, свет, камеры, настройки рендера и все необходимое для рендера, вообщем то точно также как и в RIB архивах рендермана.
 Перед тем как отправить на рендер необходимо исправить Windows пути к текстурам и вспомогательным объектам на Linux пути. Для этого открываем любой мощный текстовый редактор способный легко редактировать гигабайтные файлы, блокнот не подходит, и открываем в нем нашу сцену и простой заменой меняем пути с того что у вас было на Windows машинах на те что у вас будут на Linux машинах. Сохраняем файл.

 Теперь можно отправлять на рендер ноду. Для этого необходимо скопировать файлы VRay сцены и текстур на нашу линукс машину, проще всего это делать по фтп, в ту папку которую мы прописывали при замене путей. И простой командой запускаем файл на рендер (команда и путь до vray в первой строчке скриншота). Все доступные опции советую изучить заранее в разделе помощи.

 Вот вообщем то и все, рендеринг пошел. На что стоит обратить внимание: 1. Опция -scene File=»адрес сцены» — указывает какую сцену необходимо рендерить, 2. Опция -imageFile=»куда и как сохранить файл» — путь и формат файла куда будут сохранены рендер и слои, 3. Очень важная опция — display=0 — отключает отображения окна рендеринга, при попытке рендеринга с окном VRay запросит наличие экрана, которого естественно нет, и вылетит с ошибкой.
 А теперь интересное и почему Selectel. При таком раскладе идет очень маленький расход оперативной памяти, сама система потребляет до 360 мб памяти и сам VRay потребляет 30МБ памяти, что в сумме на сцену с 1 млн. треугольников выходит менее 400 МБ, напоминаю что еще 43,6 ГБ остается в запасе. Получается что единственный расходуемый ресурс это процессор, в итоге за час рендеринга вышло всего 6 рублей, за все. Что является самой низкой из известной мне стоимости рендеринга. Для примера стоимость рендеринга на домашнем компьютере, с гораздо более скромными ресурсами, составляет примерно 2 рубля в час, при условии обновления компьютера раз в 4 года. А в отношении коммерческих рендер ферм минимум в 8 раз дешевле. Единственный недостаток есть ограничения в количестве машин.

 

Выбор облачного провайдера

1. Гиганты облачных вычислений Amazon EC2 и Windows Azure, самые мощные и самые функциональные облака.

Amazon EC2 — На сегодняшний день самый мощный облачный хостер. С самым большим выбором сервисов и вариантов конфигурации машин. Присутствуют также такие экзотические варианты как например машины с установленной графикой Tesla.  Но к сожалению имеет не менее облачные цены на почасовую работу машин. Если брать подходящий вариант для рендеринга графики, 2 процессорный Xeon с 23 ГБ оперативной памяти, то за месяц бесперебойной работы придется отдать $1.610 per Hour*24hours*30days=1159,2$ или 34776 рублей. Согласитесь, цифры просто астрономические. Но к счастью у Amazon очень гибкая ценовая политика и есть возможность сделать разовый взнос на 1 или 3 года, после которого стоимость 1 часа работы машины снижается в разы.  Amazon на данный момент самый крупный облачный хостер в парке которого насчитывается почти 500 тысяч машин, чего хватит на любые запросы.

Windows Azure — это несколько специфическое облако, в нем дается не операционная система, а некий услуга на которой можно расположить свое приложение, как правило ASP или элементы служб Windows, которое уже и будет выполняться на определенном количестве облака. Теоретически на нем можно разместить и привычные нам рендер приложения, но у меня эта попытка создала некоторое затруднение количеством необходимой работы которую необходимо для этого проделать, поэтому оставим это облако на участь веб приложений и служб. К счастью по цене гораздо более демократичнее Amazon EC2, самая мощная конфигурация стоит всего 720$ в месяц и это не считая скидок. Из недостатков облако ориентировано на веб приложения и в самой мощной комплектации имеет всего 14 гб оперативной памяти на машину.

Дополнение: Во время написания статьи облако Azure сильно расширило свой функционал.  Теперь в нем можно точно так как в других облаках запускать виртуальные машины и выполнять на них абсолютно любые операции.

2. Менее именитые облачные провайдеры с более демократичными ценами, но и меньшим функционалом.

ActivCloudSideBarScalaxyISPServerCloud4Y и это только отечественные - тоже хорошие облачные провайдеры, отличаются меньшим количеством сервисом и более демократичными ценами, за аналогичную конфигурацию просят в несколько раз меньше денег. За машину с 2 XEON и 23 ГБ оперативной памяти здесь уже просят отдать от 12 до 25 тысяч рублей в месяц или от 14 до 35 рублей за час работы, и это не считая скидок. Присутствуют большой выбор операционных систем и конфигураций оборудования. Но есть и недостатки, на некоторых таких хостингах нельзя сделать копию уже имеющейся машины,  как следствие каждую машину придется поднимать самостоятельно с нуля. На других просят внести оплату сразу за месяц, не дав протестировать сервис на удобство и качество. У некоторых на каждую единицу облака выделяется индивидуальное дисковое пространство и проблему организации совместного доступа к общим ресурсам приходиться решать самостоятельно. Кроме того отечественные дата центры куда более скромные по размером и поднять 1000 или 100 машин разом нельзя, но как правило такие масштабы и не требуются.

3. Облачные провайдеры с оплатой по факту нагрузки.

Например на одном из таких облаков и располагается мой сайт. Прелесть этих облаков заключается в том, что изначально на работу образа выделяется вся мощность машины на которой она выполняется, т.е. в моем случае это Selectel, на работу выделено 2 процессора XEON и 44 ГБ оперативной памяти. Но оплата происходит только по факту использованного объема, т.е. мой сайт крутится на 64 битной OpenSuse 12.1 потребляет всего 0,44% от процессора и 371 мб оперативной памяти, соответственно и оплата у меня происходит исходя из этого объема и составляет всего 7 рублей в сутки или 200 рублей в месяц. В случае если я захочу выполнять очень тяжелую операцию я смогу задействовать всю мощность машины и тогда оплата вырастет в разы. На облаке Selectel так же работает великий сайт VKontakte.

Дополнение: Во время написания стать появилась возможность подключать единое хранилище ко всем запущенным инстансам, что сильно упростило создание единого хранилища. Единые образы можно создавать из образа закотовки, почти так же как и в Amazon.

Калькулятор цен Clodo

Кроме Selectel по такому же принципу работает Clodo. Цены у этих провайдеров сопоставимы с ценами других облачных хостеров, примерно 25 т.р. при полной нагрузке за 2XEON и 24 ГБ оперативной памяти. Недостаток у этих провайдеров в том, что нету Windows машин, и рендерить можно только на linux машинах, а на линуксе почти нету подходящих для нас программ. А достоинства в том что вы всегда имеете самые мощные машины, но не платите за то, что не используете. Если вы за месяц использовали его всего 10% времени или на 10% мощности, то и заплатите вы всего 10% от 25 тысяч.

Экономическое обоснование

1. Создание облака против закупки оборудования

А теперь давайте посчитаем во сколько же нам обходится покупка собственной рендер фермы из расчета на 100 машин в ферме в пересчете на 1 машину. Сервер с 2 XEON и 23 ГБ оперативной памяти стоит примерно 70 тысяч рублей. Если учесть что оборудование полностью меняется раз в 4 года, то цена сервера на 1 год составит 17 тысяч, еще столько же приписываем на закупку дискового массива, итого 34 т.р. в год. К тому же наше оборудование потребляет электроэнергию и нуждается в высокоскоростной сети + 2 т.р., итого 36 т.р. в год. Также это оборудование должен кто то обслуживать, включаем зарплату сис. админа + 6 т.р., итого 42 т.р. в год. Кроме того наше оборудование периодически ломается или еще чего страшнее происходит +20%, итого 50 т.р. в год или 4.2 т.р. в месяц стоит одна машина в ферме из 100 машин, если машин меньше стоимость обслуживания 1 машины резко возрастает.
 Облако в среднем стоит намного дороже 12-25 т.р. в месяц. Но если у вашей фермы фиксированные расходы в месяц, то в облаке вы платите только за тот объем которым воспользовались. Допустим если в месяц вы пользовались 200 часов, то и заплатить вам придется только за эти 200 часов. Т.е. 20 т.р. в месяц * 200 часов мы пользовались / 720 часов в месяце = 5.7 тысячи рублей. По окончанию расчетов ваше облако сворачивается и засыпает в ожидании новой команды, а тем временем вычислительными мощностями пользуется уже другой человек.

 Получается что для наибольшей выгоды нужно найти баланс между объемами собственной фермы и облачной фермы. Допустим если вам необходимо раз в месяц посчитать очень крутой ролик за 24 часа, то как показывают расчеты гораздо дешевле воспользоваться облаком. А если у вас идет постоянный поток файлов на рендер и периодически появляется задача на которые не хватает ваших мощностей тот тут стоит уже комбинировать, постоянные потоки считать на собственной ферме, а на пиковых нагрузках пользоваться облаками. Для компенсации простоев обоих видов ферм их можно сдавать в аренду.
 Кроме того облачное дата центры имеют очень высокую степень надежности, и в случае выхода из строя оборудования автоматически срабатывает резервное. Даже в случае отключения электричества работу центра подхватывают аккумуляторы, а потом и генератором, и даже в случае если сломается генератор есть запасной.

2. Использование облака против использования коммерческих рендер ферм

Существует большое количество коммерческих рендер ферм. Для примера сравним с одной из лучших рендер фермой Rebusfarm.  Во первых рассмотрим по количеству, как правило в этих фермах очень мало машин, 30, 80, и только в Rebusfarm есть аж целых 340 машин. В облаке мы можем поднять хоть 1000 машин в один клик. Что касается цены, то Rebusfarm просит 3.9 цента за ГГц/час, давайте переведем это в наши облачные 2 XEON по 8 ядер в каждом, 3.9 цента за ГГц/час * 2 процессора * 8 физических ядер * 2.5ГГЦ в каждом = 1.56$ за час работы или 46 рублей за час работы. Цифра мягко говоря астрономическая, и равна самому дорогому варианту самого дорого облачного хостера Amazon.  И это еще при том что вы можете в очереди постоять, а премиум аккаунт стоит аж в два раза дороже. В облаке мы в очереди никогда не стоим. И как показывают рассмотренные варианты есть облака и за 12 рублей в час, что аж в 4 раза дешевле.

Кроме того на таких рендер фермах стоит строго определенный набор набор программ и плагинов, в случае использования сторонних или самописных плагинов вам отрендерить не удастся. В облаке вы сами решаете какие программы ставить и как их настраивать, и можете не бояться за свою интеллектуальную собственность, что ваш гениальный самописный плагин кто нибудь утащит, доступ к облаку имеете только вы.

Кому это надо

1. Фрилансеры.

Периодически поступают очень заманчивые предложения сделать какой ни будь очень красивый ролик. Вы понимаете что с творческой точки зрения проблем нет и все элементарно делается за два клика, а вот с вычислительными ресурсами беда, на вашем супер навороченном компьютере ролик будет считаться пару месяцев и приходилось отказываться от проекта. Так вот теперь мы можем смело завести облако и посчитать все в нем. Теоретически можно даже подключить к вашему любимому телефону клавиатуру и мышку, настроить удаленный доступ к облаку  и работать с мобильного телефона.

2. Компании.

К компаниям тоже бывает приходить везение или долгожданный успех, и появляется необходимость отрендерить, то что техническое или финансовое состояние отрендерить не позволяет. В таком случае опять же можно смело прибегнуть к услугам облака.

Добро пожаловать в облака — Happy END

PS: За время написания статьи ни одна из лицензий всего перечисленного ПО не пострадала =)

www.labeg.ru

44484 Автор:
Актуальность: 726
Качество: 745
Суммарный балл: 1471
Выбор Публики
Голосов: 75 оценки

Отзывы посетителей:

аватар
 
xiruim 2 0
Поднял такую ферму на амазоне для просчета статики 3dsMax+Vray. Оказалось не выгодно. Очень дорого. Приведу расчеты:
c3.4xlarge (16 vCPUs) - CPU Xeon E5-2680 2,8Ghz 30Gb - $1.864 per Hour. Он на 45% быстрее чем i7-2600 без разгона. Стоимость i7-2600 на рендер ферме - $0,66 в час. Учитывая разность в скоростях - стоимость различается в 2 раза в пользу обычной фермы.
Но фактически ферма на амазоне обошлась еще дороже. Оплата по-часовая - это не очень удобно. Ну и плюс настройка, тестирование, удаленное управление, нюансы работы, настройки. Все это тоже сказывается на скорости запуска рендера.
Возможно, если найти более дешевый облачный сервис, то цена может и приблизится к обычной рендер-ферме.
Итого.
Плюсы:
- не зависишь от графика работы рендер фермы и очереди на ней.
- сам себе режисер, что хочешь, то и настраиваешь.
Минусы:
- Время на настройку, тестирование, вникание в нюансы.
- Цена
- Не удобно управлять
аватар
 
3D_Marks 31 0
не понимаю как идёт оплата, абонентская плата или же расчёт по времени?
аватар
 
Dimidrol 5 0
Я вот не пойму неужели можно поставить Макс и просто размножив образы заставить его работать? Надо же индивидуально вводить серийники по идеи на каждой ноде?
аватар
 
andro81 2 0
Цитирую:Периодически поступают очень заманчивые предложения сделать какой ни будь очень красивый ролик. Вы понимаете что с творческой точки зрения проблем нет и все элементарно делается за два клика, а вот с вычислительными ресурсами беда


Узнаю, Вас, Лабег)))
аватар
 
Toer 33 0
да почитать интересно но лично я выгоду не вижу у меня старый 4-ядерный квад + новый i7 2600 и мощный 4 ядерный ноут в нашей сфере он не заменим рендер использую Ментал а там дистрибьютер рендер настроить 2 минуты
аватар
 
ALeXeY(nord3d) 5 0
Спасибо за статью!

Кто нибудь пробовал использовать амазон или другие сервисы для Houdini / Mantra?
В гудини есть даже встроенная поддержка амазон-облака, но некоторые пишут, что есть проблемы. Мне интересно побольше узнать о практическом опыте использования облаков с гудини.
аватар
 
fragzilla 2 0
и да, эта штука меня сильно выручила, когда я год назад оказался в командировке с ноутбуком один на один против кошмарного количества анимации
аватар
 
fragzilla 2 0
на спотах - далеко не самый лучший вариант (хотя и самый дешёвый)
можно заказать кучу спот-инстансов, но из-за конкуренции они зачастую отваливаются и к концу рендеринга может остаться два или ноль, это терпимо если некуда спешить, иначе могут быть траблы
ну по крайней мере инстанс, на который будут складываться файлы не стоит делать спотом


я вообще делал VPC с одним "главным" постоянным инстансом и "рабами"-спотами, но лучше смотреть в сторону reserved

в итоге, получается "локалка" с нужным диапазоном внутренних адресов, ну и "главному" дополнительно привинчивается ещё один интерфейс - внешний, а внутренний айпи у него постоянный)

может для бекбэрнера это и не нужно, но я рендерил в C4D в его родном NET Render, а ему нужен постоянный айпишник на сервере

П,С,: хоть админ из меня и никакой, но я и то разобрался))
аватар
 
dark_ghost 1 0
интересн, а самому можно собрать облако из груды старых железок )))))
аватар
 
LabEG 56 0
Цитирую SystemPanic:
cgmotionbox.com/2011/08/using-maya-backburner-for-rendering-on-amazon-ec2/

А вот это интересно, он поднял на бекбарнере, толи из-за того что на споте поднимал или из-за того что предварительную настройку не делал, а потом для каждой машины настраивал, надо будет попробовать и то и то.

Цитирую Wasteland:
ааа, Лабег, это ты)

Конечно я, кто ж еще =) как там чатик поживает? =)

Цитирую Rommson:
Действительно актуально!

Дальше интересней! =))
аватар
 
Александр Климук 2 0
таки интересно
аватар
  vip
Wasteland 351 0
ааа, Лабег, это ты)
аватар
  vip
Wasteland 351 0
спасибо!
аватар
 
SystemPanic 5 0
Про настройку:

cgmotionbox.com/2011/08/using-maya-backburner-for-rendering-on-amazon-ec2/
andrewhazelden.com/blog/2011/01/exploring-the-mental-cloud-direct-rendering-service/
forums.cgsociety.org/showthread.php?t=1048282
forums.cgsociety.org/showthread.php?t=1029308
judpratt.com/tutorials/ec2-renderfarm/

Про экономию:

http://habrahabr.ru/post/136829/

Linux-тачки дешевле.
Рендер на Linux идёт шустрее.
Если есть возможность, пользуйтесь Linux-тачками.

Про то, как NVidia зарэзала прелестную вещь:

Раньше была такая штука как «Mental Cloud Direct», которая позволяла пользоваться лицензионным mental ray.
Т.е. были образы машин для Амазона с установленным mental ray standalone.
В общем, нет больше это штуки. Вот официальный ответ от NVidia:

Цитирую:
We would like to advise you that mental cloud is no longer available directly from us. However, there are a number of render service that provide Cloud-based access to mental ray. They include the following companies and you can contact them directly through the websites provided below:

- Rebus www.rebusfarm.net
- Rendicity www.rendicity.com
аватар
 
r.o.matviyuk 25 0
Огромное спасибо за эту статью!
Действительно актуально!
аватар
 
LabEG 56 0
Кстати линукс машины как правило в 2 раза дешевле. Так как за аренду лицензии винды платить не надо.
аватар
 
LabEG 56 0
Верстальщик накосячил несколько раз =)

Цитирую Металл:
Кстати а как с лицензиями? пиратский врей же не поставишь туда?

В америке существует практика неприкосновенности информации, со всеми вытекающими. Хранить там можно все что угодно, главное незаконный контент не распространять от туда.
аватар
 
Металл 6 0
Кстати а как с лицензиями? пиратский врей же не поставишь туда?
аватар
 
Металл 6 0
Фантастика. Future is now!
Зарегистрируйтесь, чтобы добавить комментарий.
Эту страницу просмотрели: 3265 уникальных посетителей