Введение в решения для обработки данных
Мы живем в мире постоянного роста объемов информации. Данные, которые формируются ежедневно миллионами пользователей, моментально проходят через наше информационное пространство, но ценность их зачастую низка. Но как обработать все потоки данных, выбрать из них наиболее актуальные и необходимые для дальнейшей работы? Конечно с помощью современной вычислительной техники и специализированного программного обеспечения. В данной статье я постарался объединить большое количество инструментов, ориентированных на работу специалистов по обработке данных и описать, для чего же необходимо необходимы высокопроизводительные рабочие станции и в чем их ценность.
Но помимо различных решений для компьютерной графики и САПР, мне интересны высокопроизводительные вычисления, которые необходимо выполнять на мощных рабочих станциях и даже суперкомпьютерах. Я стал разбираться в доступных решениях для обработки и визуализации данных, и как можно использовать возможности GPU для ускорения параллельных вычислений, и каков может быть достигнут итоговый результат.
Выбираем компоненты для рабочей станции обработки данных
Для области связанной с обработкой данных необходимо соответствующее для получения, хранения, обработки и вывода обработанных данных оборудование. Сейчас я буду больше говорить об IoT решениях, когда данные собираются из множества источников, сохраняются, обрабатываются и на результате обработки формируются новые данные, а финальный результат представляется в виде высококачественной интерактивной визуализации.
Для сбора данных необходима высокопроизводительная сеть и возможность обращаться к базам данных, которые могут быть как локальными, так и удаленными. Для хранения выбранных для обработки данных, или данных, получаемых в режиме реального времени необходима высокопроизводительная система хранения данных. Обычно - накопители SSD M.2 большой емкости, они позволяют быстро сохранять поступающие данные и считывать их в процессе обработки.
Далее, необходимы компоненты для вычислений. Это и CPU и GPU. Так как обработка данных и применение ИИ уже сейчас получило широкое распространение, для ускорения вычислений необходимы высокопроизводительные компьютеры и специализированное программное обеспечение использующие специально разработанные для этого библиотеки и API.
В качестве CPU выбираются процессоры уровня рабочих станций и серверов, которые обладают возможностями создания многопроцессорных конфигураций, а также с поддержкой памяти стандарта ECC и обеспечивают высокую надежность в продолжительной эксплуатации. К таким процессорам относятся процессоры линейки Intel Xeon (W или SP).
Выбор GPU напрямую зависит от используемого программного обеспечения и его функциональности. Здесь стоит обратить внимание на то, что в таких областях как ИИ, глубокого обучения, вычислений общего назначения и визуализации, наиболее функциональными являются библиотеки, API и модули от NVIDIA и других производителей, созданные на основе CUDA. Здесь же у нас происходит привязка к конкретному вендору - NVIDIA, но за счет хорошо разработанной экосистемы оборудование - драйвер - программное обеспечение, на базе GPU и ПО можно быстро развернуть комплексное решение для обработки и визуализации данных.
Области применения
Где же применяются высокопроизводительные рабочие станции для обработки данных?
Практически везде. Всегда, когда мы работаем с компьютером, получаем, обрабатываем, создаем данные, и наблюдаем за их трансформацией с помощью интерфейсов и результатов, выводимых в них.
Области применения рабочих станций DSWS
Особое внимание уделяется восьми областям, а именно: персонализированному интернету, финансовым сервисам, медицина и здравоохранение, продажи, нефтегазовая промышленность, производство, телекоммуникации и автомобили. В каждой из областей выделено по три ключевых направления. Так, при работе с данными для персонализированного интернета, компаниям необходимо предоставлять качественную информацию и таргетированную рекламу. При посещении различных сайтов, поиске информации, данные о запросах и о посещенных страницах в той или иной мере попадают в ЦОДы поисковых систем или IT-отделов компании, и могут быть обработаны для последующей оптимизации рекламных предложений, качества контента и формирования кардинально новых предложений своим клиентам.
Мне же ближе такие области, как здравоохранение, нефтегазовая промышленность, и производство. В здравоохранении важно улучшать терапевтическое наблюдение за пациентами и ускорять процессы диагностики, при этом, необходимо собранные с тысяч пациентов данные, структурировать, определять критические значения и сопоставлять их и с определенными заболеваниями. Уже сейчас, ведутся активные исследования и разработки с применением глубокого обучения (ГО) и ИИ для определения ряда сложнейших заболеваний, или предвидения рисков развития заболеваний сердечно-сосудистой системы и возникающих при этом рисков.
Приведу небольшой пример. В мире насчитывается более 420 миллионов человек с диагнозом Сахарный Диабет. Одним из ключевых показателей, является наличие сердечно-сосудистых осложнений вызванных повышенным уровнем глюкозы в крови. Помимо этого, возрастают риски осложнений почек и зрительной системы, Есть большое количество данных, собранных кардиологами, нефрологами и окулистами, как в виде значений анализов, так и в виде наблюдений и изображений, различных степеней осложнений. Программу можно обучить распознавать ключевые отклонения от нормы, и выявлять изменения в тканях. А это позволяет повышать эффективность работы специалистов при постановке диагноза.
Также важно оптимизировать и увеличить скорость получения новых молекулярных химических моделей препаратов, а ГО и ИИ для этого могут превосходно подойти, так как алгоритм может моментально обучиться на некорректных результатах и брать за основу максимально удачные, и пытаться достичь положительного результата.
Все что под землей - дорого! Это не только касается продажи и выгоды производителя, но также и актуально для разработки недр или выемки пород из земли. При геологоразведке обширный поток данных отправляется с сенсоров в ЦОД или на рабочую станцию специалистов геологов, затем на их основе строится детализированная 3D модель, а в ней представлены все необходимые данные получаемые с сенсоров и локация полезных ископаемых. Также важна и безопасность в процессе эксплуатации технологического оборудования, для достижения оптимальной безопасности также необходимо поместить сенсоры, камеры и другие устройства с которых будут собираться данные и передаваться в систему хранения данных. Визуализацию данных можно выполнять в режиме реального времени в виде графов и маркеров. С развитием 2D и 3D графики становится легче ориентироваться в объемной модели и находить локацию проблемы. Но это требует определенной подготовки всего проекта в целом, начиная с самых ранних этапов его разработки.
В машиностроительном и высокотехнологичном производстве также важен сбор, анализ и визуализация данных со всех этапов производственного процесса. А это достигается с помощью IoT решений. Также, с помощью анализа данных, получаемых с множества сенсоров, специалисты смогут заранее предвидеть ошибки, которые могут возникнуть в процессе производства.
Если говорить серьезно, данные нас окружают везде, каждый клик по клавиатуре, отправленные и принятые данные, поиск информации, сбор данных из различных источников, все это производится каждый день. Но в таком количестве данных необходимо выполнять их фильтрацию и обработку, а затем и визуализацию. С помощью каких инструментов и их возможностей можно обрабатывать большие массивы данных, мы поговорим в следующем разделе.
Увеличение производительности обработки данных с CUDA-X AI
Платформа NVIDIA CUDA за 10 лет пополнилась огромным количеством решений, обеспечивающих ускорение вычислений в множестве областей, включая ГО и ИИ. Основная цель рабочих станций для ускорения обработки данных - значительное сокращение времени на обработку и выдачу результата. Для моих постоянных читателей это равнозначно процессу визуализации в компьютерной графике. Когда с помощью GPU-Accelerated визуализаторов художник значительно меньше времени затрачивает на повторные процессы визуализации.
Трансформация процессов обработки данных с помощью CUDA-X AI
Приведенная выше структура демонстрирует CUDA как основу для решений ориентированных на ИИ и обработку данных. CUDA охватывает практически каждый из сегментов оборудования - рабочие станции, сервера и облачные решения. Слой CUDA-X AI (1) расположен выше CUDA и отвечает за предоставление библиотек для подготовки и обработки данных, глубокого обучения, и формирования заключений.
Данные которые будут использованы для обучения, могут быть подготовлены локально с помощью соответствующих фреймворков, а после подготовки выполнено комплексное обучение модели и ее развертывание на серверах или в облаке.
Рабочие станции для обработки данных с NVIDIA GPU’s
Один день из жизни специалиста по обработке данных
Основная проблема, с которой сталкиваются специалисты по обработке данных и машинному обучению, - время ожидания выполнения задачи. Чтобы нагляднее вам продемонстрировать то, как проходит рабочий день специалистов по обработке данных, я покажу вам слайд с двумя примерами. Круг слева показывает, как осуществляется подготовка данных, это достаточно продолжительный процесс, особенно при вычислениях на CPU. Обычно, специалисты “пьют кофе” как и мы во время повторных визуализаций картинок :), пока компьютеры или серверы в дата-центре выполняют вычисления.
С развитием графических процессоров и возможностей NVIDIA CUDA, с выходом новых архитектур Volta и Turing и внедрением в них Tensor Cores, стало возможным увеличить производительность в задачах связанных с подготовкой и обработкой данных. С выходом NVIDIA Quadro RTX8000 (2) и применению моста NVLink, появилась возможность получить конфигурацию объединенных GPU с 96 Гб графической памяти.
Повышение производительности наглядно продемонстрировано в круге справа. В ночное время также производится загрузка данных, в утреннее время производится конфигурация и подготовка данных, далее производятся обработка и вычисления, но обеспеченные ускорением с помощью GPU. Наиболее популярные и получившие широкое распространение библиотеки и решения для машинного обучения, обработки данных и визуализации обеспечены поддержкой ускорения вычислений с помощью GPU.
Так как процесс ускоряется, количество циклов и время, затрачиваемое на подготовку данных, уменьшается. Далее, в то время как все процессы на CPU были-бы завершены только к концу рабочего дня, то в случае применения GPU, специалист может прибегнуть к моделированию обучения, проверке и тестированию модели. А затем уже выполняя оптимизацию эксперимента и повторное обучение. Таким образом, можно получить результат гораздо быстрее. Затем весь цикл повторяется.
На основе CUDA-X AI и аппаратных решений NVIDIA разработана концепция рабочей станции для исследования и обработки данных.
По своей природе это интегрированное аппаратно-программное решение. Оно представлено высокопроизводительной рабочей станцией с одним или несколькими GPU и набором специализированного программного обеспечения и необходимых для обработки данных библиотек, входящих в состав CUDA-X AI и фреймворков и библиотек основанных на CUDA-X AI и ее возможностях.
Далее, на основе всех компонент выстраивается сам процесс обработки данных и их визуализации, для этого могут быть использованы решения для виртуализации, контейнеры и другие решения для обеспечения высокой производительности в вычислениях и представления структуры для обработки данных как на локальных системах, так и в удаленных дата-центрах. При этом, разработку можно вести с применением стационарных компьютеров и ноутбуков, а также с использованием Python и решений для виртуализации. Хочется заметить, что подготовленный набор инструментов может быть помещен в единый контейнер NGC, а далее направлены на развертывание в рамках датацентра и управляться с помощью Kubernetes.
Концепция рабочей станции для обработки данных с NVIDIA GPU’s
Хочу обратить ваше внимание на то, что подготовка данных может потребовать больших объемов оперативной памяти. Здесь, возможности локальной рабочей станции становятся большим плюсом. Это объясняется тем, что если данные операции выполнять в облачной системе, то аренда облачных сервисов с большим объемом ОЗУ может составить значительную часть бюджета, даже при небольшом промежутке времени. А для постоянной работы, локальная рабочая станция представляется как оптимальный вариант, так как ее можно сконфигурировать с желаемым объемом ОЗУ, доходящим до нескольких Тб.
Место рабочих станций для обработки данных в линейке решений
Конечно, решения для обработки данных распределены по определенным группам, как и любые другие рабочие станции или персональные компьютеры. Они сформировали определенный сегмент. Здесь, более доступные, но менее производительные решения, можно использовать только как основу, в начале разработки и экспериментов. Но как только объем данных возрастает, планка выбора сразу изменится в сторону решений с большей производительностью. Хочу отметить, что настольные решения выбирать проще, в сравнении с конфигурацией и арендой виртуальных машин в облаке.
Все решения которые могут быть использованы для обработки данных распределены по четырем ключевым группам, перемещение между которыми производится по мере возрастающих объемов данных и выполняемых задач
На приведенном выше слайде видно, какие системы и с какими GPU обладают поддержкой больших объемов графической памяти, а также возможностью создания multi-gpu конфигураций с увеличенными объемами памяти и производительностью.
На данный момент рабочие станции для обработки и визуализации данных основаны на GPU NVIDIA Quadro RTX 8000, характеристики которой представлены в таблице ниже.
Обратите внимание, что я выделил ключевые характеристики, обеспечивающие надежность и производительность в вычислениях при выполнении задач ГО и ИИ. Также, если планируется выполнять визуализацию моделей полученных с помощью ГО с применением графических технологий, то поддержка RTX также позволяет выполнять высококачественную визуализацию с трассировкой лучей или переложить ряд вычислений для решения узкоспециализированных задач.
Также важным является и наличие памяти стандарта ЕСС (3), для этого стоит обратить внимание на то, что для полноценной реализации данной функции также потребуется и поддержка ЕСС системной памятью и CPU, таким образом все компоненты системы могут быть использованы для обеспечения защиты от ошибок в процессе высокоточных вычислений, это актуально при разработке приложений выполняемых в датацентрах и на суперкомпьютерах, и поддержка ЕСС на этапе разработки подобных приложений и их отладки, позволяет минимизировать риски возникновения издержек на исправление ошибок.
Результат сравнительного тестирования производительности в подготовке данных, обучении и непрерывном цикле (в секундах)
Приведенные выше диаграммы демонстрируют производительность GPU в ряде тестов. первый тест показывает производительность в задачах подготовки данных, второй тест демонстрирует результат в обучении с применением XGBoost, и третий тест проводился непрерывно. Данные тесты показывают, что даже 1 GPU может значительно увеличить производительность в выполнении операций по подготовке данных и обучению, а применение 2x GPU позволяет еще сократить время выполнения задач практически на 50% от производительности при вычислениях на одном GPU. Что в очередной раз показывает значительное превосходство GPU над CPU в параллельных и многопоточных вычислениях.
Для увеличения производительности вычислений, особенно важна скорость загрузки, чтения/записи данных, к которым относятся текст, изображения и видео/аудио данные. Так для обеспечения высокой скорости загрузки в рабочих станциях подобного класса могут использовать сетевые адаптеры с пропускной способностью в 10 Гбит/сек и выше, а для обеспечения высокой скорости чтения/записи данных устанавливаются накопители NVMe SSD объемами от 1 Тб и выше.
Масштабируемость
С ростом объемов данных, возможности стационарных рабочих станций будут ограничением, и здесь потребуется вынос вычислений в облака или отдельные стойки с серверами DGX-1 (4) или DGX-2 (5), а также на специальные комплексные решения, именуемые DGX POD (6). Возрастающие объемы данных требуют гораздо большей производительности от серверного оборудования и СХД, а также от базы данных, которая должна быть способна быстро выполнять поиск по запросам и формировать пакеты данных для отправки на вычисления с помощью GPU.
Кому может потребоваться рабочая станция для обработки данных?
Такие системы являются узкоспециализированными решениями, но от обычных рабочих станций их отличает программное обеспечение, которое будет использовано для обработки данных. А оно может быть интегрировано с другими приложениями Помимо этого, в процессе обработки, данные необходимо хранить в памяти GPU, а так как данных поступает очень много, то большие объемы памяти потребуется для хранения данных в процессе обучения и тестирования, а это означает, что для выполнения задач необходимо выбирать GPU с объемами памяти не меньше 24 Гб, и поддерживающих шину NVLink.
Список специальностей, в работе которых могут быть использованы рабочие станции для обработки и визуализации данных
Благодаря активному развитию глубокого обучения, искусственного интеллекта и возрастающего объема данных, в ИТ стали набирать обороты новые специальности (приведенные на слайде). Например специалисты по изучению, анализу и архитектуре данных были и раньше, это особенно актуально в области финансов, но с активным развитием ИИ эти профессии стали востребованы еще больше. А вот потребность в специалистах в области управления данными, по машинному обучению, компьютерному зрению, аналитике бизнес операций и других, активно стала возрастать с приходом эры параллельных вычислений и ИИ.
Визуализация данных
Вернемся немного в начало статьи где я писал о том, что комплекс основан на специализированном программном обеспечении. Так как для многих из вас тема глубокого обучения является новой и многое может быть неизвестно, я постараюсь кратко описать основные программные компоненты, использующие CUDA для ускорения вычислений. А затем приведу несколько примеров реализации визуализации вычисляемых моделей.
Сама платформа параллельных вычислений NVIDIA CUDA является основой для вычислений на GPU, с ее помощью и с помощью графического драйвера NVIDIA предоставляется доступ к оборудованию, которое может быть использовано для ускорения вычислений в том или ином алгоритме. Мы с вами уже хорошо знакомы с системами визуализации в компьютерной графике, использующими CUDA для ускорения вычислений, принцип с обработкой данных практически такой же, за тем исключением, что данных гораздо больше, а процесс обучения должен быть результативен, и должны быть высоки как точность данных, так и получамый результат.
CUDA-X AI предоставляет несколько дополнительных решений, напрямую ориентированных на работу с данными. Так, для обработки данных разработаны библиотеки cuDF (7) и NVIDIA Data Loading Library (DALI) (8), для обучения используются библиотеки cuML и cuGRAPH (nvGRAPH), обучение выполянется с помощью библиотек cuDNN, cuBLAS, NCCL, TensorRT. Для визуализации результатов, получаемых в процессе вычислений, используются возможности OptiX и RTX, так как ядра, ускоряющие трассировку лучей могут быть активно использованы для визуализации получаемой модели в режиме реального времени.
Но как получить 2D или 3D модель из данных?
Практически все современные решения для сбора, обработки и визуализации данных предоставляют инструменты обеспечивающие передачу информации в другие приложения или наборы инструментов для создания интерактивных диаграмм и вывода значений. Например, пакет MATLAB позволяет моделировать геометрию, или формировать новые изображения на основе полученных данных. А они в свою очередь, могут быть переданы в 3D пакет для анимации и визуализации, или представлены в WEB.
В то же время, дизайнеры могут импортировать обработанные данные и получаемые в процессе вычислений в такие приложения как After Effects, Cinema 4D, Maya, Houdini, NUKE, Fusion. Особенно это актуально при работе над инфографикой, телевизионными проектами или спортивными мероприятиями. В случае со спортивными мероприятиями можно использовать решения от NewTek, которые позволяют создавать виртуальные студии, а результаты обработки данных могут быть импортированы прямиком в систему.
Пример визуализации всех солнечных затмений за 2000 лет над территорией США, подробней можно узнать на Washington Post
Пример визуализации бросков баскетбольного мяча в корзину за 2018 год. Данные брались из Google Cloud
Пример моделей городов в виде кораллов. Данные о городах и улицах, а также о высотах взяты из Open Street Map, обработаны и преобразованы в 3D модели, визуализация которых выполнена с помощью приложений компьютерной графики
Еще один наглядный пример, где активно могут быть использованы возможности рабочих станций для обработки и визуализации данных - создание интерактивных порталов, в которых в режиме реального времени представлены данные, поступающие из различных источников.
Приведенный пример портала позволяет интерактивно исследовать набор данных о нефти и газе в США от Upstream DB, охватывающий более 178 миллионов записей добычи из скважин за период в 20 лет. С ее помощью вы можете проанализировать текущую производительность, снижение производительности, корреляцию и скорость изменения. Посмотреть на пример OmniSci можно в живую: https://www.omnisci.com/demos/oil-and-gas
Пример портала, демонстрирующего месячное потребление нефти и газа в США. Подготовлено компанией OmniSci
Данный раздел портала показывает, какие данные выбираются для обработки и визуализации на портале
Если вы попробуете самостоятельно поэкспериментировать с примером, вы заметите, что на повторную обработку и загрузку данных требуется некоторое время. Так как необходимо обработать более 178 миллионов записей, такой процесс требует определенного времени и ускорение обработки данных с помощью GPU оказывает определенное влияние на повышение производительности.
Шоурил студии Framestore, демонстрирующий создание визуальных эффектов к фильму Мстители. Финал
В индустрии визуальных эффектов также ведутся работы с применением машинного обучения. Так специалисты студии Framestore исследовали возможности машинного обучения и применили его в работе над эффектами и анимацией персонажей в фильме Мстители. Финал. В приведенном выше ролике показано, как машинное обучение было применено к анимации персонажей в фильме. Особенно это важно при создании анимации для персонажей, показываемых крупным планом, так как ИИ может воссоздать движение еще точнее, чем это было-бы реализовано классическими инструментами анимации.
Демонстрация применения машинного обучения для достоверного моделирования движения мышц в модели льва. Видео создано Ziva Dynamics
Еще один впечатляющий пример, где использовалось машинное обучение показала компания Ziva Dynamics. Разработчики смогли обучить свою систему для моделирования движения льва с высокой точностью. Для этого, они использовали видео с записями движения львов, а алгоритм ИИ доработал эти движения и перенес их в 3D модель мышечной системы.
Создание масок с помощью ИИ. Человек, автомобиль и гараж - выделены масками. Алгоритм определил контуры объектов и создал маски в каждом кадре
Многие рутинные задачи, ранее отнимающие много времени, сейчас могут быть решены за считанные часы, и даже минуты. Специалисты по композитингу смогут заниматься творчеством, а не рутиной. Конечно для обучения, потребуется качественный материал, на основе которого ИИ будет обучаться. Например для видео в формате 8K потребуется достаточный объем памяти, а в совокупности с дополнительными данными и необходимыми элементами для вычислений, приложение может в полной мере использовать все возможности CPU, GPU и доступной системной памяти.
Применение таких решений как Deep Fake позволяет заменять лица с высокой точностью, а при дальнейшем развитии технологии можно создавать высококачественные эффекты с каскадерами, и приближать камеру в работе с ними максимально близко к актерам. Ведь, лицо каскадера может быть заменено лицом актера :) .
Итог
Обработка данных резко вошла в нашу жизнь, мы не успели заметить, как окружающий нас мир и технологии, стали формировать огромнейшее количество информации, которую необходимо правильно обрабатывать и готовить данные для представления клиентам или окружающим. Сами по себе данные представлены исключительно числами или символами, но мы привыкли наблюдать за ними в красивой форме, в виде графиков и визуализации, что как раз нам и дают современные инструменты для дизайна и проектирования web-порталов. Благо, многие платформы для web-разработки и администрирования, а также управления данными, предоставляют все необходимые блоки и шаблоны, чтобы вы смогли самостоятельно сконфигурировать желаемый для себя дизайн портала.
Специалисты в области компьютерной графики также получили возможность применения технологий машинного обучения и ИИ для повышения реализма анимации, что очень важно при создании реалистичной анимации цифровых персонажей.
Дополнительные материалы по теме
Данная статья является основной для серии статей посвященных ИИ, ГО и инференсу, а также аппаратным и программным решениям, необходимых для разработки соответствующего программного обеспечения. По ссылкам, представленным ниже, вы можете узнать подробнее об используемых в статье материалах и данных. Благодарю компанию ФОРСАЙТ СЕВЕРО-ЗАПАД за оказанную помощь и поддержку.