Варианты масштабируемых товарных GPU серверов для CUDA?
Я занимаюсь машинным обучением, которое приносит огромную пользу от использования графического процессора. Я нахожусь в пределах моей текущей настройки (рабочая станция с одним GTX580), и у меня действительно нет места для другого компьютера дома. Поэтому я собираюсь построить сервер GPU (и, возможно, несколько из них) и пытаюсь найти наиболее экономичный способ сделать это.
В идеале я хотел бы создать что-то вроде серверов Tesla от NVidia (например, s2075), но с GTX580s вместо карт Tesla. Это позволяет разместить 4 карты в корпусе высотой 1U, который затем подключается через удлинители PCI-e к хост-системе. DIY-версия этого, кажется, не существует.
Так что мой следующий план - 4u и в него встроена стандартная четырехъядерная SLI. Я бы, вероятно, использовал 2 блока питания по 850 Вт для питания 4 карт. Охлаждение также может быть проблемой.
Так что мои вопросы конкретно таковы:
- Если я в основном использую графический процессор и использую только процессор для обработки базовой логики и прочего, разумно ли использовать младший процессор, такой как i3?
- Если я захочу найти друг друга, разве это не будет довольно дорого / потреблять много энергии?
- Я поступаю неправильно, и есть ли гораздо более простой и экономически эффективный способ создания числовых дробилок для графических процессоров, а не хранить их в моей квартире?
4 ответа
Я провел немного больше исследований, и я собираюсь ответить на этот вопрос сам, если кто-то захочет сделать что-то подобное.
AWS (и другие поставщики) предоставляют услуги облачных вычислений на GPU. Это прекрасно работает для определенных приложений, но, конечно, не для всех. Насколько я могу судить, кластеры виртуализированных графических процессоров, как правило, работают медленнее, чем фактическое оборудование, которое они рекламируют, и они дороги, если вы используете его довольно регулярно. Приложения, в которых может иметь смысл создать собственное оборудование, включают 3D-рендеринг и определенные типы машинного обучения, которые выигрывают от использования графического процессора. Если вы делаете только периодические вычисления чисел, облачный GPU - хороший выбор.
Итак, на мой первоначальный вопрос - лучший результат для серверов GPU. В настоящее время GTX580 (~ $ 400) является отличной ценой по сравнению с НАМНОГО более дорогими картами Tesla и Quadro, и производительность сопоставима. Quadro 6000 в настоящее время стоит 6000 долларов и работает примерно так же в тестах GPGPU (в частности, NQueens), что и 580. У Tesla больше встроенной памяти. 680 ограничен для GPGPU и не будет работать так же хорошо, как 580. Поэтому в середине-конце 2012 года купите GTX 580.
Quad SLI не обязательно того стоит. 4x SLI не в 4 раза быстрее. Но вы все равно можете установить 4 GPU в свою систему с 2 2x SLI, это довольно неплохой компромисс. Или просто оставьте их как отдельные карточки.
Похоже, шасси 4u - это то, что вам нужно, если вы хотите поместить его в стойку. Вы, вероятно, захотите 2 источника питания 750 Вт.
На процессоре - я не могу получить прямой ответ на этот вопрос. Для себя я, вероятно, получу нижний конец i5, а не i3.
Оттуда просто соберите столько систем, сколько вам нужно, поместите их в стойку (совместно или в серверной комнате), и все будет хорошо. Вы, вероятно, ищете менее 2500 долларов за единицу для теоретических 6 тфлопс с 4 gtx580s. Это довольно хороший удар для вашего доллара.
Для сравнения, nvidia tesla s1070 делает 4 тфлопа и стоит что-то вроде $ 8000-10 000. Но это "корпоративная" цена за производительность, которую вы можете получить намного дешевле.
Счет за электроэнергию меня тоже интересовал, я не могу получить прямой ответ на этот вопрос, я подозреваю, что он будет высоким.
Если вам нужна производительность с плавающей запятой, используйте GTX680, он также более энергоэффективен, вы не будете платить столько за электричество. Если вам нужна двойная производительность с плавающей запятой, переходите на GTX 580.
Посмотрите на это сообщение в блоге.
Также у renderstream был блог о сервере 8GPU 4U. Это 14 тысяч долларов. Исправлен BIOS для работы со всеми 8 картами. Я думаю, что только сервер barebones стоит 3k $.
Я также собираюсь построить такую машину в будущем, я пока не уверен, стоит ли она того и стоит, и просто арендую ее, когда она мне понадобится. Это может быть хорошей идеей разделить стоимость и разделить машину, но в итоге мы можем наступить друг на друга.
Большинство серверных шасси не рассчитано на количество тепла, которое собираются произвести 4 карты. И похоже, что ваши приложения будут подталкивать карты к пиковым уровням. Вам обязательно нужно будет внимательно следить за температурой отдельных карт, а также процессора. Вам вполне могут понадобиться дополнительные вентиляторы или даже перейти на решение с жидкостным охлаждением.
Другая проблема - это шум. Если это в пространстве Коло, ничего страшного. Тем не менее, вы сказали, что это может пойти в вашей квартире, и это может быть проблемой. Поклонники на потребительских видеокартах варьируются от поставщика к поставщику. Даже "тихие" вентиляторы на видеокартах имеют шум, и вы умножите его на 4, не говоря уже о дополнительных вентиляторах, используемых для охлаждения. Опять же, жидкий охлаждающий раствор может быть хорошим решением.
Я уверен, что Amazon предложит такую вещь.
Вероятно, намного дешевле, чем вы сможете сделать это тоже.
http://aws.amazon.com/hpc-applications/
http://hpc.nomad-labs.com/archives/65
Это позволило бы устранить большую сложность в том, что вы хотите сделать.