Peformance Amazon EC2, что я на самом деле получаю?
Я прочитал несколько статей о веб-сервисах Amazon и заинтересован в:
- Знание точно, что я получаю (возможно, некоторые эквивалентные термины для физической машины были бы полезны)
- "Производительность" по сравнению с предполагаемой собственной машиной или другими широко доступными опциями.
При этом у меня процессор Intel i7 с 8 ядрами, 2 ГБ оперативной памяти на ядро. Я также не очень разбираюсь в оборудовании, распределенных вычислениях и параллельных вычислениях.
Я буду работать с большими наборами данных и применять алгоритмы к этим большим наборам данных. Во всяком случае, вот две статьи, которые я прочитал, которые касаются этих вопросов: Article1 и Article2.
Я действительно не знаю всех терминов в статьях, но кажется, что лучшее, что я могу получить, не намного лучше, чем моя собственная машина. Простейший тест, который я сделал (что меня сильно разочаровало), состоял в том, чтобы запустить экземпляр на EC2, запустить python и создать большой граф Барабаси с помощью networkx (библиотеки графов). Я забыл фактический размер, но моя машина выполнила задачу примерно за минуту, в то время как EC2 пришлось остановить процесс. Так много для высокопроизводительных вычислений...
Также вероятно, что мне не хватает важной идеи в моем использовании или мыслях об Amazon EC2. Пожалуйста, дайте мне знать и спасибо заранее!
РЕДАКТИРОВАТЬ: Чтобы уточнить, я заинтересован в вычислительной мощности. Смогу ли я обработать свои большие наборы данных более эффективно (за меньшее время)?
1 ответ
Amazon четко указывает на своей странице EC2 и своей странице типов экземпляров, какова статистика каждой машины.
Например, бесплатный уровень, который вы, вероятно, опробовали, и производительность которого не впечатлила, является "микроинстанцией"
Micro Instance 613 МБ памяти, до 2 ECU (для коротких периодических пакетов), только хранилище EBS, 32-битная или 64-битная платформа
Теперь есть один перевод, который мы должны сделать ECU для фактической вычислительной мощности
Вычислительный блок EC2 (ECU) - один вычислительный блок EC2 (ECU) обеспечивает эквивалентную производительность ЦП процессора Opteron 2007 или 2007 Xeon с тактовой частотой 1,0-1,2 ГГц.
Таким образом, машина, на которой вы тестировали ее, была компьютером с тактовой частотой 2,0-2,4 ГГц (но только для коротких периодических пакетов), который имел только 613 МБ ОЗУ.
Скорее всего, баран убил вашу производительность. Ваша машина имела в три раза больше памяти, чем машина EC2, и имела 8 ядер (и, вероятно, работала быстрее, чем скорость разрыва экземпляра EC2) по сравнению с 1 ядром машин EC2.
Теперь сравните это с "Экстремально большим экземпляром с высокой памятью"
Большой объем памяти в четыре раза Экстра большой экземпляр 68,4 ГБ памяти, 26 вычислительных блоков EC2 (8 виртуальных ядер с 3,25 вычислительными блоками EC2 каждое), 1690 ГБ локального хранилища экземпляров, 64-разрядная платформа
Итак, теперь у нас есть машина, которая имеет 68,4 гигабайта оперативной памяти по сравнению с вашими 8, и имеет 8 ядер (таких же как вы) и работает на частоте от 3,25 до 3,9 ГГц.
Эта машина, вероятно, побьет вашу машину, выполняя ту же задачу.
Теперь зачем использовать EC2? Что, если вы хотите запустить 20 копий теста одновременно, дома вам нужно будет купить еще 19 машин (скажем, 1000 долларов за машину), поэтому вам придется потратить 19000 долларов сейчас, а когда вы закончите, у вас есть серверы вам больше не нужно ничего не делать вообще.
Используя EC2, вы можете арендовать 20 серверов и платить только за 1 час использования. При цене $1,00 в час для четвертого очень большого экземпляра с высокой памятью это будет стоить всего $ 20.