Облачный сервис амазон. Год облачного хостинга от Amazon — бесплатно. Сколково присоединяется к программе Amazon Web Services Activate

В 2018 году выручка Amazon Web Services (AWS) составила $25,7 млрд, увеличившись на 47% по сравнению с предыдущим годом. Компания Amazon заработала на облачных сервисах больше, чем вся McDonald’s : продажи популярной сети ресторанов быстрого питания по итогам 2018 года достигли немногим более $21 млрд.

История

2018: Число вакансий специалистов по Amazon Web Services выросло на 107,15% за три года

В декабре 2018 года портал для поиска работы Indeed опубликовал исследование, в котором сообщил о быстрорастущем спросе на специалистов по облачным вычислениям .

Так, к концу 2018 года количество вакансий, в которых требуются знания Google Cloud , взлетело на 1082% по сравнению с показателем трехлетней давности. В случае с облаками Amazon Web Services (AWS) и Microsoft Azure показатели роста составили 107,15% и 165,9% соответственно. Подробнее .

2017

Рекордная выручка в $17,5 млрд

В 2017 году выручка Amazon Web Services (AWS) составила $17,5 млрд против $12,2 млрд годом ранее. Прибыль облачного бизнеса Amazon за это время повысилась с 3,1 до 4,3 млрд долларов .

Отвечающее за облачные сервисы подразделение приносит Amazon всю прибыль и около 10% выручки. В 2016 году последний показатель измерялся 9%.

Динамика роста доходов AWS

При этом в подразделении продолжают расти расходы: в 2017-м они превысили $13 млрд, тогда как в 2016 году они составляли $9,1 млрд.

По словам финансового директора Amazon Брайана Олсавски (Brian Olsavsky), в течение 2017 года 12-месячная выручка AWS вышла на уровень $20 млрд.

Как отмечает GeekWire, в 2017 году облачный бизнес Amazon вырос, несмотря на сильную конкуренцию со стороны Microsoft и других компаний. При этом конкуренты Amazon не раскрывают доходы от сервисов, предназначенных для развертывания облачной инфраструктуры, на которых специализируется американский интернет-гигант. Судя по результатам AWS, подразделение едва ли потеряло хоть какую-то долю этого рынка, добавляет издание.

Во время конференции, посвященной публикации финансовой отчетности, Брайан Олсавски отверг возможность отделения Amazon Web Services. По словам топ-менеджера, такая реструктуризация может быть эффективной с одной стороны, но с других сторон она станет большой проблемой. И Amazon, и AWS получают больше от того, что работают вместе, хотя в некоторой степени они функционируют отдельно друг от друга, сообщил Олсавски.

В 2017 году клиентами AWS стали несколько крупных компаний, среди которых - Expedia, Ellucian, DigitalGlobe и The Walt Disney Company .

1300 новых функций

На конференции AWS re:Invent, которая с 27 ноября по 1 декабря 2017 года состоялась в Лас-Вегасе, компания Amazon объявила масштабное обновление своей облачной инфраструктуры.

Решения Amazon Web Services (AWS) получили 1300 новых функций, тогда как в 2016 году количество нововведений составило чуть более 1000.

Среди облачных новшеств, представленных в рамках AWS re:Invent 2017, стоит выделить сервис SageMaker, предназначенный для создания модели машинного обучения . В SageMaker реализовано десять известных алгоритмов контролируемого и неконтролируемого обучения. Процессы можно выполнять параллельно на десятках инстансов, что значительно ускоряет построение модели.

Еще были представлены такие решения, как Amazon Rekognition (идентифицирует объекты и лица в пользовательских видео), Amazon Transcribe (преобразование речи в текст), Amazon Translate (переводчик языков) и Amazon Comprehend (анализирует текст на предмет ключевых фраз и эмоциональной окраски).

Кроме того, новые инструменты для Amazon Web Services позволяют записывать телефонные звонки и изучать их, определяя, например, доволен ли клиент общением с сотрудником компании или нет. Благодаря этим технологиям руководители организаций могут контролировать деятельность своих подчиненных и обучать их.

Запуск сервиса Secret Region

Основная статья: Amazon Secret Region

Согласно официальному заявлению Amazon, работники службы технической поддержки Amazon S3 проводили штатное обслуживание биллинговой системы, для чего им понадобилось отключить несколько серверов платежной системы. Простая опечатка привела к тому, что отключилось "большее количестве серверов, чем было запланировано". Среди отключенных оказались серверы, обеспечивавшие работоспособность двух других подсистем S3.

Некорректно функционировала и система AWS Service Health Dashboard (SHD), в которой отображается состояние всех сервисов S3: когда не работало практически ничего, SHD показывало, что все в порядке. Amazon пришлось информировать клиентов о реальной ситуации через Twitter .

Восстановить отключенные системы не могли в течение пяти часов. Как оказалось, часть деактивированных серверов не перезапускали в течение многих лет. А поскольку за последние годы S3 значительно разрослась в масштабах, "процесс перезапуска этих сервисов и проведение необходимых проверок безопасности и целостности метаданных занял больше времени, чем ожидалось".

Сбой в облаке Amazon парализовал работу десятков крупнейших сайтов

В результате сбоя в работе облака Amazon крупные сайты и сервисы, использующие хостинг S3, работали с перебоями. В частности, наблюдались проблемы с музыкальной службой Apple Music. Кроме того, неполадки с хостингом изображений для сайта возникли у популярных западных новостных изданий, включая The Verge и Business Insider. Пострадала и Комиссия по ценным бумагам и биржам США (SEC) .

AWS S3 также обслуживает такие популярные сервисы, как Netflix , Spotify и Airbnb . Хотя ни один из этих сервисов не ушел оффлайн в результате сбоя, пользователи жаловались на ошибки и замедление их работы.

Примерно к 1:00 среды, 1 марта 2017 года, Amazon полностью восстановила работу S3, после чего неполадок не наблюдалось. СМИ называли этот инцидент крупнейшим интернет-коллапсом с 2015 года.

После этого сбоя в Amazon заявили о планах реализовать новые системы обеспечения бесперебойной работы. Как ожидается, новые меры позволят минимизировать вероятность "обрушения" десятков тысяч сетевых ресурсов из-за простой опечатки.

Также планируется внести изменения в общую архитектуру S3, чтобы ускорить восстановление работоспособности серверов после планового или внепланового отключения.

По данным портала SimilarTech, услугами Amazon S3 пользуются более 148 тыс. сайтов и 122 тыс. уникальных доменов, в основном расположенных в Соединенных Штатах. Облачные сервисы Amazon предпочитают 0,8% сайтов из миллиона самых популярных ресурсов в интернете. Для сравнения, CloudFlare используют 6,2% сайтов.

Amazon увеличивает стоимость услуг в России

2016

Salesforce.com арендует дата-центры Amazon за $400 млн на 4 года

Рекордная выручка в $12 млрд

После публикации финансовой отчетности акции Amazon упали в цене более чем на 4% в ходе электронных торгов после закрытия биржи 2 февраля 2017 года. Спад котировок произошел потому, что доходы компании в четвертом квартале и прогноз на первую четверть оказались ниже ожиданий Уолл-стрит.

Причины успеха AWS

В конце июля 2016 года руководство Amazon рассказало об основных факторах, благодаря которым интернет-ритейлер приблизился к тому, чтобы стать первой в мире компанией с годовой облачной выручкой в $10 млрд.

В первой половине 2016 года доходы Amazon Web Services (AWS) составили $5,5 млрд. Таким образом, по итогам всего года выручка в этом подразделении Amazon может составить $11 млрд.

Названы 3 причины успеха Amazon на облачном рынке

1. Функциональность и темпы развития инноваций . В январе-июне 2016 года инфраструктура AWS пополнилась 422 новыми сервисами и функциями против 722 за весь 2015 год. Олсавски отметил, что Amazon продолжает развивать такие важные направления, как аналитика данных и машинное обучение .

2. Партнеры и экосистема . Во втором квартале 2016 года AWS привлекла к сотрудничеству такого гиганта облачной индустрии, как Salesforce.com , а также заключила контракты с рядом крупных клиентов (GE Oil & Gas, Kellogg"s, Brooks Brothers и др.), решивших воспользоваться запущенным в облаке AWS программным обеспечением SAP . Кроме того, AWS расширила инфраструктуру, открыв в Индии новый дата-центр . Таким образом, количество регионов, в которых запущены ЦОДы Amazon, достигло 13.

3. Опыт . Брайан Олсавски сообщил, что Amazon является пионером рынка публичных облачных сервисов. Мощный старт позволил компании оторваться от конкурентов и к концу июля 2016 года зарабатывать вчетверо больше на рынке облаков, чем ближайший преследователь Microsoft Azure .

При этом финдиректор Amazon не исключает, что конкуренты могут расширить свое присутствие, учитывая большую величину рынка публичных облаков. Однако AWS все равно останется лидером, заверил он.

2015: Рост выручки до $8 млрд

2014

Эффективные подходы шифрования конфиденциальных данных на платформе AWS

В своей выпущенной в 2014 году электронной книге 6 Ways to Enhance Security in AWS SafeNet объясняет, каким образом компании смогут обеспечить соблюдение законодательства и показать безопасность уязвимых данных.

• Корни доверия или мастер-ключи (Roots of Trust) – неважно, используются ли они для защиты ключей шифрования или для аутентификации устройств, корни доверия (или мастер-ключи) являются компонентами, которым, по определению, доверяет система при осуществлении одной или нескольких критических для безопасности функций и которые используются как на виртуальных устройствах обеспечения безопасности, так и на защищенных от взлома аппаратных устройствах. В сервисе AWS CloudHSM в качестве корня доверия используются устойчивые к взлому аппаратные модули безопасности Luna® SA. В результате заказчики получают в свое единоличное пользование устройства, находящиеся в облаке AWS и полностью покрывающие их потребности в шифрованном хранении данных. Модули Luna отвечают требованиям многих международных стандартов в области обеспечения безопасности и могут использоваться с самыми различными протоколами шифрования. Всё это позволяет организациям подтвердить соответствие строгим стандартам в отношении обработки и хранения данных.
• Централизованное управление ключами шифрования – решение SafeNet Virtual KeySecure for AWS Marketplace позволяет организациям оперативно развертывать централизованные системы управления ключами в кластеризованных конфигурациях с высокой отказоустойчивостью, используя для этого защищенное виртуальное устройство безопасности, запущенное в облаке AWS. Это решение позволяет в безопасном режиме хранить ключи шифрования и управлять политиками шифрования для рабочих нагрузок AWS EC2, и гарантирует компаниям полный и постоянный контроль над их ключами шифрования. Платформа SafeNet Crypto Management насчитывает самое большое в отрасли число партнёров по интеграции. Доступность этого решения на AWS расширяет его возможности и позволяет еще большему числу заказчиков воспользоваться этим решением для управления ключами шифрования в своей организации.
• Шифрование и аутентификация перед начальной загрузкой для EC2 и EBS – решение SafeNet ProtectV™ for AWS Marketplace позволяет осуществлять полное шифрование экземпляров виртуальных машин и прикрепленных к ним томов хранения данных, гарантируя полную изоляцию данных и разделение задач. Решение помогает унифицировать процессы шифрования и контроля в виртуализированных и облачных окружениях, позволяет повысить безопасность и обеспечить соблюдение законодательных требований относительно хранения конфиденциальных данных на экземплярах AWS EC2. Кроме того, решение ProtectV™ гарантирует, что запуск экземпляров виртуальных машин может быть осуществлен только после успешного прохождения аутентификации перед начальной загрузкой, то есть, только владельцем виртуальной машины.
• Шифрование объектов на стороне клиента для Amazon S3 – при интеграции с AWS SDK решение SafeNet ProtectApp обеспечивает заказчикам возможность контролируемого клиентского шифрования объектов, хранящихся на сервисе Amazon Simple Storage Service (S3). ProtectApp выступает в роли клиента шифрования, который предоставляет входные ключи для шифрования объектов перед их загрузкой в хранилище, в результате чего неавторизованные пользователи не смогут прочитать данные, как и поставщик услуг облачных вычислений не сможет получить доступ к данным приложения.
• Шифрование данных в СХД для AWS Storage Gateway – решение StorageSecure представляет собой сетевое устройство шифрования, предлагающее оптимальную защиту данных, хранящихся в физических, виртуальных или облачных средах хранения данных. Это прозрачное решение, которое позволяет организациям сохранять полный контроль над доступом к данным путём подключения локально установленного программного устройства к AWS S3, в результате чего обеспечивается комплексная защищенная интеграция локальных окружений для хранения данных в окружении (или в среде) AWS. Устройство AWS Storage Gateway устанавливается на территории заказчика и подключается к сервису StorageSecure посредством протокола iSCSI.
• Шифрование файлов для экземпляров EC2 и S3 – решение SafeNet ProtectFile обеспечивает автоматизированное шифрование на уровне файлов для защиты неструктурированных данных, находящихся на сетевых накопителях и на файловых серверах. Решение ProtectFile устанавливается вместе с SafeNet KeySecure и позволяет осуществлять шифрование неструктурированных файлов, содержащих конфиденциальные данные, в том числе текстовые документы, таблицы, растровые изображения и векторную графику. В этом комплексном решении предусмотрены политики шифрования и политики управления доступом для защиты указанных папок и файлов с помощью шифрования, ориентированного на работу с данными.

Сколково присоединяется к программе Amazon Web Services Activate

В рамках поддержки инновационных стартап-проектов России Фонд «Сколково » выбрал Amazon Web Services (AWS) для предоставления всем компаниям-резидентам Фонда уникальной возможности участия в программе AWS Activate (Amazon Web Services). Данная программа, предназначенная для молодых компаний (менее 3 лет, и менее 1,5 млн$ привлеченных инвестиций), дает им бесплатный доступ к облачным ресурсам и тем самым содействует их росту.

Amazon Web Services предоставляет молодым стартапам сервисы и технологическую инфраструктуру, необходимую для развития бизнеса. Многие из самых известных стартапов мира, включая Pinterest, Spotify и Dropbox, используют мощности AWS для обеспечения быстрого роста своего бизнеса.

«Работая с Amazon Web Services, Фонд «Сколково» предоставляет российским стартапам уникальную возможность развивать проекты на новом технологическом уровне. В современном мире облачные технологии получают все большее распространение в различных областях. Сервисы AWS могут быть использованы резидентами всех кластеров Фонда»,- подчеркнул руководитель облачного направления кластера информационных технологий Фонда «Сколково» Иван Киреев.

Каждая компания–участник «Сколково» получает:

• $1,000 AWS кредидов в течение 1 года
• Премиум AWS Business Support в течение 1 месяца
• Special offers от разных компаний для стартапов, включая Chef, Bitnami, Amazon Payments, SOASTA, Podio, CopperEgg и др.

Все грантополучатели Фонда «Сколково» получают:

• $10.000 AWS кредидов в течение 2 лет
• Бесплатный доступ к AWS Essentials в течение 1 дня или профессиональный тренинг (обычная стоимость составляет до 600$ за курс)
• Бесплатный AWS Technical Professional Accreditation курс, 8 ключей для self-paced labs (обычная стоимость до 30$/lab)
• Премиум AWS Business Support в течение 1 года (до 5 000$)
• Бесплатный доступ 1:1 virtual office hours с помощью AWS системных архитекторов
• Special offers от разных компаний для стартапов, включая Chef, Bitnami, Amazon Payments, SOASTA, Podio, CopperEgg и др

Amazon Web Services открывает ЦОД в Германии

Во Франкфурте в октябре 2014 года начал работу новый региональный центр обработки данных компании Amazon . До сих пор европейских пользователей обслуживал только центр в Ирландии, но Местные законы о защите персональных данных не допускают их хранения за рубежом, и многие компании в Германии не могут пользоваться облачными сервисами Amazon. Кроме того, именно германские руководители ИТ-служб выражают наибольшее беспокойство в связи с сообщениями о массовом перехвате данных спецслужбами , указывают аналитики .

Франкфурт обладает развитой сетевой инфраструктурой. Проще найти выделенный волоконно-оптический кабель от Парижа до Франкфурта, чем до Ирландии, отмечают в Amazon. В то же время обслуживание во франкфуртском центре будет несколько дороже, чем в ирландском из-за более высоких цен на электроэнергию, зарплат и других расходов. Центр обеспечит работу двух зон доступности с независимым снабжением энергией, охлаждением и охраной, соединенных скоростной сетью.

Магический квадрант Gartner

Сильные стороны : AWS выстроила свое облако так, что оно способно принять почти любую рабочую нагрузку, и это делает его популярным среди мелких фирм, организаций с критически важными приложениями и веб-разработчиков. Доля рынка вендора никем не оспаривается - по оценке Gartner (2014 года), Amazon продает в 5 раз больше вычислительной мощности, чем остальные 14 компаний, попавших в квадрант, вместе взятых.

Что следует учесть : Самая большая претензия к AWS та, что все «добавки» оплачиваются отдельно. Amazon не создает готовые пакеты услуг, как некоторые из ее конкурентов. Этот недостаток обслуживания и поддержки особенно отталкивает от нее некоторых пользователей, поскольку эти пункты означают дополнительную строку расходов в их счетах за услуги.

2011

В феврале 2011 года стало известно о заключении соглашения о предоставлении технической поддержки и оптимизации работы продуктов Citrix и приложений Windows , которые запускаются на базе Amazon Web Services (AWS). Договоренность позволит повысить совместимость и производительность приложений Windows на базе AWS и одновременно обеспечить постоянное обновление виртуальной платформы Xen. Citrix планирует таким образом оптимизировать развертывание коммерческой платформы по виртуализации серверов Citrix XenServer , что обеспечит пользователям простой переход с корпоративных ЦОД на инфраструктуру Amazon Elastic Compute Cloud (Amazon EC2). В результате, клиенты AWS смогут использовать богатый опыт Citrix в области виртуализации и оптимизации доставки приложений Windows. Сотрудничество Citrix и Amazon Web Services принесёт пользователям следующие преимущества:

• • Расширенная совместимость – Благодаря сотрудничеству клиенты XenServer смогут воспользоваться преимуществами масштабируемой и гибкой инфраструктуры AWS и облачных вычислений с оплатой сервисов по факту. Теперь пользователи XenServer смогут легко подключаться, переходить и управлять виртуальными машинами как на базе AWS, так и на базе локальной инсталляции XenServer.
  • Оптимизация для Windows – Как эксперт в области виртуализации и доставки Windows Citrix будет использовать технологии AWS и оптимизирует копии ОС Windows для корпоративного развертывания Windows приложений на платформе AWS.
  • Усовершенствованные облачные решения – Citrix усовершенствует такие существенные для корпоративных пользователей облачные решения, как аварийное восстановление, доставку приложений по запросу, улучшенную безопасность и соответствие требованиям контролирующих органов.

Пользователи облачных сервисов Amazon Web Services (AWS) смогут использовать СУБД Oracle 11g во втором квартале 2011 года в рамках услуги Amazon Relational Database Service (Amazon RDS). Владельцы действительных лицензий Oracle смогут начать пользоваться услугой сразу же без каких-либо дополнительных затрат. Также будет предоставляться возможность использования Oracle в режиме аренды с почасовой оплатой за фактически использованные вычислительные мощности. Oracle будет полностью интегрирована в существующую инфраструктуру AWS, и пользователи смогут запрашивать необходимые ресурсы в режиме самообслуживания с помощью унифицированного веб-интерфейса. Они также смогут несколько снизить затраты по обслуживанию СУБД, поскольку резервное копирование, установка обновлений и некоторые другие задачи по администрированию будут выполняться на стороне Amazon. В настоящее время доступ к Oracle в рамках Amazon RDS еще не предоставляется, однако Amazon предлагает заинтересованным пользователям опробовать сервис в работе со свободной СУБД IaaS), получила от них также и сомнительный статус обладателя худшего соглашения о качестве обслуживания. Впрочем, аналогичное соглашение для недавно запущенной облачной системы HP Compute Cloud может быть еще хуже.

И у Amazon, и у HP соглашения предусматривают ряд строгих условий, которые клиенты должны выполнить, чтобы гарантии качества обслуживания вступили в силу. Например, AWS требует размещения приложений как минимум в двух зонах доступности (отдельных дата-центрах), и соглашение будет считаться нарушенным только в случае отказа обеих зон. HP гарантирует клиентам компенсацию лишь при недоступности всех зон. Таким образом, считает аналитик, клиентам практически невозможно добиться компенсации за отказы облачной системы. Соглашения Amazon и HP даже не действуют в случае сбоев системы хранения данных CRN)

Как заявил эксперт компании Дмитрий Бестужев, облако Amazon содержит множество включений вредоносного кода, который может красть финансовые данные. Некоторые полагают также, что хакеры использовали облачные сервисы Elastic Compute Cloud (EC2) для запуска одной из атак на сеть онлайн-развлечений Sony в апреле и мае.

«Недавно появились сообщения, что облако Amazon послужило платформой для успешных атак на Sony, - пишет Бестужев в блоге о проблемах Amazon. - Что ж, сегодня я обнаружил, что [облако] Amazon Web Services используется теперь для посева кода, крадущего финансовую информацию».

Он обнаружил, что киберпреступники, организовавшие эти атаки, находятся в Бразилии и использовали несколько ранее зарегистрированных аккаунтов. Бестужев пишет, что он предупредил Amazon о наличии вредоносного кода, но спустя 12 часов опасные ссылки всё еще были там и действовали.

Эти атаки на Sony, пишет Бестужев, и обнаружение вредоносных ссылок в облаке Amazon свидетельствуют, что киберпреступники всё шире используют официальные облачные сервисы как плацдарм для своих атак.

Обнаруженный им код кражи финансовых данных выступает в нескольких формах; он доставляется на компьютер жертвы и действует разными способами, пишет Бестужев. В одном таком случае он действует как руткит; он ищет четыре разных антивируса и блокирует их выполнение, а также специальную программу защиты GBPluggin, используемую многими бразильскими банками для онлайн-транзакций. Этот код способен красть финансовую информацию из девяти бразильских и двух международных банков, красть идентификационную информацию Microsoft Live Messenger, цифровые сертификаты, используемые eTokens в своей системе, а также информацию ЦП, номер тома жесткого диска , имя ПК и другие данные, используемые некоторыми банками для аутентификации при входе в систему.

Вредоносный код на Amazon передает украденные данные двумя способами: по электронной почте на аккаунт киберпреступника на Google Gmail либо через специальный php-файл, который вставляет их в удаленную базу данных. Мало того, пишет Бестужев, вредоносный код защищен официальным антипиратским ПО под названием The Enigma Protector, чтобы затруднить декомпиляцию.

Всё это показывает, пишет Бестужев, что киберпреступники будут находить всё новые способы использовать облако для запуска своих атак, и поставщикам облака следует усилить меры защиты.

«Я полагаю, что официальные облачные сервисы будут и дальше использоваться преступниками для кибератак различных типов, - пишет Бестужев. - Поставщикам облака следует задуматься о совершенствовании своих систем мониторинга и расширении персонала защиты, чтобы эффективно пресекать попытки атак, предпринимаемые из их облака и с его помощью».

2010

Улучшение инструментария для разработки мобильных приложений

В 2010 году Amazon объявила о выпуске инструментов, облегчающих разработчикам создание мобильных приложений с доступом к платформе Amazon Web Services (AWS). Об этом сообщается в блоге компании. AWS представляет собой набор облачных сервисов, включая сервис хранения данных (Amazon S3), сервис размещения баз данных и платформу для реализации обмена мгновенными сообщениями. Теперь все это можно сделать с помощью соответствующего пакета средств разработки: AWS SDK SDK for PHP , который облегчает разработку приложений на языке PHP, предназначенных для исполнения в облаке Amazon. Инструментарий рассчитан на использование PHP версий 5.2 и выше. С его помощью разработчики могут создавать приложения, использующие различные элементы облака Amazon: сервис хранения Simle Storage Service (S3), сервис вычислений Elastic Computing Cloud (EC2) и базу данных SimpleDB. Комплект средств разработки создан на основе инструментария CloudFusion. В состав AWS SDK for PHP входит библиотека API , образцы кода и документация. У Amazon также можно получить рекомендации по переходу с CloudFusion 2.5 на AWS SDK for PHP. Как подчеркивают в Amazon, CloudFusion продолжит существование в качестве открытого проекта. API, которыми сопровождаются облачные сервисы Amazon, можно использовать в любых языках программирования. Однако в целях обеспечения простоты применения компания предлагает готовые комплекты средств разработки для ряда платформ: Java , Microsoft .NET и теперь - PHP.

Если попытаться объяснить в двух словах, что такое облачные технологии или облачные вычисления, то это те процессы, которые пользователь производит не на своем компьютере, а через интернет, с помощью внешних сервисов.

Самый простой и доступный пример облачных сервисов - Google Apps. Вам предоставляется доступ к приложениям, где вы можете создавать текстовые и графические документы, презентации, таблицы и пр. Плюс безопасно хранить результаты на серверах компании Google. Все, что вам для этого нужно, это браузер или мобильное устройство.
Концепция переноса работы пользователя в облако развивается с каждым годом. Все больше компаний, производителей программного обеспечения развивают это направление.
Например, у Майкрософт имеется сервис Office 365, Adobe теперь распространяет свои программы преимущественно в рамках Adobe Creative Cloud…
Но мы будем не просто пользоваться готовыми облачными решениями, а научимся создавать свое облако, с операционной системой, программами, настройками и системой хранения информации.

Я пользуюсь Amazon Web Services уже около пяти лет, по большей части как хранилищем файлов (Amazon S3 ), и лишь около года назад мне пришла в голову идея, почему бы не запусть Cinema 4D или After Effects в виртуальной машине Amazon Elastic Compute Cloud (EC2) .
До недавнего времени виртуальные машины в облаке использовались преимущественно для создания виртуального хостинга, но технологии развиваются и к сегодняшнему дню появились такие типы виртуальных машин, которые позволяют использовать их и для более ресурсоемких задач, например, рендеринга трехмерных изображений.

Помимо Amazon EC2 существуют, конечно, и другие поставщики облачных ресурсов для вычислений, например Google Compute Cloud или Microsoft Azure .

AWS считается одним из пионеров в этой области и далеко ушел от своих конкурентов по многим пунктам. И не смотря на то, что его сервисы в первую очередь предназначены для разработчиков, некоторые из них вполне доступны и обычному пользователю, которому не потребуются какие-то особенные знания в программировании и системах администрирования на уровне крутого IT-специалиста.
Очень хорошую статью посвященную рендерингу в 3Ds MAX в облаке Amazon EC2 написал в свое время Евгений Лабутин (зеркало). Настоятельно рекомендую к прочтению, автор очень хорошо расписал все плюсы и минусы такого метода удаленного просчета. Правда много важных деталей он не упомянул, да и интерфейс сайта AWS изменился с момента публикации его статьи, так что эти недочеты впоследствии постараюсь исправить я.
Сегодня хочу представить вам, друзья, мой новый бесплатный видеокурс посвященный работе с облачным сервисом - «Работаем в облаке Amazon Elastic Compute Cloud ».

План видеокурса:

1. Регистрация на AWS EC2 .
2. Принцип работы виртуальных машин и подключение первого инстанса.
3. Amazon EC2 . Tips and Trics.
   • Как изменить тип экземпляра?
   • Как добавить еще несколько таких же экземпляров?
   • Когда лучше использовать Spot-инстансы, а когда обычные?
   • Как поставить защиту от случайного удаления инстанса?
   • Что такое EBS диск? Как на лету присоединить к инстансу том? Типы дисков и ценообразование за их использование.
   • Какие существуют лимиты на количество экземпляров.
   • Как перенести образ в другой регион?
   • Как сделать образ публичным?
   • Как рассчитать свои затраты на сервисы AWS ?
   • Какие операционные системы можно использовать в облаке AWS ?
   • Как можно автоматически отключить инстанс после окончания рендера?
4. Gpu-instanses. Особенности
5. Amazon S3 — все о сервисе. Приемы и примеры использования.
6. Мобильные приложения для AWS
7. Полезные ресурсы, ссылки, материалы.

Видео я рассчитываю записывать и выкладывать на сайт постепенно, в течение 1-2 недель.
Ну а сейчас самое интересное! В процессе своего изучения облака AWS , я выяснил каким образом можно создавать несколько виртуальных машин, объединять их в единый кластер, и запускать Cinema 4D Team Render практически в идеальной конфигурации: все ноды имеют идентичное ПО и «железо», локальная сеть - 10 Gbit.

В этом демонстрационном видео представлена Team Render ферма из 10 инстансов. Процесс запуска такой конфигурации занимает 10-15 минут.
Характеристики отдельной виртуальной машины:

• Тип инстанса: cc2.8xlarge
• Цена в регионе N.Virginia в режиме spot price: $0.43 в час
• Процессор: Intel Xeon CPU E5-2670 v2 @2.6GHz, 32 ядра
• Оперативная память: 60.5 GiB RAM
• Сеть: 10 Gigabit
• Результаты теста Cinebench R15: 1899 Scores

Итоговое время рендера для каждого проекта:
Soda Can — 6 мин. Watch — 10 мин. Grapes — 3 мин. Spider (101 кадр) — 58 мин.
Итоговая стоимость : $8.6.

В этом докладе будут рассмотрены сервисы AWS, которые использует наша платформа и с которыми я знаком не по наслышке. Я работаю над проектом, который использует почти все возможные сервисы, а так же мы нацелены в ближайшем будущем охватить ещё больше возможностей, которые предоставляет нам Amazon.

Управление AWS осуществляется как с помощью веб интерфейса (AWS console), так и с помощью Command Line Tools. В консоли собраны все сервисы AWS, но функциональность настройки несколько обрезана. В командной строке же можно более гибко настроить тот или иной сервис, так же доступны закрытые в консоли функции.

Amazon Elastic Compute Cloud (EC2)

Описание

EC2 - это облачный сервис, предоставляющий виртуальные сервера (Amazon EC2 Instance), 2 вида хранилищ данных, а так же балансировщик нагрузки (Load Balancer).

Многие из вас знакомы с VPS - Virtual Private Server. Так вот, EC2 - это не что иное, как сервис, предоставляющий VPS в настоящем облаке, где сервер может легко мигрировать между нодами, а хранилище легко может быть расширено до почти безразмерного. Потому-то в названии и звучит слово Elastic - Эластичный.

Функциональность

EC2 позволяет запускать уже заранее сконфигурированные серверы с предустановленными ОС: Amazon Linux, Red Hat EL, Suse ES, Windows 2008, Oracle EL, Выбор операционных систем выглядит так:

Так же возможно создавать свои образы (AMI - Amazon Machine Image) и использовать любой Linux. Наша платформа использует Debian Squeez как основную систему, но, конечно же мы можем запустить и работать практически на любом дистрибутиве Linux, например CentOS или Ubuntu. Так же мы поддерживаем RHEL и Suse ES.

Есть возможность настроить защиту доступа к серверам. EC2 инстансы объединяются в группы безопасности (Security Groups) с возможностью ограничения доступа по портам с IP или подсетей.
Настройка групп безопасности выглядит следующим образом:

Балансировка нагрузки и автомасштабирование являются очень важными функциями EC2. Вы можете создать правила при которых станет возможно автоматически увеличить количество серверов, например, если один или несколько серверов не справляются с нагрузкой. Контроль за здоровьем серверов ведёт ещё один сервис AWS - Amazon Cloud Watch. С помощью этого сервиса можно создавать разного рода проверки - checks - с помощью которых контролируются важнейшие показатели работы ОС.

Добавление почти бесконечного количества дисков с почти бесконечным объёмом хранения. EBS (Elastic Block Storage) - это один из типов хранилища в EC2. Особенность его такова, что диски, создаваемые по этой технологии не зависимы от VPS-ноды и расположены на специальных Storage серверах, в отличии от Instance хранилищ, которые расположены непосредственно на серверах виртуализации.
Используя EBS, к запущенным серверам можно “наживую” добавлять диски любого размера.
Создание диска:

Управление дисками:

Elastic IP адреса дают возможность быстро менять адрес сервера, например для того, чтоб избежать DNS propagation - времени обновления DNS зоны по всему миру.

Создание мгновенных образов (Snapshot) позволяет создать слепок диска и использовать его в качестве исходника для AMI (Amazon Machine Image), а так же для простой резервной копии ОС.

Типы серверов

Серверы EC2 можно описать следующей таблицей:

* EC2 compute unit - единица измерения производительности процессоров, сопоставимая c производительностью 1.0-1.2 ГГц процессоров Opteron или Xeon.

Биллинг

Оплата EC2 ведётся почасово, некоторые подсервисы, такие как EBS имеют помесячный биллинг. Для каждого подсервиса есть свой отдельный биллинг по заведомо утверждённой цене в час или в месяц.
Так же у EC2 инстансов существует так называемая резервация (Reservation) - оплачивается сразу 3-4 месяца работы сервера, после чего, час работы сервера стоит в ~1,5 раза дешевле. Резервации удобно использовать, если EC2 используется на постоянной основе - экономия на лицо.

Amazon Simple Storage (S3)

Тезисы

• Amazon S3 это сервис для хранения данных в файлах. Указано, что предоставляется безразмерное пространство для хранения файлов размером от 1 байта до 5 Терабайт.
• Файлы хранятся в отдельных бакетах (bucket), в которых можно создавать директории и поддиректории.
• Бакеты хранятся в разных регионах (Region). Доступны следующие регионы: US Standard, US West (Oregon), US West (Northern California), EU (Ireland), Asia Pacific (Singapore), Asia Pacific (Tokyo), South America (Sao Paulo), и GovCloud (US).
• К бакетам можно применять разного рода политики безопасности: делать их приватными, публичными, а так же разделять права между пользователями. Например, можно открыть вебсайт:
  bucketname.s3-website-us-east-1.amazonaws.com и хранить там статический контент.
• S3 может логгировать запросы и складывать отчёты в отдельный бакет. Это удобно при расследовании, когда много пользователей/приложений имеют доступ к сервису.
• Загрузка, удаление и другие операции доступны по REST или SOAP, так же возможно шифрование канала передачи данных с S3.
• Интересной деталью является то, что можно встроить BitTorrent протокол заменой http, как основного протокола скачивания файлов.
• Предоставляется 99.999999999% гарантия целостности и 99.99% гарантия доступности файлов в год.
• S3 так же предполагает версионность файлов. Всегда можно восстановить файл предыдущей версии, т.е. откатиться до нужного состояния.
• UPD: Неймспейс названий бакетов один на всех пользователей, по этому названия бакетов должны быть уникальными

Интерфейсы

S3 может управляться с помощью вот такой консоли:

Так же есть официальные и неофициальные инструменты командной строки. Существует огромное количество библиотек для всяческих языков программирования для соединения приложений с S3.

Биллинг

S3 оплачивается помесячно за объём хранимых данных, за запросы и за исходящий траффик. Так же существует Free Tier - 5Гб места, 20.000 запросов скачки, 2.000 запросов закачки и 15 гигабайт трафика в месяц бесплатно.

Amazon Relational Database Service (RDS)

Описание

RDS - это сервис баз данных, который выносится на отдельную машину. Проще говоря, это отдельные VPS серверы, оптимизированные для работы с базами данных.
В Amazon RDS доступны следующие Системы Управления Базами Данных:

• MySQL community edition
• Oracle Database Standard Edition One
• Oracle Database Standard Edition
• Oracle Database Enterprise Edition

Выбор выглядит так:

Дисковое пространство RDS инстанса так же заказывается клиентом. Минимальный размер стораджа - 5 Гб.

Существует возможность гибко настроить доступ к серверу БД с помощью групп безопасности. Доступ возможно дать отдельным адресам/подсетям или же группам безопасности EC2 и всем серверам, которые в неё входят. Это полезно, например при автомасштабировании, когда все экземпляры приложения поднимаются в одной группе и имеют доступ к серверу БД.

Так же можно настроить репликацию между серверами баз данных через консоль или утилиты командной строки.

RDS поддерживает мгновенные слепки (Snapshot) и автобекап, давая возможность быстро и качественно восстановить данные.

Если же случаются проблемы с аппаратным обеспечением, RDS автоматически перенесёт ваш хост на здоровую ноду.

При выходе обновлений, СУБД могут быть автоматически пропатчены и перезагружены. Клиенты уведомляются заблаговременно.

Стоит заметить, что root доступа к СУБД нет. Возможности хранения встроенных процедур и тонкие настройки осуществляются через API и утилиты командной строки.

Все RDS инстансы работают на 64 битной платформе.

Типы RDS инстансов

Биллинг

Как и EC2, оплата RDS проводится за каждый час использования рабочего инстанса, его стораджа, отдельная плата берётся за хранение бекапов и снапшотов. Так же считается количество I/O операций.
Так же существуют Резервации (Reservation) - оплата сразу суммы за 3-4 месяца, после чего на год или 3 года почасовая ставка за работу инстанса значительно снижается. В среднем в полтора раза.

Route 53

Описание

Route53 - это облачный DNS сервис от Amazon. Практически самый обычный сервис имён, отличающийся высокой производительностью и ценой. Это на самом деле дешёвый сервис. Имея немаленькие зоны с мелкими TTL? мы лишь не на много выходим за Free Tier - бесплатный лимит использования и платим сущие гроши за ДНС.

Одной из отличительных возможностей Route53 является его интеграция с другими сервисами AWS, такими как EC2 и балансировщиком нагрузки, S3, CloudFront.

Балансировщик нагрузки не имеет статического адреса, но имеет публичое DNS имя. Используя сторонние сервисы, нам бы приходилось использовать CNAME записи, чтоб ссылаться на это имя, но в Route53 имеется специальный тип записей - ALIAS на балансировщик нагрузки. Это позволяет без пропагаций использовать полную функциональность балансировщика.
Так же инетересно, что можно воспользоваться WRR (Weighted Round Robin) записями, которые позволяют делать балансировку нагрузки на уровне DNS.

Управление Route53 осуществляется через консоль или через инструменты командной строки. Так же существуют несколько сторонних сервисов, которые, скажем, более наглядно, чем консоль, показывают состояние зон и дают более удобную настройку. Конда в консоли не было возмоности управлять Route53, сервисы третьих лиц пользовались большой популярностью, я например часто использовал https://interstate53.com для этих целей.

Биллинг

Оплата производится за запросы, которые считаются миллионами штук.

Simple Queue Service (SQS)

Описание

SQS - сервис для построения очередей событий. Требуется такая очередь, например, когда разделены приложения создания имейла и его посылка. Тогда создаётся элемент очереди c телом письма, хедерами и т.п, а приложение отправляющее почту считывает элементы из очереди и рассылает их.

Мы используем очереди SQS для создания и отправки Push сообщений Apple, WP7 и Android. А так же для отправки электронной почты.

Лимитов по количеству очередей и по количеству элементов в очередях Amazon не предоставляет.

Биллинг

В счёт выставляется количество элементов очередей, вышедшее за Free Tier. На данный момент это 100.000. Платится за каждые 10.000 элементов. Так же взимаются средства за трафик, который сгенерировал сервис за месяц.

Simple Email Service (SES)

Описание

SES используется для отправки почты, а точнее рассылок. Высокая репутация IP адресов, высокая производительность серверов, позволяющая слать десятки-сотни тысяч писем в день даёт возможность осуществлять рассылку сообщений от малого до огромного корпоративного размера предприятия.

Особенностью можно считать автоматическое увеличение лимита писем посланных в сутки. С 10 тысяч до миллиона лимит поднимается атоматически в зависимости от ваших нужд посылки. Так же увеличивается лимит количества писем, посланных в секунду. В начале “прокачки” аккаунта этот лимит стоит на 5 штуках в секунду.

Функционал

SES позволяет слать письма через API - непосредственно из приложения. Существуют десятки библиотек, плагинов дающих возможность слать письма обходя SMTP методы. Для тех приложений, которые не могут быть интегрированы с SES через API - существует опция включения SMTP сервера с авторизацией по связке логин-пароль.
Биллинг
Оплачивается в SES за каждые 10.000 посланных писем в месяц. Так же плата взимается за трафик, который генерируется при отправке писем.

Amazon Cloud Watch

Описание

Cloud Watch используется для мониторинга здоровья/состояния преимущественно всех сервисов AWS, включая стандартный мониторинг здоровья серверов, доступность тех или иных портов, сторадж, работу СУБД, место на S3 и очень много всяких других чеков.

В Cloud Watch существует 3 типа состояний - OK, ALARM и UNSUFFICIENT DATA. Названия говорят сами за себя: чек в состоянии ОК, в состоянии ошибки или тревоги, а так же в неизвестном состоянии. На все состояния можно настроить триггеры, которые будут срабатывать во время изменения счётчика в это состояние.

Автомасштабирование, например, построено на показателях счётчиков CloudWatch. По политикам CloudWatch могут сработать триггеры, которые запускают новые копии серверов для увеличения мощности приложения, и так же при снижении нагрузки потушить ненужные серверы.

Выглядит консоль управления Cloud Watch следующим образом.

Консоль предоставляет почти весь функционал настройки Cloud Watch, но всё же через утилиты командной строки настройка может быть проведена гораздо быстрее и точнее, чем через веб интерфейс.

Биллинг

В оплаты сервиса Cloud Watch входят количество чеков, выходящее за Free Tier. Элементарный мониторинг в этом лимите настроить вполне можно.

AWS Identity and Access Management (IAM)

Описание

Сервис IAM позволяет контролировать права доступа ко всем остальным сервисам AWS. Имея штат сотрудников по всем правилам нужно разграничить доступ администраторов, разработчиков, тестирощиков и так далее. В пределах одно аккаунта могут быть создано до 80 учётных записей пользователей, объединённых в группы, к которым в свою очередь применяются политики безопасности.

Каждому IAM пользователю можно присвоить:

• пару ключей
• логин и пароль
• пару сертификатов

С ключами и сертификатами пользователи могут иметь доступ к API и утилитам коомандной строки. С логином и паролем - в консоль, которая доступна лишь членам организации. Адрес на логин экран такой консоли выглядит так:

Файловый хостинг и множество других.

Немногие знают, но компания Amazon каждому зарегистрировавшемуся пользователю, фактически предоставляет полноценную бесплатную VPS на год. Многие из тех кто знает об этом не используют это выгодное предложение так как боятся работать с "облаками", считая их настройку чем-то сложным и недоступным.

Облачный хостинг имеет ряд преимуществ перед прочими решениями:

• Гибкая ценовая политика, вы платите только за то, что используете;
• Легкое масштабирование проектов;
• Отказоустойчивость.

Я лишь коротко опишу этот процесс:

• На первых шагах вы создадите аккаунт на AWS , введя свои электронную почту, пароль и адрес;
• После создания и подтверждения аккаунта пройдите по ссылке: https://aws-portal.amazon.com/gp/aws/developer/subscription/index.html?productCode=AmazonEC2 и подпишитесь на услуги EC2 ;
• В процессе подписки вас попросят ввести данные кредитной карты (с нее будет произведено пробное списание, с возвратом) и пройти верификацию вашего мобильного телефона (вам позвонит робот и попросит ввести код подтверждения в режиме тонального набора)

Вы можете спокойно подписываться на все услуги AWS . Это облачный хостинг и деньги с вас снимут только по факту реального использования услуг.

Если все прошло успешно вы можете пройти в консоль управления вашими сервисами от Amazon : https://console.aws.amazon.com/ec2/

В центре находится кнопка создания и запуска сервера Launch Instance . После ее нажатия необходимо будет выбрать образ вашего будущего сервера из доступных, но сейчас я предлагаю поступить иначе.

Выбираем из табов регион для создания вашей системы. Выбираем образ с загрузкой по EBS (это гарантирует вам сохранность данных если сервер по каким либо причинам будет остановлен) и нажимаем на кнопку рядом с 32 или 64-битной версией для перехода в консоль AWS .

Откроется окно с выбранной системой, нажимайте кнопку (обратите внимание, что для бесплатного периода Instance type вашей системы должен быть t1.micro , он выбран по умолчанию).

Когда вы дойдете до этапа создания ключей (Create Key Pair) вы сможете выбрать ключ из уже загруженных ранее или создать новый. Во втором случае сохраните полученный ключ на свой компьютер.

Следующий этап Configure Firewall управление политиками безопасности. Политика безопасности (Security Group) регламентирует какие порты и типы соединений открыты наружу на вашем сервере.

Создайте новую группу и откройте порты TCP 22, 80 для доступа по SSH и WWW.

Заканчивайте настройку и запускайте ваш сервер: Launch .

Запуск займет некоторое время в течении которого статус сервера изменится на running .