Тенденции развития современных инфраструктурных решений. Варианты организации доступа к сторедж-системам. Коммутаторы в сетевой архитектуре

Прежде чем окунуться в технологии сетей хранения данных (SAN), стоит освежить свои знания, относящиеся к сетям передачи данных (СПД). SAN стали неким обособленным «ответвлением» от столбового пути развития сетевой индустрии. Однако, скажем, коммутаторы SAN играют в сетях хранения данных ту же роль, что и коммутаторы Ethernet или IP-маршрутизаторы в обычных СПД. Такие продукты выпускаются многочисленными, хотя по большей части не очень известными, производителями (табл. 1), и их функциональные возможности и технические характеристики сильно различаются. Как показали испытания, проведенные компанией Mier Communications, последние разработки четырех ведущих производителей коммутаторов SAN совершенно не похожи друг на друга.

«Голубую ленту» победителя мы присудили устройствам SilkWorm 2400 и 2800 фирмы Brocade Communications . Они полностью соответствуют технологии Plug-and-Play и обладают наивысшей производительностью среди протестированных моделей.

На второе место вышли SANbox 8 и SANbox 16 HA компании QLogic . Попытки установить их и заставить работать хотя и увенчались успехом, но отняли у нас гораздо больше сил, чем аналогичные процедуры с коммутаторами SilkWorm, да и быстродействие этих моделей оказалось весьма посредственным. Тем не менее мы по достоинству оценили удобство администрирования, которое обеспечивает приложение SANsurfer - безусловно, лучшее в своем классе. (В нынешнем году QLogic приобрела фирму Ancor, создавшую данные устройства, и коммутаторы поступили к нам от последней еще до урегулирования всех формальностей сделки. Впрочем, представители компании-покупателя заверили нас, что ее клиентам будут предлагаться продукты, идентичные «изначальным».)

Третью строчку заняли модели 7100 и 7200 фирмы Vixel , обладающие удобными средствами регистрации событий, но продемонстрировавшие крайне низкую производительность. Наконец, замыкало список устройство Capellix 2000G производства Gadgoox , главным недостатком которого является неспособность функционировать в коммутируемой сети SAN.

Три участника тестирования - QLogic, Vixel и Brocade - предоставили в наше распоряжение по два коммутатора на 8 и два - на 16 портов. Быстродействие устройств одного поставщика было практически одинаковым, что дало нам возможность привести на диаграммах, характеризующих производительность, общие для каждой пары значения. Таким же подходом мы воспользовались при выставлении оценок по критериям «Простота инсталляции», «Администрирование» и «Функциональные возможности».

Шина или матрица

Как уже упоминалось, три компании прислали нам по два экземпляра каждого из своих продуктов. Четыре коммутатора - вот тот минимум, который позволяет построить коммутирующую сеть с альтернативными маршрутами, чтобы затем проверить способность коммутаторов принимать решение о маршрутизации трафика в обход отказавшего соединения.

Фирма Gadzoox предоставила устройство Capellix 2000G, которое сам производитель позиционирует как коммутатор для сетей с разделяемым доступом. Это означает, что другие варианты подключения узлов к сети не поддерживаются. Сеть с общей шиной - так на профессиональном жаргоне называют технологию Fibre Channel с арбитражем (Fibre Channel Arbitrated Loop, FCAL) - является довольно старой разновидностью сетевой архитектуры Fibre Channel, в которой сетевые узлы совместно используют полосу пропускания разделяемой среды передачи.

Между тем для объединения нескольких коммутаторов в SAN каждый из них должен поддерживать коммутируемые (или, в терминологии SAN, матричные ) соединения, по крайней мере для части своих портов. Если прибегнуть к аналогии из сферы передачи данных, то различие между шинной (loop) и матричной (fabric) архитектурами можно уподобить различию между двумя сетями Ethernet, в одной из которых установлен концентратор, а в другой - коммутатор. Как известно, до активного проникновения технологий коммутации в локальные сети Ethernet в них использовался разделяемый доступ к среде передачи, физическим воплощением которой был коаксиальный кабель или концентратор.

Отсутствие поддержки коммутируемых соединений и топологий с несколькими коммутаторами не могло не сказаться на баллах, которые получило оборудование Gadzoox по критериям «Конфигурация» и «Функциональные возможности». Располагая только одним коммутатором, пользователи не смогут построить сеть, отличающуюся высокой надежностью и способностью маршрутизировать данные в обход отказавших узлов или соединений. Сеть хранения данных, в которой инсталлирован Capellix 2000G, будет насчитывать не более 11 коммутационных портов (в стандартной конфигурации это устройство имеет восемь портов и разъем расширения, допускающий установку трехпортового модуля). По сообщению представителей Gadzoox, в настоящее время фирма занимается разработкой модуля для коммутирующей матрицы, который будет устанавливаться в модульный коммутатор Capellix 3000.

Общие черты

Несмотря на многочисленные различия коммутаторы SAN имеют и много общего. В частности, во всех моделях присутствуют модули преобразователей гигабитных интерфейсов (Gigabit Interface Converter, GBIC) для каждого из портов. Это позволяет легко заменить физический коннектор на отдельном порте. Так, в процессе тестирования сетевых конфигураций на оптических и кабельных линиях нам частенько приходилось переключаться с кабельных портов, оснащенных разъемами DB-9, на оптические порты, работающие в коротковолновом диапазоне. Фирмы-производители предлагают для своих изделий коннекторы обоих типов, а также несколько других разновидностей модулей GBIC - например, предназначенные для работы на длинных волнах с одномодовым волокном. Мы попробовали переставить модули преобразователей с одной модели на устройства других фирм: никаких проблем ни с совместимостью, ни с производительностью при этом не возникло. Судя по всему, на уровне модулей GBIC и портов, на которых они используются, можно говорить о стопроцентном выполнении принципа Plug-and-Play.

Все коммутаторы поддерживают скорость передачи данных 1 Гбит/с на всех портах, хотя уже сегодня существуют спецификации, предусматривающие 2-Гбит/с скорость передачи по каналам Fibre Channel; по некоторым данным, ведутся работы над увеличением последнего значения еще вдвое.

Каждый коммутатор снабжен портом Ethernet, предназначенным для доступа к устройству с управляющей станции и способным автоматически определять используемую скорость передачи (10 или 100 Мбит/с). Изделия компаний Brocade, Vixel и Gadzoox располагают портом для подключения консоли; именно через него коммутатору сообщается IP-адрес, который впоследствии служит для управления. Что же касается продукта фирмы QLogic, его IP-адрес задается заранее (т.е. фиксирован), и это, на наш взгляд, может иметь негативные последствия. При подключении устройства к сети пользователь будет вынужден отслеживать предопределенный IP-адрес, а в дальнейшем его все равно придется заменить на значение, более подходящее для конкретной сети.

Все устройства в равной степени поддерживают зонирование сети хранения данных. «На языке» SAN этот термин соответствует организации виртуальных ЛС в СПД, т.е. обозначает логическое группирование отдельных портов и подключенных к коммутатору узлов с одновременным их отделением от других ресурсов. В сетях SAN зонирование используется преимущественно для контроля трафика.

Наконец, все модели поддерживают одни и те же классы сервиса Fibre Channel - второй и третий. Услуги третьего класса, которые соответствуют сервису без подтверждения приема и не ориентированы на установление соединений, сегодня обеспечивают транспортировку по сетям SAN практически всего объема трафика. Услуги второго класса отличаются от предыдущих наличием подтверждений; широкого распространения они пока не получили. Выявленные во время испытаний достоинства и недостатки коммутаторов SAN, которые мы рассмотрим ниже, отображены в табл. 2 .

Сравниваем конфигурации

Самый высокий балл по этому критерию получили устройства SilkWorm компании Brocade, поскольку они поддерживают все интересовавшие нас опции - возможности работы в разных сетевых топологиях, использования преобразователей GBIC, подключения консоли к специальному порту и доступа по каналу Ethernet с автоматическим выбором скорости передачи. Кроме того, только фирма Brocade поставляет свои коммутаторы (как 8-, так и 16-портовый) с резервными источниками питания. Корпорация QLogic устанавливает дополнительный источник питания только в 16-портовой модели SANbox 16 HA, а Gadzoox и Vixel вообще не предусмотрели такой возможности.

Буферизация кадров, которая обеспечивает временное сохранение данных перед их дальнейшей транспортировкой, также привлекла наше внимание. Она позволяет предотвратить потерю или отбрасывание пакетов при возникновении незапланированных событий или непредвиденном ухудшении условий передачи. Прежде всего нас интересовал объем буферного пространства на отдельных портах. Как оказалось, в коммутаторе производства Gadzoox буферизация кадров попросту невозможна. Устройства SANbox имеют по восемь буферов для каждого порта. В коммутаторах SilkWorm буферов уже по 16, а кроме того, существует общий динамический буфер, части которого выделяются отдельным портам по мере необходимости. Наконец, в устройствах 7200 корпорации Vixel каждый порт располагает 32 буферами.

По функциональным возможностям продукты различались не столь явно. Существенным моментом оказалась, пожалуй, лишь способность коммутаторов к взаимодействию с изделиями других фирм. Перед началом тестирования мы попросили производителей предоставить нам любую документацию, обычно предлагаемую заказчику и отражающую возможность функционирования данного продукта в той сетевой среде, где имеются коммутаторы SAN, системы хранения данных и шинные адаптеры (Host Bus Adapter, HBA; в терминологии SAN так называют сетевые карты Fibre Channel, которые устанавливаются на подключаемые к сети серверы) разных поставщиков. К сожалению, ни один из производителей не смог похвастать совместимостью своих коммутаторов с продуктами других фирм. Представители Brocade прямо заявили, что фирма не гарантирует такого взаимодействия, но ведет работы по обеспечению совместимости SilkWorm с конкретными моделями накопительных систем и сетевых карт. QLogic, Vixel и Gadzoox заняли более амбициозную позицию.

Включил и... работай?

При оценке простоты инсталляции и эксплуатации нас интересовало следующее. Сколько времени должен затратить пользователь, чтобы заставить тот или иной продукт работать в реальной сети? Каковы возможности подключения накопительных систем и адаптеров, имевшихся в нашем распоряжении? Кроме того, мы анализировали проблемы, которые возникали на этом пути.

Для тестирования всех моделей использовались одни и те же платы HBA производства QLogic. Трудно сказать, в какой мере такой выбор повлиял на полученные нами значения производительности и на возможность взаимодействия испытывавшихся устройств. Можно лишь отметить: работы по обеспечению совместимости различного оборудования SAN еще далеки от завершения, поэтому не исключено, что при установке других адаптеров или дисковых систем JBOD будут зафиксированы иные результаты.

Коммутаторы SilkWorm 2400 и 2800 компании Brocade полностью соответствуют принципу Plug-and-Play и поэтому получили наивысшие оценки. Вслед за ними идет модель Capellix: хотя фирма Gadzoox одним махом избавила себя от проблем, связанных с поддержкой многокоммутаторных сетевых сред, одно устройство заработало, что называется, с полоборота.

Модели 7100 и 7200 фирмы Vixel и, в меньшей степени, SANbox от QLogic доставили немало хлопот уже на стадии инсталляции. Происхождение возникших затруднений так и осталось неясным, причем не только для нас, но и, кажется, для сотрудников служб технической поддержки упомянутых компаний. На наш взгляд, причина кроется в плохой совместимости коммутаторов SAN, адаптеров и систем хранения данных.

Управление

Наилучшее впечатление оставила продукция компании QLogic. Написанное на Java управляющее приложение SANsurfer имеет высокоинтуитивный Web-интерфейс и работает вполне стабильно. Автоматически генерируемая карта топологии показывает соединения между отдельными коммутаторами в сети с детализацией до уровня отдельного порта. Уровни интенсивности трафика выводятся на экран в режиме реального времени, а кроме того, программа обеспечивает регистрацию событий в удобном для чтения формате.

Управляющее ПО Web Tools компании Brocade, также основанное на языке Java, показалось нам достаточно надежным и эффективным, однако ему недостает информативности и некоторых функций, присущих продукту QLogic. Web Tools не строит схемы сетевой топологии, а управляющий интерфейс не позволяет быстро определять типы физических портов коммутаторов. Функция генерации отчетов о параметрах трафика не вызвала особых нареканий, однако отсутствует система экранной помощи, которая в отдельных случаях просто необходима.

Несомненное достоинство административного пакета SAN InSite 2000 фирмы Vixel, тоже написанного на Java, - хорошие средства регистрации событий. Однако указанное ПО состоит из нескольких клиентских и серверных модулей, что затрудняет его использование. Мы работали с одной из поздних бета-версий SAN InSite 2000 3.0 и обнаружили в ней больше ошибок, чем можно было ожидать. Так, один из портов постоянно распознавался как порт для кабельной линии с разъемом DB-9, в то время как он являлся оптическим. Один раз выдача отчетов о параметрах трафика в режиме реального времени попросту прекратилась, и, несмотря на все усилия, нам не удалось исправить ситуацию. Продукт имеет массу полезных функций и превосходную систему экранной помощи, но его функционирование сопровождалось постоянными ошибками.

Java-приложение Ventana SANtools производства Gadzoox явно проигрывало другим управляющим программам по части графики и функциональных возможностей. Например, в нем отсутствуют средства мониторинга параметров трафика в режиме реального времени. Мы отметили определенные недостатки в организации интерфейса и средствах навигации. Gadzoox снабдила свое приложение экранной справочной системой, но, кажется, забыла о средствах поиска.

Производительность

Первый из тестов на производительность, в котором регистрировалась задержка передачи данных, прошел на удивление гладко. Какое бы устройство мы не испытывали, суммарная задержка при транспортировке трафика по матрице из нескольких коммутаторов оказывалась в диапазоне от 10 до 15 мс. Задержка, вносимая коммутатором Capellix 2000G, была еще меньше; правда, стоит учесть, что в этом случае трафик проходил только через одно устройство.

А что происходит, когда коммутатор буквально бомбардируется потоками данных? Мы измеряли среднее время, которое необходимо семи серверам под Windows NT для выполнения случайных операций чтения/записи массивов данных объемом 10 Мбайт, причем обмен производился с одной и той же дисковой системой, подключенной через сеть коммутаторов SAN (см. ).

Среднее время одной операции ввода/вывода относится к ключевым показателям производительности, поскольку оно отражает реальное быстродействие сети SAN при передаче потоков большой интенсивности. Для SilkWorm, Capellix 2000G и 7100/7200 это время оказалось практически одинаковым (1,515, 1,512 и 1,536 мс соответственно). Коммутатору SANbox для транспортировки такого же объема данных потребовалось несколько больше - 2,177 мс.

Обратившись к пропускной способности, мы измерили ее максимальное значение для соединения Fibre Channel, по которому накопители были подключены к сети хранения данных. Мы вводили «в игру» от одного до семи серверов под Windows NT, заставляя их выполнять операции сначала чтения, затем записи, а потом смесь этих процедур и опять же общаясь с системой хранения данных через коммутационную матрицу SAN (при тестировании устройства Capellix 2000G фирмы Gadzoox сервер и дисковые накопители были подключены к одному и тому же коммутатору).

Пока операции записи выполнял один сервер, пропускная способность оставалась практически одной и той же для всех коммутаторов: они успевали обработать от 77,8 до 79,6 Мбайт/с. Очевидно, столь малым разбросом можно попросту пренебречь. Тот же результат наблюдался и для операций чтения: средняя пропускная способность составляла 81,6-85,1 Мбайт/с. Однако как только операции чтения начинали выполнять одновременно семь серверов, различия сразу же проявлялись. Коммутаторы Capellix 2000G и Vixel 7100 и 7200 работали со скоростями 95,3 и 94,3 Мбайт/с соответственно, что очень близко к максимальной пропускной способности линии Fibre Channel (100 Мбайт/с). Средняя производительность двух других устройств оказалась заметно ниже: у моделей SANbox она составила 88,9 Мбайт/с, а у SilkWorm - 73,9 Мбайт/с.

При выполнении серверами операций записи на диск, а также случайной последовательности операций чтения/записи наилучшие усредненные результаты показали коммутаторы SilkWorm. Второе место заняла модель Capellix 2000G, третье - устройства 7200 и 7100 от Vixel, а на последнем оказались коммутаторы SANbox. Надо отметить, что на практике пользователи постоянно сталкиваются с ситуацией одновременного выполнения множества операций чтения/записи.

Результаты двух других тестов на производительность нас сильно удивили. Вначале мы намеренно отключали дисковую подсистему от сети с коммутацией, по которой не передавалось никакого трафика, после чего восстанавливали соединение. Затем схожие условия моделировались в SAN, в которой использовались несколько коммутаторов, обеспечивавших обмен значительными объемами данных между несколькими серверами и дисковой системой.

Отключение и последующее подсоединение накопителей никак не повлияло на работу SilkWorm и Capellix 2000G, зато продукты Vixel не смогли адекватно отреагировать на изменения в сетевой топологии. Что же касается SANbox фирмы QLogic, иногда коммутирующая матрица корректно отрабатывала разрыв соединений, запускала процедуру повторной инициализации и налаживала новые маршруты, а иногда выдавала ошибки. Подчеркнем, что во время первого теста трафик в сети хранения данных отсутствовал.

Тест на обход отказавшего соединения при большой нагрузке c коммутатором Capellix 2000G провести не удалось, поскольку, как уже говорилось, этот продукт не способен работать в коммутируемой среде, состоящей из нескольких устройств. При обмене трафиком максимальной интенсивности между семью серверами под Windows NT и дисковой системой коммутатор SilkWorm каждый раз автоматически возобновлял передачу; период восстановления занимал от 8 до 12 с.

Устройства SANbox также продемонстрировали высокую надежность при обработке сбоев в условиях передачи больших объемов трафика. Более того, их архитектура позволяла автоматически перераспределять нагрузку между доступными маршрутами транспортировки по коммутирующей матрице, так что перерывы в передаче данных были практически незаметны.

Коммутаторы 7100 и 7200 фирмы Vixel уверенно возобновляли передачу лишь при небольших объемах трафика и участии в обмене только одного сервера. Как только мы раскручивали тест на полную катушку (подключая к сети все семь серверов), транспортировка данных прекращалась и уже не восстанавливалась.

Учитывая результаты всех тестов на производительность, победителем в данной категории следует признать коммутаторы SilkWorm 2400 и 2800 компании Brocade Communications. На втором месте оказалась модель Capellix 2000G.

Устройства от Brocade стали лидерами и всего комплекса испытаний продуктов данной категории, набрав 8,4 балла (табл. 3). Как показывает опыт компании Mier Communications, если итоговая оценка при использовании 10-балльной системы превышает 8, продукт можно смело рекомендовать потребителям. Коммутаторы SilkWorm - тот самый случай.

Эдвин Майер (Edwin Mier) - основатель и президент, а Кеннет Перси (Kennet Percy) - специалист по тестированию компании Mier Communications, специализирующейся на консалтинге и испытаниях сетевых продуктов. С ними можно связаться по адресам [email protected] и [email protected] .

Процедура тестирования

В процессе проведения тестов в лабораторной сети хранения данных использовались одни и те же источники трафика (от одного до семи серверов), одни и те же адаптеры Fibre Channel (модель QLA2200F/33 производства компании QLogic) и одна и та же дисковая система. Такая унификация дала возможность гарантировать, что единственным источником различий в обеспечиваемой полосе пропускания являются коммутаторы SAN.

Все производители, за исключением Gadzoox, предоставили в наше распоряжение по четыре коммутатора SAN, которые были соединены друг с другом по ромбовидной схеме. От Gadzoox мы получили только одно устройство.

Объединение тестировавшихся изделий в сеть с коммутацией позволило проверить их способность обнаруживать отказы и передавать трафик в обход неисправных коммутаторов или межузловых соединений (InterSwitch Link, ISL). Кроме того, мы проанализировали работу каждого продукта в среде, не содержавшей других активных устройств; в этом случае коммутатор являлся единственным промежуточным звеном между серверами и дисковой системой хранения данных. На момент проведения тестирования в ассортименте продукции Gadzoox отсутствовали устройства, поддерживавшие сетевые топологии с несколькими коммутаторами SAN, поэтому модель Capellix 2000G участвовала не во всех тестах. Поступили сообщения, что фирма уже приступила к тестированию продукта Fabric Switch Module, однако нам он так и не был предоставлен.

Для генерации трафика, а в нашем случае он был представлен запросами и результатами выполнения операций чтения/записи, использовались от одного до семи серверов, которые работали под управлением ОС Windows NT 4.0 с дополнениями Service Pack 6a. Аппаратные конфигурации всех серверов были идентичны: процессор Pentium III с тактовой частотой 500 МГц, 128 Мбайт памяти. В качестве серверных интерфейсных карт (или адаптеров HBA для коротковолновых волоконно-оптических линий Fibre Channel) применялись платы с одинаковыми оптическими разъемами, работавшие под управлением одного и того же драйвера. Мы специально советовались с поставщиками относительно выбора адаптеров, и все они поддержали наше решение остановиться на платах производства QLogic.

Для измерения параметров функционирования коммутаторов на каждом из серверов было инсталлировано бесплатное приложение IOMeter Version 1999.10.20 фирмы Intel. Это программное обеспечение способно создавать нагрузку на сеть требуемого уровня (за счет выполнения операций чтения и записи с жесткими дисками), осуществлять мониторинг производительности и генерировать подробнейшие отчеты о результатах измерений. Более того, применение IOMeter позволило нам превратить один из серверов в ведущее (master) устройство, контролировавшее параметры конфигурации других серверов и выполнение ими тестовых процедур. Этот же сервер отвечал за сбор и консолидацию результатов тестирования.

Системами накопителей, к которым обращались серверы для выполнения операций ввода/вывода, служили продукты Eurologic XL-400, каждый из которых содержал семь жестких дисков Cheetah 18LP компании Seagate емкостью 18 Гбайт и был снабжен собственным интерфейсом Fibre Channel. Два дисковых массива были объединены в каскад, в результате чего суммарное число «мишеней», на которые «нацеливались» операции чтения/записи, возросло до 14.

Для подтверждения результатов измерений производительности и задержек передачи пакетов в SAN мы воспользовались анализатором Gigabit Traffic Analyzer компании Finistar, содержавшим буферы емкостью 256 Мбайт.

При измерении пропускной способности один сервер обменивался данными с четырьмя жесткими дисками, причем поначалу трафик проходил через единственный коммутатор, а затем - через коммутирующую матрицу из нескольких устройств. В следующем тесте было задействовано уже семь серверов и 14 накопителей, и опять трафик передавался сначала через один, а потом через несколько коммутаторов. Каждый раз мы использовали приложение IOMeter, чтобы инициировать операции чтения данных общим объемом 10 Мбайт, затем - операции записи такого же объема данных, и наконец - операции чтения и записи, данные между которыми распределялись поровну, но в случайном порядке.

Каждый тест повторялся не менее трех раз, и во всех случаях мы регистрировали общую производительность операций ввода/вывода (т.е. сколько раз файл объемом 10 Мбайт мог быть прочитан или записан в течение 1 с), суммарную пропускную способность и среднее время отклика для операций ввода/вывода (оно равнялось среднему времени выполнения одной операции чтения или записи).

В целях измерения задержек передачи устройство Gigabit Traffic Analyzer осуществляло хронометраж первых десяти команд SCSI, выданных сервером в многокоммутаторную сеть SAN, а затем сравнивало полученные значения с такими же данными, но уже соответствовавшими поступлению этих команд на выход сети хранения данных. Очевидно, что разницу между временем выдачи команды и временем ее выхода из сети, усредненную по десяти командам, можно использовать в качестве оценки задержки передачи.

Чтобы определить время восстановления сети после сбоя, мы заставляли приложение IOMeter, запущенное на одном из серверов, генерировать непрерывный поток случайных запросов на последовательное считывание с четырех жестких дисков двухкилобайтных фрагментов данных. Затем, выявив одно из активных межкоммутаторных соединений, мы разрывали его. В усложненном варианте этого же теста участвовали семь серверов, число дисков, к которым направлялись запросы, было увеличено до 14, обращение к дискам осуществлялось не в циклической последовательности, а случайно, и, кроме того, объем считываемых данных возрос до 10 Мбайт. В обоих случаях сетевой анализатор производства Finistar регистрировал длительность интервала между моментом прекращения передачи данных и моментом ее восстановления.

Наконец, мы выполнили несколько сравнительных тестов на производительность сети SAN, которые включали в себя операции резервного копирования информации с NT-серверов через сеть хранения данных. На сей раз адресатом являлась не матрица жестких дисков, а ленточный накопитель.

Базовые критерии

Сравнительный анализ коммутаторов SAN проводился по пяти критериям.

Производительность. Мы оперировали десятком показателей и метрик, включая задержку передачи при прохождении трафика через отдельный коммутатор или через сеть, объединявшую несколько таких устройств; скорость изменения маршрута передачи в обход отказавшего коммутатора или соединения между коммутаторами; пропускную способность для операций чтения, записи и случайных комбинаций чтения/записи (данные передавались через коммутируемую среду, объединявшую от одного до семи серверов под Windows NT), наконец, общие параметры, характеризующие стабильность функционирования.

Управление и администрирование. Сюда относятся интуитивность и эффективность управляющего интерфейса (графического или основанного на командной строке), качество средств мониторинга в режиме реального времени и наличие таких дополнительных функций, как регистрация событий, предупреждений и служебных сообщений (с записью информации в соответствующие файлы) и генерация отчетов.

Настройка конфигурации. Проверялись поддержка полносвязной сетевой топологии с несколькими коммутаторами, различных классов сервиса Fibre Channel, разных типов соединений (коммутируемая матрица или среда общего доступа с разделяемой полосой передачи), наличие буферов кадров на отдельных портах, плотность портов, модульность, возможность «горячей» замены отдельных компонентов и наличие резервного источника питания, который является необходимым средством повышения отказоустойчивости коммутатора.

Функциональные возможности. Нас интересовало, например, поддерживаются ли различные физические интерфейсы Fibre Channel и несколько соединений между коммутаторами (для выравнивания нагрузки, обхода неисправных участков сети и логического структурирования, или зонирования, сети).

Простота инсталляции и эксплуатации. Рассматривалось, в частности, соответствие принципу Plug-and-Play при подключении накопительных систем и серверов, а также качество и содержание документации, включая сведения о способности данного устройства взаимодействовать с продуктами других производителей.

Максимальная пропускная способность

Максимальная пропускная способность коммутаторов оценивалась для операций чтения и записи на одной дисковой системе, инициированных семью серверами под Windows NT. При выполнении смешанных операций чтения/записи каждый из серверов был настроен на обмен данными с единственной дисковой системой через сеть SAN. Суммарный объем данных, составлявший 10 Мбайт, распределялся поровну между операциями чтения и записи. На момент проведения испытаний модель Capellix 2000G фирмы Gadzoox поддерживала сетевые топологии только с одним коммутатором.

Если вы управляете своей собственной инфраструктурой в своем собственном центре обработки данных, вы должны пройти выбор различных предложений для хранения. Выбор решения для хранения данных в значительной степени зависит от вашего требования. Перед окончательной доработкой определенного варианта хранения для вашего случая использования немного полезно понимание технологии.

Я на самом деле собирался написать статью об хранении объектов (которая является самой актуальной опцией хранения в облаке). Но прежде чем идти и обсуждать эту часть арены хранения, я подумал, что лучше обсудить два основных метода хранения, которые совместно существуют вместе с очень долгое время, которые используются компаниями внутри страны для их нужд.

Решение вашего типа хранилища будет зависеть от многих факторов, таких как приведенные ниже.

• Тип данных, которые вы хотите сохранить
• Схема использования
• Масштабирование
• Наконец, ваш бюджет

Когда вы начинаете свою карьеру в качестве системного администратора, вы часто слышите, как ваши коллеги рассказывают о различных методах хранения, таких как SAN, NAS, DAS и т.д. И без небольшого рытья вы должны путаться с разными условиями хранения. Путаница возникает часто из-за сходства между различными подходами к хранению. Единственное твердое и быстрое правило оставаться в курсе технических терминов — продолжать читать материалы (особенно концепции, лежащие в основе определенной технологии).

Сегодня мы обсудим два разных метода, которые определяют структуру хранилища в вашей среде. Ваш выбор из двух в вашей архитектуре должен зависеть только от вашего варианта использования и типа данных, которые вы храните.

В конце этого урока я надеюсь, что у вас будет четкое представление о двух основных методах хранения и о том, что выбрать для ваших нужд.

SAN (сеть хранения данных) и NAS (сетевое хранилище)

Ниже приводятся основные отличия каждой из этих технологий.

• Как хранилище подключено к системе. Короче, как делается соединение между системой доступа и компонентом хранения (напрямую подключенным или подключенным к сети)
• Тип кабеля, используемый для подключения. Короче говоря, это тип кабелей для подключения системы к компоненту хранения (например, Ethernet и Fibre Channel)
• Как выполняются запросы ввода и вывода. Короче говоря, это протокол, используемый для выполнения запросов ввода и вывода (например, SCSI, NFS, CIFS и т.д.)

Давайте обсудим SAN сначала, а затем NAS, и в конце давайте сравним каждую из этих технологий, чтобы очистить различия между ними.

SAN (сеть хранения)

Сегодняшние приложения очень ресурсоемкие, из-за запросов, которые необходимо обрабатывать одновременно в секунду. Возьмите пример веб-сайта электронной коммерции, где тысячи людей делают заказы в секунду, и все они должны быть правильно сохранены в базе данных для последующего поиска. Технология хранения, используемая для хранения таких баз данных с высоким трафиком, должна быть быстрой в обслуживании и ответе запросов (вкратце, это должно быть быстрым на входе и выходе).

В таких случаях (когда вам нужна высокая производительность и быстрый ввод-вывод), мы можем использовать SAN.

SAN — это не что иное, как высокоскоростная сеть, которая делает соединения между устройствами хранения и серверами.

Традиционно серверы приложений использовали свои собственные устройства хранения, прикрепленные к ним. Разговор с этими устройствами с помощью протокола, известного как SCSI (Small Computer System Interface). SCSI — это не что иное, как стандарт, используемый для связи между серверами и устройствами хранения. Все обычные жесткие диски, ленточные накопители и т.д. Используют SCSI. Вначале требования к хранилищу сервера выполнялись устройствами хранения, которые были включены внутри сервера (сервер, используемый для разговора с этим внутренним устройством хранения данных, используя SCSI. Это очень похоже на то, как обычный рабочий стол разговаривает с его внутренним жесткий диск.).

Такие устройства, как компакт-диски, подключаются к серверу (который является частью сервера) с использованием SCSI. Основным преимуществом SCSI для подключения устройств к серверу была его высокая пропускная способность. Хотя этой архитектуры достаточно для низких требований, существует несколько ограничений, таких как приведенные ниже.

• Сервер может получать доступ только к данным на устройствах, которые непосредственно привязаны к нему.
  Если что-то случится с сервером, доступ к данным завершится неудачно (поскольку устройство хранения является частью сервера и подключено к нему с использованием SCSI)
• Ограничение количества устройств хранения, к которым может получить доступ сервер. В случае, если серверу требуется больше места для хранения, не будет больше места, которое можно подключить, поскольку шина SCSI может вместить только конечное число устройств.
• Кроме того, сервер, использующий хранилище SCSI, должен находиться рядом с устройством хранения (поскольку параллельный SCSI, который является обычной реализацией на большинстве компьютеров и серверов, имеет некоторые ограничения на расстояние, он может работать до 25 метров).

Некоторые из этих ограничений можно преодолеть с помощью DAS (непосредственно привязанного хранилища). Смарт, используемый для прямого подключения хранилища к серверу, может быть любым из каналов SCSI, Ethernet, Fiber и т. Д.). Низкая сложность, низкие инвестиции, простота в развертывании привела к тому, что DAS были приняты многими для нормальных требований. Решение было хорошим даже с точки зрения производительности, если оно используется с более быстрыми средами, такими как волоконный канал.

Даже внешний USB-накопитель, подключенный к серверу, также является DAS (хорошо концептуально его DAS, так как он непосредственно подключен к USB-шине сервера). Но USB-накопители обычно не используются из-за ограничения скорости шины USB. Обычно для тяжелых и больших систем хранения данных DAS используется носитель SAS (последовательно подключенный SCSI). Внутренне устройство хранения данных может использовать RAID (что обычно имеет место) или что-либо, чтобы обеспечить объемы хранения на серверах. В настоящее время параметры хранения SAS обеспечивают скорость 6 Гбит / с.

Примером устройства хранения данных DAS является MD1220 от Dell.

На сервере хранилище DAS будет очень похоже на собственный накопитель или внешний накопитель, который вы подключили.

Хотя DAS хорош для нормальных потребностей и дает хорошую производительность, существуют такие ограничения, как количество серверов, которые могут получить к нему доступ. Храните устройство или скажем, что хранилище DAS должно находиться рядом с сервером (в той же стойке или в пределах допустимого расстояния используемого носителя).

Можно утверждать, что непосредственно прикрепленное хранилище (DAS) работает быстрее, чем любые другие методы хранения. Это связано с тем, что он не связан с некоторыми издержками передачи данных по сети (вся передача данных происходит на выделенном соединении между сервером и устройством хранения. В основном его последовательно подключен SCSI или SAS). Однако из-за последних улучшений в волоконном канале и других механизмах кэширования SAN также обеспечивает лучшую скорость, подобную DAS, и в некоторых случаях превосходит скорость, предоставляемую DAS.

Прежде чем войти в SAN, давайте разобраться в нескольких типах и методах мультимедиа, которые используются для соединения устройств хранения данных (когда я говорю о устройствах хранения данных, пожалуйста, не рассматривайте его как один жесткий диск. Возьмите его как массив дисков, возможно, на каком-то уровне RAID. Считайте это чем-то вроде Dell MD1200).

Что такое SAS (Serial Attached SCSI), FC (Fibre Channel) и iSCSI (Internet Small Computer System Interface)?

Традиционно устройства SCSI, такие как внутренний жесткий диск, подключаются к общей параллельной шине SCSI. Это означает, что все подключенные устройства будут использовать одну и ту же шину для отправки / получения данных. Но совместные параллельные соединения не очень хороши для высокой точности и создают проблемы при высокоскоростных передачах. Однако последовательное соединение между устройством и сервером может увеличить общую пропускную способность передачи данных. SAS между устройствами хранения и серверами использует выделенный 300 МБ / сек на диск. Подумайте о шине SCSI, которая имеет одинаковую скорость для всех подключенных устройств.

SAS использует одни и те же команды SCSI для отправки и приема данных с устройства. Также, пожалуйста, не думайте, что SCSI используется только для внутреннего хранилища. Он также используется для подключения внешнего устройства хранения к серверу.

Если производительность передачи данных и надежность являются выбором, то использование SAS — лучшее решение. С точки зрения надежности и частоты ошибок диски SAS намного лучше по сравнению со старыми дисками SATA. SAS был разработан с учетом производительности, благодаря которой он является полнодуплексным. Это означает, что данные могут быть отправлены и приняты одновременно с устройства, использующего SAS. Также один хост-порт SAS может подключаться к нескольким дискам SAS с использованием расширителей. SAS использует передачу данных точка-точка, используя последовательную связь между устройствами (устройствами хранения, такими как дисковые накопители и дисковые массивы) и хостами.

Первое поколение SAS обеспечило скорость 3Gb / s. Второе поколение SAS улучшило это до 6 Гбит / с. И третье поколение (которое в настоящее время используется многими организациями для экстремально высокой пропускной способности) улучшило это до 12 Гбит / с.

Протокол Fibre Channel

Fibre Channel — относительно новая технология межсоединений, используемая для быстрой передачи данных. Основная цель его конструкции — обеспечить передачу данных с более высокими скоростями с очень низкой / незначительной задержкой. Он может использоваться для соединения рабочих станций, периферийных устройств, массивов хранения и т. Д.

Основным фактором, который отличает оптоволоконный канал от другого метода соединения, является то, что он может управлять как сетью, так и связью ввода-вывода по одному каналу с использованием одних и тех же адаптеров.

ANSI (Американский национальный институт стандартов) стандартизовал канал Fiber в течение 1988 года. Когда мы говорим, что Fiber (в канале Fiber) не думает, что он поддерживает только среду оптического волокна. Fiber — термин, используемый для любого носителя, используемого для соединения по протоколу волоконного канала. Вы даже можете использовать медный провод для более низкой стоимости.

Обратите внимание на то, что стандарт волоконных каналов от ANSI поддерживает сетевое взаимодействие, хранение и передачу данных. Канал Fiber не знает тип данных, которые вы передаете. Он может отправлять команды SCSI, инкапсулированные в кадр волоконного канала (у него нет собственных команд ввода-вывода для отправки и получения памяти). Основное преимущество заключается в том, что он может включать широко распространенные протоколы, такие как SCSI и IP внутри.

Ниже перечислены компоненты соединения волоконного канала. Требование ниже минимально для достижения одноточечного соединения. Обычно это может использоваться для прямого соединения между массивом хранения и хостом.

• HBA (адаптер основной шины) с портом Fibre Channel
• Драйвер для карты HBA
• Кабели для соединения устройств в канале волоконно-оптического канала HBA

Как упоминалось ранее, протокол SCSI инкапсулируется внутри волоконного канала. Таким образом, обычно данные SCSI должны быть изменены в другом формате, который волоконный канал может доставить в пункт назначения. И когда получатель получает данные, он передает его на SCSI.

Возможно, вы думаете, почему нам нужно это сопоставление и переназначение, почему мы не можем напрямую использовать SCSI для доставки данных. Это связано с тем, что SCSI не может доставлять данные на большие расстояния до большого количества устройств (или большого количества хостов).

Канал волокна можно использовать для соединения систем до 10 км (если они используются с оптическими волокнами, вы можете увеличить это расстояние за счет наличия повторителей между ними). И вы также можете передавать данные в размере 30 м с использованием медного провода для снижения стоимости в канале волокна.

С появлением коммутаторов оптоволоконных каналов от множества крупных поставщиков, подключение большого количества устройств хранения и серверов стало легкой задачей (при условии, что у вас есть бюджет для инвестиций). Сетевая способность волоконного канала привела к передовому внедрению SAN (Storage Area Networks) для быстрого, долгого и надежного доступа к данным. Большая часть вычислительной среды (которая требует быстрой передачи больших объемов данных) использует волоконно-оптический канал SAN с оптоволоконными кабелями.

Текущий стандарт волоконного канала (называемый 16GFC) может передавать данные со скоростью 1600 МБ / с (не забывайте, что этот стандарт был выпущен в 2011 году). Ожидается, что предстоящие стандарты в ближайшие годы обеспечат скорость 3200 Мбайт / с и 6400 Мбайт / с.

Интерфейс iSCSI (интерфейс для работы с малыми компьютерами)

iSCSI — это не что иное, как стандарт на основе IP для соединения массивов и узлов хранения. Он используется для переноса трафика SCSI через IP-сети. Это самое простое и дешевое решение (хотя и не лучшее) для подключения к запоминающему устройству.

Это отличная технология для хранения, не зависящего от местоположения. Поскольку он может установить соединение с устройством хранения данных с использованием локальных сетей, глобальной сети. Его стандарт межсетевого взаимодействия с сетью хранения. Он не требует специальных кабелей и оборудования, как в случае сети волоконных каналов.

Для системы, использующей массив хранения с iSCSI, хранилище отображается как локально подключенный диск. Эта технология появилась после волоконного канала и была широко принята благодаря низкой стоимости.

Это сетевой протокол, который выполняется поверх TCP / IP. Вы можете догадаться, что это не очень хорошая производительность по сравнению с оптоволоконным каналом (просто потому, что все работает по TCP без специального оборудования и изменений в вашей архитектуре).

iSCSI вводит немного нагрузки на процессор на сервере, потому что сервер должен выполнять дополнительную обработку для всех запросов на хранение по сети с помощью обычного TCP.

iSCSI имеет следующие недостатки, по сравнению с оптоволоконным каналом

• iSCSI вводит немного больше латентности по сравнению с оптоволоконным каналом из-за накладных расходов на заголовки IP
• Приложения базы данных имеют небольшие операции чтения и записи, которые, когда они выполняются на iSCSI,
  iSCSI, когда выполняется в той же локальной сети, которая содержит другой обычный трафик (другой инфраструктурный трафик, отличный от iSCSI), приведет к задержке чтения / записи или низкой производительности.
• Максимальная скорость / пропускная способность ограничена скоростью вашего Ethernet и сети. Даже если вы объединяете несколько ссылок, он не масштабируется до уровня волоконного канала.

NAS (сетевое хранилище)

Простейшим определением NAS является «Любой сервер, который имеет собственное хранилище с другими в сети и выступает в качестве файлового сервера, является самой простой формой NAS».

Пожалуйста, обратите внимание на то, что Network Attached Storage совместно использует файлы по сети. Не устройство хранения данных по сети.

NAS будет использовать Ethernet-соединение для обмена файлами по сети. Устройство NAS будет иметь IP-адрес, а затем будет доступно через сеть через этот IP-адрес. Когда вы получаете доступ к файлам на файловом сервере в вашей системе Windows, это в основном NAS.

Основное различие заключается в том, как ваш компьютер или сервер обрабатывает конкретное хранилище. Если компьютер рассматривает хранилище как часть себя (подобно тому, как вы присоединяете DAS к вашему серверу), другими словами, если процессор сервера отвечает за управление прикрепленным хранилищем, это будет своего рода DAS. И если компьютер / сервер рассматривает хранилище, прикрепленное как другой компьютер, который делится своими данными через сеть, то это NAS.

Прямо подключенное хранилище (DAS) можно рассматривать как любое другое периферийное устройство, такое как клавиатура мыши и т. Д. Так как сервер / компьютер — это прямое устройство хранения данных. Однако NAS — это еще один сервер или сказать, что оборудование имеет свои собственные вычислительные функции, которые могут совместно использовать собственное хранилище с другими.

Даже SAN-хранилище также можно рассматривать как оборудование, имеющее собственную вычислительную мощность. Таким образом, основное различие между NAS, SAN и DAS заключается в том, как видит сервер / компьютер. Устройство хранения данных DAS появляется на сервере как часть самого себя. Сервер видит его как свою физическую часть. Хотя хранилище DAS не может находиться внутри сервера (обычно это другое устройство со своим собственным массивом хранения), сервер видит его как свою внутреннюю часть (хранилище DAS появляется на сервере как собственное внутреннее хранилище)

Когда мы говорим о NAS, нам нужно назвать их акциями, а не устройствами хранения. Поскольку NAS появляется на сервере как общая папка вместо общего устройства по сети. Не забывайте, что NAS-устройства сами по себе являются компьютерами, которые могут делиться своим хранилищем с другими. Когда вы совместно используете папку с контролем доступа, используя SAMBA, ее NAS.

Хотя NAS — более дешевый вариант для ваших потребностей в хранении. Это действительно не подходит для высокопроизводительного приложения уровня предприятия. Никогда не думайте об использовании хранилища баз данных (которое должно быть высокопроизводительным) с NAS. Основным недостатком использования NAS является проблема с производительностью и зависимость от сети (в большинстве случаев LAN, которая используется для обычного трафика, также используется для совместного использования хранилища с NAS, что делает его более перегруженным).

Когда вы совместно экспортируете NFS по сети, это также форма NAS.

NAS — это не что иное, как устройство / equipmet / server, подключенное к сети TCP / IP, которое имеет собственное хранилище с другими. Если вы копаете немного глубже, когда запрос на чтение / запись файла отправляется на общий ресурс NAS, подключенный к серверу, запрос отправляется в виде систем CIFS (общая интернет-файловая система) или NFS (Network File System) сеть. Принимающая сторона (устройство NAS) при приеме запроса NFS, CIFS затем преобразует его в набор команд локального хранилища ввода-вывода. Именно по этой причине NAS-устройство имеет собственную вычислительную мощность.

Таким образом, NAS — это хранилище на уровне файлов (поскольку в основном это технология обмена файлами). Это связано с тем, что он скрывает фактическую файловую систему под капотом. Это дает пользователям интерфейс для доступа к его общей памяти с помощью NFS или CIFS.

Общее использование NAS, которое вы можете найти, — предоставить каждому пользователю домашний каталог. Эти домашние каталоги хранятся на устройстве NAS и монтируются на компьютер, где пользователь входит в систему. Поскольку домашний каталог доступен в сети, пользователь может входить в систему с любого компьютера в сети.

Преимущества NAS

• NAS имеет менее сложную архитектуру по сравнению с SAN
• Его дешевле развертывать в существующей архитектуре.
• В вашей архитектуре не требуется никаких изменений, так как обычная сеть TCP / IP является единственным требованием

Недостатки NAS

• NAS медленный
• Низкая пропускная способность и высокая латентность, благодаря чему ее нельзя использовать для высокопроизводительных приложений

Возвращение в SAN

Теперь давайте вернемся к обсуждению SAN (сети хранения данных), которые мы начали ранее в начале.

Первой и самой важной задачей для понимания SAN (помимо того, что мы уже обсуждали в начале) является тот факт, что это решение для хранения на уровне блоков. И SAN оптимизирован для большого объема передачи данных уровня блока. SAN лучше всего работает при использовании со средой волоконного канала (оптические волокна и коммутатор волоконного канала).

Название «Сеть хранения данных» подразумевает, что хранилище находится в собственной выделенной сети. Хосты могут подключать устройство хранения к себе, используя либо Fibre Channel, сеть TCP / IP (SAN использует iSCSI при использовании по сети tcp / ip).

SAN можно рассматривать как технологию, которая сочетает в себе лучшие функции как DAS, так и NAS. Если вы помните, DAS появляется на компьютере как свое собственное устройство хранения данных и хорошо известно, DAS также является решением для хранения на уровне блоков (если вы помните, мы никогда не говорили о CIFS или NFS во время DAS). NAS известен своей гибкостью, основным доступом через сеть, контролем доступа и т.д. SAN сочетает в себе лучшие возможности обоих этих миров, потому что…

• SAN-хранилище также появляется на сервере как свое собственное устройство хранения данных
• Его решение для хранения на уровне блоков
• Хорошая производительность / скорость
• Сетевые функции с использованием iSCSI

SAN и NAS не являются конкурирующими технологиями, но предназначены для различных нужд и задач. Поскольку SAN представляет собой решение для хранения на уровне блоков, оно наилучшим образом подходит для хранения данных с высокой производительностью, хранения электронной почты и т. Д. Большинство современных решений SAN обеспечивают зеркалирование диска, архивирование функций резервного копирования и репликации.

SAN представляет собой выделенную сеть устройств хранения (может включать в себя накопители на магнитных лентах, массивы RAID-массивов и т. Д.), Которые работают вместе, чтобы обеспечить превосходное хранение на уровне блоков. В то время как NAS — это одно устройство / сервер / вычислительное устройство, он использует собственное хранилище по сети.

Основные отличия между SAN и NAS

SAN	NAS
Доступ к данным на уровне блоков	Доступ к данным уровня файла
Канал Fiber является основным носителем, используемым с SAN.	Ethernet — это основной носитель, используемый с NAS
SCSI является основным протоколом ввода-вывода	NFS / CIFS используется в качестве основного протокола ввода-вывода в NAS
Хранилище SAN отображается на компьютере как собственное хранилище	Загрузки NAS в качестве общей папки на компьютер
Он может иметь отличную скорость и производительность при использовании со световодами	Иногда это может ухудшить производительность, если сеть используется и для других вещей (что обычно имеет место)
Используется, главным образом, для хранения данных уровня более высокого уровня производительности	Используется для небольших операций чтения и записи на большие расстояния

В простейшем случае SAN состоит из СХД , коммутаторов и серверов, объединённых оптическими каналами связи. Помимо непосредственно дисковых СХД в SAN можно подключить дисковые библиотеки, ленточные библиотеки (стримеры), устройства для хранения данных на оптических дисках (CD/DVD и прочие) и др.

Пример высоконадёжной инфраструктуры, в которой серверы включены одновременно в локальную сеть (слева) и в сеть хранения данных (справа). Такая схема обеспечивает доступ к данным, находящимся на СХД, при выходе из строя любого процессорного модуля, коммутатора или пути доступа.

Использование SAN позволяет обеспечить:

• централизованное управление ресурсами серверов и систем хранения данных ;
• подключение новых дисковых массивов и серверов без остановки работы всей системы хранения;
• использование ранее приобретенного оборудования совместно с новыми устройствами хранения данных;
• оперативный и надежный доступ к накопителям данных, находящимся на большом расстоянии от серверов, *без значительных потерь производительности;
• ускорение процесса резервного копирования и восстановления данных - BURA .

История

Развитие сетевых технологий привело к появлению двух сетевых решений для СХД – сетей хранения Storage Area Network (SAN) для обмена данными на уровне блоков, поддерживаемых клиентскими файловыми системами, и серверов для хранения данных на файловом уровне Network Attached Storage (NAS). Чтобы отличать традиционные СХД от сетевых был предложен еще один ретроним – Direct Attached Storage (DAS).

Появлявшиеся на рынке последовательно DAS, SAN и NAS отражают эволюционирующие цепочки связей между приложениями, использующими данные, и байтами на носителе, содержащим эти данные. Когда-то сами программы-приложения читали и писали блоки, затем появились драйверы как часть операционной системы. В современных DAS, SAN и NAS цепочка состоит из трех звеньев: первое звено – создание RAID-массивов, второе – обработка метаданных, позволяющих интерпретировать двоичные данные в виде файлов и записей, и третье – сервисы по предоставлению данных приложению. Они различаются по тому, где и как реализованы эти звенья. В случае с DAS СХД является «голой», она только лишь предоставляет возможность хранения и доступа к данным, а все остальное делается на стороне сервера, начиная с интерфейсов и драйвера. С появлением SAN обеспечение RAID переносится на сторону СХД, все остальное остается так же, как в случае с DAS. А NAS отличается тем, что в СХД переносятся к тому же и метаданные для обеспечения файлового доступа, здесь клиенту остается только лишь поддерживать сервисы данных.

Появление SAN стало возможным после того, как в 1988 году был разработан протокол Fibre Channel (FC) и в 1994 утвержден ANSI как стандарт. Термин Storage Area Network датируется 1999 годом. Со временем FC уступил место Ethernet, и получили распространение сети IP-SAN с подключением по iSCSI.

Идея сетевого сервера хранения NAS принадлежит Брайану Рэнделлу из Университета Ньюкэстла и реализована в машинах на UNIX-сервере в 1983 году. Эта идея оказалась настолько удачной, что была подхвачена множеством компаний, в том числе Novell, IBM , и Sun, но в конечном итоге сменили лидеров NetApp и EMC.

В 1995 Гарт Гибсон развил принципы NAS и создал объектные СХД (Object Storage, OBS). Он начал с того, что разделил все дисковые операции на две группы, в одну вошли выполняемые более часто, такие как чтение и запись, в другую более редкие, такие как операции с именами. Затем он предложил в дополнение к блокам и файлам еще один контейнер, он назвал его объектом.

OBS отличается новым типом интерфейса, его называют объектным. Клиентские сервисы данных взаимодействуют с метаданными по объектному API (Object API). В OBS хранятся не только данные, но еще и поддерживается RAID, хранятся метаданные, относящиеся к объектам и поддерживается объектный интерфейс. DAS, и SAN, и NAS, и OBS сосуществуют во времени, но каждый из типов доступа в большей мере соответствует определенному типу данных и приложений.

Архитектура SAN

Топология сети

SAN является высокоскоростной сетью передачи данных, предназначенной для подключения серверов к устройствам хранения данных. Разнообразные топологии SAN (точка-точка, петля с арбитражной логикой (Arbitrated Loop) и коммутация) замещают традиционные шинные соединения «сервер - устройства хранения» и предоставляют по сравнению с ними большую гибкость, производительность и надежность. В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel . Принцип взаимодействия узлов в SAN c топологиями точка-точка или коммутацией показан на рисунках. В SAN с топологией Arbitrated Loop передача данных осуществляется последовательно от узла к узлу. Для того, чтобы начать передачу данных передающее устройство инициализирует арбитраж за право использования среды передачи данных (отсюда и название топологии – Arbitrated Loop).

Транспортную основу SAN составляет протокол Fibre Channel, использующий как медные, так и волоконно-оптические соединения устройств.

Компоненты SAN

Компоненты SAN подразделяются на следующие:

• Ресурсы хранения данных;
• Устройства, реализующие инфраструктуру SAN;

Host Bus Adaptors

Ресурсы хранения данных

К ресурсам хранения данных относятся дисковые массивы , ленточные накопители и библиотеки с интерфейсом Fibre Channel . Многие свои возможности ресурсы хранения реализуют только будучи включенными в SAN. Так дисковые массивы высшего класса могут осуществлять репликацию данных между масcивами по сетям Fibre Channel, а ленточные библиотеки могут реализовывать перенос данных на ленту прямо с дисковых массивов с интерфейсом Fibre Channel, минуя сеть и серверы (Serverless backup). Наибольшую популярность на рынке приобрели дисковые массивы компаний EMC , Hitachi , IBM , Compaq (семейство Storage Works , доставшееся Compaq от Digital), а из производителей ленточных библиотек следует упомянуть StorageTek , Quantum/ATL , IBM .

Устройства, реализующие инфраструктуру SAN

Устройствами, реализующими инфраструктуру SAN, являются коммутаторы Fibre Channel (Fibre Channel switches , FC switches),концентраторы (Fibre Channel Hub) и маршрутизаторы (Fibre Channel-SCSI routers).Концентраторы используются для объединения устройств, работающих в режиме Fibre Channel Arbitrated Loop (FC_AL). Применение концентраторов позволяет подключать и отключать устройства в петле без остановки системы, поскольку концентратор автоматически замыкает петлю в случае отключения устройства и автоматически размыкает петлю, если к нему было подключено новое устройство. Каждое изменение петли сопровождается сложным процессом её инициализации . Процесс инициализации многоступенчатый, и до его окончания обмен данными в петле невозможен.

Все современные SAN построены на коммутаторах, позволяющих реализовать полноценное сетевое соединение. Коммутаторы могут не только соединять устройства Fibre Channel , но и разграничивать доступ между устройствами, для чего на коммутаторах создаются так называемые зоны. Устройства, помещенные в разные зоны, не могут обмениваться информацией друг с другом. Количество портов в SAN можно увеличивать, соединяя коммутаторы друг с другом. Группа связанных коммутаторов носит название Fibre Channel Fabric или просто Fabric. Связи между коммутаторами называют Interswitch Links или сокращенно ISL.

Программное обеспечение

Программное обеспечение позволяет реализовать резервирование путей доступа серверов к дисковым массивам и динамическое распределение нагрузки между путями. Для большинства дисковых массивов существует простой способ определить, что порты, доступные через разные контроллеры , относятся к одному диску. Специализированное программное обеспечение поддерживает таблицу путей доступа к устройствам и обеспечивает отключение путей в случае аварии, динамическое подключение новых путей и распределение нагрузки между ними. Как правило, изготовители дисковых массивов предлагают специализированное программное обеспечение такого типа для своих массивов. Компания VERITAS Software производит программное обеспечение VERITAS Volume Manager , предназначенное для организации логических дисковых томов из физических дисков и обеспечивающее резервирование путей доступа к дискам, а также распределение нагрузки между ними для большинства известных дисковых массивов.

Используемые протоколы

В сетях хранения данных используются низкоуровневые протоколы:

• Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Наиболее часто используемый на данный момент протокол . Существует в вариантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s и 10 Gbit/s.
• iSCSI , транспорт SCSI через TCP/IP .
• FCoE , транспортировка FCP/SCSI поверх "чистого" Ethernet.
• FCIP и iFCP , инкапсуляция и передача FCP/SCSI в пакетах IP.
• HyperSCSI , транспорт SCSI через Ethernet .
• FICON транспорт через Fibre Channel (используется только мейнфреймами).
• ATA over Ethernet , транспорт ATA через Ethernet.
• SCSI и/или TCP/IP транспорт через InfiniBand (IB).

Преимущества

• Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
• Централизованное хранение данных (надёжность, безопасность).
• Удобное централизованное управление коммутацией и данными.
• Перенос интенсивного трафика ввода-вывода в отдельную сеть – разгрузка LAN.
• Высокое быстродействие и низкая латентность.
• Масштабируемость и гибкость логической структуры SAN
• Географические размеры SAN, в отличие от классических DAS, практически не ограничены.
• Возможность оперативно распределять ресурсы между серверами.
• Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.
• Простая схема резервного копирования – все данные находятся в одном месте.
• Наличие дополнительных возможностей и сервисов (снапшоты, удаленная репликация).
• Высокая степень безопасности SAN.

Совместное использование систем хранения как правило упрощает администрирование и добавляет изрядную гибкость, поскольку кабели и дисковые массивы не нужно физически транспортировать и перекоммутировать от одного сервера к другому.

Другим приемуществом является возможность загружать сервера прямо из сети хранения. При такой конфигурации можно быстро и легко заменить сбойный

Именно информация является движущей силой современного бизнеса и в настоящий момент считается наиболее ценным стратегическим активом любого предприятия. Объем информации растет в геометрической прогрессии вместе с ростом глобальных сетей и развитием электронной коммерции. Для достижения успеха в информационной войне необходимо обладать эффективной стратегией хранения, защиты, совместного доступа и управления самым важным цифровым имуществом - данными - как сегодня, так и в ближайшем будущем.

Управление ресурсами хранения данных стало одной из самых животрепещущих стратегических проблем, стоящих перед сотрудниками отделов информационных технологий. Вследствие развития Интернета и коренных изменений в процессах бизнеса информация накапливается с невиданной скоростью. Кроме насущной проблемы обеспечения возможности постоянного увеличения объема хранимой информации, не менее остро на повестке дня стоит и проблема обеспечения надежности хранения данных и постоянного доступа к информации. Для многих компаний формула доступа к данным «24 часа в сутки, 7 дней в неделю, 365 дней в году» стала нормой жизни.

В случае отдельного ПК под системой хранения данных (СХД) можно понимать отдельный внутренний жесткий диск или систему дисков. Если же речь заходит о корпоративной СХД, то традиционно можно выделить три технологии организации хранения данных: Direct Attached Storage (DAS), Network Attach Storage (NAS) и Storage Area Network (SAN).

Direct Attached Storage (DAS)

Технология DAS подразумевает прямое (непосредственное) подключение накопителей к серверу или к ПК. При этом накопители (жесткие диски, ленточные накопители) могут быть как внутренними, так и внешними. Простейший случай DAS-системы - это один диск внутри сервера или ПК. Кроме того, к DAS-системе можно отнести и организацию внутреннего RAID-массива дисков с использованием RAID-контроллера.

Стоит отметить, что, несмотря на формальную возможность использования термина DAS-системы по отношению к одиночному диску или к внутреннему массиву дисков, под DAS-системой принято понимать внешнюю стойку или корзину с дисками, которую можно рассматривать как автономную СХД (рис. 1). Кроме независимого питания, такие автономные DAS-системы имеют специализированный контроллер (процессор) для управления массивом накопителей. К примеру, в качестве такого контроллера может выступать RAID-контроллер с возможностью организации RAID-массивов различных уровней.

Рис. 1. Пример DAS-системы хранения данных

Следует отметить, что автономные DAS-системы могут иметь несколько внешних каналов ввода-вывода, что обеспечивает возможность подключения к DAS-системе нескольких компьютеров одновременно.

В качестве интерфейсов для подключения накопителей (внутренних или внешних) в технологии DAS могут выступать интерфейсы SCSI (Small Computer Systems Interface), SATA, PATA и Fibre Channel. Если интерфейсы SCSI, SATA и PATA используются преимущественно для подключения внутренних накопителей, то интерфейс Fibre Channel применяется исключительно для подключения внешних накопителей и автономных СХД. Преимущество интерфейса Fibre Channel заключается в данном случае в том, что он не имеет жесткого ограничения по длине и может использоваться в том случае, когда сервер или ПК, подключаемый к DAS-системе, находится на значительном расстоянии от нее. Интерфейсы SCSI и SATA также могут использоваться для подключения внешних СХД (в этом случае интерфейс SATA называют eSATA), однако данные интерфейсы имеют строгое ограничение по максимальной длине кабеля, соединяющего DAS-систему и подключаемый сервер.

К основным преимуществам DAS-систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести слабую управляемость и неоптимальную утилизацию ресурсов, поскольку каждая DAS-система требует подключения выделенного сервера.

В настоящее время DAS-системы занимают лидирующее положение, однако доля продаж этих систем постоянно уменьшается. На смену DAS-системам постепенно приходят либо универсальные решения с возможностью плавной миграции с NAS-системам, либо системы, предусматривающие возможность их использования как в качестве DAS-, так и NAS- и даже SAN-систем.

Системы DAS следует использовать при необходимости увеличения дискового пространства одного сервера и вынесения его за корпус. Также DAS-системы можно рекомендовать к применению для рабочих станций, обрабатывающих большие объемы информации (например, для станций нелинейного видеомонтажа).

Network Attached Storage (NAS)

NAS-системы - это сетевые системы хранения данных, непосредственно подключаемые к сети точно так же, как и сетевой принт-сервер, маршрутизатор или любое другое сетевое устройство (рис. 2). Фактически NAS-системы представляют собой эволюцию файл-серверов: разница между традиционным файл-сервером и NAS-устройством примерно такая же, как между аппаратным сетевым маршрутизатором и программным маршрутизатором на основе выделенного сервера.

Рис. 2. Пример NAS-системы хранения данных

Для того чтобы понять разницу между традиционным файл-сервером и NAS-устройством, давайте вспомним, что традиционный файл-сервер представляет собой выделенный компьютер (сервер), на котором хранится информация, доступная пользователям сети. Для хранения информации могут использоваться жесткие диски, устанавливаемые в сервер (как правило, они устанавливаются в специальные корзины), либо к серверу могут подключаться DAS-устройства. Администрирование файл-сервера производится с использованием серверной операционной системы. Такой подход к организации систем хранения данных в настоящее время является наиболее популярным в сегменте небольших локальных сетей, однако он имеет один существенный недостаток. Дело в том, что универсальный сервер (да еще в сочетании с серверной операционной системой) - это отнюдь не дешевое решение. В то же время большинство функциональных возможностей, присущих универсальному серверу, в файл-сервере просто не используется. Идея заключается в том, чтобы создать оптимизированный файл-сервер с оптимизированной операционной системой и сбалансированной конфигурацией. Именно эту концепцию и воплощает в себе NAS-устройство. В этом смысле NAS-устройства можно рассматривать как «тонкие» файл-серверы, или, как их иначе называют, файлеры (filers).

Кроме оптимизированной ОС, освобожденной от всех функций, не связанных с обслуживанием файловой системы и реализацией ввода-вывода данных, NAS-системы имеют оптимизированную по скорости доступа файловую систему. NAS-системы проектируются таким способом, что вся их вычислительная мощь фокусируется исключительно на операциях обслуживания и хранения файлов. Сама операционная система располагается во флэш-памяти и предустанавливается фирмой-производителем. Естественно, что с выходом новой версии ОС пользователь может самостоятельно «перепрошить» систему. Подсоединение NAS-устройств к сети и их конфигурирование представляет собой достаточно простую задачу и по силам любому опытному пользователю, не говоря уже о системном администраторе.

Таким образом, в сравнении с традиционными файловыми серверами NAS-устройства являются более производительными и менее дорогими. В настоящее время практически все NAS-устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS.

CIFS (Common Internet File System System - общая файловая система Интернета) - это протокол, который обеспечивает доступ к файлам и сервисам на удаленных компьютерах (в том числе и в Интернет) и использует клиент-серверную модель взаимодействия. Клиент создает запрос к серверу на доступ к файлам, сервер выполняет запрос клиента и возвращает результат своей работы. Протокол CIFS традиционно используется в локальных сетях с ОС Windows для доступа к файлам. Для транспортировки данных CIFS использует TCP/IP-протокол. CIFS обеспечивает функциональность, похожую на FTP (File Transfer Protocol), но предоставляет клиентам улучшенный контроль над файлами. Он также позволяет разделять доступ к файлам между клиентами, используя блокирование и автоматическое восстановление связи с сервером в случае сбоя сети.

Протокол NFS (Network File System - сетевая файловая система) традиционно применяется на платформах UNIX и представляет собой совокупность распределенной файловой системы и сетевого протокола. В протоколе NFS также используется клиент-серверная модель взаимодействия. Протокол NFS обеспечивает доступ к файлам на удаленном хосте (сервере) так, как если бы они находились на компьютере пользователя. Для транспортировки данных NFS использует протокол TCP/IP. Для работы NFS в Интернeте был разработан протокол WebNFS.

Протокол DAFS (Direct Access File System - прямой доступ к файловой системе) - это стандартный протокол файлового доступа, который основан на NFS. Данный протокол позволяет прикладным задачам передавать данные в обход операционной системы и ее буферного пространства напрямую к транспортным ресурсам. Протокол DAFS обеспечивает высокие скорости файлового ввода-вывода и снижает загрузку процессора благодаря значительному уменьшению количества операций и прерываний, которые обычно необходимы при обработке сетевых протоколов.

DAFS проектировался с ориентацией на использование в кластерном и серверном окружении для баз данных и разнообразных Интернет-приложений, ориентированных на непрерывную работу. Он обеспечивает наименьшие задержки доступа к общим файловым ресурсам и данным, а также поддерживает интеллектуальные механизмы восстановления работоспособности системы и данных, что делает его привлекательным для использования в NAS-системах.

Резюмируя вышеизложенное, NAS-системы можно рекомендовать для использования в мультиплатформенных сетях в случае, когда требуется сетевой доступ к файлам и достаточно важными факторами являются простота установки администрирования системы хранения данных. Прекрасным примером является применение NAS в качестве файл-сервера в офисе небольшой компании.

Storage Area Network (SAN)

Собственно, SAN - это уже не отдельное устройство, а комплексное решение, представляющее собой специализированную сетевую инфраструктуру для хранения данных. Сети хранения данных интегрируются в виде отдельных специализированных подсетей в состав локальной (LAN) или глобальной (WAN) сети.

По сути, SAN-сети связывают один или несколько серверов (SAN-серверов) с одним или несколькими устройствами хранения данных. SAN-сети позволяют любому SAN-серверу получать доступ к любому устройству хранения данных, не загружая при этом ни другие серверы, ни локальную сеть. Кроме того, возможен обмен данными между устройствами хранения данных без участия серверов. Фактически SAN-сети позволяют очень большому числу пользователей хранить информацию в одном месте (с быстрым централизованным доступом) и совместно использовать ее. В качестве устройств хранения данных могут использоваться RAID-массивы, различные библиотеки (ленточные, магнитооптические и др.), а также JBOD-системы (массивы дисков, не объединенные в RAID).

Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года.

Подобно тому как локальные сети в принципе могут строиться на основе различных технологий и стандартов, для построения сетей SAN также могут применяться различные технологии. Но точно так же, как стандарт Ethernet (Fast Ethernet, Gigabit Ethernet) стал стандартом де-факто для локальный сетей, в сетях хранения данных доминирует стандарт Fibre Channel (FC). Собственно, именно развитие стандарта Fibre Channel привело к развитию самой концепции SAN. В то же время необходимо отметить, что все большую популярность приобретает стандарт iSCSI, на основе которого тоже возможно построение SAN-сетей.

Наряду со скоростными параметрами одним из важнейших преимуществ Fibre Channel является возможность работы на больших расстояниях и гибкость топологии. Концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные локальные сети на основе коммутаторов и маршрутизаторов, что значительно упрощает построение многоузловых конфигураций систем.

Стоит отметить, что для передачи данных в стандарте Fibre Channel используются как оптоволоконные, так и медные кабели. При организации доступа к территориально удаленным узлам на расстоянии до 10 км используется стандартная аппаратура и одномодовое оптоволокно для передачи сигнала. Если же узлы разнесены на большее расстояние (десятки или даже сотни километров), применяются специальные усилители.

Топология SAN-сети

Типичный вариант SAN-сети на основе стандарта Fibre Channel показан на рис. 3. Инфраструктуру такой SAN-сети составляют устройства хранения данных с интерфейсом Fibre Channel, SAN-серверы (серверы, подключаемые как к локальной сети по интерфейсу Ethernet, так и к SAN-сети по интерфейсу Fiber Channel) и коммутационная фабрика (Fibre Channel Fabric), которая строится на основе Fibre Channel-коммутаторов (концентраторов) и оптимизирована для передачи больших блоков данных. Доступ сетевых пользователей к системе хранения данных реализуется через SAN-серверы. При этом важно, что трафик внутри SAN-сети отделен от IP-трафика локальной сети, что, безусловно, позволяет снизить загрузку локальной сети.

Рис. 3. Типичная схема SAN-сети

Преимущества SAN-сетей

К основным преимуществам технологии SAN можно отнести высокую производительность, высокий уровень доступности данных, отличную масштабируемость и управляемость, возможность консолидации и виртуализации данных.

Коммутационные фабрики Fiber Channel с неблокирующей архитектурой позволяют реализовать одновременный доступ множества SAN-серверов к устройствам хранения данных.

В архитектуре SAN данные могут легко перемещаться с одного устройства хранения данных на другое, что позволяет оптимизировать размещение данных. Это особенно важно в том случае, когда нескольким SAN-серверам требуется одновременный доступ к одним и тем же устройствам хранения данных. Отметим, что процесс консолидации данных невозможен в случае использования других технологий, как, например, при применении DAS-устройств, то есть устройств хранения данных, непосредственно подсоединяемых к серверам.

Другая возможность, предоставляемая архитектурой SAN, - это виртуализация данных. Идея виртуализации заключается в том, чтобы обеспечить SAN-серверам доступ не к отдельным устройствам хранения данных, а к ресурсам. То есть серверы должны «видеть» не устройства хранения данных, а виртуальные ресурсы. Для практической реализации виртуализации между SAN-серверами и дисковыми устройствами может размещаться специальное устройство виртуализации, к которому с одной стороны подключаются устройства хранения данных, а с другой - SAN-серверы. Кроме того, многие современные FC-коммутаторы и HBA-адаптеры предоставляют возможность реализации виртуализации.

Следующая возможность, предоставляемая SAN-сетями, - это реализация удаленного зеркалирования данных. Принцип зеркалирования данных заключается в дублировании информации на несколько носителей, что повышает надежность хранения информации. Примером простейшего случая зеркалирования данных может служить объединение двух дисков в RAID-массив уровня 1. В данном случае одна и та же информация записывается одновременно на два диска. Недостатком такого способа можно считать локальное расположение обоих дисков (как правило, диски находятся в одной и той же корзине или стойке). Сети хранения данных позволяют преодолеть этот недостаток и предоставляют возможность организации зеркалирования не просто отдельных устройств хранения данных, а самих SAN-сетей, которые могут быть удалены друг от друга на сотни километров.

Еще одно преимущество SAN-сетей заключается в простоте организации резервного копирования данных. Традиционная технология резервного копирования, которая используется в большинстве локальных сетей, требует выделенного Backup-сервера и, что особенно важно, выделенной полосы пропускания сети. Фактически во время операции резервного копирования сам сервер становится недоступным для пользователей локальной сети. Собственно, именно поэтому резервное копирование производится, как правило, в ночное время.

Архитектура сетей хранения данных позволяет принципиально по-иному подойти к проблеме резервного копирования. В этом случае Backup-сервер является составной частью SAN-сети и подключается непосредственно к коммутационной фабрике. В этом случае Backup-трафик оказывается изолированным от трафика локальной сети.

Оборудование, используемое для создания SAN-сетей

Как уже отмечалось, для развертывания SAN-сети требуются устройства хранения данных, SAN-серверы и оборудование для построения коммутационной фабрики. Коммутационные фабрики включают как устройства физического уровня (кабели, коннекторы), так и устройства подключения (Interconnect Device) для связи узлов SAN друг с другом, устройства трансляции (Translation devices), выполняющие функции преобразования протокола Fibre Channel (FC) в другие протоколы, например SCSI, FCP, FICON, Ethernet, ATM или SONET.

Кабели

Как уже отмечалось, для соединения SAN-устройств стандарт Fibre Channel допускает использование как волоконно-оптических, так и медных кабелей. При этом в одной SAN-сети могут применяться различные типы кабелей. Медный кабель используется для коротких расстояний (до 30 м), а волоконно-оптический - как для коротких, так и для расстояний до 10 км и больше. Применяют как многомодовый (Multimode), так и одномодовый (Singlemode) волоконно-оптические кабели, причем многомодовый используется для расстояний до 2 км, а одномодовый - для больших расстояний.

Сосуществование различных типов кабелей в пределах одной SAN-сети обеспечивается посредством специальных конверторов интерфейсов GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter).

В стандарте Fibre Channel предусмотрено несколько возможных скоростей передачи (см. таблицу). Отметим, что в настоящее время наиболее распространены FC-устройства стандартов 1, 2 и 4 GFC. При этом обеспечивается обратная совместимость более скоростных устройств с менее скоростными, то есть устройство стандарта 4 GFC автоматически поддерживает подключение устройств стандартов 1 и 2 GFC.

Устройства подключения (Interconnect Device)

В стандарте Fibre Channel допускается использование различных сетевых топологий подключения устройств, таких как «точка-точка» (Point-to-Point), кольцо с разделяемым доступом (Arbitrated Loop, FC-AL) и коммутируемая связная архитектура (switched fabric).

Топология «точка-точка» может применяться для подключения сервера к выделенной системе хранения данных. В этом случае данные не используются совместно с серверами SAN-сети. Фактически данная топология является вариантом DAS-системы.

Для реализации топологии «точка-точка», как минимум, необходим сервер, оснащенный адаптером Fibre Channel, и устройство хранения данных с интерфейсом Fibre Channel.

Топология кольца с разделенным доступом (FC-AL) подразумевает схему подключения устройств, при котором данные передаются по логически замкнутому контуру. При топологии кольца FC-AL в качестве устройств подключения могут выступать концентраторы или коммутаторы Fibre Channel. При использовании концентраторов полоса пропускания делится между всеми узлами кольца, в то время как каждый порт коммутатора предоставляет протокольную полосу пропускания для каждого узла.

На рис. 4 показан пример кольца Fibre Channel с разделением доступа.

Рис. 4. Пример кольца Fibre Channel с разделением доступа

Конфигурация аналогична физической звезде и логическому кольцу, используемым в локальных сетях на базе технологии Token Ring. Кроме того, как и в сетях Token Ring, данные перемещаются по кольцу в одном направлении, но, в отличие от сетей Token Ring, устройство может запросить право на передачу данных, а не ждать получения пустого маркера от коммутатора. Кольца Fibre Channel с разделением доступа могут адресовать до 127 портов, однако, как показывает практика, типичные кольца FC-AL содержат до 12 узлов, а после подключения 50 узлов производительность катастрофически снижается.

Топология коммутируемой связной архитектуры (Fibre Channel switched-fabric) реализуется на базе Fibre Channel-коммутаторов. В данной топологии каждое устройство имеет логическое подключение к любому другому устройству. Фактически Fibre Channel-коммутаторы связной архитектуры выполняют те же функции, что и традиционные Ethernet-коммутаторы. Напомним, что, в отличие от концентратора, коммутатор - это высокоскоростное устройство, которое обеспечивает подключение по схеме «каждый с каждым» и обрабатывает несколько одновременных подключений. Любой узел, подключенный к Fibre Channel-коммутатору, получает протокольную полосу пропускания.

В большинстве случаев при создании крупных SAN-сетей используется смешанная топология. На нижнем уровне применяются FC-AL-кольца, подключенные к малопроизводительным коммутаторам, которые, в свою очередь, подключаются к высокоскоростным коммутаторам, обеспечивающим максимально возможную пропускную способность. Несколько коммутаторов могут быть соединены друг с другом.

Устройства трансляции

Устройства трансляции являются промежуточными устройствами, выполняющими преобразование протокола Fibre Channel в протоколы более высоких уровней. Эти устройства предназначены для соединения Fibre Channel-сети с внешней WAN-сетью, локальной сетью, а также для присоединения к Fibre Channel-сети различных устройств и серверов. К таким устройствам относятся мосты (Bridge), Fibre Channel-адаптеры (Host Bus Adapters (HBA), маршрутизаторы, шлюзы и сетевые адаптеры. Классификация устройств трансляции показана на рис. 5.

Рис. 5. Классификация устройств трансляции

Наиболее распространенными устройствами трансляции являются HBA-адаптеры с интерфейсом PCI, которые применяются для подключения серверов к сети Fibre Channel. Сетевые адаптеры позволяют подключать локальные Ethernet-сети к сетям Fibre Channel. Мосты используются для подключения устройств хранения данных с SCSI интерфейсом к сети на базе Fibre Channel. Cледует отметить, что в последнее время практически все устройства хранения данных, которые предназначены для применения в SAN, имеют встроенный Fibre Channel и не требуют использования мостов.

Устройства хранения данных

В качестве устройств хранения данных в SAN-сетях могут использоваться как жесткие диски, так и ленточные накопители. Если говорить о возможных конфигурациях применения жестких дисков в качестве устройств хранения данных в SAN-сетях, то это могут быть как массивы JBOD, так и RAID-массивы дисков. Традиционно устройства хранения данных для SAN-сетей выпускаются в виде внешних стоек или корзин, оснащенных специализированным RAID-контроллером. В отличие от NAS- или DAS-устройств, устройства для SAN-систем оснащаются Fibre Channel-интерфейсом. При этом сами диски могут иметь как SCSI-, так и SATA-интерфейс.

Кроме устройств хранения на основе жестких дисков, в SAN-сетях широкое применение находят ленточные накопители и библиотеки.

SAN-серверы

Серверы для сетей SAN отличаются от обычных серверов приложений только одной деталью. Кроме сетевого Ethernet-адаптера, для взаимодействия сервера с локальной сетью они оснащаются HBA-адаптером, что позволяет подключать их к SAN-сетям на основе Fibre Channel.

Системы хранения данных компании Intel

Далее мы рассмотрим несколько конкретных примеров устройств хранения данных компании Intel. Строго говоря, компания Intel не выпускает законченных решений и занимается разработкой и производством платформ и отдельных компонентов для построения систем хранения данных. На основе данных платформ многие компании (в том числе и целый ряд российских компаний) производят уже законченные решения и продают их под своими логотипами.

Intel Entry Storage System SS4000-E

Система хранения данных Intel Entry Storage System SS4000-E представляет собой NAS-устройство, предназначенное для применения в небольших и средних офисах и многоплатформенных локальных сетях. При использовании системы Intel Entry Storage System SS4000-E разделяемый сетевой доступ к данным получают клиенты на основе Windows-, Linux- и Macintosh-платформ. Кроме того, Intel Entry Storage System SS4000-E может выступать как в роли DHCP-сервера, так и DHCP-клиента.

Система хранения данных Intel Entry Storage System SS4000-E представляет собой компактную внешнюю стойку с возможностью установки до четырех дисков с интерфейсом SATA (рис. 6). Таким образом, максимальная емкость системы может составлять 2 Тбайт при использовании дисков емкостью 500 Гбайт.

Рис. 6. Система хранения данных Intel Entry Storage System SS4000-E

В системе Intel Entry Storage System SS4000-E применяется SATA RAID-контроллер с поддержкой уровней RAID-массивов 1, 5 и 10. Поскольку данная система является NAS-устройством, то есть фактически «тонким» файл-сервером, система хранения данных должна иметь специализированный процессор, память и прошитую операционную систему. В качестве процессора в системе Intel Entry Storage System SS4000-E применяется Intel 80219 с тактовой частотой 400 МГц. Кроме того, система оснащена 256 Мбайт памяти DDR и 32 Мбайт флэш-памяти для хранения операционной системы. В качестве операционной системы используется Linux Kernel 2.6.

Для подключения к локальной сети в системе предусмотрен двухканальный гигабитный сетевой контроллер. Кроме того, имеются также два порта USB.

Устройство хранения данных Intel Entry Storage System SS4000-E поддерживает протоколы CIFS/SMB, NFS и FTP, а настройка устройства реализуется с использованием web-интерфейса.

В случае применения Windows-клиентов (поддерживаются ОС Windows 2000/2003/XP) дополнительно имеется возможность реализации резервного копирования и восстановления данных.

Intel Storage System SSR212CC

Система Intel Storage System SSR212CC представляет собой универсальную платформу для создания систем хранения данных типа DAS, NAS и SAN. Эта система выполнена в корпусе высотой 2 U и предназначена для монтажа в стандартную 19-дюймовую стойку (рис. 7). Система Intel Storage System SSR212CC поддерживает установку до 12 дисков с интерфейсом SATA или SATA II (поддерживается функция горячей замены), что позволяет наращивать емкость системы до 6 Тбайт при использовании дисков емкостью по 550 Гбайт.

Рис. 7. Система хранения данных Intel Storage System SSR212CC

Фактически система Intel Storage System SSR212CC представляет собой полноценный высокопроизводительный сервер, функционирующий под управлением операционных систем Red Hat Enterprise Linux 4.0, Microsoft Windows Storage Server 2003, Microsoft Windows Server 2003 Enterprise Edition и Microsoft Windows Server 2003 Standard Edition.

Основу сервера составляет процессор Intel Xeon с тактовой частотой 2,8 ГГц (частота FSB 800 МГц, размер L2-кэша 1 Мбайт). Система поддерживает использование памяти SDRAM DDR2-400 с ECC максимальным объемом до 12 Гбайт (для установки модулей памяти предусмотрено шесть DIMM-слотов).

Система Intel Storage System SSR212CC оснащена двумя RAID-контроллерами Intel RAID Controller SRCS28Xs с возможностью создания RAID-массивов уровней 0, 1, 10, 5 и 50. Кроме того, система Intel Storage System SSR212CC имеет двухканальный гигабитный сетевой контроллер.

Intel Storage System SSR212MA

Система Intel Storage System SSR212MA представляет собой платформу для создания систем хранения данных в IP SAN-сетях на основе iSCSI.

Данная система выполнена в корпусе высотой 2 U и предназначена для монтажа в стандартную 19-дюймовую стойку. Система Intel Storage System SSR212MA поддерживает установку до 12 дисков с интерфейсом SATA (поддерживается функция горячей замены), что позволяет наращивать емкость системы до 6 Тбайт при использовании дисков емкостью по 550 Гбайт.

По своей аппаратной конфигурации система Intel Storage System SSR212MA не отличается от системы Intel Storage System SSR212CC.

В данной статье, мы рассмотрим, какие виды систем хранения данных (СХД) на сегодняшнее время существуют, так же рассмотрю одни из основных компонентов СХД – внешние интерфейсы подключения (протоколы взаимодействия) и накопители, на которых хранятся данные. Так же проведем их общее сравнение по предоставляемым возможностям. Для примеров мы буду ссылаться на линейку СХД, представляемую компанией DELL.

• Примеры моделей DAS
• Примеры моделей NAS
• Примеры моделей SAN
• Типы носителей информации и протокол взаимодействия с системами хранения данных Протокол Fibre Channel
• Протокол iSCSI
• Протокол SAS
• Сравнение протоколов подключения систем хранения данных

Существующие типы систем хранения данных

В случае отдельного ПК под системой хранения данных можно понимать внутренний жесткий диск или систему дисков (RAID массив). Если же речь заходит о системах хранения данных разного уровня предприятий, то традиционно можно выделить три технологии организации хранения данных:

• Direct Attached Storage (DAS);
• Network Attach Storage (NAS);
• Storage Area Network (SAN).

Устройства DAS (Direct Attached Storage) – решение, когда устройство для хранения данных подключено непосредственно к серверу, или к рабочей станции, как правило, через интерфейс по протоколу SAS.

Устройства NAS (Network Attached Storage) – отдельно стоящая интегрированная дисковая система, по-сути, NAS-cервер, со своей специализированной ОС и набором полезных функций быстрого запуска системы и обеспечения доступа к файлам. Система подключается к обычной компьютерной сети (ЛВС), и является быстрым решением проблемы нехватки свободного дискового пространства, доступного для пользователей данной сети.

Storage Area Network (SAN) –это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel или протокола iSCSI.

Теперь давайте более детально рассмотрим каждый из приведенных выше типов СХД, их положительные и отрицательные стороны.

Архитектура системы хранения DAS (Direct Attached Storage)

К основным преимуществам DAS систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов, хостинг-провайдеров и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести неоптимальную утилизацию ресурсов, поскольку каждая DAS система требует подключения выделенного сервера и позволяет подключить максимум 2 сервера к дисковой полке в определенной конфигурации.

Рисунок 1: Архитектура Direct Attached Storage

• Достаточно низкая стоимость. По сути эта СХД представляет собой дисковую корзину с жесткими дисками, вынесенную за пределы сервера.
• Простота развертывания и администрирования.
• Высокая скорость обмена между дисковым массивом и сервером.

• Низкая надежность. При выходе из строя сервера, к которому подключено данное хранилище, данные перестают быть доступными.
• Низкая степень консолидации ресурсов – вся ёмкость доступна одному или двум серверам, что снижает гибкость распределения данных между серверами. В результате необходимо закупать либо больше внутренних жестких дисков, либо ставить дополнительные дисковые полки для других серверных систем
• Низкая утилизация ресурсов.

Примеры моделей DAS

Из интересных моделей устройств этого типа хотелось бы отметить модельный ряд DELL PowerVaultсерии MD. Начальные модели дисковых полок (JBOD) MD1000 и MD1120 позволяют создавать дисковые массивы c количеством диском до 144-х. Это достигается за счет модульности архитектуры, в массив можно подключить вплоть до 6 устройств, по три дисковых полки на каждый канал RAID-контроллера. Например, если использовать стойку из 6 DELL PowerVault MD1120, то реализуем массив с эффективным объемом данных 43,2 ТБ. Подобные дисковые полки подключаются одним или двумя кабелями SAS к внешним портам RAID-контроллеров, установленных в серверах Dell PowerEdge и управляются консолью управления самого сервера.

Если же есть потребность в создании архитектуры с высокой отказоустойчивостью, например, для создания отказоустойчивого кластера MS Exchange, SQL-сервера, то для этих целей подойдет модельDELL PowerVault MD3000. Это система уже имеет активную логику внутри дисковой полки и полностью избыточна за счет использования двух встроенных контроллеров RAID, работающих по схеме «актвиный-активный» и имеющих зеркалированную копию буферизованных в кэш-памяти данных.

Оба контроллера параллельно обрабатывают потоки чтения и записи данных, и в случае неисправности одного из них, второй «подхватывает» данные с соседнего контроллера. При этом подключение к низко уровнему SAS-контроллеру внутри 2-х серверов (кластеру) может производиться по нескольким интерфейсам (MPIO), что обеспечивает избыточность и балансировку нагрузки в средах Microsoft. Для наращивания дискового пространства к PowerVault MD3000 можно подключить 2-е дополнительные дисковые полки MD1000.

Архитектура системы хранения NAS (Network Attached Storage)

Технология NAS (сетевые подсистемы хранения данных, Network Attached Storage) развивается как альтернатива универсальным серверам, несущим множество функций (печати, приложений, факс сервер, электронная почта и т.п.). В отличие от них NAS-устройства исполняют только одну функцию — файловый сервер. И стараются сделать это как можно лучше, проще и быстрее.

NAS подключаются к ЛВС и осуществляют доступ к данным для неограниченного количества гетерогенных клиентов (клиентов с различными ОС) или других серверов. В настоящее время практически все NAS устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS. Внутри подобных серверов стоят специализированные ОС, такие как MS Windows Storage Server.

Рисунок 2: Архитектура Network Attached Storage

• Дешевизна и доступность его ресурсов не только для отдельных серверов, но и для любых компьютеров организации.
• Простота коллективного использования ресурсов.
• Простота развертывания и администрирования
• Универсальность для клиентов (один сервер может обслуживать клиентов MS, Novell, Mac, Unix)

• Доступ к информации через протоколы “сетевых файловых систем” зачастую медленнее, чем как к локальному диску.
• Большинство недорогих NAS-серверов не позволяют обеспечить скоростной и гибкий метод доступа к данным на уровне блоков, присущих SAN системам, а не на уровне файлов.

Примеры моделей NAS

В настоящий момент классические NAS решения, такие как PowerVault NF100/500/600 . Это системы на базе массовых 1 и 2-х процессорных серверов Dell, оптимизированных для быстрого развертывания NAS-сервисов. Они позволяют создавать файловое хранилище вплоть до 10 ТБ (PowerVault NF600) используя SATA или SAS диски, и подключив данный сервер к ЛВС. Также имеются и более высокопроизводительные интегрированные решение, например PowerVault NX1950 , вмещающие в себя 15 дисков и расширяемые до 45 за счет подключения дополнительных дисковых полок MD1000.

Серьезным преимуществом NX1950 является возможность работать не только с файлами, но и с блоками данных на уровне протокола iSCSI. Также разновидность NX1950 может работать как «гейтвэй», позволяющий организовать файловый доступ к СХД на базе iSCSI (c блочным методом доступа), например MD3000i или к Dell EqualLogic PS5x00.

Архитектура системы хранения SAN (Storage Area Network)

Storage Area Network (SAN) — это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel, либо на набирающем обороты протоколу iSCSI. В отличие от NAS, SAN не имеет понятия о файлах: файловые операции выполняются на подключенных к SAN серверах. SAN оперирует блоками, как некий большой жесткий диск. Идеальный результат работы SAN — возможность доступа любого сервера под любой операционной системой к любой части дисковой емкости, находящейся в SAN. Оконечные элементы SAN — это серверы приложений и системы хранения данных (дисковые массивы, ленточные библиотеки и т. п.). А между ними, как и в обычной сети, находятся адаптеры, коммутаторы, мосты, концентраторы. ISCSI является более «дружелюбным» протоколом, поскольку он основан на использовании стандартной инфраструктуры Ethernet – сетевых карт, коммутаторов, кабелей. Более того, именно системы хранения данных на базе iSCSI являются наиболее популярными для виртуализированных серверов, в силу простоты настройки протокола.

Рисунок 3: Архитектура Storage Area Network

• Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
• Централизованное хранение данных (надёжность, безопасность).
• Удобное централизованное управление коммутацией и данными.
• Перенос интенсивного трафика ввода-вывода в отдельную сеть, разгружая LAN.
• Высокое быстродействие и низкая латентность.
• Масштабируемость и гибкость логической структуры SAN
• Возможность организации резервных, удаленных СХД и удаленной системы бэкапа и восстановления данных.
• Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.

• Более высокая стоимость
• Сложность в настройке FC-систем
• Необходимость сертификации специалистов по FC-сетям (iSCSI является более простым протоколом)
• Более жесткие требования к совместимости и валидации компонентов.
• Появление в силу дороговизны DAS-«островов» в сетях на базе FC-протокола, когда на предприятиях появляются одиночные серверы с внутренним дисковым пространством, NAS-серверы или DAS-системы в силу нехватки бюджета.

Примеры моделей SAN

В настоящий момент имеется достаточно большой выбор дисковых массивов для построения SAN, начиная от моделей для малых и средних предприятий, такие как серия DELL AX, которые позволяют создавать хранилища емкостью до 60 Тбайт, и заканчивая дисковыми массивами для больших корпораций DELL/EMC серии CX4, они позволяют создать хранилища емкостью до 950 Тб. Есть недорогое решение на основе iSCSI, это PowerVault MD3000i – решение позволяет подключать до 16-32 серверов, в одно устройство можно установить до 15 дисков, и расширить систему двумя полками MD1000, создав массив на 45Тб.

Отдельного упоминания заслуживает система Dell EqualLogic на базе протокола iSCSI. Она позиционируется как СХД масштаба предприятия и сравнима по цене с системами Dell | EMC CX4, с модульной архитектурой портов, поддерживающих как FC протокол, так и iSCSI протокол. Система EqualLogic является одноранговой, т.е каждая дисковая полка имеет активные контроллеры RAID. При подключении этих массивов в единую систему, производительность дискового пула плавно растет с ростом доступного объема хранения данных. Система позволяет создать массивы более 500TB, настраивается менее, чем за час, и не требует специализированных знаний администраторов.

Модель лицензирования также отличается от остальных и уже включает в первоначальную стоимость все возможные опции моментальных копий, репликацию и средства интеграции в различные ОС и приложения. Эта система считается одной из наиболее быстрых систем в тестах для MS Exchange (ESRP).

Типы носителей информации и протокол взаимодействия с СХД

Определившись с типом СХД, который Вам наиболее подходит для решения тех или иных задач, необходимо перейти к выбору протокола взаимодействия с СХД и выбору накопителей, которые будут использоваться в системе хранения.

В настоящий момент для хранения данных в дисковых массивах используются SATA и SAS диски. Какие диски выбрать в хранилище зависит от конкретных задач. Стоит отметить несколько фактов.

SATA II диски:

• Доступны объемы одного диска до 1 ТБ
• Скорость вращения 5400-7200 RPM
• Скорость ввода/вывода до 2,4 Гбит/с
• Время наработки на отказ примерно в два раза меньше чем у SAS дисков.
• Менее надежные, чем SAS диски.
• Дешевле примерно в 1,5 раза, чем SAS-диски.

• Доступны объемы одного диска до 450 ГБ
• Скорость вращения 7200 (NearLine), 10000 и 15000 RPM
• Скорость ввода/вывода до 3,0 Гбит/с
• Время наработки на отказ в два раза больше чем у SATA II дисков.
• Более надежные диски.

Важно! В прошлом году начался промышленный выпуск SAS дисков с пониженной скоростью вращения – 7200 rpm (Near-line SAS Drive). Это позволило повысить объем хранимых данных на одном диске до 1 ТБ и снизить энергопторебление дисков со скоростным интерфейсом. При том, что стоимость таких дисков сравнима со стоимостью дисков SATA II, а надежность и скорость ввода/вывода осталась на уровне SAS дисков.

Таким образом, в настоящий момент стоит действительно серьезно задуматься над протоколами хранения данных, которые вы собираетесь использовать в рамках корпоративной СХД.

До недавнего времени основными протоколами взаимодействия с СХД являлись – FibreChannel и SCSI. Сейчас на смену SCSI, расширив его функционал, пришли протоколы iSCSI и SAS. Давайте ниже рассмотрим плюсы и минусы каждого из протоколов и соответствующих интерфейсов подключения к СХД.

Протокол Fibre Channel

На практике современный Fibre Channel (FC) имеет скорости 2 Гбит/Сек (Fibre Channel 2 Gb), 4 Гбит/Сек (Fibre Channel 4 Gb) full- duplex или 8 Гбит/Сек, то есть такая скорость обеспечивается одновременно в обе стороны. При таких скоростях расстояния подключения практически не ограничены – от стандартных 300 метров на самом «обычном» оборудовании до нескольких сотен или даже тысяч километров при использовании специализированного оборудования. Главный плюс протокола FC – возможность объединения многих устройств хранения и хостов (серверов) в единую сеть хранения данных (SAN). При этом не проблема распределенности устройств на больших расстояниях, возможность агрегирования каналов, возможность резервирования путей доступа, «горячего подключения» оборудования, большая помехозащищенность. Но с другой стороны мы имеем высокую стоимость, и высокую трудоемкость инсталляции и обслуживания дисковых массивов использующих FC.

Важно! Следует разделять два термина протокол Fibre Channel и оптоволоконный интерфейс Fiber Channel. Протокол Fibre Сhannel может работать на разных интерфейсах — и на оптоволоконном соединении с разной модуляцией, и на медных соединениях.

• Гибкая масштабируемость СХД;
• Позволяет создавать СХД на значительных расстояниях (но меньших, чем в случае iSCSI протокола; где, в теории, вся глобальная IP сеть может выступать носителем.
• Большие возможности резервирования.

• Высокая стоимость решения;
• Еще более высокая стоимость при организации FC-сети на сотни или тысячи километров
• Высокая трудоемкость при внедрении и обслуживании.

Важно! Помимо появления протокола FC8 Гб/c, ожидается появление протокола FCoE (Fibre Channel over Ethernet), который позволит использовать стандартные IP сети для организации обмена пакетами FC.

Протокол iSCSI

Протокол iSCSI (инкапсуляция SCSI пакетов в протокол IP) позволяет пользователям создать сети хранения данных на базе протокола IP с использованием Ethernet-инфраструктуры и портов RJ45. Таким образом, протокол iSCSI дает возможность обойти те ограничения, которыми характеризуются хранилища данных с непосредственным подключением, включая невозможность совместного использования ресурсов через серверы и невозможность расширения емкости без отключения приложений. Скорость передачи на данный момент ограничена 1 Гб/c (Gigabit Ethernet), но данная скорость является достаточной для большинства бизнес-приложений масштаба средних предприятий и это подтверждают многочисленные тесты. Интересно то, что важна не столько скорость передачи данных на одном канале, сколько алгоритмы работы RAID контроллеров и возможность агрегации массивов в единый пул, как в случае с DELL EqualLogic, когда используются по три 1Гб порта на каждом массиве, и идет балансировка нагрузки среди массивов одной группы.

Важно отметить, что сети SAN на базе протокола iSCSI обеспечивают те же преимущества, что и сети SAN с использованием протокола Fibre Channel, но при этом упрощаются процедуры развертывания и управления сетью, и значительно снижаются стоимостные затраты на данную СХД.

• Высокая доступность;
• Масштабируемость;
• Простота администрирования, так как используется технология Ethernet;
• Более низкая цена организации SAN на протоколе iSCSI, чем на FC.
• Простота интеграции в среды виртуализации

• Есть определенные ограничения по использованию СХД с протоколом iSCSI с некоторыми OLAP и OLTP приложениями, с системами Real Time и при работе с большим числом видеопотоков в HD формате
• Высокоуровневые СХД на базе iSCSI, также как и CХД c FC-протоколом, требуют использования быстрых, дорогостоящих Ethernet-коммутаторов
• Рекомендуется использование либо выделенных Ethernet коммутаторов, либо организация VLAN для разделения потоков данных. Дизайн сети является не менее важной частью проекта, чем при разработке FC-сетей.

Важно! В скором времени производители обещают выпустить в серийное производство SAN на базе протокола iSCSI с поддержкой скоростей передачи данных до 10 Гб/c. Также готовится финальная версия протокола DCE (Data Center Ethernet), массовое появление устройств, поддерживающих протокол DCE, ожидается к 2011 году.

C точки зрения используемых интерфейсов, протокол iSCSI задействует интерфейсы Ethernet 1Гбит/C, а ими могут быть как медные, так оптоволоконные интерфейсы при работе на больших расстояниях.

Протокол SAS

Протокол SAS и одноименный интерфейс разработаны для замены параллельного SCSI и позволяет достичь более высокой пропускной способности, чем SCSI. Хотя SAS использует последовательный интерфейс в отличие от параллельного интерфейса, используемого традиционным SCSI, для управления SAS-устройствами по-прежнему используются команды SCSI. SAS позволяет обеспечить физическое подключение между массивом данных и несколькими серверами на небольшие расстояния.

• Приемлемая цена;
• Легкость консолидации хранилищ – хотя СХД на базе SAS не может подключаться к такому количеству хостов (серверов), как SAN конфигурации которые используют протоколы FC или iSCSI, но при использовании протокола SAS не возникает трудностей с дополнительным оборудованием для организации общего хранилища для нескольких серверов.
• Протокол SAS позволяет обеспечить большую пропускную способность с помощью 4 канальных соединений внутри одного интерфейса. Каждый канал обеспечивает 3 Гб/c , что позволяет достичь скорости передачи данных 12 Гб/с (в настоящий момент это наивысшая скорость передачи данных для СХД).

• Ограниченность досягаемости – длинна кабеля не может превышать 8 метров. Тем самым хранилища с подключением по протоколу SAS, будут оптимальны только тогда когда серверы и массивы будут расположены в одной стойке или в одной серверной;
• Количество подключаемых хостов (серверов) как правило, ограничено несколькими узлами.

Важно! В 2009 году ожидается появление технологии SAS со скоростью передачи данных по одному каналу – 6 Гбит/c, что позволит значительно увеличить привлекательность использования данного протокола.

Сравнение протоколов подключения СХД

Ниже приведена сводная таблица сравнения возможностей различных протоколов взаимодействия с СХД.

Параметр	Протоколы подключения СХД
Архитектура	SCSI команды инкапсулируются в IP пакет и передаются через Ethernet, последовательная передача	Последовательная передача SCSI команд	Коммутируемая
Растояние между дисковым массивом и узлом (сервер или свитч)	Ограничено лишь расстоянием IP cетей.	Не более 8 метров между устройствами.	50.000 метров без использования специализрованных рипитеров
Масштабируемость	Миллионы устройств – при работе по протоколу IPv6.	32 устройства	256 устройств 16 миллионов устройств, если использовать FC-SW (fabric switches) архитектура
Производительность	1 Гб/с (планируется развитие до 10 Гб/с)	3 Гб/с при использовании 4х портов, до 12 Гб/с (в 2009 году до 6 Гб/с по одному порту)	До 8 Гб/с
Уровень вложений (затрат на внедрение)	Незначительный – используется Ethernet	Средний	Значительный

Таким образом, представленные решения на первый взгляд достаточно четко разделяются по соответствию требованиям заказчиков. Однако на практике все не так однозначно, включаются дополнительные факторы в виде ограничений по бюджетам, динамики развития организации (и динамики увеличения объема хранимой информации), отраслевая специфика и т.д.