¦ Конверторы интерфейса Gigabit (Gigabit interface converters – GBIC) поддерживают последовательную и параллельную трансляцию передаваемых данных. Конверторы GBIC предоставляют возможность «горячего» подключения, т.е. включение/выключение GBIC не влияет на работу других портов. Конверторами используется 20-битовый параллельный интерфейс.

Модули линий Gigabit (Gigabit link modules – GLM) предоставляют функции, аналогичные GBIC, но для своей установки требуют отключения устройства. С другой стороны, они несколько дешевле, чем GBIC.

Адаптеры интерфейса носителя (Media Interface Adapters) используются для преобразования сигналов между медным и оптическим носителем и наоборот. Адаптеры интерфейса носителя обычно используются в адаптерах шины, но могут применяться и на коммутаторах и концентраторах.

Адаптеры малого формфйктора (Small Form Factor Adapters – SFF) позволяют размещать большее количество разъемов различных интерфейсов на плате определенного размера.

4.7.4 Устройства взаимодействия

Устройства взаимодействия соединяют между собой компоненты сетей хранения данных. К ним относятся различные устройства, начиная от дешевых концентраторов Fibre Channel и заканчивая дорогими, высокопроизводительными и управляемыми коммутаторами связной архитектуры. Эти устройства рассматриваются в разделах 4.7.4.1–4.7.4.3.

4.7.4.1 Концентраторы кольца Fibre Channel с разделением доступа

Концентраторы FC-AL представляют собой бюджетный вариант для подключения нескольких узлов Fibre Channel (устройств хранения данных, серверов, компьютерных систем, других концентраторов и коммутаторов) в кольцевую конфигурацию. Обычно в концентраторах предоставляется от 8 до 16 портов. Концентратор может поддерживать различные среды передачи, например медные или оптические.

Концентраторы Fibre Channel – это пассивные устройства, т.е. любое другое устройство в кольце не может обнаружить их присутствия. Концентраторы обеспечивают следующие возможности:

внутренние соединения, которые позволяют любому порту подключаться к любому другому порту;

возможность обхода порта, к которому подключено неправильно работающее устройство.

Самая большая проблема в работе портов связана с тем, что в текущий момент времени они могут поддерживать только одно подключение Fibre Channel. На рис. 4.7 показано, что, если порт 1 получил управление для установки сеанса с портом 8, ни один другой порт не сможет передавать данные, пока установленный сеанс не завершится.

Концентраторы могут быть подключены к коммутаторам связной архитектуры Fibre Channel (они рассматриваются в разделе 4.7.4.3) без модификации. Кроме того, можно создавать каскад концентраторов, соединив два концентратора кабелем.

Концентраторы FC-AL занимают лидирующее положение на рынке Fibre Channel, но в процессе снижения стоимости коммутаторы связной архитектуры Fibre Channel становятся все более популярными.

Концентраторы FC-AL создаются такими компаниями, как Gadzoox Networks, Emulex и Brocade.

4.7.4.2 Коммутаторы кольца Fibre Channel с разделением доступа

Самое значительное преимущество коммутаторов FC-AL

перед концентраторами состоит в одновременной поддержке нескольких подключений, тогда как концентраторы поддерживают только одно подключение в текущий момент времени (рис. 4.8).

Рис. 4.7. Концентратор Fibre Channel

Рис. 4.8. Коммутатор Fibre Channel

Возможность одновременной поддержки нескольких подключений связана с определенными сложностями. Устройства, подключенные к коммутатору кольца, даже не «подозревают» о своей роли. Коммутаторы кольца участвуют как в передаче данных, так и в адресации кольца. Ниже приводится дополнительная информация по этому вопросу, а также рассматривается роль коммутаторов в сетях хранения данных и методы, с помощью которых поставщики добавляют новые функции к своим продуктам.

Коммутаторы кольца и передача данных

Сервер, который намерен получить доступ к устройству хранения данных, должен отправить арбитражный запрос на управление кольцом. В нормальном кольце FC-AL на базе концентратора каждое устройство получает

арбитражный пакет до его возвращения адаптеру шины сервера, благодаря чему сервер получает контроль над кольцом. Коммутатор кольца отправит ответ об успешном получении управления немедленно, не отправляя запросы другим узлам. На этом этапе адаптер шины отправит базовый пакет Open, предназначенный для порта устройства хранения, который будет передан коммутатором кольца. Если порт в это время не выполняет передачи данных, особых проблем не должно возникнуть. В противном случае возможно появление конфликтных ситуаций. Для решения этой проблемы коммутатор кольца должен предоставить буфера для временного хранения кадров, предназначенных для порта 7. Некоторые поставщики коммутаторов предоставляют для этих целей 32 буфера на каждый порт.

Коммутаторы кольца и адресация FC-AL

Концентраторы FC-AL не играют роли в назначении адресов устройствам, а только передают базовые кадры адресов по кольцу. То же можно сказать и о большинстве коммутаторов. Однако некоторые устройства могут настаивать на получении определенного адреса. Некоторые концентраторы имеют возможность управлять порядком инициализации портов, что позволяет определенному порту инициализироваться первому, после чего устройство будет подключено к требующемуся порту.

Коммутаторы и инициализация кольца

Протокол FC-AL требует повторной инициализации кольца при подключении, отключении или повторной инициализации устройства. Такая инициализация кольца может привести к нарушению существующей связи между другими двумя устройствами. Некоторые производители коммутаторов предоставляют возможность выборочно экранировать и передавать пакеты LIP (Loop Initialization Primitives). Эта операция предназначена для минимизации проблем, сокращения времени повторной инициализации кольца и по возможности сохранения существующих сеансов передачи данных. В то же время необходимо обеспечить уникальность адресов устройств.

Если все устройства принимают участие в повторной инициализации кольца, дублирования адресов не происходит, так как устройства «защищают» свои адреса. Но, если некоторые устройства не принимают участия в повторной инициализации кольца, необходимо предотвратить назначение уже распределенных адресов устройствам, принимающим участие в повторной инициализации кольца. Уникальность адресов обеспечивается дополнительной логикой коммутатора кольца. При добавлении устройства хранения пакет LIP должен быть отправлен на сервер, однако LIP не требуется передавать устройствам хранения, которые никогда не устанавливают связь с другими устройствами хранения данных.

Некоторые устройства хранения могут устанавливать связь непосредственно с другими устройствами хранения, что используется для резервного копирования данных. Дополнительная информация об операциях копирования приводится в главе 5.

Коммутаторы кольца и связная архитектура

Если все устройства в кольце «знают» о связной архитектуре, коммутатор кольца передает обычным образом необходимые кадры, например кадры Fabric Login. Если устройства в кольце не поддерживают связную архитектуру, коммутатор кольца должен самостоятельно выполнять достаточно большой объем работы.

Коммутаторы кольца некоторых поставщиков не поддерживают каскадирование. Кроме того, некоторым коммутаторам кольца требуется обновление прошивки перед подключением к коммутаторам связной архитектуры. Ряд коммутаторов следует модернизировать для полной поддержки связной архитектуры перед их подключением к SAN.

Коммутаторы FC-AL производятся такими компаниями, как Brocade, McDATA, Gadzoox Networks, Vixel и QLogic.

4.7.4.3 Коммутаторы связной архитектуры Fibre Channel

Коммутаторы связной архитектуры Fibre Channel (Fibre Channel Fabric Switches – FC-SW) обеспечивают несколько выскоскоростных сеансов связи одновременно со всеми устройствами. На данный момент основные коммутаторы поддерживают быстродействие порядка 1 Гбит/с, в то время как скорость в 2 Гбит/с также перестает быть диковинкой. В основном коммутаторы связной архитектуры в пересчете на один порт стоят дороже, чем концентраторы и коммутаторы FC-AL, но они предоставляют намного больше функциональных возможностей.

Коммутаторы связной архитектуры более эффективны в сравнении с концентраторами и коммутаторами FC-AL. Например, коммутаторы предоставляют специальные службы, описанные выше, обеспечивают управление потоком с помощью базовых пакетов управления, а также, что гораздо важнее, некоторые коммутаторы способны эмулировать функции FC-AL для обеспечения обратной совместимости с более старыми устройствами.

Некоторые коммутаторы связной архитектуры поддерживают маршрутизацию без буферизации. Суть ее в том, что при получении заголовка кадра коммутатор быстро находит заголовок точки назначения, пока кадр все еще принимается. Преимущество такого подхода – снижение задержек при доставке кадра и отсутствие необходимости хранения содержимого кадра в памяти буфера. А недостаток заключается в немедленной передаче всех кадров, включая поврежденные.

Коммутаторы связной архитектуры играют важную роль в безопасности сетей хранения данных на основе Fibre Channel, что описывается более подробно в главе 7.

4.7.4.4 Сравнение трех устройств подключения

В табл. 4.5 приведены функциональные возможности и различия между тремя типами устройств Fibre Channel.

4.7.4.5 Мосты и маршрутизаторы

Как в этой главе, так и во всей книге термины мосты (bridges) и маршрутизаторы (routers) не относятся к традиционным мостам Ethernet и маршрутизаторам IP. В данном случае под мостами и маршрутизаторами подразумеваются устройства для Fibre Channel, а не для сетевых протоколов 2-го и 3-го уровней.

Мосты –¦ это устройства, обеспечивающие взаимодействие между Fibre Channel и устаревшими протоколами, например SCSI. Мосты Fibre Channel- SCSI позволяют сохранить существующие инвестиции в устройства хранения SCSI. Такие мосты поддерживают интерфейсы SCSI и Fibre Channel и преобразуют данные двух протоколов. Таким образом, новый сервер с установленным адаптером шины Fibre Channel может получить доступ к существующим устройствам хранения SCSI. Мосты предоставляют интерфейс между параллельной шиной SCSI и интерфейсом Fibre Channel. Маршрутизаторы обладают аналогичными возможностями, но для нескольких шин SCSI и интерфейсов Fibre Channel. Маршрутизаторы систем хранения данных, или «интеллектуальные» мосты, предоставляют такие дополнительные возможности, как маскировка и отображение LUN, а также поддерживают команды SCSI Extended Сору. В качестве устройств, передающих данные, маршрутизаторы применяют команды Extended Сору для использования библиотеками хранения, что позволяет копировать данные между указанным целевым устройством и подключенной библиотекой. Эта функция также называется независимым резервным копированием (без сервера).

В качестве примера производителей маршрутизаторов и мостов можно привести такие компании, как Crossroads Systems, Chaparral Network Storage, Advanced Digital Information Corporation (ADIC после приобретения Path- light) и MTI.

4.8 Методы управления Fibre Channel

В предыдущих разделах рассматривались аппаратные элементы, формирующие сети хранения данных. В работе SAN также участвует немало различных программ, в основном предназначенных для управления, обеспечения безопасности, резервного копирования и восстановления данных. В разделах 4.8.1 и 4.8.2 рассматривается ряд концепций, необходимых для управления SAN и обеспечения безопасности данных. По сути, эти концепции предоставляют собой «сердце» SAN.

В ситуации, когда одна сеть содержит несколько компьютеров и единиц хранения данных, желательно ограничить влияние некоторых компьютеров (в терминологии Fibre Channel они называются узлами) до определенных подсистем хранения и некоторых единиц в рамках этих подсистем. Это имеет особый смысл в том случае, когда узел работает под управлением Windows NT, которая требует монтирования каждого обнаруженного устройства. С другой стороны, у UNIX есть таблица монтирования, благодаря чему монтируются только устройства, непосредственно указанные в таблице. Даже при использовании узлов под управлением UNIX желательно ограничить доступ из соображений обеспечения безопасности и для снижения вероятности повреждения данных. Доступ может быть ограничен тремя различными типами функций отображения и зонирования.

Базовая функция, реализованная в рамках узла; возможно, средствами программного драйвера адаптера шины.

Функция коммутатора.

Функция на уровне подсистемы хранения данных.

4.8.1 Зонирование

Термин зонирование связан с коммутаторами. Зонирование позволяет одним портам коммутатора подключаться только к заранее определенным портам. В некоторых случаях зонирование может ограничивать распространение управляющих кадров Fibre Channel; например, при появлении в кольце нового устройства хранения можно ограничить распространение кадра LIP среди других устройств.

С функциональной точки зрения зонирование дает возможность некоему компьютеру непосредственно подключаться к определенной подсистеме хранения данных. Недостаток такого подхода состоит в предоставлении всех ресурсов SAN для одного компьютера, который обычно не в состоянии полностью их использовать. В частности, зонирование не позволяет совместно загружать канал доступа сети или применять ресурсы подсистемы хранения данных.

Рис. 4.9. Зонирование SAN

Зонирование можно воспринимать в качестве аналога конфигурирования порта IP для маршрутизатора с поддержкой брандмауэра. Еще одним примером может быть настройка виртуальных локальных сетей (VLAN) в существующей физической локальной сети. В виртуальной локальной сети только некоторые устройства «видят» друг друга, даже если в той же физической локальной сети находятся и другие устройства. Точно так же зонирование ограничивает возможности компонентов SAN (особенно инициаторов), предоставляя ограниченные данные об определенных единицах хранения и возможность доступа к ним, даже если в этой же физической сети хранения данных размещены и другие устройства хранения.

На рис. 4.9 демонстрируется концепция зонирования. Сеть хранения данных имеет три сервера и три единицы хранения. Различными оттенками указываются разные зоны.

Имена LUN могут совместно использоваться программным обеспечением файловой системы SAN. В этом программном обеспечении один или несколько серверов работают как серверы метаданных. Программное обеспечение устанавливается на клиентском компьютере (на компьютере, который желает получить доступ к файлам в сети хранения данных) и на сервере метаданных. Метаданные предоставляют клиентскому компьютеру информацию для отображения логического смещения в файле на физический номер блока указанного устройства. Это позволяет клиентскому компьютеру непосредственно получать доступ к файлу через SAN, без переноса данных через сервер. При достаточно грамотной организации обычные разрешения для файлов на

клиентском компьютере будут относиться и к файлам, хранящимся удаленно, что не требует от администратора дополнительных действий по настройке разрешений на совместный доступ к файлам.

Можно определить несколько зон, причем один узел имеет возможность входить в несколько зон одновременно; таким образом, некоторые зоны будут перекрываться. Зонирование выполняется несколькими способами.

Зонирование по номеру порта. Преимущество такого подхода – эффективность. Если устройство, подключенное к порту, заменено другим устройством, повторная настройка не потребуется.

Зонирование по имени WWN. Осуществляется путем указания имен WWN, которые входят в одну зону. Некоторые WWN могут быть указаны в нескольких зонах. Преимущество состоит в безопасности, которая, однако, достигается за счет эффективности. Изменения в конфигурации могут потребовать перезагрузки сервера.

Программное зонирование. Проводится средствами сервера имен (программного обеспечения), который выполняется на коммутаторе. Для программного зонирования могут использоваться номера портов, WWN или комбинация этих параметров. Сервер имен содержит базу данных, в которой хранятся WWN, номера портов и идентификаторы зон.

Аппаратное зонирование. Осуществляется с помощью таблицы маршрутизации, которая хранится на коммутаторе. Аппаратное зонирование выполняется на основе WWN и не принимает во внимание номера портов.

4.8.2 Маскировка LUN

Ресурсы хранения могут быть «разделены» на несколько вложенных единиц (субъединиц), которые называются номером логического устройства (logical unit number – LUN). Стандарт SCSI-2 поддерживает до 64 LUN на одно устройство.

С функциональной точки зрения маскировка LUN позволяет определенному компьютеру получить доступ к конкретной субъединице на некой системе хранения данных. Однако гораздо важнее то, что с помощью этого способа можно запретить доступ к определенным LUN для некоторых компьютеров или серверов. Маскировка LUN дает возможность совместно использовать ресурсы хранилищ данных и (неявно) пропускную способность сети, однако непосредственно LUN совместно использоваться не может. Для совместного использования одного LUN несколькими компьютерами необходима файловая система с дополнительными возможностями, которая описана в главе 6.

Маскировка LUN необходима для гарантирования целостности данных в среде SAN. Обратите внимание: маскировка LUN – это средство обеспечения безопасности на уровне дисков, но не обязательно на уровне файлов. В последнем случае (на уровне файлов) потребуется дополнительное программное обеспечение.

Маскировка LUN предоставляет дополнительные возможности, в частности номера LUN могут быть переназначены другим компьютерам. Существует несколько способов обеспечения маскировки LUN. Каждый способ обладает своими достоинствами и недостатками. Обычно, маскировка выполняется средствами:

аппаратного обеспечения адаптера шины;

аппаратного обеспечения коммутатора Fibre Channel;

аппаратного обеспечения устройства хранения Fibre Channel;

программного обеспечения узла.

Эти варианты рассматриваются в разделах 4.8.2.1–4.8.2.4.

4.8.2.1 Маскировка LUN средствами BIOS адаптера шины

В BIOS адаптера шины осуществляется маскировка всех LUN, которые не отображены в таблице BIOS адаптера шины. Таким образом, узел (с установленным адаптером шины) попросту не «замечает» существования LUN, которые он и не должен «видеть».

Недостаток такого метода состоит в необходимости проведения корректной настройки; кроме того, метод не обязателен к применению. Все системы, адаптеры шины которых настроены неправильно или не поддерживают описываемую функцию, могут получить доступ к тем LUN, к которым доступ на самом деле нежелателен. Еще одна проблема заключается в сложности динамического управления и перенастройки подобных систем.

4.8.2.2 Маскировка LUN коммутаторами Fibre Channel

Коммутаторами Fibre Channel зонирование проводится достаточно просто. Входящий пакет передается или не передается дальше, что зависит от адресов исходного порта и порта назначения. Маскировка LUN возлагает дополнительную нагрузку на коммутаторы Fibre Channel, поскольку коммутатору приходится проверять первые 64 байта каждого пакета данных. Это приводит к снижению производительности большинства коммутаторов Fibre Channel, поэтому описываемая функция обычно не реализуется.

4.8.2.3 Маскировка LUN контроллерами подсистем хранения данных Fibre Channel и маршрутизаторами

Этот метод маскировки LUN является принудительным для подключенных узлов или требует от узла минимального участия. Маскировка LUN реализуется контроллером подсистемы хранения данных или маршрутизатором (с помощью соответствующей прошивки). Эти устройства настроены на поддержку таблицы имен WWN адаптера шины, отображённых на номера LUN, к которым им (контроллеру или маршрутизатору) разрешен доступ. Значительное преимущество такого подхода заключается в формировании конфигурации, независимой от промежуточных коммутаторов или концентраторов.

Недостаток метода заключается в закрытой реализации этой технологии каждым поставщиком и сложности создания единой консоли управления для перенастройки или даже получения информации о текущих параметрах, хотя каждый поставщик предоставляет интерфейсы для управления связками WWN-LUN.

К поставщикам систем, поддерживающим эту технологию, относятся Crossroads Systems, EMC, Dot Hill и HP (в продуктах Storage Works). Поставщики присваивают реализации технологии собственные названия; например, компания Crossroads называет это Access Controls, а компания HP в продуктах StorageWorks выбрала название Selective Storage Presentation.

4.8.2.4 Маскировка LUN программным обеспечением узла

Маскировка LUN выполняется. программным обеспечением узла, в частности кодом драйвера устройства. Код должен работать в режиме ядра, так как основная идея заключается в том, чтобы предотвратить доступ операционной системы к LUN, а операционная система сделает"это еще до запуска первого приложения пользовательского режима.

Такая маскировка может выполняться в виде функции операционной системы или вне системы. За неимением конкретного решения от Microsoft некоторые поставщики добавили необходимый код в драйвер адаптеров шины. Обычно драйвер выдает команду Report LUNs каждому устройству, подключенному к шине, и перед предоставлением списка LUN системе Windows NT драйвер «вырезает» LUN из списка на основе дополнительно запрошенных данных (например, информации системного реестра Windows NT), таким образом «скрывая» некоторые LUN от Windows.

Основная проблема такого метода – необязательная настройка, а следовательно, необходимость частичного участия узла в процессе маскировки LUN. Это означает, что компьютеры, не имеющие модифицированного драйвера адаптера шины, не принимают участия в маскировке LUN. Кроме того, присутствуют и проблемы масштабирования, так как в особенно больших сетях хранения данных сложно настроить каждый сервер и каждый адаптер шины сервера. Что касается преимуществ, то LUN может эффективно использоваться несколькими серверами.

Описываемая функция реализуется в продуктах компаний Emulex, Dell и JNI.

4.8.2.5 Маскировка LUN и будущее Windows NT

На данный момент существует информация, что Microsoft работает над реализацией возможностей маскировки LUN в драйвере порта. Тем не менее такая возможность отсутствует в Windows Server 2003. Преимущество использования драйвера порта состоит в постоянном присутствии драйвера. порта в памяти, поэтому время, в течение которого компьютер не будет принимать участие в маскировке LUN, существенно снижается. Вероятность загрузки неправильного драйвера порта намного ниже, чем вероятность загрузки неправильного драйвера порта и мини-порта. Судя по предварительным прогнозам, если описываемая функция будет реализована в Windows, администратор получит возможность самостоятельно определять и изменять список LUN, видимых для сервера; при этом список может быть изменен временно. В последнем случае изменения не будут сохраняться после перезагрузки сервера.

4.9 Обеспечение взаимодействия устройств Fibre Channel

Призыв «Покупатель, берегись!» хорошо описывает состояние взаимодействия устройств в мире Fibre Channel.

Можно сказать, что большинство проблем во взаимодействии конфигураций FC-AL связаны с устройствами хранения, адаптерами шины, коммутаторами FC-AL и поставщиками маршрутизаторов. Поставщики устройств проводят серьезное тестирование своих продуктов, но, хотя теоретически взаимодействие с другими устройствам и должно быть гарантировано, на практике для получения результата требуется немало дополнительного тестирования и настроек различных параметров. Рекомендуется использовать конфигурации, которые были протестированы поставщиком или продавцом готовых решений SAN.

Наибольшая проблема состоит в отсутствии гарантированного соответствия промышленным стандартам. Более того, даже соответствие стандартам также не обеспечивает 100%-ного взаимодействия.

Поставщики готовых решений, такие, как IBM, HP и EMC» создают лаборатории для тестирования взаимодействия различных устройств и проводят собственную сертификацию. До определенной степени другие поставщики поступают аналогично. Рекомендуется использовать именно такие сертифицированные решения, что позволяет избежать проблем, часто возникающих при добавлении новых, не сертифицированных поставщиком устройств.

Хотя немало сетей хранения данных на основе Fibre Channel обеспечивают быстродействие 1 Гбит/с, в последнее время в продаже появились устройства, поддерживающие скорость 2 Гбит/с. Новые устройства – новые проблемы. В стандартах, которым следуют производители, поддерживается скорость 2 Гбит/с, однако устройства автоматически переходят на скорость 1 Гбит/с, если на этой скорости работают другие устройства в сети. Дело в том, что сети хранения данных на базе Fibre ^ Channel должны работать на скорости самого медленного устройства в сети. Таким образом, даже единственное устройство, работающее на скорости 1 Гбит/с, заставит всю сеть хранения данных работать на этом уровне быстродействия.

4.10 Сложности практической реализации

Сети хранения данных на основе Fibre Channel эмулируют прямое подключение устройства хранения данных к серверу, даже если устройство на самом деле подключено через коммутатор. Таким образом, в контексте Windows доступ к устройствам Fibre Channel осуществляется с помощью драйверов SCSIPort или Storport, описанных в главе 2. Таким образом, особенности работы с хранилищем, подключенным непосредственно к серверу (DAS), имеют отношение и к SAN.

Новая модель драйверов Storport предоставляет массу функциональных возможностей, включая оптимизацию ввода-вывода и управление пропускной способностью сети, однако системные администраторы и ответственные лица в информационных отделах компаний должны обратить внимание на тот факт, что модель драйверов Storport поддерживается исключительно в Windows Server 2003. Принявшим решение об использовании платформы Windows стоит изучить планы поставщика устройств хранения данных относительно перехода на модель Storport. В то же время необходимо обратить внимание на реализацию поддержки этих устройств на базе платформы Windows 2000, включая подробности реализации драйвера устройства. Это особенно важно для определения адекватности пропускной способности устаревающей модели драйверов SCSIPort, если поставщик будет продолжать ее применение. Кроме того, необходимо узнать, предоставляет ли поставщик собственную архитектуру SAN, без модели драйверов SCSIPort, а также сертифицировано ли это решение и поддерживается ли оно всеми заинтересованными сторонами. Наконец, обратите внимание на планы поставщика по переходу на модель драйверов Storport для Windows Server 2003.

Маскировка LUN на данный момент не поддерживается в продаваемых версиях Windows, причем выпуск Windows Server 2003 не изменил ситуации. Прежде чем приобретать новое программное и аппаратное обеспечение, выясните, какую технологию использует поставщик для реализации маскировки LUN и насколько она подходит для работы в среде Windows.

4.11 Резюме

Сети хранения данных Fibre Channel составляют существенную часть корпоративных подсистем хранения данных. Технология Fibre Channel может внедряться в виде недорогих конфигураций на основе кольца или на базе набирающей популярность топологии коммутируемой связной архитектуры.

Операционная система Windows Server 2003 поддерживает устройства Fibre Channel с помощью драйвера Storport, предоставляемого поставщиком аппаратного обеспечения. Поставщик вместо этого может предоставить ми- ни-драйвер порта SCSI, но в таком случае преимущества драйвера Storport (например, повышенная производительность и обработка ошибок) окажутся недоступными для пользователей. Операционная система Windows 2000 и предыдущие ее версии поддерживают устройства Fibre Channel посредством мини-драйвера SCSIPort, предоставляемого поставщиками аппаратного обеспечения.

Несмотря на то что Windows NT поддерживает технологию маскировки LUN и зонирования, базовая поддержка маскировки LUN в Windows NT отсутствует. Маскировка LUN в Windows NT может быть реализована в драйвере от поставщика аппаратного обеспечения.

Примечания:

ISO - International Organization for Standardization (Международная организация по стандартизации);

OSI - Open System Interconnection (взаимодействие открытых систем).

В настоящий момент существует несколько различных физических стандартов, и тот факт, что используется лишь три базовых типа кабелей (медные, одно- и многомодовые), не означает наличия трех типов физических разъемов. Кроме того, эти типы применяются и в других интерфейсах, например Gigabit Ethernet.

В корпоративном сегменте для подключения СХД применяются четыре основных интерфейса, предоставляющих блочный доступ: SAS, iSCSI, FC и FCoE. Каждый их них обладает своими преимуществами и недостатками, и рекомендуется к использованию в определенных сценариях.

SAS (Serial Attached SCSI)

Текущая реализация в СХД: 4 канала по 12Gbps, разъем SFF-8644.

Плюсы:

• Цена . Совокупная стоимость решения на базе СХД с интерфейсом SAS, включая контроллеры для серверов и SAS кабели, является невысокой, а в случае высоконагруженных инсталляций — самой дешевой среди всех интерфейсов.
• Высокая скорость . В каждом кабеле проходят четыре независимых линии по 12Gbps, что дает общую пропускную способность в 48Gbps при четырех и более одновременных потоках.
• Низкая латентность . Среди всех интерфейсов именно SAS демонстрирует наименьшие задержки.

Минусы:

• Ограничение по количеству хостов . Современные СХД с интерфейсом SAS позволяют подключить не более 8 серверов (не более 4 с дублированием путей доступа).
• Ограничение по расстоянию . Типовые SAS кабели имеют длину 2-5 м (в исключительных случаях можно найти дорогостоящие кабели длиной максимум до 10-15 м), что заставляет размещать серверы и СХД в пределах одной или соседних стоек.
• Отсутствие коммутаторов . Направление SAS коммутации не развивается уже несколько лет, существующие на рынке коммутаторы не совместимы с современным оборудованием и ПО, и мы крайне не рекомендуем их рассматривать для новых инсталляций.

В качестве первой СХД с интерфейсом SAS идеальны для компаний, в которых планируется подключать 2-3 сервера и можно спрогнозировать расширяемость на ближайшие 3-5 лет (рекомендуемый срок жизни СХД) до суммарно не более 8 серверов. В случае значительного расширения ИТ-инфраструктуры можно будет приобрести еще одну СХД или провести апгрейд с заменой интерфейсных контроллеров.

SAS также востребован в небольших кластерах отказоустойчивости.

iSCSI (Internet Small Computer System Interface)

Текущая реализация в СХД: 1/10GBase-T (в медной среде) и 10GbE SFP+ (в оптической среде).

Плюсы медного 1/10GBase-T:

• Цена . Самая низкая стоимость базового решения - в любом сервере есть гигабитный Ethernet, не нужно никаких особых адаптеров и кабелей; простейшие коммутаторы обычно уже есть в компании.
• Простота внедрения . Знакомая для любого администратора архитектура, не требующая специфических знаний и навыков, зачастую является решающим фактором при выборе первой СХД.

Минусы медного iSCSI 1/10GBase-T:

• Высокая латентность . Медленный интерфейс с самыми большими задержками.
• Низкая скорость интерфейса 1GBase-T . Скорость интерфейса в 1Gbps не удовлетворяет требованиям большинства сегодняшних нагрузок.

Плюсы оптического iSCSI:

• Простота внедрения . Во многих компаниях уже существует инфраструктура под оптический Ethernet. Техническим специалистам не требуется дополнительно вникать в эту среду, высокая степень совместимости с уже имеющимся оборудованием делает данный вариант очень популярным.
• Удобство подключения . СХД с 10-гигабитной оптикой также хорошо себя показывает при прямом подключении. В этом случае получаем приемлемую латентность, достаточную производительность.
• Большие расстояния . Оптические интерфейсы позволяют строить территориально распределенные решения на расстоянии до нескольких километров.

Минусы оптического iSCSI:

• Высокая стоимость решения на большое количество подключений . При большом количестве подключений (более 8-10) с высокой нагрузкой (БД, VDI и др.) средние коммутаторы перестают справляться и появляется проблема узкого горлышка. В этом случае потребуется приобретать высокопроизводительный коммутатор (при отказоустойчивом подключении - два), который сможет обеспечить работу СХД. Стоимость каждого будет сопоставима с ценой СХД, что нивелирует все начальные преимущества кажущейся дешевизны.

СХД с оптическим 10GbE является удобным решением для большинства задач. Однако, следует закладывать достаточный бюджет на сопутствующую инфраструктуру.

FC (Fibre Channel)

Текущая реализация в СХД: 16Gbps, разъем SFP+.

Плюсы:

• Удобство использования . Все оборудование FC совместимо между собой, доставка пакетов гарантируется стандартом, латентность минимальная. Администрирование FC коммутации в большинстве случаев удобнее, чем IP-инсталляций аналогичных размеров.
• Высокая скорость . Все подключенные каналы линейно агрегируются, за счет чего всегда можно увеличить линейную скорость.
• Большие расстояния . Протокол FC позволяет строить решения на больших расстояниях.
• Построение решений на большое количество подключений. При количестве подключений к СХД более 8-10, решения на базе FC выигрывают по цене и производительности у других протоколов.

Минусы:

• Незнакомая архитектура . Fibre Channel может отпугивать тех, кто ранее не сталкивался с данным протоколом.
• Порог вхождения . Цена начального приобретения решения на базе протокола FC несколько выше, чем на iSCSI.

Прокол Fibre Channel был специально разработан для сетей хранения данных, является оптимальным по совокупности параметров цена/удобство/скорость и рекомендуется для подключения блочных СХД для любых задач, особенно требующих высоких скоростей (биллинг, базы данных и пр.)

При стремительном росте ИТ-инфраструктуры является оптимальным выбором, т.к. позволяет разделить сеть хранения и локальную сеть для лучшего управления настройками безопасности.

FC является самым надежным, наименее проблемным и хорошо зарекомендовавшим себя протоколом, поэтому является рекомендуемым в корпоративном и банковском секторе.

FCoE (Fibre Channel over Ethernet)

Текущая реализация в СХД: 10Gbps, разъем SFP+.

Плюсы:

• Удобство управления и надежность . FCoE, являясь конвергентным протоколом, сочетает в себе все преимущества удобства управления от протокола iSCSI и при правильной сетевой инфраструктуре надежность протокола FC.
• Универсальность . Позволяет через единый порт одновременно передавать пакеты FC и Ethernet, что позволяет универсализировать доступ к сетевым устройствам.

Минусы:

• Цена . Коммутаторы, интерфейсные карты и в целом решения на базе FCoE являются самыми дорогими.
• Сложность внедрения . Для того, чтобы воспользоваться преимуществами данного протокола, необходимо правильно настроить сетевые параметры, что немного сложнее, чем в стандартных Ethernet сетях с IP роутингом.

Интерфейс FCoE может быть интересен только для больших инсталляций (например, с блейд-серверами) и, несмотря на множество положительных отзывов, мало распространен.

Большинство вендоров поддерживают мультипротокольное подключение к дисковым массивам, позволяя одновременно подключаться по нескольким интерфейсам сразу. Приобретение такой системы обходится немного дороже, зато избавляет от дальнейших расходов в случае изменения требований, решаемых задач или архитектуры доступа к данным.

В 2017 году ожидаются поставки СХД со следующими поколениями интерфейсов: FC 32Gbps SFP+, iSCSI/FCoE 25Gbps SFP+/40Gbps QSFP+. Использование обновленных версий протоколов сохранит баланс текущих плюсов и минусов.

Прежде чем говорить об аппаратном обеспечении и SAN, нужно всё-таки начать с того, что из себя SAN представляет в принципе, откуда он появился и почему.

Когда то давно, на заре компьютерной эры, внешние устройства хранения обычно подключались напрямую к серверам (DAS - Direct-attached storage), используя SCSI, но из-за крайне стремительного роста требования к системам хранения данный подход стал слишком неэффективным. Для изменения конфигурации хранилища, подключенного по технологии DAS требовало физического отключения сервера, построение отказоустойчивых систем то же было затруднительно ввиду необходимости иметь физическое подключение всех серверов ко всем устройствам хранения, а жёсткие ограничения по максимальному расстоянию между устройствами делали подобные расширения порой слишком сложными, да и производительность SCSI оставляла желать лучшего. Изменение подхода к подключению внешних хранилищ позволило получить следующие преимущества:

• Изменение конфигураций хранилищ не затрагивает работу серверов и сервисов
• Расстояние между устройствами позволило строить катастрофоустойчивые хранилища, расположенные на удалённых площадках
• Любой сервер может получить доступ к любому устройству хранения в SAN сети

Обычно говоря SAN подразумевают сети на безе протокола Fibre Channel, но стоит отметить что протокол iSCSI позволяет строить аналогичные по своим характеристикам сети, основанные на IP сетях. Изначально, переход от SCSI к Fiber Channel был обусловлен желанием увеличить расстояние подключения, а не пропускную способность. Первая версия протокола, появившаяся в 1997 году, предоставляла скорость в 1Gb/s. Каждая новая версия прокола, постоянно "удваивает" скорость предыдущего поколения. На данный момент, актуальным является 6 поколение протокола, работающего на скорости 32/128Gb/s.

Fibre channel, как сетевой протокол, состоит из нескольких уровней:
FC-0 Физический : в котором описывается среда передачи данных, характеристики кабелей, трансиверов, HBA. Физические и электрические характеристики, скорость передачи данных.
FC-1 Кодирование : описывает как данные будут кодироваться/декодироваться (8/10 или 64/66) для передачи
FC-2 Кадрирование и сигнализация : определяет структуру передаваемой информации, занимается контролем целостности данных и управляет непосредственно передачей данных. На этом уровне происходит разбиение потока данных на кадры и сборка кадров. Определяет правила передачи данных между двумя портами, классы обслуживания.
FC-3 Общий для узла служб : заложен для нового функционала, который может быть реализован в протоколе, но на данный момент этот уровень не используется
FC-4 Отображения протоколов : описывает протоколы, которые для своей работы могут использоваться FC: проброс SCSI (SCSI-FCP) или TCP/IP (FC-LE)

Так же как и в сетевом протоколе, любое устройство в SAN сети имеет собственный уникальный 64-разряднй идентификатор - WWN, задаваемый производителем (аналогия с MAC-адресом сетевого устройства), так же каждое устройство получает 24-х битный адрес в сети, который дается при подключении устройства. Основой SAN сети является Фабрика - совокупность всех подключенных к сети устройств. Стоит отметить, что фабрика сама по себе является единой точкой отказа, по этому в SAN сетях нормальной практикой является построение нескольких параллельных фабрик (обычно двух), которые являются зеркальным отражением друг друга. Это позволяет строить отказоустойчивые решения. Хотя порой фабрики могут и отличаться (к примеру, дублируется подключение только критически важных систем) - всё зависит от возлагаемых на них задач.

Основой передачи данных в FC сетях является кадр. Кадр содержит в себе не только данные, но и заголовок, которые описывает служебную информацию из разряда - "откуда-куда", а так же разделите, указывающие на качало и конец фрейма.

Start of Frame - 4 байта - идентификатор начала фрейма.
Header - 24 байта - заголовок. Содержит такую информацию как адрес источника и приёмника, тип фрейма, номер последовательности и порядковый номер фрейма в ней и прочая служебно-контрольная информация.
Data - 0-2112 байт - непосредственно данные.
CRC - 4 байта - контрольная сумма.
End of Frame - 4 байта - идентификатор конца фрейма.

Последовательность представляет собой набор кадров, которые передаются из одной точки в другую. Для исправления возможных ошибок каждый кадр содержит уникальный счетчик последовательности. Исправление ошибок осуществляется протоколом более высокого уровня, обычно на уровне FC-4. Несколько последовательностей составляют обмен (exchange). Обмены представляют собой последовательности двусторонних направлений; т.е. в обмен входят последовательности данных, передающихся в разных направлениях, хотя каждая последовательность передается только в одном направлении. При каждом обмене только одна последовательность может быть активна в текущий момент времени. Но, так как одновременно могут быть активны несколько обменов, различные последовательности из этих обменов также могут быть активны одновременно. Каждый обмен выполняет одну функцию, например реализует команду SCSI Read.

Типы портов :
Порты узлов :
N_Port (Node port), порт устройства с поддержкой топологии FC-P2P («Точка-Точка») или FC-SW (с коммутатором).
NL_Port (Node Loop port), порт устройства с поддержкой топологии FC-AL (arbitrated loop - управляемая петля).

Порты коммутатора/маршрутизатора (только для топологии FC-SW) :
F_Port (Fabric port), порт «фабрики» (switched fabric - коммутируемая связная архитектура). Используется для подключения портов типа N_Port к коммутатору. Не поддерживает топологию петли.
FL_Port (Fabric Loop port), порт «фабрики» с поддержкой петли. Используется для подключения портов типа NL_Port к коммутатору.
E_Port (Expansion port), порт расширения. Используется для соединения коммутаторов. Может быть соединён только с портом типа E_Port.
EX_port порт для соединения FC-маршрутизатора и FC-коммутатора. Со стороны коммутатора он выглядит как обычный E_port, а со стороны маршрутизатора это EX_port.
TE_port (Trunking Expansion port (E_port)) внесен в Fibre Channel компанией CISCO, сейчас принят как стандарт. Это расширенный ISL или EISL. TE_port предоставляет, помимо стандартных возможностей E_port, маршрутизацию множественных VSANs (Virtual SANs). Это реализовано применением нестандартного кадра Fibre Channel (vsan-тегирование).

Общий случай :
U_Port (Universal port), порт, который ещё не определился в каком режиме он работает. Обычно после инициализации становится F_Port или E_Port.
L_Port (Loop port), любой порт устройства с поддержкой топологии «Петля» - NL_port или FL_port.
G_port (Generic port), порт с автоопределением. Автоматически может определяться как порт типа E_Port, N_Port, NL_Port.

SAN состоит из :

• Узлы, ноды
  • Дисковые массивы (системы хранения данных)
  • Серверы
  • Ленточные библиотеки
• Сетевая инфраструктура
  • Коммутаторы (и маршрутизаторы в сложных и распределённых системах)
  • Директоры - многопортовые модульные коммутаторы с высокой степенью доступности.
  • Выделенные коммутаторы (standalone switches) - коммутаторы с фиксированным количеством портов.
  • Стэкируемые коммутаторы (stackable switches) - коммутаторы, имеющие дополнительные высокопроизводительные порты для связи независимых шасси между собой.
  • Встраиваемые коммутаторы (embedded switches) - коммутаторы, встраиваемые в блейд-корзину, где есть разделение портов на функции (порты, предназначенные для подключения blade-серверов, не могут быть использованы для межкоммутаторных соединений).

Сердцем оборудование для SAN сетей является ASIC (application specific integrated circuit) - специализированная схема, разработанная компанией Brocade для возможности реализации большей части функционала оборудования на аппаратном уровне, что в итоге приводит к более высокой производительности и надёжности. Именно использование ASIC позволяет удерживать столь низкие задержки в SAN-сетях.

Он обеспечивает плавный переход между FC-0 и FC-1, занимаясь:

• Encoder / Decoder - обеспечивает кодирование каждых 8 бит передаваемых данных в 10-битное представление. И декодирование обратно принимаемых данных.
• SERDES (Serializer / Deserializer) - преобразует параллельный поток 10-битных порций данных в последовательный поток 10-битных порций данных.
• Transceiver - преобразует электрические импульсы в световые сигналы.

ASIC обслуживает сами порты, при этом - ОС коммутатора работает на отдельных чипах, по этому при обновлении прошивки коммутатора у вас нет недоступности. На момент перезагрузки ОС - ASIC продолжает обслуживать текущие соединения, но блокирует установление новых. Подробнее об этом мы поговорим 6 части материала.

И раз уж на картинке выше у нас есть SFP:
SFP - это отдельные модули, необходимые для подключения кабеля к порту, но о них подробнее, о их типах и различиях я буду говорить в следующих материалах.

Я очень надеюсь что всё что я смог выжать из себя сегодня - удобоваримо и понятно для читателя. Ведь без основ двигаться дальше очень сложно, с точки зрения понимания процессов работы системы. Лично для меня - теория всегда была самой сложной частью. Не все вещи можно просто понять, как "трава зелёная", некоторые вещи нужно просто принять и запомнить как они работают.

Работа над стандартами протокола Fibre Channel началась еще в 1988 году. Первый стандарт американского института стандартов (American National Standards Institute - ANSI) был одобрен в 1994 году и назван стандартом FC-PH (ANSI Х3.230:1994). в качестве транспортного протокола первоначально разрабатывался для того, чтобы устранить недостатки современной параллельной инфрастуктуры Small Computer System Interface (SCSI), а также обеспечить более высокую скорость и большие возможности масштабирования. Хотя по протоколу Fibre Channel могут передаваться и данные других протоколов более высоких уровней, включая протоколы Intelligent Peripheral Interface (1PI), High-Performance Parallel Interface (HIPPI), IP и IEEE 802.2, однако в настоящее время он используется в первую очередь для передачи наборов команд и данных протокола SCSI. Организацией стандартов ANSI Tl I протокол Fibre Channel определяется как протокол, использующий модель уровневых служб. Спецификация ANSI FC-PH Physical and Signaling Interface определяет модель уровневых служб протокола Fibre Channel как показано на рис. 55.3.

Рис. 55.3. Модель уровневых ыужб

Каждый уровень этой модели определяет некоторый набор служб, каждый из которых опирается на работу нижнего по отношению к нему уровня и обслуживает вышележащий уровень. Из рисунка также видно, что протокол Fibre Channel разработан для поддержки нескольких протоколов верхнего уровня. Однако в настоящее время он в первую очередь используется в качестве транспортного протокола для передачи данных протокола SCSI-3.

В приведенном ниже списке описаны все уровни, показанные на рис. 55.3.

FC-0. Уровень FC-0 определяет спецификации физического интерфейса для различных сред передачи и связанных с ними приемников и передатчиков. В качестве передающих сред используются различные типы медных и оптоволоконных кабелей, а также поддерживаемые ими скорости передачи. На уровне FC-0 определяются также виды разъемов (штекеры и розетки), типы кабелей, уровни сигнализации носителя и соответствующие скорости.

FC-1. На этом уровне определяются три первичные функции. Первая из них состоит в кодировании и декодировании потоков данных. На уровне FC-1 определена схема кодирования 8В/10В, которая связывает между собой символы данных и соответствующие биты синхронизации. Второй функцией уровня FC-1 является управление упорядоченными наборами. Упорядоченные наборы представляют собой уникальные слова передачи, которые поддерживают синхронизацию канала и управляющие протоколы. Примером упорядоченных наборов, управляемых уровнем FC-1, являются ограничители фреймов. Третьей функцией уровня FC-1 является управление протоколами канального уровня и состояниями, такими как активное состояние, состояние отключения от сети (offline), сбой в канале и состояние восстановления канала.

FC-2. Уровень FC-2 является ответственным за выполнение функций, связанных с установкой и поддержкой связи между двумя портами. Эти функции включают в себя выполнение процедуры login для порта, проведение сеанса обмена (коммуникационный элемент в SAN-сетях протокола Fibre Channel) и связанных с ним процедур упорядочивания фреймов, управление потоками, а также обнаружение ошибок и их устранение. Все эти функции будут более подробно описаны ниже. Уровень FC-2 также определяет все используемые в протоколе Fibre Channel форматы фреймов данных и управляющих фреймов.

FC-З.Уровень FC-3, уровень общих служб (Common Services), в целом является базой для будущих усовершенствованных служб, общих для нескольких портов узла. Такие службы FC-3 (некоторые из которых уже были разработаны, по пока редко используются) включают в себя службы многоадресатной рассылки, сжатие и стековую организацию службы запроса соединения.

FC-4. Уровень FC-4 определяет, каким образом данные различных протоколов преобразуются в форматы протокола Fibre Channel. Эти протоколы более высокого уровня включают в себя протоколы SCSI-3, IP, протокол виртуального интерфейса (virtual interface - VI) и некоторые другие. Команды, данные и состояния каждого из этих протоколов преобразуются в информационные блоки, передаваемые по протоколу Fibre Channel.

В следующем разделе протокол Fibre Channel рассматривается более подробно.

Топологии протокола Fibre Channel

SAN-сеть протокола Fibre Channel может состоять из нескольких сетей с различными топологиями, такими как топология коммутируемых структур, топология конкурентной петли или сеть с соединениями типа "точка-точка". Каждая из этих топологий определяет связанные с ней режимы портов Fibre Channel, которые должны поддерживаться находящимся в ней устройствами.

Топология сети с соединениями типа "точка-точка"

Топология типа "точка-точка " используется в первую очередь для непосредственного подсоединения станции к дисковому или ленточному накопителю. Она обеспечивает большую полосу пропускания, чем параллельное соединение SCSI, но ее применение ограничено связью между двумя устройствами. Эта топология уступает место другим, более ориентированным на сетевое применение топологиям, позволяющим соединить несколько устройств в сеть или объединить их в структуру.

Топология конкурентной петли

Широко применяемой, но постепенно устаревающей является топология конкурентной петли. Конкурентная петля (arbitrated loop) представляет собой логическую петлю, включающую в себя до 126 устройств Fibre Channel, которые оспаривают между собой право на передачу данных. Такая петля обычно реализуется с использованием концентратора Fibre Channel для кабельного управления, в результате чего образуется физическая звездообразная топология. Все устройства такой петли совместно используют доступную полосу пропускания. Например, дисковые накопители Fibre Channel обычно объединяются в небольшие конкурентные петли в подсистемах дисковых накопителей большего размера. Преимуществом конкурентной петли является возможность соединения между собой нескольких устройств.

Частные петли

Прежние типичные топологии в целом называются топологиями частной петли (private-loop topologies), поскольку все устройства такой петли понимают только 8-битовый логический адрес других устройств данной локальной петли. Такая схема адресации не позволяет устройствам петли обращаться к устройствам других петель. Более современные реализации петель, называемые публичными петлями, поддерживают полные 24-битовые иерархические адреса, что позволяет устройствам одной петли осуществлять связь с устройствами других петель. Вследствие этого при реализации публичной петли несколько конкурентных петель могут быть соединены между собой с использованием коммутируемой структуры.

Топология коммутируемых структур

В настоящее время предпочтительной топологией в сетях Fibre Channel является топология коммутируемых структур (switched-fabric topology.).Она объединяет лучшие качетсва прежних топологий в отношении количества соединений и доступной полосы пропускания. Топология коммутируемых структур предоставляет возможности, аналогичные тем, которые имеются в коммутируемых сетях Ethernet/IP.

Коммутаторы Fibre Channel объединяются в структуры и используют 24-битовый идентификатор Fibre Channel ID (FC ID) для маршрутизации (пересылки) фреймов внутри структур от одного коммутатора к другому. Структура протокола Fibre Channel может включать в себя до 239 коммутаторов, каждый из которых может иметь порты до 64 Кбит/с. Каждый из портов коммутатора Fibre Channel может предоставлять каждому подсоединенному устройству полосу пропускания шириной до 1 или 2 Гбит/с. Коммутируемая структура также включает в себя ряд распределенных служб, таких как службы маршрутизации структур, службы имен и службы безопасности. На рис. 55.4 показаны три из описанных выше четырех топологий.

Типы портов протокола Fibre Channel

Fibre Channel представляет собой ориентированный на соединение протокол. Это означает, что узлы (nodes) перед обменом данными должны установить между собой канал связи посредством процедуры login. Соединение устанавливается между логическими элементами (logical elements), иначе называемыми портами (ports), которые логически связываются с существующими физическими устройствами. Порты могут принадлежать к различным типам, в зависимости от физического устройства и топологии соединений.

Тип порта определяется в результате автоматического обсуждения того, к какому устройству или топологии они принадлежат. Однако пользователь может ограничить возможные режимы портов, которые будут обсуждаться.

Рис. 55.4. Топологии протокола Fibre Channel

В приводимом ниже списке перечислены все стандартные и некоторые нестандартные типы портов, используемые в SAN-сетях протокола Fibre Channel.

N_Port. Базовым типом порта является N_Port, или порт узла. Все обмены данными в сетях Fibre Channel происходят между портами типов N_Port или NL_Port. Порт N_Port находится на конечном устройстве, подсоединенном к сети с топологией "точка-точка" или с топологией коммутируемой структуры. На одном физическом устройстве могут существовать несколько портов N_Ports.

NL_Port. Порты узлов, находящиеся в конечных устройствах, подсоединенных к сети конкурентной петли, называются портами узловой петли или портами NL_Port.

F_Port. В коммутируемой структуре порты коммутатора, непосредственно подсоединенные к конечным устройствам (порты N_Port), называются портами структур или портами F_Port.

FL_Port. Порты в коммутируемой структуре, подсоединенные к публичной конкурентной петле, называются портами структурной петли или портами FL_Port. Используя порты типа FL_Port публичные конкурентные петли могут быть соединены между собой с образованием топологии коммутируемой структуры. Порты FL_Port подсоединяются к петлям портов NL_Ports.

E_Port. При соединении двух коммутаторов протокола Fibre Channel результирующий режим порта становится портом расширения или портом типа E_Port. Образовавшийся канал между двумя коммутаторами называется межкоммутаторным каналом (Inter-Switch Link - ISL). Порты E_Ports подсоединяются только к аналогичным портам E_Port.

B_Port. Мостовой порт или B_Port не является типовым портом. Такой порт расширяет межкоммутаторный канал Fibre Channel 1SL через порт иного типа, чем порт Fibre Channel. Порты типа B_Ports подсоединяются только к портам E_Ports и принимают участие только в базовом наборе канальных служб. Расширители каналов на IP-сети обычно используют интерфейс портов B_Port для расширения канала Fibre Channel ISL на IP-сеть.

TE_Port. Специальным режимом порта, обсуждаемым между двумя многоуровневыми коммутаторами Cisco MDS 9000, является порт магистрального расширения или TE_Port. Такой порт является надстройкой или расширением порта типа E_Port; это означает, что специальный теговый механизм поддерживает способность виртуальной SAN-сети создавать многочисленные логические структуры поверх обшей физической структуры. Порты TE_Port могут быть подсоединены только к аналогичным портам TE_Ports.

TL_Port. Порты трансляционной петли или порты TL_Port соединяют частные петли с публичными петлями или с коммутируемыми структурами. Порт TL_Port выполняет функции адресного прокси-сервера для устройств конкурентной петли. Функция трансляционной петли полезна при использовании прежних устройств протокола Fibre Channel, которые не поддерживают публичную адресацию.

GL_Port. Порт общей петли или порт GL_Port в действительности не является обсуждаемым режимом, а скорее отражает возможность порта. Порт, который может обсуждать режимы портов типов F_Port, FL_Port и E Port называется портом GL_Port.

На рис. 55.5 показаны режимы соединений и возможности их использования.

Коммуникационная модель протокола Fibre Channel

В протоколе Fibre Channel используется методология соединения, которая требует, чтобы перед обменом данными между двумя устройствами между ними был установлен канал. Процесс установки канала включает в себя несколько этапов. После того, как канал установлен, обмен данными между конечными устройствами происходит согласно иерархической модели. Ниже приведены основные этапы установки связи между двумя устройствами, принадлежащими к различным топологиям протокола Fibre Channel. Для простоты некоторые несложные этапы опущены.

Рис. 55.5 Режимы соединений протокола Fibre Channel

Для соединений типа "точка-точка":

Этап 1. Устройства, принадлежащие сети с конфигурацией типа "точка-точка", ведут себя как два устройства, принадлежащие к частной конкурентной петле. Такие устройства сначала должны выполнить процедуру инициализации петли (loop initialization procedure - LIP) для определения того, принадлежат ли они к сети с конфигурацией типа "точка-точка" или к сети конкурентной петли.

Этап 2. Один порт NL Port открывает канал к другому порту NL_Port.

Этап 3. Порты могут обмениваться данными.

Для конкурентной петли:

Этап 1. Устройства, подсоединенные к конкурентной петле, должны выполнить процедуру LIP для получения физического адреса конкурентной петли (Arbitrated Loop Physical Address - AL_PA), т.е. 8-битового адреса, используемого для коммуникации с другими устройствами сети. Во время этого процесса порт NLPort выясняет, имеется ли в петле порт типа FLPort, присутствие которого делает ее публичной петлей. F-сли порт FLPort отсутствует, то петля является частной.

Этап 2. Один порт типа NL_Port конкурирует за доступ к петле для осуществления связи с другим портом NL Port.

Этап 3. После того, как получено право на доступ, порт NL Port открывает соединение с другим портом NL Port (или с портом FL Port, если осуществляется связь с устройством коммугируемой структуры).

Этап 4. Порты могут начать обмен данными друг с другом.

Для коммутируемой структуры:

Этап 1 Устройства, подсоединенные к коммутируемой структуре, должны выполнить процедуру login входа в структуру (fabric login procedure - FLOGI) для получения адреса протокола Fibre Channel (Fibre Channel address (FC_ID), представляющего собой 24-битовый адрес, используемый для связи с другими устройствами коммутируемой сети.

Этап 2. Один порт N Port должен выполнить процедуру log in для получения доступа к другому порту N_Port или порту NL Port, с которым он будет осуществлять связь. Выполнение портом этой процедуры (port login procedure - PLOGI) выполняется для установки канала с целевым устройством.

Этап 3. Порты могут осуществлять взаимный обмен данными.

Сразу после установки канала связи между двумя устройствами протокол Fibre Channel строго следует коммуникационной модели, включающей в себя иерархию структур данных. На вершине этой иерархии находится обмен. Как правило, обмен протокола Fibre Channel преобразуется в команду протокола более высокого уровня, такую, например, как команда read протокола SCSI-3. Каждый обмен состоит из ряда однонаправленных предложений. В свою очередь каждое предложение состоит из нескольких пронумерованных фреймов, которые перемещаются от источника к получателю. Между двумя устройствами могут быть открыты несколько обменов, каждый из которых имеет свой набор идентификаторов ID инициатора обмена (originator exchange ID - OXID) и идентификаторов ID ответчика обмена (responder exchange ID - RX_ID). На рис. 55.6 показана эта иерархическая связь и приведен пример простого обмена по протоколу SCSI-3.

Рис. 55.6. Пример SCSI-обмена в сети протокола Fibre Channel

Адресация протокола Fibre Channel

В протоколе Fibre Channel имеется два типа адресов, которые используются для идентификации устройства или порта коммутатора. Первым типом является уникальный глобально назначаемый адрес, называемый мировым именем (worldwide пате - WWN). Адрес WWN назначается производителем и его глобальная уникальность гарантирована. Эта ситуация аналогична использованию МАС-адресов Ethernet-устройств.

Вторым типом адреса, используемым в протоколе Fibre Channel, является динамически назначаемый иерархический адрес, который позволяет целенаправленно пересылать фрейм от одного устройства к другому. Этот адрес называется идентификатором протокола Fibre Channel (Fibre Channel ID - FC_ID). В сети Fibre Channel идентификатор FC_ID преобразуется в адрес WWN, так что инициаторы могут использовать WWN для контакта с устройством, а затем этот адрес транслируется в FC_ID для осуществления связи. Адрес FCJD, назначаемый устройству, зависит от типа топологии.

Топология "точка-точка". Соединения "точка-точка" в действительности реализуются как частная петля между двумя устройствами. Поскольку устройства находятся в частной петле, они используют только 8-битовый адрес AL_PA. Этот адрес находится в диапазоне от 0x00000 lh to 0x0000Efh.

Конкурентная петля. Конкурентные петли могут быть реализованы как частные или публичные петли, чем и определяется тип используемого адреса. В топологии частной петли стандартный адрес AL_PA назначается аналогично тому, как это делается в топологии "точка-точка". Каждому устройству частной петли назначается адрес из диапазона от 0x000001h до 0x0000Efh (однако в одной конкурентной группе могут находиться не более 126 устройств).

Публичная петля. Публичная петля содержит один или более портов FL_Ports, которые действуют как шлюзы в коммутируемую структуру. Как таковой, назначенный устройству публичной петли адрес содержит полный 24-битовый адрес. Первый октет представляет собой идентификатор домена Domain_ID, назначенный коммутатору. Второй октет идентифицирует конкретную петлю на коммутаторе. Третий октет используется для адреса AL_PA, назначаемого устройствам этой петли. Порт FL_Port всегда имеет адрес AL_PA, равный OxOOh. Следовательно, реальный диапазон адресов для устройств публичной конкурентной петли представляется в виде Oxddllaa, где dd - идентификатор DomainJD подсоединенного коммутатора из диапазона от OxOlh до OxEFh (от 1 до 239), //- идентификатор петли из диапазона от OxOOh до OxFF, а аа- адрес AL_PA из диапазона от 0x0lh до OxEFh, где адрес OxOOh зарезервирован для порта FL_Port.

Коммутируемая структура. Адрес коммутируемой структуры основан на идентификаторе FC_ID, который использует полный 24-битовый адрес. Каждому коммутатору в коммутируемой структур назначается один или более идентификаторов Domain_ID. Этот DomainJD можно рассматривать как префикс маршрутизации, который используется коммутатором для пересылки фреймов устройствам, подсоединенным к другим коммутаторам. Первым октетом идентификатора FC_ID является Domain_ID. Он находится в диапазоне от OxOlh до OxEFh. Второй и третий октеты FCJD коммутируемой структуры называются идентификаторами зоны AreaJD и порта Port_ID, соответственно. Эти компоненты FCJD должны быть локально уникальными для каждого коммутатора.

Однако при идентификации устройств конечной структуры они используются по разному различными производителями коммутаторов. Некоторые производители располагают эти компоненты на основе физического порта, к которому подсоединено конечное устройство. Другие производители располагают их по принципу "первым пришел - первым обслужили". Стандарт не определяет правила размещения этих компонент адреса. Однако диапазоном действительности для этих адресов является диапазон от OxOOOOh до OxFFFFh.

15 табл. 55.1 обобщены различные модели FCID, их диапазоны адресов и ограничения.

Табл. 55.1. Модели и ограничения идентификатора FCJD

Формат фрейма протокола Fibre Channel

Фрейм протокола Fibre Channel имеет стандартную структуру, показанную на рис. 55.7.

Рис. 55.7. Формат фрейма в протоколе Fibre Channel

Размер фрейма Fibre Channel находится в диапазоне от 36 до 2148 байтов, в зависимости от размера полезной нагрузки. Ниже приведено описание основных полей фрейма Fibre Channel.

Поле IDLE IDLE используется для синхронизации и выравнивания слов у передатчика и приемника. Поля IDLE указывают на готовность к передаче и постоянно передаются, если другие данные для передачи отсутствуют. IDLE фактически представляет собой 4-байтовый упорядоченный набор (ordered set), который передается от одного устройства другому. В соответствии со стандартами Fibre Channel каждый передаваемый фрейм должен содержать шесть упорядоченных наборов, которые часто имеют поле IDLE, расположенное во фрейме

последним. Каждый получаемый фрейм должен быть заполнен как минимум двумя упорядоченными наборами.

Поле SOF Поле начала фрейма (Start of Frame) представляет собой 4-байтовый упорядоченный набор (ordered set), который непосредственно предшествует контенту (полезной нагрузке) фрейма. Поле SOF также указывает класс принимаемого фрейма.

Frame header (заголовок фрейма) Заголовок фрейма имеет размер 24 байта и состоит из нескольких управляющих (контрольных) полей. Заголовок фрейма включает в себя такие поля, как FC_ID источника, FC_ID получателя, ID обменов, управление маршрутизацией и несколько других параметров. Полностью структура заголовка фрейма в протоколе Fibre Channel показана на рис. 55.8.

Data field (Поле данных) Поле данных состоит из реальных данных протокола более высокого уровня. Оно может иметь длину от 0 до 2112 байтов.

CRC (Cyclical Redundancy Check) Циклический контроль избыточности. Это поле имеет длину 4 байта и используется для проверки целостности фрейма. При вычислении значения этого поля используются только заголовок фрейма и поле данных (Data field).

EOF (End of Frame) Поле конца фрейма представляет собой 4-байтовый упорядоченный набор, который непосредственно предшествует содержимому фрейма. Поле EOF также указывает классе фрейма Fibre Channel.

Рис. 55.8 Формат заголовка фрейма Fibre Channel

Ниже приводится краткое описание всех полей заголовка фрейма Fibre Channel.

R_CTL (Routing Control) Поле управления маршрутизацией содержит два 4-битовых подполя: подполе типа маршрутизации и информационное подполе. Биты маршрутизации дифференцируют фреймы в соответствии с функцией или службой, например, фреймы данных отличаются от фреймов управления каналом, содержащих команды или состояния.

D_ID Fibre Channel ID (FC_ID) Идентификатор Fibre Channel получателя (3 байта)

CS_CTL (Class-Specific Control) Поле управления в зависимости от класса (Class-Specific Control), размером 1 байт, используется только в классах 1 и 4 (Class 1 или Class 4). Классы протокола Fibre Channel более подробно обсуждаются в следующем разделе.

S_ID РС_Идентификатор ID источника Fibre Channel (3 байта).

Type Поле типа (1 байт) указывает протокол верхнего уровня, данные которого пересылаются в поле полезной нагрузки.

F_CTL Поле управления фреймом Frame Control (3 байта) содержит ряд флагов, которые управляют потоком в последовательности.

SEQ_ID (Sequence Identifier) Поле идентификатора последовательности (1 байт) уникальным образом идентифицирует данную последовательность в контексте одного обмена. Каждый фрейм идентифицируется своим SEQ_ID.

DF_CTL (Data Field Control) Поле управления полем данных (1 байт) указывает на наличие необязательных заголовков в начале поля данных (Data Field) для фреймов Device_Data Video_Data. Биты DF_CTL для фреймов Link_Control и Basic Link Service значения не имеют.

SEQ_CNT (Sequence Count) Поле отсчета в последовательности (2 байта) указывает порядок передачи фреймов в последовательности. Оно используется получателем последовательности для учета всех передаваемых фреймов.

OX_ID (Originator Exchange ID) Идентификатор инициатора обмена (2 байта) идентифицирует индивидуальный обмен. Эта идентификация выполняется инициатором обмена.

RX_ID (Responder Exchange ID) Идентификатор ответчика обмена (2 байта) идентифицирует индивидуальный обмен. Эта идентификация выполняется ответчиком обмена.

Parameters Поле параметров (Parameters) (4 байта) зависит от типа конкретного фрейма, задаваемого полем R_CTL.

Классы обслуживания протокола Fibre Channel

В протоколе Fibre Channel определены несколько классов обслуживания, хотя на практике, как правило, используются лишь два. Эти классы отличаются друг от друга тем, как в них реализуются механизмы подтверждения, управления потоком и резервирования каналов.

Класс 1 представляет собой ориентированную на соединение службу с подтверждением доставки или уведомлением о том, что доставка не произошла. Перед тем как произойдет соединение, между источником и получателем должен быть установлен канал.

Класс 2 представляет собой службу без установки соединения между портами с подтверждением доставки или уведомлением о том, что доставка не произошла.

Класс 3 представляет собой службу без установки соединения между портами, без подтверждения доставки и без уведомления о том, что доставка не произошла. В настоящее время этот класс на практике используется наиболее часто.

Класс 4 представляет собой ориентированную на соединение службу, которая обеспечивает виртуальный канал между портами N_Port с подтверждением доставки или уведомлением о том, что доставка не произошла, и гарантированной шириной полосы пропускания.

Класс 6 представляет собой вариант класса 1 для многоадресатной рассылки (по схеме "один-со многими") с подтверждением доставки или уведомлением о том, что доставка не произошла.

В табл. 55.2 приведен обзор характеристик всех классов обслуживания. В современных SAN-сетях чаще всего используется класс 3. Большинство структур также поддерживают класс 2. Все остальные классы в настоящее время используются редко.

| Табл. 55Г.2. Классы обслуживания протокола

Ориентация на соединение

Резервирование полосы пропускания

Частичное

Гарантированный максимум задержки

Да (QoS)

Гарантированный порядок доставки

Подтверждение доставки

Мультиплексирование фреймов на портах

Сквозной контроль поток

Контроль потока на канальном уровне

Маршрутизация в структуре протокола Fibre Channel

В топологии коммутируемой структуры для маршрутизации фреймов в связанной соединениями структуре используется динамический протокол маршрутизации, называемый протоколом выбора кратчайшего пути по структуре (Fabric Shortest Path First – FSPF).

Протокол FSPF в основном базируется на протоколе IP-маршрутизации выбора кратчайшего пути (Open Shortest Path First - OSPF). Протокол FSPF представляет собой протокол канального уровня, который требует, чтобы все коммутаторы обменивались друг с другом информацией канального уровня, включая информацию об операционном состоянии и метрику маршрутизации для каждого непосредственно подсоединенного канала ISL. Используя эту информацию, которая хранится в локальной базе данных, каждый коммутатор выполняет общеизвестный алгоритм Дейкстра для вычисления кратчайшего пути ко всем остальным доменам Domain_ID.

В случае, когда к некоторому домену существуют несколько маршрутов с равными оценками, выполняется функция балансирования нагрузки между этими маршрутами. В случае изменения состояния на канальном уровне, такого как изменение метрики или сбой какого-либо канала, рассылаются изменения канального уровня (link-state updates - LSU) и маршруты пересчитываются на основе полученной новой информации. В сети Fibre Channel настройкой метрики канала можно перераспределять потоки и восстанавливать маршруты.

Управление потоками в сети Fibre Channel

Одним из наиболее эффективных механизмов протокола Fibre Channel является возможность управления потоками. Управление потоками базируется на системе разрешений, которая заключается в том, что устройство или порт не могут передавать данные до тех пор, пока они не получат кредит. В протоколе Fibre Channel имеются два механизма управления потоками: сквозной (end-to-end) и межбуферный (buffer-to-buffer).

Сквозной контроль используется для контроля скорости передачи между двумя конечными устройствами и применяется редко. Межбуферный контроль потоков происходит между всеми парами портов соседних устройств на всем протяжении конкретного маршрута по сети Fibre Channel и между всеми парами устройств конкурентной петли.

Понятие буферных кредитов (buffer credits) относится к количеству входных буферов, имеющихся на смежных соединенных портах. При выполнении процедуры login смежные устройства обмениваются информацией о количестве имеющихся буферных кредитов. Буферные кредиты пополняются, когда у соседнего устройства освобождается входной буфер. В этом случае генерируется 4-байтовая команда R_RDY и посылается соседнему устройству, в результате чего там появляется новый кредит. Важность межбуферного контроля потока увеличивается по мере того, как возрастает расстояние между смежными портами. По мере возрастания этого расстояния также возрастает транзитная отсрочка или задержка. Возрастание задержки увеличивает время, которое требуется для того, чтобы получить обратное сообщение R_RDY от удаленного устройства. Если кредитов недостаточно, то соседнее устройство может оказаться неспособным поддерживать скорость передачи по каналу между этими устройствами, поскольку при отсутствии буферных кредитов передача замедляется. Этот сценарий лежит в основе планового эксперимента при расширении SAN-сети Fibre Channel посредством добавления оптической сети (SONET/SDH) с целью дублирования данных в случае аварии, и, таким образом, восстановления передачи. Основным правилом в такой ситуации является то, что для поддержки 1 Гбит/с на каждых 2 км требуется один BB_Credit. Например, для поддержки линии 1 Гбит/с на оптическом канале длиной 100 км на каждом конце необходимо поддерживать 50 кредитов. Любая дополнительная задержка, вызываемая такими факторами, как преобразование данных между различными протоколами, сжатие или шифрование, требует увеличения количества кредитов. На рис. 55.9 показана модель межбуферного контроля потоков в применении к связи между станцией и дисковым накопителем в структуре.

Распределенные службы коммутируемых структур протокола Fibre Channel

Коммутируемая структура протокола Fibre Channel предоставляет ряд распределенных служб, которые облегчают управление, конфигурирование и повышают уровень безопасности в структурах протокола Fibre Channel. В настоящем разделе описаны некоторые из этих служб.

Службы каталогов

Структуры протокола Fibre Channel поддерживают распределенную службу каталогов, часто называемую сервером имен (name server). Поскольку назначение адресов FC_ID в протоколе Fibre Channel осуществляется динамически, служба каталогов помогает преобразовывать статический WWN устройства в FC_ID, который используется для маршрутизации. Когда устройство выполняет процедуру log in входа в структуру, оно автоматически регистрируется на сервере имен вместе с некоторыми своими атрибутами. Эта информация впоследствии может быть запрошена любым конечным устройством для нахождения конкретного устройства или устройств с ка- кими-либо конкретными характеристиками.

Службы зон

Для того, чтобы обеспечить некоторую степень защиты в структуре протокола Fibre Channel, службы зон (zone services) ограничивают возможности связи между некоторыми подсоединенными устройствами. Под зоной в протоколе Fibre Channel понимается логическая группа устройств, которым разрешено вступать в связь и обмениваться данными. Поскольку эти устройства могут оказаться подсоединенными к разным коммутаторам, конфигурация зон распространяется на все коммутаторы структур. Зоны могут быть созданы с помощью ряда идентификаторов, включая FC_ID, индексы физических портов коммутаторов или наиболее общих адресов WWN. Существует два типа зон: твердые или строгие зоны (hard zoning) и мягкие зоны или нестрогие (soft zoning). В строгих зонах конфигурация зоны обеспечивает фильтрацию фреймов в аппаратном обеспечении. Такой способ обеспечивает наибольшую степень безопасности. При использовании нестрогих зон фильтруются только запросы к службе каталогов, в результате чего видны только определенные устройства. Нестрогие зоны не дают полной безопасности, поскольку конечное устройство должно знать FC_ID устройства на другом конце канала, для того чтобы обойти зону и вступить в связь с конечным устройством.

Службы управления

Другой весьма полезной службой, основанной на стандарте ANSI Til (Generic Services Standard (FC-GS и FC-GS-3), является распределенная служба управления.

Она позволяет восстанавливать в структуре атрибуты устройств и информацию о конфигурации. Эта информация может включать в себя такие атрибуты, как версия программного обеспечения, возможности устройств, логические имена устройств и IP-адреса устройств управления. Кроме того, возможен сбор информации о подсоединенных портах и соседних устройствах. Хотя эта информация весьма полезна для целей управления, многие производители не торопятся использовать эту возможность. Однако все большее количество производителей планируют такую поддержку для следующей версии, получившей название FC-GS-4, которая позволит восстанавливать из структур еще больший объем информации о конфигурации.

Службы уведомления об изменениях в состоянии

В большинстве традиционных сетей передачи данных информация о сбоях в сети передавалась другим сетевым элементам, таким как коммутаторы и маршрутизаторы. Однако протокол Fibre Channel расширяет эту службу до конечных устройств. Используя службу уведомления об изменениях в состоянии сети (State Change Notifcation Service), а позднее зарегистрированную службу уведомления об изменениях в состоянии сети (Registered State Change Notifcation Service - RSCN), конечные устройства могут зарегистрироваться для получения уведомлений о событиях в структуре. В случае, если в сети происходит событие, случайное или намеренно созданное, генерируются сообщения службы RSCN для уведомления о нем других устройств сети. Используя службу RSCN, устройства могут реагировать на сбои в сети значительно быстрее, чем если бы они ожидали истечения времени таймеров.

Литература:

Руководство по технологиям объединенных сетей, 4-е издание. : Пер. с англ. - М.: Издательский дом «Вильяме», 2005. - 1040 с.: ил. – Парал. тит. англ.

Дмитрий Ганьжа
ответственный редактор LAN

Краткий общий обзор технологии Fibre Channel.

Если говорить кратко, Fibre Channel представляет собой сверхвысокоскоростную (до 1 Гбит/с и выше) схему полнодуплексной передачи данных с малой задержкой (10-30 мкс) на расстояния до 10 км. Она в равной мере может использоваться и как технология ввода/вывода, и как технология локальной сети.

В названии технологии ("волоконный канал", как можно было бы перевести Fibre Channel на русский язык) оба слова не вполне соответствуют действительности. Физической средой передачи может быть не только оптическое волокно, но и коаксиал, и витая пара, а архитектура представляет собой смесь канальной и сетевой топологии!

УРОВНЕВАЯ МОДЕЛЬ

По сути, Fibre Channel составляет целый комплекс стандартов, многие из которых разрабатываются независимо. Они представляются в виде пятиуровневой модели (см. Рисунок 1), причем каждый из этих уровней, по мысли разработчиков, должен реализовываться в виде отдельных аппаратных компонентов. Эта модель не имеет прямого соответствия с эталонной моделью OSI. Однако, как мы увидим ниже, первый и второй уровни (точнее, нулевой и первый - FC-0 и FC-1) Fibre Channel соответствуют физическому уровню OSI, а третий (второй - FC-2) уровень - подуровню MAC канального уровня OSI.

Уровень FC-0 описывает физические характеристики и возможные типы интерфейсов и среды передачи, в том числе кабели, соединители, излучатели, передатчики и приемники. FC-1 определяет схему кодирования и декодирования сигнала 8B/10B. FC-2 выполняет основные функции Fibre Channel, в том числе сигнализацию, т. е. установление соединения между отправителем и получателем; сегментацию, сборку и упорядочивание передаваемых кадров; контроль потоков с помощью схемы скользящего окна, обнаружение и исправление ошибок; реализацию сервисных классов. Все вместе эти три уровня образуют так называемый физический уровень Fibre Channel (Fibre Channel Physical, FC-PH).

FC-3 описывает общие процедуры (хотя, наверно, их было бы правильнее назвать специальными) для таких особых ситуаций, как запись данных с чередованием на дисковый массив или многоадресная рассылка через видеосервер. FC-4 обеспечивает преобразование различных сетевых протоколов и приложений для их реализации поверх Fibre Channel. Как можно видеть из Рисунка 1, Fibre Channel способен поддерживать самые разные по своей природе сетевые протоколы, интерфейсы ввода/вывода и приложения.

ТОПОЛОГИЯ

Fibre Channel определяет три топологии (см. Рисунок 2), а именно "точка-точка" (Point-to-Point), "арбитражная петля" (Arbitrated Loop) и "коммутирующая структура" (Fabric).

Простейшей топологией является, очевидно, "точка-точка". Она состоит из двух устройств Fibre Channel и прямого соединения между ними. Одно волокно связывает приемник на одном устройстве с передатчиком на другом устройстве, а второе - передатчик с приемником. (В этой статье под волокном мы будем подразумевать как оптическое волокно, так и отдельную витую пару и жилу коаксиального кабеля.) Оба устройства могут, естественно, использовать всю пропускную способность соединения, но при этом они должны работать на одной скорости.

Наиболее распространенной и вместе с тем наиболее сложной топологией является арбитражная петля. Она позволяет подключить по кольцу до 127 портов без использования коммутатора. Однако, в отличие от двух других топологий, пропускная способность является разделяемой, т. е. в один конкретный момент времени только два устройства могут взаимодействовать друг с другом. В случае конкуренции за доступ к среде передачи между несколькими устройствами арбитраж выигрывает устройство с наименьшим адресом. Все устройства в петле должны функционировать на одной скорости. Петля может подключаться к порту коммутатора, но только к одному.

За неимением лучшего русскоязычного термина мы будем называть топологию Fabric коммутирующей структурой. Коммутируемая топология предусматривает использование коммутатора(-ов), но позволяет за счет этого подключить свыше 16 млн устройств. К коммутатору могут подключаться устройства с разными скоростями передачи и по разным физическим средам.

ТИПЫ ПОРТОВ

В зависимости от типа устройства, своего назначения и поддерживаемой топологии порты делятся на несколько типов. Порт Fibre Channel на конечном устройстве (сервере, дисковом массиве, принтере и т. п.) называется "узловой порт" (Node Port, N_Port). Порт на коммутаторе, к которому подключается узловой порт, называется "коммутирующий порт" (Fabric Port, F_Port). Если же эти порты могут подключаться к арбитражной петле, то они маркируются дополнительно буквой L от английского loop, т. е. "петля". Таким образом, соответствующие порты на узле и коммутаторе будут обозначаться как NL_Port и FL_Port.

Помимо F_Port коммутатор может иметь еще и порт расширения (Expansion Port, E_Port). Этот порт предназначен для подключения одного коммутатора к другому. Если к порту расширения может быть подключен не только другой коммутатор, но и узел, то такой порт именуется универсальным портом (Generic Port, G_Port). При условии, что он поддерживает арбитражную петлю, универсальный порт может маркироваться как GL_Port.

РАЗНОВИДНОСТИ ОБОРУДОВАНИЯ

Помимо разделения пропускной способности арбитражная петля имеет и другие недостатки. В частности, при отказе адаптера на каком-либо устройстве или разрыве в соединяющем кабеле петля оказывается полностью неработоспособной. Кроме того, при добавлении нового устройства вся петля должна быть инициализирована заново (чтобы подключенное устройство могло получить адрес), причем эта процедура может занимать достаточно много времени.

Эти проблемы можно решить за счет использования концентраторов Fibre Channel. Кроме того, физическая топология "звезда" (хотя логически это по-прежнему кольцо), как правило, гораздо удобнее с точки зрения подключения узлов, чем кольцо. Обычно концентраторы имеют не более 10 портов. Однако это ограничение легко преодолеть за счет каскадного подключения концентраторов. Правда, как показывает практика, оптимально арбитражная петля функционирует, когда число узлов не превышает 30.

Отказоустойчивость концентраторов к разрывам петли достигается за счет применения схемы обхода портов (Port Bypass Circuit, PBC). PBC позволяет автоматически обнаружить наличие узла и включить его в петлю. Аналогично PBC обнаруживает отказ узла и исключает его из петли (PBC также может быть реализована на уровне внутренней шины дискового массива). Наиболее продвинутые концентраторы поддерживают удаленное управление и другие развитые функции.

Как и в случае других сетевых технологий, коммутаторы Fibre Channel являются существенно более дорогими устройствами, чем концентраторы Fibre Channel. В отличие от концентраторов, они позволяют предоставить узлу выделенную пропускную способность и, как уже упоминалось, создавать топологии с несравнимо большим числом узлов (224). Кроме того, коммутаторы могут иметь порты с поддержкой разных скоростей и сред передачи.

Коммутатор Fibre Channel, по сути, объединяет два типа коммутаторов в одном устройстве, так как поддерживает коммутацию как с установлением соединения, так и без оного (условно говоря, он обладает чертами как телефонного коммутатора каналов, так и локально-сетевого коммутатора кадров). Некоторые производимые коммутаторы осуществляют только коммутацию каналов (как первый появившийся на рынке коммутатор компании Ancor Communications), другие же - только коммутацию кадров.

Коммутаторы Fibre Channel просты в установке и использовании благодаря самоконфигурации и самоуправлению. При подключении узла к коммутатору он регистрируется на коммутаторе и согласует с ним взаимоприемлемые параметры. При подключении коммутатора к коммутатору они определяют конфигурацию и адреса. Все операции осуществляются автоматически. В случае универсального порта (GL_Port) коммутатор также сам устанавливает, к чему он подключен - к другому коммутатору, к петле или к узлу.

Однако для организации взаимодействия между устройствами в нескольких петлях дешевле использовать не коммутатор, а коммутирующий (или гибридный) концентратор. Наиболее редко встречающимся устройством является маршрутизатор Fibre Channel (хотя, возможно, более правильно было бы называть его мостом). Он позволяет подключить сеть Fibre Channel к другой среде передачи, например к SCSI или Ethernet.

До сих пор мы говорили о, так сказать, структурообразующих устройствах Fibre Channel. Однако самыми распространенными устройствами являются, естественно, адаптеры Fibre Channel. Без них никакой узел не смог бы взаимодействовать с коммутирующей структурой Fibre Channel. Одни и те же адаптеры могут служить для соединения как с локальной сетью (другими узлами), так и с периферией. Это позволяет, в частности, сократить число необходимых слотов ввода/вывода. Большинство адаптеров выпускается для шины PCI. Часто вместе с адаптерами используются "гигабитные переходники" (GigaBit Interface Converter). Они служат для преобразования оптических сигналов в электрические и обратно.

КЛАССЫ СЕРВИСА

Коммутаторы и узлы могут поддерживать один или более видов сервиса. Никакой ручной настройки не требуется, так как общие поддерживаемые коммутаторами и узлами сервисы определяются во время процедуры регистрации. Благодаря сервисам Fibre Channel может поддерживать множество различных приложений. Сервисы делятся на классы. Основными являются Классы 1, 2 и 3. Всего же Fibre Channel имеет 6 или 7 разных видов сервиса (такая неопределенность связана с тем, что Класс 5, видимо, так и не будет определен, а Класс Intermix не имеет собственного номера и часто не рассматривается как отдельный вид сервиса).

Класс 1 соответствует сервису с установлением соединения и гарантированной доставкой. Соединение через коммутирующую структуру (совокупность коммутаторов) устанавливается за несколько микросекунд. Соединение является выделенным, так что никакое иное устройство не может связаться с портами получателя и отправителя, пока соединение не будет закрыто. Гарантированная доставка обеспечивается за счет подтверждения получения. Наилучшим образом этот класс сервиса подходит для обмена большими объемами данных, в частности для резервного копирования, графических приложений и взаимодействия между суперкомпьютерами.

Класс 2 представляет сервис без установления соединения, но с гарантированной доставкой (как и в предыдущем случае, с помощью подтверждений). Каждый поступающий кадр коммутируется независимо от остальных, а конечные порты могут передавать или получать кадры от нескольких других узлов. По сути, коммутатор мультиплексирует трафик от узловых портов, поэтому этот класс сервиса иногда называют мультиплексным. Кадры могут доставляться не в том порядке, в каком они были отправлены. Наилучшим образом этот класс сервиса подходит для передачи нерегулярного (пакетного) или интерактивного трафика по типу трафика локальных сетей.

Класс 3 аналогичен Классу 2, за исключением того, что он не гарантирует доставку кадров (подтверждения получения). Он позволяет добиться несколько большей реальной пропускной способности за счет отсутствия подтверждений. По сути, он является аналогом передачи дейтаграмм. Наилучшим образом этот класс сервиса подходит для многоадресной и широковещательной рассылки.

Остальные классы часто не выделяются в самостоятельные, а считаются подвидами перечисленных. Класс Intermix представляет собой комбинацию Класса 1 и Класса 2 (3). Он позволяет передавать кадры Класса 2 или 3, когда кадры Класса 1 не передаются, причем кадры Классов 2 или 3 вовсе не обязательно должны быть адресованы тому же получателю, что и кадры Класса 1.

Как и Класс 1, Класс 4 предполагает установление соединения, гарантию доставки, фиксированную задержку, соблюдение исходного порядка кадров. Однако он требует резервирования лишь части пропускной способности, т. е. узловой порт может иметь и другие соединения. Узел может зарезервировать до 256 соединений Класса 4 одновременно, причем каждое из них может иметь свои параметры QoS. Иногда этот класс сервиса называется изохронным. Наилучшим образом он подходит для передачи цифрового видео и аудио.

Как Intermix и Класс 4, Класс 6 представляет собой разновидность Класса 1. Он используется, когда узлу необходимо передать кадры сразу нескольким узлам одновременно, т. е. в случае многоадресной рассылки. Для этого узел устанавливает выделенное соединение с сервером многоадресной рассылки, адрес которого фиксирован (FFFFF5 в шестнадцатеричном формате), а тот уже берет на себя задачу тиражирования и пересылки кадров всем получателям в многоадресной группе.

ХАРАКТЕРИСТИКИ FIBRE CHANNEL

Завершая описание Fibre Channel, нельзя не упомянуть основные характеристики этой технологии. Fibre Channel позволяет поддерживать самые разные скорости - от 133 Кбит/с до 4,252 Мбит/с и даже более. Одна из целей разработки Fibre Channel состояла, в частности, в поддержке HIPPI на 100 Мбайт/с. Поэтому основной скоростью передачи данных - так называемой полной скоростью - является 100 Мбайт/с (остальные скорости указываются часто в долях от основной скорости - одна восьмая, четвертая, вторая, двойная, учетверенная). Однако, с учетом накладных расходов на кодирование 8B/10B, заголовки кадров и т. д., скорость передачи собственно битов составляет 1,063 Мбит/с. Таким образом, производители приводят, как правило, две скорости - "полезную", в байтах за секунду, и "чистую", в битах за секунду.

Поддерживаемые расстояния и скорости передачи зависят от типа используемой среды передачи и генераторов сигнала. Как уже упоминалось, Fibre Channel может функционировать как по оптической, так и по медной среде передачи, при этом одно волокно предназначено для передачи сигнала, а другое - для приема. В случае оптики это может быть многомодовое волокно 50/125 мкм и 62,5/125 мкм и одномодовое волокно с соединителями SC. В случае меди это может быть коаксиальный кабель, в частности видеокабель с соединителями TNC (приемник) и BNC (передатчик), а также экранированная витая пара с соединителями DB-9.

Наибольшие скорости (до 4 Гбит/с) и расстояния (до 10 км) достигаются в случае применения одномодового оптического волокна и низкочастотных лазеров. Многомодовое волокно способно поддерживать такие же скорости, но на гораздо меньших расстояниях, в частности 100 Мбайт/с на расстояниях до 500 м в случае многомодового волокна 50/125 мкм с высокочастотным лазером. Медная среда передачи позволяет поддерживать скорости не выше основной на небольших расстояниях (100 м и менее).

ПРОМЕЖУТОЧНЫЙ ФИНИШ

Хотя и не настолько сложная как ATM, технология Fibre Channel описывается несколькими стандартами (некоторые даже считают, что расширение ее возможностей и, как следствие, ее усложнение - может отрицательно сказаться на ее перспективах). Очевидно, что в одной небольшой ознакомительной статье можно дать только общее описание технологии, что мы и постарались сделать. Однако многие важные подробности пришлось опустить, в частности, как осуществляется арбитраж и управление потоками, что собой представляют кадры Fibre Channel и кодирование 8B/10B и т. д. Поэтому мы намерены продолжить рассмотрение этой темы в следующем номере.