Обзор стандартов для построения ЦОД

В течение последних 20 лет стандарты кабельных сетей были основными инструментами для проектирования, реализации и функционирования информационных сетей. Революционные последствия для ИТ-отрасли имел выпуск Ассоциацией изготовителей оборудования для передачи данных (Telecommunications Industry Association, TIA) первого стандарта телекоммуникационной разводки для коммерческих зданий — TIA-568 (TIA-568 Commercial Building Telecommunications Wiring Standard), в котором были прописаны требования к конструкции, монтажу и использованию телекоммуникационных кабельных сетей в коммерческих зданиях.

Центры обработки данных (ЦОД), исторически создавались во время отсутствия явно установленных стандартов. Это привело к тому, что многие сетевые администраторы оказались в настоящее время перед необходимостью самостоятельно выбирать технологии и ломать голову над тем, как реализовать их в том часто ограниченном пространстве, от надлежащей организации которого зависит безопасное и надежное предоставление всех настоящих и будущих услуг по обработке данных.

В апреле 2005 г. Ассоциация изготовителей оборудования для передачи данных ответила на запросы сетевых администраторов выпуском TIA-942 — первого стандарта на телекоммуникационную инфраструктуру центров обработки данных (Telecommunications Infrastructure Standards for Data Centres), который регламентирует требования к таковой инфраструктуре.

Предназначенный для использования проектировщиками ЦОД на ранней стадии строительства и оборудования здания, стандарт TIA-942 фиксирует:

• • Требования к месту расположения дата-центра и его структуре
• • Требования к кабельной инфраструктуре
• • Требования к надежности, специфицированные по уровням инфраструктуры
• • Требования к внешней среде

В настоящем документе описаны ключевые положения стандарта TIA-942 — полезного инструмента для проектирования вашего дата-центра и оптимизации ваших инвестиций.

Место и его организация

Правильный подход к выделению места для центра обработки данных предполагает, что с самого начала гарантируется возможность его последующего расширения и реорганизации в соответствии с изменениями в окружении и потребностями развития. От проектировщиков требуется поддерживать баланс между первоначальными затратами на размещение дата-центра и тем пространством, которое может понадобиться в будущем. Проектирование дата-центра должна предусматривать большое количество гибких пространственных резервов — незанятых мест, которые в будущем могут быть заполнены новыми шкафами и стойками с оборудованием. Пространство вокруг ЦОД также должно рассматриваться с точки зрения перспектив его роста и планироваться таким образом, чтобы при необходимости быть легко включенным в его состав. Проектирование дата-центра должна предусматривать большое количество гибких пространственных резервов — незанятых мест, которые в будущем могут быть заполнены новыми шкафами и стойками с оборудованием. Пространство вокруг ЦОД также должно рассматриваться с точки зрения перспектив его роста и планироваться таким образом, чтобы при необходимости быть легко включенным в его состав.

Одна или несколько комнат ввода

Комната ввода (entrance room) — это то место, где располагается оборудование провайдера доступа и точки разграничения. Это также место сопряжения с междомовыми кабельными системами. Комната ввода может находится как внутри машинного зала (то есть той части дата-центра, в которой располагается вычислительное оборудование), так и вне его. Для обеспечения большей безопасности стандарт рекомендует располагать комнату ввода вне машинного зала. Если же комната ввода располагается внутри машинного зала, то она должны быть консолидирована с главной распределительной зоной. В больших дата-центрах может потребоваться организация нескольких комнат ввода, чтобы избежать превышения оговоренной провайдером максимальной длины участков кабеля, идущего к проводке.

Главная распределительная зона (main distribution area, MDA)

Подобно главному распределительному пункту (MDF) в телефонии, главная распределительная зона — это центральный пункт распределения структурированной кабельной системы, включающий в себя главную кросс-панель, а также основные маршрутизаторы и коммутаторы инфраструктур локальной вычислительной сети (ЛВС) и сети системы хранения данных (ССХД). Главная распределительная зона также может включать в себя горизонтальную кросс-панель (horizontal cross-connect, HC) для ближайшего оборудования, обслуживаемого непосредственно из главной распределительной зоны. Стандарт требует наличия, по крайней мере, одной главной распределительной зоны и установки в этой зоне отдельных стоек для волоконно-оптических, коаксиальных и UTP кабелей.

Одна или более горизонтальных распределительных зон (horizontal distribution areas, HDA)

Подобно аппаратным системам связи (TR), горизонтальная распределительная зона служит для распределения горизонтальной кабельной проводки и включает в себя кросс-панели и активное оборудование для распределения кабелей по зоне распределения оборудования. Как и в случае главной распределительной зоны, стандарт требует установки в этой зоне отдельных стоек для волоконно-оптических, коаксиальных и UTP-кабелей. Он также рекомендует устанавливать коммутаторы и панели переключения таким образом, чтобы минимизировать длины шнуров переключения (патч-кордов) и облегчить обслуживание кабельной системы. Количество соединений в горизонтальной распределительной зоне ограничено двумя тысячами, а количество самих горизонтальных распределительных зон зависит от объемов кабельного хозяйства и общих размеров центра обработки данных.

Аппаратная зона (equipment distribution area, EDA)

Горизонтальные кабели обычно ведут к панелям переключения (patch panels) в аппаратной зоне — месте, где располагаются шкафы и стойки с оборудованием. Стандарт предписывает установку стоек и кабинетов таким образом, чтобы оборудование через ряд было повернуто на 180 градусов для того, чтобы образовывались «холодные» и «горячие» проходы между рядами, что способствует эффективному распределению тепла, выделяемого электронными устройствами (см. раздел ниже «Требования к внешней среде», в котором обсуждается конфигурация холодных и горячих проходов).

Место зонного распределения (zone distribution area, ZDA)

Место зонного распределения — это могущая присутствовать в горизонтальной кабельной разводке (между горизонтальной распределительной зоной и аппаратной зоной) точка непосредственного соединения кабелей. Место зонного распределения может служить точкой консолидации, обеспечивающей гибкую реконфигурации разводки или же использоваться для размещения отдельно стоящего оборудования наподобие мейнфреймов (больших универсальных компьютеров) и таких серверов, которые не снабжаются панелями переключения. На участке горизонтальной кабельной разводки допускается только одно место зонного распределения с не более чем 288 соединениями. Место зонного распределения не должно содержать кросс-панелей и активного оборудования.

Магистральная и горизонтальная кабельная разводка

Магистральная кабельная разводка обеспечивает связь между главной распределительной зоной, горизонтальными распределительными зонами и комнатами ввода внутри ЦОД, тогда как горизонтальная кабельная разводка связывает горизонтальные распределительные зоны, место зонного распределения и аппаратную зону. Из соображений резервирования магистральная разводка может быть организована также между горизонтальными распределительными зонами. При этом все функциональные зоны должны быть расположены таким образом, чтобы избегать превышения максимальной длины участков как магистральной, так и горизонтальной разводки.

Рис. 1. Функциональные зоны дата-центра, соответствующего стандарту TIA-942

Инфраструктура кабельной разводки

Построенный на основе существующих стандартов TIA-568 и TIA-569, стандарт TIA-942 определяет устройство типовых, постоянных кабельных систем и задает требования к следующим распространенным кабельным продуктам:

• • Стандартный одномодовый волоконно-оптический кабель;
• • 62,5 и 50 (рекомендуется) микрометровый многомодовый волоконно-оптический кабель;
• • Коаксиальный кабель сопротивлением 75 Ом (рекомендуется для цепей E-1, E-3 и T-3);
• • Неэкранированные и экранированные 4-парные кабели категории 6 (рекомендуется Cat 6*).

*ПРИМЕЧАНИЕ: На момент утверждения стандарта TIA-942 стандарт на дополненную категорию 6 (Augmented Category 6) не был обнародован. Ожидается, что в результате будущего пересмотра стандарта TIA-942 дополненная категория 6 будет оговорена как предпочтительная категория UTP-кабелей для ЦОД.

Стандарт TIA-942 рекомендует для магистральной кабельной разводки использовать оптимизированное для работы с лазером 50-микрометровое оптоволокно в силу его способности поддерживать более высокие скорости работы сети при больших расстояниях, будучи при этом более рентабельным в использовании, чем одномодовое оптоволокно.

Для горизонтальной кабельной разводки стандарт TIA-942 рекомендует использование кабелей с самой высокой доступной пропускной способностью с тем, чтобы уменьшить потребность в замене кабелей в будущем. Хотя сегодняшние стандарты признают лучшими для горизонтальной разводки кабели категории 6, имеются также проверенные решения на базе 10-гигабитного Ethernet с использованием неэкранированной витой пары, и соответствующие стандарты находятся в стадии разработки.

Стандарт TIA-942 предписывает также максимальные длины кабельных дистанций магистральной и горизонтальной разводки с учетом типа используемых кабелей и приложений, поддерживаемых в том или ином центре обработки данных. Длина магистральной волоконно-оптической разводки обычно ограничивается 300 метрами, тогда как горизонтальной разводки на основе медных кабелей — 100 метрами. Однако в малых дата-центрах, где горизонтальная распределительная зона совмещается с главной, длина горизонтальной волоконно-оптической разводки может быть увеличена до 500 метров.

Стандарт TIA-942 оговаривает ряд требований и рекомендаций, касающихся, обслуживания кабельной разводки. Центр обработки данных должен быть сконструирован таким образом, чтобы для каждого типа физически различающихся сред (оптоволокно, медный провод) в нем имелись отдельные стойки и кабельные каналы, а силовые и коммуникационные каналы располагались бы в различных кабельных каналах или были разделены каким-либо физическим барьером. Внутри стоек и между ними, а также в кабельных каналах должно быть предусмотрено достаточно места для доступа к кабелям, их обслуживания и соблюдения минимального радиуса изгиба. Например, стандарт требует обеспечивать свободный проход между шкафами и стойками шириной не менее 90 см, при этом рекомендуется расстояние в 120 см, а расставлять шкафы и стойки на фальшпол рекомендуется таким образом, чтобы образующие его плитки могли легко подниматься. Рекомендуется также располагать коммутаторы и панели переключения так, чтобы сократить потребность в коммутации между шкафами и стойками.

Стандарт TIA-942 распространяет на центры обработки данных требования административного стандарта TIA-606-A, касающиеся схемы маркировки всех стоек, шкафов, панелей и шнуров переключения, а также кабелей.

Уровни надежности

Для обеспечения пользователей инструментом определения специфических потребностей центра обработки данных, стандарт TIA-942 включает в себя информационное приложение, характеризующее четыре уровня постоянной готовности инфраструктуры центра обработки данных к выполнению им своих функций (англ. термин - availability tiers). Приводимые в приложении требования основываются на данных, предоставляемых Институтом проблем работоспособности (Uptime Institute) — консорциумом, который доносит да своих членов наиболее удачный опыт и предоставляет им эталоны для улучшения устройства дата-центров и управления ими. Для каждого из выделенных четырех инфраструктурных уровней готовности приложение приводит детальные рекомендации, относящиеся к архитектуре центров обработки данных, к проблемам их безопасности, электрики, механики и телекоммуникаций. Более высокий уровень (всего их четыре) соответствует более высокой постоянной готовности центра обработки данных к выполнению им своих функций. Описание каждого уровня содержит такие сведения, как, например, высота фальшпола, удельные параметры мощности и критические точки. Помета "Need" или "N" с последующим числовым параметром означает избыточность инфраструктурных компонентов по сравнению с минимальными потребностями системы. В приложении приводятся также данные о стоимости строительства (за квадратный фут), которая сильно разнится от уровня к уровню; уровень 3 стоит вдвое дороже уровня 1. Распределение центров передачи данных по четырем уровням предоставляет проектировщикам метод оценки определенных параметров ЦОД и их объективного сравнения.

Уровень 1 — базовый: коэффициент постоянной готовности 99,671%

• • Дата-центр подвержен нарушениям нормального хода работы, как от плановых, так и от внеплановых действий;
• • Он имеет лишь один путь (канал) распределения электропитания и охлаждения без резервированных (избыточных) компонентов (N);
• • Может иметь или не иметь фальшпол, ИБП или генератор;
• • Развертывается за 3 месяца;
• • Годовое время простоя — 28,8 часов;
• • Центр должен полностью останавливаться для выполнения работ по планово-предупредительному обслуживанию и профилактическому ремонту.

Уровень 2 — дата-центр с резервированием (с избыточными компонентами): коэффициент постоянной готовности 99,741%

• • Менее подвержен нарушениям нормального хода работы, как от плановых, так и от внеплановых действий;
• • Имеет один путь (канал) распределения электропитания и охлаждения, но с резервированными компонентами (N+1);
• • Имеет фальшпол, ИБП и генератор ? Время развертывания - от 3 до 6 месяцев ? Годовое время простоя — 22,0 часов
• • Техническое обслуживание и ремонт канала электропитания и других частей инфраструктуры объекта требует остановки процесса обработки данных.

Уровень 3 — дата-центр с возможностью параллельного проведения ремонтно-профилактических работ: коэффициент постоянной готовности 99,982%

• • Допускает плановую деятельность без нарушения нормального хода работы оборудования машинного зала, однако внеплановые события все же могут привести к нарушению его работы;
• • Имеет несколько путей (каналов) для распределения электропитания и охлаждения, но лишь один из них активен; имеет резервированные компоненты (N+1);
• • Время развертывания - от 15 до 20 месяцев;
• • Годовое время простоя — 1,6 часов;
• • Имеет достаточно мощности и распределительных возможностей для того, чтобы при загруженности одного пути (канала) можно было одновременно осуществлять обслуживание или тестирование другого пути.

Уровень 4 — отказоустойчивый дата-центр: коэффициент постоянной готовности 99,995%

• • Плановые действия не нарушают критически важной нагрузки, причем дата-центр способен справиться, по крайней мере, с одним неплановым инцидентом наихудшего свойства без последствий для критически важной нагрузки;
• • Имеет несколько активных путей распределения нагрузки и охлаждения с резервными компонентами (2 (N+1), т.е. 2 ИБП с избыточностью N+1 каждый);
• • Время развертывания - от 15 до 20 месяцев
• • Годовое время простоя — 0,4 часа

Требования к внешней среде

В стандарт TIA-942 включен ряд требования к внешней среде, которые сходны с требованиями к машинному залу, сформулированными в более ранних стандартах TIA. Эти требования включают в себя (но не исчерпываются) соображения огнезащиты, уровни влажности, рабочие температуры, архитектурные, электрические (энергоснабжение) и механические требования к системе. Некоторые из этих требований зависят от желаемого уровня эксплуатационной готовности дата-центра (см. выше).

Энергоснабжение

Требования к энергоснабжению зависят от желаемого уровня эксплуатационной готовности и могут включать наличие двух или более линий электропитания от сети, наличие ИБП, автономного генератора и множественных электрических цепей, ведущих к системам и оборудованию. Для определения требований к энергоснабжению необходимо тщательное перспективное планирование. Оценка энергетических потребностей предполагает определение количества энергии, необходимой для всех имеющихся устройств и устройств, установка которых планируется в будущем. Оценка энергетических потребностей должна также учитывать потребности всего вспомогательного оборудования наподобие ИБП, генераторов, электронных преобразователей, устройств отопления, вентиляции и кондиционирования воздуха, освещения и т.п. Оценка потребностей в энергоснабжении должна делаться с учетом требуемой избыточности и будущего роста.

Охлаждение

Особенно важно, что стандарт TIA-942 включает в себя требования к обеспечению вентиляционного потока воздуха и сокращению количества тепла, вырабатываемого сконцентрированным оборудованием. Стандарт рекомендует использование адекватного охлаждающего оборудования, равно как и применение фальшполов для более гибкого охлаждения. Кроме того, стандарт требует, чтобы шкафы и стойки с оборудованием размещались таким образом, чтобы между ними можно было организовать «горячие» и «холодные» коридоры. В «горячих» рядах шкафы и стойки с оборудованием располагаются тыльными сторонами друг к другу. Перфорированные плитки фальшпола в «холодных» рядах позволяют холодному воздуху поступать к лицевым панелям оборудования. Этот поток холодного воздуха обдувает оборудование и выходит наружу в «горячие» ряды. В этих рядах перфорированных плиток нет, что не позволяет горячему воздуху смешиваться с холодным (см. Рис. 2).

Поскольку не у каждого активного устройства отвод тепла осуществляется со стороны задней стенки, в целях охлаждения оборудования предусматриваются также следующие меры:

• • Усиление воздушного потока посредством предотвращения ненужных утечек воздуха и/или увеличения высоты фальшпола;
• • Распределение оборудования по неиспользованным участкам фальшпола — при наличии таковых;
• • В тех случаях, когда соображения безопасности не требуют иного — использование открытых стоек вместо шкафов или же шкафов с ячеистыми передними и задними стенками;
• • Использование перфорированных плиток с отверстиями большего размера.

 

Рис. 2. Охлаждение с организаций холодных и горячих рядов шкафов (cabinets)

Rear — тыльная сторона, front — лицевая. Сиреневым цветом помечены телекоммуникационные кабельные лотки, желтым — силовые кабели. Плитки пола в «холодных» (поток воздуха помечен синим цветом) — перфорированные, в горячих — нет.

Заключение

Когда речь заходит о строительстве надежного центра обработки данных и оптимизации инвестиций, конструкцию такового центра необходимо рассмотреть на ранней стадии процесса проектирования здания, причем рассмотрение должно включать в себя скоординированные усилия экспертов в различных областях — таких, как телекоммуникации, энергоснабжение, архитектура, а также отопление, вентиляция и кондиционирование воздуха. Все компоненты центра обработки данных и его системы поддержки должны быть спланированы, спроектированы и реализованы таким образом, чтобы при их совместной работе они надежно гарантировали доступ к ресурсам дата-центра, поддерживая при этом будущие потребности пользователей. Пренебрежение любым из конструктивных решений может привести к пустым издержкам, быстрому устареванию центра и неприемлемому уровню его эксплуатационной готовности. И поэтому ничто не заменит тщательного планирования и следования нормативам, сформулированным в Стандарте для телекоммуникационной инфраструктуры для центров обработки данных TIA-942.

Количество показов: 8716