Спецтема "Инфраструктура серверных помещений"

В крупных предприятиях вопрос организации серверных помещений и ЦОД облегчается возможностью выделить отдельное подготовленное помещение, которыми, как правило, располагают такие предприятия. В то же время, для предприятий малого и среднего бизнеса ситуация с серверными помещениями обстоит иначе. В Украине многие предприятия SMB используют арендованные площади, которые часто не проектировались для размещения мощной аппаратуры. А если учитывать тот факт, что предприятия SMB часто ограничены в финансовых средствах, то задача организации бесперебойной работы ИТ-инфраструктуры становится нетривиальной. Редакция it:times провела исследование рынка решений в области оборудования серверных помещений для компаний SMB, обратив внимание на разработки ведущих вендоров и системных интеграторов.

Часть 1. Теория, методики и рекомендации.

Общие принципы построения серверных помещений

Принятие окончательных решений при проектировании и построении инфраструктуры серверных помещений наиболее целесообразно проводить, опираясь на существующие стандарты и наработки в этой области. Международный стандарт ANSI/TIA-942-2005 (Telecommunications Infrastucture Standart for Data Centers) рассматривает не только лишь «серверные помещения», а объединяет все помещения с установленной там телекоммуникационной аппаратурой сборным термином "DataCentre", который в отечественной практике традиционно именуется центром обработки данных (ЦОД).

Стандарт ANSI/TIA-942-2005 рассматривает вопросы проектирования ЦОД в смысле обеспечения необходимой степени готовности оборудования, его надёжности, а также времени безотказной работы. Для повышения степени резервирования и надёжности следует сократить количество точек единичных отказов (или исключить их вовсе), как в самом ЦОД (серверном помещении) и поддерживающей инфраструктуре, так и во внешних сервисах и системе общего энергоснабжения. Резервирование повышает как отказоустойчивость, так и ремонтопригодность.

Формула резервирования N+1 предусматривает один дополнительный узел, модуль, путь или одну систему в дополнение к тому минимуму (N), который нужен для удовлетворения базового требования. Отказ или ремонт любого одного узла не нарушает работы всей системы. В свою очередь, резервирование N+2 предусматривает 2 дополнительных узла сверх необходимого минимума. При этом допускается отказ или ремонт двух одиночных узлов без нарушения работы. Резервирование 2N предполагает наличие 2 комплектных узлов или трактов для каждого требуемого для базовой системы. В случае наиболее защищённого резервирования 2(N+1) внутри каждого параллельного узла или тракта предусмотрено резервирование внутренних модулей.

Часть 2. Инженерная инфраструктура и охлаждение.

В последнее время плотность монтажа оборудования в серверных помещениях растет, что неизбежно приводит к увеличению количества выделяемого тепла на единицу объёма. Раньше эта тенденция была чрезвычайно актуальной, преимущественно, для западных компаний, поскольку у отечественных среднестатистическая плотность монтажа в серверных помещениях составляла 4—5 кВт на стойку, а при таких мощностях тепловыделение не составляло существенной проблемы. Однако стремительный рост цен на аренду недвижимости, энергоносители, а также появление более «аппетитных» в плане энергопотребления устройств, стимулируют повышение планки плотности монтажа в компаниях SMB, а значит, вопросы охлаждения и теплоотвода выходят на передний план.

Не стоит забывать о том, что многие компоненты вычислительной техники весьма требовательны к стабильности температурного и влажностного режима. Так, работоспособность аккумуляторных батарей некоторых источников бесперебойного питания гарантируется лишь при температуре до 25°С, а надёжность компьютеров резко снижается при достижении определённого температурного порога.

В то же время, распространённой практикой на предприятиях SMB в Украине стало использование «бытовых» кондиционеров в целях охлаждения серверных. Между тем, в большинстве случаев возможностей бытовых кондиционеров оказывается недостаточно, и возникает необходимость в использовании прецизионных кондиционеров, которые обладают рядом характерных отличий. Прецизионные кондиционеры позволяют регулировать не только температуру воздуха, но и его влажность, причём регулировки этих параметров можно производить раздельно. Возможность управления влажностью очень важна, поскольку в технических условиях на большинство дорогостоящих изделий вычислительной техники оговорены предельные значения этого параметра (обычно – от 30 до 50%), и их несоблюдение вполне может быть причиной уменьшения надёжности техники и отказа в гарантийном обслуживании.

Прецизионные кондиционеры обеспечивают более высокую точность удержания климатических параметров, чем бытовые устройства: 1°С по температуре и 1% по влажности. Кроме того, прецизионные кондиционеры обладают большей производительностью по циркуляции воздуха, сохраняют работоспособность при низких температурах на улице и рассчитаны на круглосуточную работу.

В этой части спецтемы «Инфраструктура серверных помещений» описаны примеры решений в области организации охлаждения и кондиционирования серверных помещений, а также способы установки оборудования и подвода питания, предлагаемые ведущими производителями.

Инженерное оборудование Conteg и кондиционеры Stulz

Как известно, базовых концепций охлаждения датацентров существует три. Первая концепция реализует централизованное охлаждение всего серверного помещения. Оборудование размещается в открытых стойках, а охлаждение обеспечивает сплит-система. Такой способ охлаждения характерен для небольших серверных (3—5 стоек) с плотностью оборудования до 4 кВА на стойку.

Второй, весьма распространённой в датацентрах, является система зонального охлаждения с «горячим» и «холодным» коридором. Эта система является достаточно масштабируемой и охватывает широкий спектр нагрузок (5—10 кВА на стойку). В этой системе холодный воздух подается под фальшпол прецизионным кондиционером (CRAС), создавая избыточное давление. Шкафы с оборудованием стоят в ряд, при этом воздух через перфорированный пол пропускается через оборудование, поступает в «горячий коридор», откуда засасывается кондиционером, охлаждается и вновь подается под фальшпол. Компания Conteg рекомендуют выбирать мощность системы отвода тепла равной суммарной электрической мощности охлаждаемой аппаратуры.

Одной из разновидностей зональной системы охлаждения является система с изолированным «холодным коридором». В этой системе приняты специальные меры, чтобы холодный воздух подавался непосредственно в оборудование, не рассеиваясь в помещении.

При большой энергетической плотности (>10 кВА) оборудования на стойку применяются системы индивидуального охлаждения. При этом целесообразно использовать для охлаждения вместо воздуха другой хладагент: воду или газы R134A, R407C и т.п.

Что касается собственно кондционирования, то Conteg рекомендует использовать кондиционеры компании Stulz. Данная компания выпускает несколько разновидностей кондиционеров, которые могут применяться в зависимости от требований к охлаждению и конкретных особенностей серверного помещения.

Автономные кондиционеры Stulz прикрепляются снаружи к шкафу или к потолку. Основным их преимуществом является простота установки — им не требуется дополнительная оснастка. Автономный кондиционер способен отводить до 8 кВт тепла, поэтому это решение применяется в небольших серверных. Недостатком автономных кондиционеров является отвод тепла от аппаратуры в объем помещения, поэтому в помещении должна быть предусмотрена дополнительная вентиляция. Вендор рекомендует проектировать систему вентиляции таким образом, чтобы воздух в помещении менялся полностью за один час.

Неавтономные кондиционеры Stulz представляют собой устройства, способные отводить до 18 кВт. Распространённым построением систем охлаждения с такими устройствами является монтаж кондиционеров к задней стенке шкафа.

При этом шкафы могут быть открытыми, расположенными один за другим — тогда каждый кондиционер охлаждает воздух, поступающий с соседнего шкафа.

Другим способом охлаждения шкафа неавтономным кондиционером является построение закрытого цикла движения воздуха при монтаже кондиционера к задней стенке. При этом воздух продувается по всей длине шкафа. Это решение вендор рекомендует для небольших серверных помещений.

Альтернативным вариантом является внутрирядный кондиционер, часто называемый «доводчиком». В этом случае оборудование стоит не на фальшполе, а кондиционеры размещены между шкафами внутри ряда.

Шкафы также могут быть закрытыми, в этом случае используется замкнутый цикл движения воздуха. Все эти решения могут быть как чиллерными, так и типа «Direct Expansion» (с непосредственным испарением хладагента). Последнее решение пригодно для небольших серверных, поскольку установка конденсаторов на хладагенте может быть выгоднее приобретения чиллера с водяным охлаждением.

Другим способом охлаждения шкафа неавтономным кондиционером является построение закрытого цикла движения воздуха при монтаже кондиционера к задней стенке. При этом воздух продувается по всей длине шкафа. Это решение вендор рекомендует для небольших серверных помещений.

Размещение пассивного оборудования

Важную роль при подводе электропитания к шкафам и стойкам с оборудование является правильное размещение пассивного оборудования — розеток, кабелей и т.п. Сложности при установке пассивного оборудования обычно возникают из-за того, что пространство серверных шкафов плотно заполняется корпусами оборудования, и разместить кабели и розетки оказывается негде. Существует два варианта решения этой проблемы — использовать открытые стойки или специализированные модификации серверных стоек.

В частности, компания Conteg предлагает специализированные стойки, которые обладают высотой от 40—47U, глубиной до 110 см и грузоподъёмностью до 1200 кг. Вендор отмечает небольшой собственный вес таких стоек, достигнутый за счет использования сложного Ш-образного профиля. Малый вес стоек важен при размещении датацентра на верхних этажах зданий.

В то же время системные интеграторы отмечают, что у отечественных заказчиков пользуются популярностью закрытые серверные шкафы. Это связано с большей защищённостью оборудования в шкафах от внешних воздействий — вторжений злоумышленников и просто «любопытных» сотрудников.

Conteg разработал шкафы объёмом до 48 юнитов, с повышенной глубиной (1100—1200 мм), и грузоподъёмностью до 1500 кг. Они выпускаются в двух модификациях — 60 и 80 см. В 80-см шкафах достаточно места для размещения патч-панелей и другого пассивного оборудования. В то же время 60-см шкафы, обладая большей компактностью, для размещения пассивного оборудования требуют специальных инженерных решений—дополнительные секции. Это «миникроссовые» шкафы, шириной и глубиной 30 см, которые прикрепляются к основному шкафу либо сзади, либо между двумя шкафами.

В них достаточно места для размещения пассивного оборудования — 9 юнитов для установки 19’’ патч-панелей, блоков розеток и т.п. Таких панелей между двумя шкафами можно установить 2 — спереди и сзади, таким образом обеспечено место под 18 юнитов пассивного оборудования для двух серверных шкафов.

Для обеспечения подвода питания к стойкам, компания Conteg разработала блоки розеток различных видов: вертикальные блоки розеток на 16 и 32 А по 30 розеток, розетки с амперметром и «интеллектуальные» блоки розеток с управлением подачи питания и мониторингом состояния по локальной сети.

Часть 3. Организация питания серверного помещения

Типичная серверная комната в среднестатистической украинской компании представляет собой отдельное (выделенное) помещение с 3—4 стойками сетевого и телекоммуникационного оборудования. Электропотребление при этом составляет по 3—6 кВт на стойку. Обычно применяются один из двух подходов к организации электропитания: по одному ИБП на сервер или группу серверов, или по одному ИБП мощностью 6 кВт на стойку. В то же время получает распространение и новый подход — построение централизованной системы бесперебойного электропитания для всей серверной комнаты. Это связано с тем, что нагрузочные возможности ИБП для одной стойки ограничены, и при расширении ИТ-инфраструктуры могут возникнуть трудности при попытке организовать питание оборудования от ИБП, расположенного на другой стойке. Поэтому в настоящее время в серверных комнатах устанавливают отдельный ИБП для всего оборудования и исходя из этого строят схему подачи электропитания. В большинстве случаев диапазон мощностей ИБП, позволяющих решать подобные задачи, перекрывается устройствами до 30 кВА.

Eaton

Семейство ИБП Eaton 9x55 представляют собой устройства с двойным преобразованием напряжения. Они способны защитить оборудование от пропадания, провала или всплеска напряжения; низкого или высокого уровня напряжения; переходных процессов при коммутации, электромагнитных и радиочастотных помех, отклонения частоты и нелинейных искажений напряжения.

Если питание серверной комнаты не превышает 8— 0 кВА и входящая электросеть является однофазной, Eaton предлагает использовать модели 9155S, представляющие собой отдельно стоящие ИБП в корпусе Tower. В том случае, когда в серверную подводится трехфазное напряжение, а оборудование рассчитано на одну фазу, имеет смысл использовать модель Eaton 9155N, которая распределяет однофазную нагрузку между тремя входящими фазами.

При построении трёхфазной проводки в помещении компания Eaton предлагает модель 9355, которая обеспечивает 3 фазы на входе и на выходе. ИБП Eaton 9355 перекрывает мощности от 8 до 40 кВА на одно устройство. Все устройства серии 9x55 позволяют устанавливать несколько ИБП параллельно. К ИБП можно подключать внешние батарейные модули, что позволяет увеличить время работы серверной в автономном режиме.

Все ИБП Eaton 9x55 использует технологию управления зарядом батарей Advanced Battery Management (ABM). В то время, как традиционные ИБП непрерывно заряжают батареи, ABM производит их подзаряд только тогда, когда это действительно необходимо. Тем самым практически исключается процесс коррозии пластин аккумуляторных батарей, и время их жизни значительно увеличивается (до 50%).

В устройствах Eaton 9x55 также использована технология резервирования Hot Sync, которая обеспечивает надежность и гибкость системы. Данная технология позволяет объединять многомодульные конфигурации в параллель без использования кабелей связи между модулями. Это исключает возможность сбоев в системе на уровне кабелей связи и позволяет достичь максимальной доступности питания.

Применение технологии Hot Sync для увеличения мощности позволяет ИБП, объединённым в параллель (до 8 модулей), увеличить общую мощность системы. Добавление большего количества модулей ИБП, чем это требуется для защиты нагрузки, позволяет также создать систему с резервированием. Например, если нагрузка составляет 20 кВА, выбор трех модулей по 10 кВА позволит создать систему с резервированием по схеме N + 1, т.е. два модуля для защиты нагрузки и один для резервирования.

Технология параллельной работы Hot Sync позволяет устанавливать несколько ИБП в параллель по схеме N+x и распределять нагрузку между ними. Стопроцентная защита нагрузки сохраняется даже в случае отказа одного из источников. Постоянно активные цепи самодиагностики ИБП позволяют немедленно изолировать вышедший из строя ИБП, в то время как оставшиеся продолжают защищать нагрузку, распределив ее питание между собой.

Вместе с устройствами 9x55поставляется полнофункциональный бесплатный комплект программного обеспечения Powerware Software Suite, что позволяет легко интегрировать эти ИБП в компьютерные и прочие сети и обеспечить завершение их работы и надежное отключение оборудования в случае продолжительного отсутствия питающей сети. ИБП Eaton 9x55 могут быть интегрированы в любое сетевое окружение (Web/SNMP), а также в современные системы управления зданиями (ModBus/Jbus).