Какой ЦОД нужен украинскому заказчику?

Сегодня центры обработки данных занимают важное место в стратегии развития технологий и продуктов производителей серверов, систем хранения, бесперебойного питания и кондиционирования, сетевого оборудования и инженерной инфраструктуры. Однако экстенсивный путь развития технологий (процессорных, серверных) показал, что требуются новые подходы к этим областям производства, в том числе и по вопросам построения ЦОД.

Мощный не означает лучший

Как считают ученые, рост энергопотребления – следствие эволюционного роста энтропии. Напомним, что данная физическая величина численно характеризует необратимые явления, происходящие в природе. Существует две стороны энтропии – рассеяние энергии и разрушение упорядоченных структур, превращение их в более хаотичные. Так как эволюция сопровождается наращиванием процессов превращения взаимодействий, человечество обречено наращивать процессы потребления энергии. Поэтому в настоящее время в фокусе внимания разработчиков – повышение энергоэффективности ЦОД, виртуализация серверов, СХД и сетевых подключений, управление инфраструктурными сервисами в реальном времени, упрощение адаптации физической инфраструктуры к меняющимся потребностям.

Предлагаемые производителями и системными интеграторами решения и подходы помогают привести инфраструктуру ЦОД в соответствие с требованиями бизнеса, снизить издержки и повысить надежность работы оборудования. Производители расширяют функциональность и повышают энергоэффективность продуктов. Даже технологии виртуализации рассматриваются теперь с точки зрения энергосбережения.
По данным опроса Gartner, 70% заказчиков считают главными задачами эксплуатации ЦОД обеспечение оптимального энергопотребления и охлаждения (двумя годами ранее таких респондентов было 40%). Решать эти задачи приходится на всех уровнях – от компонентного до инфраструктурного. Во всем мире затраты на энергоснабжение и охлаждение составляют 25-50% ежегодных расходов на ЦОД, причем, как полагают аналитики Gartner, они могут возрасти до 60%. Именно проблемами энергетики вызван назревающий "кризис ЦОД" – снижение экономического эффекта от внедрения серверов. Если в 2000 г. заказчики, введя в эксплуатацию новое поколение серверов, получали от сделанных вложений 11-кратный возврат за три года, то сегодня речь идет лишь о пятикратной отдаче инвестиций, а в ближайшие годы этот параметр может снизиться до трехкратного или даже нулевого уровня. За тот же период стоимость владения сервером выросла с 11% до 145% от его покупной цены, а среднее энергопотребление на сервер высотой 1U – с 8 Вт до 109 Вт. При этом расходы на инженерные системы и электроэнергию растут быстрее, чем повышается производительность.


ИБП промышленного класса решают проблемы бесперебойного питания ЦОД

Несмотря на снижение тепловыделения процессоров, из-за повышения плотности оборудования увеличивается мощность потребления серверных стоек. По прогнозам Gartner, к концу следующего года половина ЦОД столкнется с проблемами электропитания и охлаждения оборудования высокой плотности. Как отмечают аналитики, рост стоимости электроэнергии составляет 5-12% в год, а ее потребления в ЦОД – до 20% в год. К тому же увеличение расходов на электроэнергию обычно сводит на нет весь выигрыш. За рубежом стоимость расходуемой ЦОД электроэнергии часто в два-три раза превышает стоимость аренды площадей, причем до 50% энергопотребления приходится на системы инженерного обеспечения. Поэтому выбор инженерной инфраструктуры во многом определяет окупаемость ЦОД.

Оптимизация инфраструктуры

Наряду с вопросами энергоэффективности ЦОД заметное значение приобретают задачи поддержки бизнес-процессов. Все чаще высказывается мнение, что главное в ЦОД – его ценность для бизнеса. Правильно организованная инженерная инфраструктура ЦОД – базис для бесперебойной работы информационных систем, а основным требованием к ЦОД является соответствие бизнес-процессам заказчика с учетом перспектив роста.

В числе требований к ЦОД выделяют также круглосуточный режим работы и постоянного мониторинга, высокую отказоустойчивость, избыточность (резервирование), безопасность, контроль параметров среды, пожарную безопасность, возможность быстрого развертывания и изменения конфигурации, подключение к территориальным, глобальным сетям или Интернету. Расположение и размер ЦОД должны соответствовать устанавливаемому оборудованию, а его инженерное обеспечение обязательно предусматривать резервирование систем кондиционирования наряду с гарантированным электропитанием, системами пожаротушения и защиты от протечек. При необходимости обеспечить бесперебойное функционирование следует использовать схемы резервирования электропитания.

Внедрение комплексной системы инженерного обеспечения дает значительный эффект. Например, у одного заказчика после развертывания отказоустойчивой системы кондиционирования, бесперебойного питания и ограничения доступа в серверное помещение количество отказов серверов снизилось на 30%, комплектующих – на 50%, затраты на сервис и ремонт сократились на 35%, кроме того, был исключен НСД. В ряде случаев рекомендуется применять защищенные помещения Lampertz, исключающие большинство факторов риска. Такое помещение площадью около 100 м2 обходится примерно в $2 млн., но с учетом высокой стоимости оборудования в ЦОД эти затраты оказываются оправданными.

Системы c контуром естественного охлаждения (Free Cooling), использующие "бесплатный холод" с улицы (при условии, что температура не превышает 50C), позволяют экономить 10-15% электроэнергии. Их применение ведет к двукратному увеличению начальных вложений. Более эффективные технологии кондиционирования и использование энергосберегающих чиллеров дают возможность заметно снизить энергопотребление, но для их внедрения нужны серьезные инвестиции.

К слову, модульные решения компании Lampertz также охватывают сферы кондиционирования и управления климатом, бесперебойного энергоснабжения и противопожарной защиты. Поэтому украинские интеграторы проявляют большой интерес к данной компании (например, "Квазар-Микро" недавно заключила партнерское соглашение с Lampertz).

Непрерывное охлаждение

Для многих заказчиков ЦОД является основой бизнеса. Так, для телекоммуникационной компании остановка ЦОД – ситуация катастрофическая, поэтому инженерное обеспечение проектируют с учетом возможных чрезвычайных происшествий. Пока что немногие заказчики знакомы с понятием "бесперебойное охлаждение", еще меньше компаний его применяют. Однако ситуация меняется, а производители разработали общие подходы к охлаждению и кондиционированию на случай аварии в электросетях.

Если не используются специальные схемы, то при аварии в электроснабжении ИТ-оборудование в ЦОД питается от ИБП, а системы кондиционирования останавливаются. По словам представителей компании Emerson Network Power, мощность оборудования в современных ЦОД такова, что, питаясь от ИБП, без кондиционирования оно проработает считанные минуты. Даже при мощности 2 кВт на стойку (одна стойка занимает 3 м2) температура в помещении ЦОД за 5 мин повышается более чем на 100C (в зависимости от объема воздуха в помещении), а при 15 кВт на стойку не спасает и принудительная циркуляция воздуха. Для запуска ДГУ и особенно систем кондиционирования требуется несколько минут. За это время помещение ЦОД успеет изрядно прогреться, и при поступлении холодного воздуха оборудование получит термический удар, что может привести к выходу серверов из строя. Производители гарантируют работоспособность ИТ-оборудования при условии, что температура будет стабильной: ее изменение не должно превышать 5-100С в час.

Чтобы избежать подобных ситуаций, применяются системы бесперебойного охлаждения. Некоторые разработчики определяют три класса систем, выбор которых зависит от загруженности стоек и объема воздуха в машинном зале в расчете на стойку:

  • Класс A – вентиляторы кондиционеров и циркуляционные водяные насосы питаются от ИБП, между чиллером и кондиционером имеется гидроаккумулятор в водяной петле.
  • Класс B – вентиляторы кондиционеров работают за счет ИБП.
  • Класс C – традиционное электроснабжение системы охлаждения: только от гарантированного электропитания с перерывом на время запуска ДГУ и повторного включения системы охлаждения.

В первом случае (Класс A) для предотвращения быстрого прогрева помещения ЦОД при отказе питания для отвода тепла используется аккумулирующий бак с холодной водой, запитанные от ИБП насосы и вентиляторы. Во многих ситуациях эта схема оптимальна, но для фреоновых кондиционеров единственный способ – питание всей системы от ИБП, что требует увеличения их мощности в полтора или даже два раза. При реализации же чиллерной схемы мощность ИБП должна быть увеличена лишь на 15-20%. Кстати, компания APC-MGE продвигает технологию бесперебойного охлаждения. По ее данным, для серверной комнаты с оборудованием мощностью 20-30 кВт объем бака должен составлять 1,5-2 м3. В компании Emerson считают, что наряду с аккумулирующим баком есть смысл применять еще несколько способов длительного поддержания рабочей температуры в ЦОД, например, аварийную вентиляцию или питание вентиляторов от постоянного тока 48 В, при избыточных мощностях питания DC на телекоммуникационных объектах.

Результатом массового развертывания стоек мощностью 4-5 кВт стали две основные технологические тенденции: внедрение схем бесперебойного (непрерывного) охлаждения и встраивание кондиционеров в ряды со стойками для обеспечения циркуляции воздуха в горизонтальной плоскости без фальшпола. По информации APC-MGE, системы с горизонтальной циркуляцией (их используют, в частности, HP, Rittal и Liebert) сопоставимы по стоимости с традиционным подходом, однако в случае их применения не возникает проблем, связанных с недостаточной высотой фальшпола.

Фальшполы рекомендуется устанавливать при мощности не более 5 кВт, иначе возникают сложности с отводом тепла, увеличивается энергопотребление. Кроме этого, они используются для подачи воздуха более чем в половине случаев. Такой вариант подходит и для больших помещений с тепловыделением до 1,5 кВт/м2. Это позволяет перераспределять потоки воздуха, подавая их к нужным стойкам в необходимом количестве, к тому же под фальшполом удобно прокладывать кабели. Высота фальшпола определяется исходя из геометрии помещения и скорости воздушного потока 1 м/с. Кабельные лотки, силовые кабели, системы пожаротушения и другие компоненты должны располагаться под полом вдоль потоков воздуха. Силовые кабели рекомендуется размещать в пространстве холодного коридора, а информационные – в горячем коридоре.

В более трети ЦОД применяется верхняя раздача воздуха через воздуховоды. Такая система подходит для средних помещений с тепловыделением до 0,5 кВт/м2 (если позволяет высота потолков), но она занимает верхнее пространство ЦОД и может пересекаться с кабельными лотками. При отсутствии фальшпола или его недостаточной высоте для оптимального распределения воздуха используется также метод вытеснения, когда охлажденный воздух подается на уровне пола и естественная конвекция вытесняет горячий воздух наверх. В этом случае скорости воздушных потоков небольшие, и на их пути не должно быть препятствий.

Около 30% потребляемой мощности расходуется на охлаждение воздуха. Иногда у заказчиков установлены системы кондиционирования с "запасом мощности", но из-за неправильного размещения шкафов возникают зоны локального перегрева. Принятие достаточно простых и недорогих мер, а также правильная организация горячих и холодных коридоров нередко позволяют более эффективно использовать имеющиеся мощности, снизить энергопотребление и улучшить охлаждение. Поскольку стойки имеют разное тепловыделение, система распределения воздуха должна быть сбалансирована, а оборудование расположено соответствующим образом, когда наиболее горячие стойки размещаются между холодными (метод заимствования).

Для управления воздушными потоками в подпольном пространстве можно установить дефлекторы. В качестве дополнительной меры охлаждения иногда применяют вентиляторы, размещаемые сверху, позади стойки или перед ней, но при таком подходе возможно нарушение воздухообмена в соседних стойках.

Если необходимо усилить охлаждение нескольких стоек с тепловыделением 9-10 кВт, используют локальные модули охлаждения, работающие по принципу воздушной завесы, а также кондиционеры-доводчики. Например, модуль Liebert XDO с фреоновым охлаждением подвешивается к потолку, забирая нагретый воздух из горячего коридора и подавая его в холодный. Обычно доводчики устанавливают по мере увеличения мощности до 6-14 кВт на стойку.

Воздух? Нет, вода!

Рост объема передаваемых данных и подключение все большего числа серверов обуславливают необходимость реорганизации помещений и поиска новых технологических решений. Охлаждение серверов требует организации герметично замкнутых горячих и холодных коридоров или отвода тепла от каждой стойки. Даже в случае принудительного продува шкафа воздушного охлаждения оказывается недостаточно. Повышение плотности оборудования заставляет искать новые подходы. Производители, включая Knuerr, Liebert, APC, STULZ и Rittal, стараются приблизить охлаждение к источнику тепла. Если отводить тепло прямо из шкафа через внутренний теплообменник, создавать холодную зону вдоль передней стенки шкафа, а горячую позади серверов, то можно избавиться от 20-25 кВт тепла, а в случае использования модульных серверов – от 35 кВт в расчете на одну стойку. Теплопроводность воды в 3,5 тыс. раз выше, чем воздуха, поэтому ряд производителей предлагают системы с водяным охлаждением. Среди подобных решений – Emerson/Knuerr CoolTherm, IBM Rear Door Heat eXchanger, Schroff Varistar LHX20 Rittal LCP. Чтобы отвести 1 кВт тепла и понизить температуру на 100C, за час нужно прокачивать 325 м3 воздуха или всего лишь 90 л воды.

Например, компания Emerson предлагает несколько вариантов удаления тепла в зависимости от конкретной конфигурации стоек. Вертикальные модули Liebert XDH с фреоновой системой охлаждения устанавливаются на пол между стойками и отводят до 30 кВт с одной стойки. Система Liebert XDFN монтируется в любом помещении и рассчитана на тепловыделение до 24 кВт на стойку. Она предусматривает полное резервирование, средства контроля доступа и мониторинга (температуры, напряжения, потребляемой мощности). Воздух циркулирует внутри шкафа, а хладагент подается к стойке через систему труб сверху. Питание вентиляторов от ИБП защищает оборудование на время, необходимое для запуска генератора.

Питание без перебоев

Ключевую роль в бесперебойном функционировании ЦОД играет электроснабжение, однако требования потребителей электроэнергии к качеству электропитания не одинаковы. Обобщив опыт построения ЦОД в СНГ и за рубежом, специалисты Emerson разделили устройства, потребляющие электроэнергию, на три категории.


Кабельная инфраструктура ЦОД – немаловажный элемент

Первая (серверы, СХД, системы управления, общая и пожарная сигнализации, системы пожаротушения, аварийное электропитание климатического оборудования, аварийное освещение, системы контроля доступа и видеонаблюдения) требует жестко заданных параметров напряжения (±0,5 В), частоты (±0,05 Гц), искажения формы сигнала (КНИ<1%) и не допускает прерывания электропитания в течение заданного времени (до нескольких лет). Вторая категория (климатическое оборудование, аварийное освещение и розетки второй категории, аварийная приточная и вытяжная вентиляция) допускает кратковременное прерывание электропитания (до 30 с), а для третьей (общее освещение, розетки для бытовых нужд, электрические отопительные приборы, общая приточная и вытяжная вентиляция) перерывы могут доходить до 24 ч. Эти потребители менее требовательны и к стабильности напряжения/частоты.

При построении комплексной системы гарантированного электропитания должны быть составлены таблицы потребителей для всех возможных режимов (рабочий, аварийный, сервисное обслуживание) с указанием их мощности и категории. Устройства, относящиеся к первой категории, питаются от ИБП через автоматические статические переключатели (АСП), запитываемые от одной из шин в двулучевой системе (Dual Bus). Оба набора ИБП в ней синхронизированы (согласованы по напряжению и частоте) через информационный кабель. Для мониторинга параметров (напряжение, потребляемый ток, кВтxч) блок распределения питания (Power Distribution Unit, PDU) имеет ЖК-панель. Питанием каждой розетки можно управлять дистанционно, а также через PDU задавать длительность питания тех или иных серверов от ИБП.

Питание серверов от постоянного тока упрощает реализацию схем с длительным временем автономной работы и снижает тепловыделение благодаря отсутствию трансформаторов в блоках питания серверов. По данным агентства Ecos Consulting, перевод ЦОД на питание от постоянного тока позволяет сократить расходы на электроэнергию более чем на 20%. Источники DC используются в телекоммуникационной отрасли для питания сетевого оборудования уже не первый год. Теперь производители пытаются распространить эту модель на серверы.

Мониторинг инженерных систем ЦОД должен обеспечивать контроль систем кондиционирования и электропитания (включая ДГУ, ИБП и автомат ввода резерва – АВР), серверных стоек, вывод аварийных сигналов от элементов инженерной системы, а также предоставлять возможность подключения нескольких ЦОД к единой системе контроля. При выборе ИБП следует исходить из возможного наращивания мощности, требуемой степени избыточности и автономного времени работы. Последний параметр определяется периодом, необходимым для запуска резервного электроснабжения (ДГУ), завершения критичных операций или питания нагрузки до восстановления напряжения в основной электросети. ИБП могут поддерживать в рабочем состоянии вентиляторы и приводы заслонок фальшпола.

Для создания избыточных систем или наращивания мощности ИБП включаются параллельно. Вертикально наращиваемые (стоечные) ИБП Emerson обеспечивают до 30 кВА электроэнергии для одной стойки. Система мониторинга аккумуляторных батарей, которая разработана приобретенной Emerson компанией Alber, контролирует напряжение, ток, температуру и внутреннее сопротивление батареи, что позволяет оценивать ее состояние в графическом интерфейсе.

Серверы обновляются быстрее, чем инженерная инфраструктура, поэтому комплексная система гарантированного электропитания ЦОД должна не только снабжать электроэнергией конкретные категории оборудования в соответствии с их требованиями, но и обладать адаптивной структурой, позволяющей легко перестраивать ее под новую конфигурацию.

Продолжение следует

— Материал подготовил Сергей Кучеренко

2008.02.18
19.03.2009
В IV квартале 2008 г. украинский рынок серверов по сравнению с аналогичным периодом прошлого года сократился в денежном выражении на 34% – до $30 млн (в ценах для конечных пользователей), а за весь календарный год – более чем на 5%, до 132 млн долл.


12.03.2009
4 марта в Киеве компания Telco провела конференцию "Инновационные телекоммуникации", посвященную новым эффективным телекоммуникационным технологиям для решения задач современного бизнеса.


05.03.2009
25 февраля в Киеве компания IBM, при информационной поддержке "1С" и Canonical, провела конференцию "Как сохранить деньги в условиях кризиса?"


26.02.2009
18-19 февраля в Киеве прошел юбилейный съезд ИТ-директоров Украины. Участниками данного мероприятия стали ИТ-директора, ИТ-менеджеры, поставщики ИТ-решений из Киева, Николаева, Днепропетровска, Чернигова и других городов Украины...


19.02.2009
10 февраля в Киеве состоялась пресс-конференция, посвященная итогам деятельности компании "DiaWest – Комп’ютерний світ" в 2008 году.


12.02.2009
С 5 февраля 2009 г. в Киеве начали работу учебные курсы по использованию услуг "электронного предприятия/ учреждения" на базе сети информационно-маркетинговых центров (ИМЦ).


04.02.2009
29 января 2009 года в редакции еженедельника "Computer World/Украина" состоялось награждение победителей акции "Оформи подписку – получи приз!".


29.01.2009
22 января в Киеве компания "МУК" и представительство компании Cisco в Украине провели семинар для партнеров "Обзор продуктов и решений Cisco Small Business"

 

 
 
Copyright © 1997-2008 ИД "Комиздат".