Строим центр обработки данных

Рассмотрены подходы к созданию центра обработки данных, особое внимание уделено роли системного интегратора. Приводится описание Демо-центра обработки данных корпорации Инком, построенного с учетом самых современных требований.

Анализ информационных материалов, статей и комментариев специалистов в области применения ИТ-решений позволяет сделать вывод о том, что современные тенденции развития информационных технологий в крупных компаниях, имеющих разветвленную инфраструктуру офисов и развитые информационные системы, а также растущий уровень автоматизации предприятий всех отраслей требуют создания экономичных и технологически продвинутых решений и поднимают на новый уровень проблему построения вычислительных систем высокой доступности. От успешности решения этой задачи зависит эффективность функционирования предприятий и организаций в целом.

КАКАЯ ИТ-ИНФРАСТРУКТУРА ТРЕБУЕТСЯ СЕГОДНЯ?

Сегодня в организациях стремительно растет число серверов, увеличиваются плотность размещения и мощность серверного оборудования. Компании, которые в течение последних четырехпяти лет откладывали модернизацию своей ИТ-инфраструктуры, сегодня приступили к ее активному обновлению, чтобы вписаться в рамки новых бизнес-требований и требований действующих нормативных документов. В таких условиях проектирование централизованного корпоративного центра обработки данных (ЦОД) является ключевым звеном для достижения успеха в бизнесе. А поскольку каждая информационная система уникальна, то уникален и каждый проект в области построения ЦОД.

Основными заказчиками ЦОД изначально были финансовые учреждения, что объясняется наличием средств и возможностей построения центров обработки данных. В первую очередь это относится к банкам, страховые компании включились в этот процесс недавно, когда появилась соответствующая нормативная база. Консолидация, анализ и обработка информации для финансистов — важнейшая составляющая их бизнеса, поэтому ЦОД для них служит не только средством повышения эффективности, но является и своеобразным обеспечением выживаемости фирмы.

Также крупные ЦОД созданы и развиваются в телекоммуникационном секторе. Интерес к построению центров обработки данных проявляют и промышленные предприятия различных отраслей. Прежде всего это касается «сырьевого» сектора (нефтяная, газовая, химическая промышленности), а также предприятий, специализирующихся на транспорте нефтепродуктов и газа. Им необходимо круглосуточно иметь консолидированную отчетность о состоянии всех своих подсистем, что является сложной задачей (особенно если учесть территориально распределенную структуру). Кроме «сырьевого» направления в последнее время интерес к созданию центров обработки данных проявляют машиностроительные, металлургические и другие предприятия.

Проектирование ЦОД представляет собой достаточно сложный процесс и выполняется с учетом решаемых бизнес-задач, уровня требований к безопасности, пожеланий заказчика и уже имеющегося оборудования. При организации подобных центров необходимо разрешить целый комплекс архитектурно-строительных и проектных проблем, включая планировку помещений, определение прочностных характеристик перекрытий, выбор размеров и расположения дверных проемов, высоту и конструкцию фальшполов, фальшпотолков (если они необходимы), выбор оптимальных маршрутов кабельных трасс, освещенности различных зон помещений и многое другое. Наряду с этим требуется обеспечить все, что связано с электроснабжением, кондиционированием, пожаротушением, обеспечить систему контроля доступа и защиты информации.

Требования нормативов

Необходимость повышения эффективности строительства и модернизации ЦОД на основе системного подхода и тиражируемых решений привела к появлению стандартов, регламентирующих, в частности, требования к помещениям, инженерной инфраструктуре, безопасности: в США это EIA / TIA-942, в Европе — проект стандарта EN 50173-5. В Украине сегодня действует документ, регламентирующий основные требования к построению защищенных серверных помещений (Постановление Правления Национального банка Украины от 04.07.2007 № 243, зарегистрированное в Министерстве юстиции Украины, регистрационный № 955 / 14222 от 17.08.2007 г.).

Требования заказчиков

Независимо от направления деятельности компаний, можно выделить следующие основные требования, предъявляемые сегодня заказчиками к построению ИТ-систем:

  • централизация хранения данных;
  • совместное использование устройств и данных в кластерных системах;
  • централизация управления ресурсами хранения, резервного копирования и восстановления данных;
  • резервирование и возможность территориального распределения компонентов системы;
  • высокая доступность системы;
  • высокая надёжность и безотказность информационной инфраструктуры и системного ПО;
  • виртуализация системных ресурсов. Кроме этого, можно выделить ряд дополнительных требований, к которым относятся: интеграция решения в существующие информационные среды;
  • внедрение систем эффективного управления решением;
  • информационный консалтинг и обучение персонала заказчика;
  • техническая поддержка, гарантийное и послегарантийное обслуживание.

Резюмируя изложенное, можно сказать, что современные компании, использующие в своих информационных системах высококритичные для бизнеса приложения, сегодня нацелены на создание отказоустойчивых центров обработки и хранения данных.

ЦОД — СОБСТВЕННЫЙ ИЛИ АРЕНДУЕМЫЙ?

Крупным компаниям часто приходится решать дилемму: строить собственный ЦОД или стать клиентом провайдера услуг дата-центров. При этом необходимо учитывать следующие глобальные тенденции и факторы:

  • принятие законов, требующих обязательного резервирования ИТ-систем;
  • появление рекомендаций по использованию модели аутсорсинга ИТ-инфраструктуры;
  • стандартизация технологий в области информационной безопасности;
  • применение риск-ориентированных подходов к ведению бизнеса, составление планов обеспечения непрерывности бизнеса, переход на новые корпоративные стандарты в области ИТ-инфраструктуры;
  • необходимость защиты бизнеса от природных и техногенных катастроф.

Для многих крупных компаний и холдингов становятся стандартными требования доступности ИТ-ресурсов на уровне надежности 99,995 % (TIER-IV). Необходимость удовлетворять данным требованиям и обеспечивать непрерывность управления бизнесом обуславливает построение резервных ИТ-офисов на территории коммерческих ЦОД. Фактически ЦОД превращаются в центры непрерывности бизнеса заказчиков.

Основные вопросы создания ЦОД

В связи с указанными факторами, весь комплекс задач, связанных с созданием ЦОД, можно разделить на несколько групп:

  • выбор места для строительства здания ЦОД либо его аренды (первоначальный выбор может определить коммерческий успех всего предприятия);
  • организация бесперебойного резервированного электропитания объекта (как правило, на самом высоком уровне);
  • обеспечение климатического контроля и мощности систем кондиционирования HVAC (Heating Ventillation-AirConditioning);
  • построение кабельной инфраструктуры локальных сетей и подключение внешних каналов телекоммуникаций;
  • обеспечение пожарной безопасности и соответствия объекта принятым нормативам и ГОСТам;
  • обеспечение физической безопасности объекта и разграничения доступа персонала к оборудованию (необходимым условием является внедрение в ЦОД полномасштабной системы видеонаблюдения);
  • коммерческая эксплуатация дата-центра и размещение резервных офисов.

Собственный ЦОД

Корпоративный (собственный) центр обработки данных создается для обеспечения непрерывной работы вычислительных ресурсов организации с учетом перспектив ее развития, в нем может располагаться основной либо резервный ИТ-узел компании. Такой ЦОД «вписывается» в рамки общей системы информационной защиты, но зачастую рассматривается как ее отдельный компонент.

Создание корпоративного ЦОД занимает довольно продолжительное время. Если компания не может ждать и должна срочно разместить критичные для бизнеса ИТ-ресурсы на надежной площадке, то ей можно воспользоваться услугами коммерческого дата-центра — на постоянной или временной основе.

Арендуемый ЦОД

Во многих развитых странах в последнее время наметилась тенденция создания коммерческих ЦОД. Сегодня весьма востребованы услуги colocation (сдачи в аренду стоек под оборудование в коммерческом ЦОД). Клиент ставит в эти стойки серверное оборудование (оно, как правило, является собственностью клиентов) и другую технику и получает надежное инженерное и коммуникационное обеспечение, защиту инфраструктуры. Стоимость услуги рассчитывается по количеству задействованных стоек, хотя при этом оплачивается и соответствующая часть инфраструктуры ЦОД, его инженерного обеспечения, телекоммуникационных систем, средств защиты и т. д. Эта услуга интересна для организации резервных ЦОД (аренда стоек у мощного телеком-провайдера может быть выгодным решением, так как заказчик фактически получает все: надежную инфраструктуру, точку обмена трафиком, отличную доступность), а также для вновь создающихся структур, у которых нет соответствующих площадей для строительства ЦОД. Аренда также является хорошим выходом из положения, когда в ИТ-структуре используется всего лишь несколько серверов — строить «под них» инфраструктуру с таким уровнем доступа невыгодно экономически.

Вместе с тем данному варианту решения присущ ряд недостатков, а именно:

  • часто бывает сложно найти простаивающее готовое решение, полностью отвечающее требованиям клиента (соответственно, поставщику услуг аренды приходится брать оборудование в лизинг и формировать нужное решение, и когда подсчитываются расходы, выясняется, что выгоднее оборудование купить);
  • могут возникнуть проблемы совместимости (например, если сервером пользуются несколько компаний, то есть консолидируется работа нескольких приложений);
  • размещение «своих» данных на «чужой» площадке (финансовые структуры и большинство крупных заказчиков очень обеспокоены вопросами информационной безопасности в части конфиденциальности данных — в этих случаях они обычно строят собственные ЦОД, а вопрос экономии вообще не ставится).

Если более детально рассмотреть последний аспект, то в ряде стран, кроме компаний, предоставляющих услуги аренды ЦОД, имеются и организации, занимающиеся страхованием рисков использования внешнего центра. Такие страховые компании производят предварительный аудит ЦОД с позиций оценки его соответствия техническим требованиям, стандартам обеспечения безопасности и пр. И только если все удовлетворяет существующим нормам, компании дают страховку. К сожалению, в Украине аналогичной системы пока не существует.

В любом случае выбор остается за заказчиком, который должен для себя выбрать решение по построению ЦОД и определить наиболее оптимальный вариант его реализации.

НУЖЕН ЛИ СИСТЕМНЫЙ ИНТЕГРАТОР ПРИ ПОСТРОЕНИИ ЦОД?

Нередко у заказчика возникает вопрос: нужен ли системный интегратор при построении ЦОД? Отвечая на него, нужно иметь в виду следующее.

Чтобы спроектировать и реализовать ЦОД, нужно обладать необходимыми ресурсами и специалистами разноплановой квалификации, нужны знания инженерии (начиная с грамотной организации СКС), опыт создания сетевой инфраструктуры, компетенция в разработке ландшафтов.

Следует учитывать круг общих проблем, которые требуют комплексного решения при создании ЦОД нового поколения, а именно:

  • опережающее нарастание мощностей серверного оборудования по сравнению с имеющимися площадями для их размещения;
  • существенное увеличение мощности активного оборудования (в среднем с 5 до 15 кВт на стойку, а в случае использования блейд-серверов — до 30 кВт);
  • необходимость поддержания жестких климатических условий в помещении ЦОД для обеспечения нормальной работы серверного оборудования;
  • необходимость организации системы мониторинга и контроля состояния как отдельных элементов и подсистем, так и всей инфраструктуры в целом;
  • повышенные требования к системе защиты информации, обработки и архивирования данных;
  • обеспечение возможности администрирования системы ЦОД в рамках системы управления и диспетчеризации объекта.

Круг задач при построении ЦОД достаточно широк: от проектирования инфраструктуры, телекоммуникационных, инженерных систем до строительства здания ЦОД. Даже само проектирование ЦОД — задача очень непростая и требует от системного интегратора наличия мощного проектного отдела с самыми широкими компетенциями.

Кроме того, если отдельные подсистемы выполняются соответствующими субподрядчиками, их деятельность необходимо координировать. Для устранения (и предупреждения) возможных «нестыковок» все работы требуют согласованности. Для этого необходимо обладать достаточно мощной технической компетенцией, знать возможные источники проблем и способы их устранения. Организацией такого взаимодействия в процессе построения ЦОД и занимается системный интегратор.

МОЖНО ЛИ ПОТРОГАТЬ ЦОД РУКАМИ?

В корпорации Инком создан и функционирует Демо-центр обработки данных (ДЦОД), построенный с учетом самых современных требований. Его создание преследовало следующие цели:

  • обеспечение технологических потребностей инновационных департаментов (их в корпорации Инком сегодня семь, они активно ведут разработки, тестирование и эксперименты с ИТ-оборудованием и программными системами);
  • построение демонстрационной площадки, где потенциальные клиенты корпорации могут увидеть новейшие технологии построения инженерной инфраструктуры ЦОД;
  • получение необходимого опыта проектирования, построения и эксплуатации современных ЦОД (собственный опыт дает необходимые знания для того, чтобы инженеры могли грамотно проектировать системы для заказчиков и оказывать им помощь при эксплуатации ЦОД).

ДЦОД построен по классическому иерархическому принципу. На нижнем, основополагающем уровне находится инженерная инфраструктура. Следующий уровень ДЦОД — аппаратная ИТ-инфраструктура (серверы, системы хранения данных и телекоммуникационное оборудование). Последний уровень ЦОД — программное обеспечение, которое выполняет непосредственную обработку данных, используя имеющуюся ИТ-инфраструктуру.

Основу ДЦОД составляет инженерная инфраструктура, построенная на решениях APC InfraStruXure корпорации American Power Conversion. APC InfraStruXure представляет собой интегрированную архитектуру электропитания и кондиционирования, оптимизированную для размещения оборудования в стойках. Это решение объединяет средства защиты электропитания, прецизионного кондиционирования, управления и сервисного обслуживания, обеспечивая системный подход к построению инфраструктуры ЦОД.

Такой конструктивный подход повышает уровень готовности, обеспечивает улучшенную адаптивность, ускоряет развертывание и снижает полную стоимость владения. Его применение дает возможность сократить расходы, связанные с созданием и эксплуатацией систем кондиционирования и защиты электропитания, за счет следующих преимуществ:

  • InfraStruXure помогает избежать ошибок уже на этапе проектирования;
  • процесс инсталляции системы максимально прост и не требует больших затрат времени;
  • возможно поэтапное внедрение архитектуры по мере роста потребностей;
  • решение гарантирует совместимость всех компонентов архитектуры, простоту эксплуатации, контроля и обслуживания, а также высокий уровень готовности всей системы.

В состав указанной выше инфраструктуры входят системы:

  • энергоснабжения и бесперебойного электропитания оборудования;
  • кондиционирования и вентиляции помещения и оборудования;
  • охранно-пожарной сигнализации помещения;
  • пожаротушения и дымоудаления помещения;
  • контроля доступа в помещения.

Также в инфраструктуру входят структурированная кабельная система и средства диспетчеризации систем инженерной инфраструктуры ЦОД.

Основные задачи инженерной инфраструктуры ЦОД:

  • обеспечение требуемого уровня надежности и резервирования систем и подсистем (N, N+1, 2N…);
  • обеспечение минимального времени восстановления работоспособности (модульность, «горячая» замена элементов);
  • минимизация человеческого фактора при проектировании, монтаже и обслуживании;
  • применение стандартных компонентов и совместимость (для полноценной диспетчеризации);
  • возможность дальнейшего расширения (модульность).

ОСНОВНЫЕ ХАРАКТЕРИСТИКИ ДЦОД

ДЦОД занимает площадь помещения 35 кв. метров. В нем установлено 8 монтажных шкафов Net Shelter SX 48 U шириной 600 мм, глубиной 1070 мм, высотой 2258 мм. Каждый из них рассчитан на размещение ИТ-оборудования мощностью 5-10 кВт. Шкафы размещены в два ряда с организацией холодных и горячих коридоров.

Система энергоснабжения включает ИБП Symmetra PX 50 кВт (мощность которого может быть увеличена до 80 кВт с резервированием N+1), состоящий из трех шкафов: силовой, батарейный шкафы и шкаф распределения питания.

Для поддержания в помещении рабочей температуры 20-22°С установлена система водяного охлаждения InRowRC Chilled Water (4 внутрирядных прецизионных кондиционера). Охлаждающая мощность каждого кондиционера составляет 18,5 кВт. Охлаждение хладагента осуществляется с помощью выносного чиллерного оборудования.

Для централизованного контроля параметров среды установлена система APC Environmental Manager, которая с помощью семи датчиков температуры и одного датчика температуры и влажности контролирует параметры воздушной среды во всех стойках и в горячем коридоре.

Также в демо-центре установлена система NetBoth 320 с камерой. Типичное решение NetBotz состоит из базовой станции с интегрированными датчиками состояния среды, цветной видеокамеры и дополнительных модульных датчиков. NetBotz Surveillance позволяет отслеживать и регистрировать любые действия и происшествия в охраняемых зонах, предотвращая непоправимые последствия ошибок персонала, несанкционированного проникновения, чрезвычайного перегрева оборудования, протечки воды и т. п. С помощью дополнительных внешних датчиков можно отслеживать разнообразные параметры в выбранной зоне. С помощью NetBotz Central можно конфигурировать все видео- и аудиоустройства, датчики, позволяя настраивать «пороговые значения», при достижении которых система будет выполнять выбранные действия.

Система управления ИТ-оборудованием представлена четырьмя консолями управления — клавиатура / монитор / мышь с монитором в 17" AP5017 и четырьмя 16-портовыми коммутаторами KVM-switch AP5202.

Система управления элементами инженерной инфраструктуры построена на основе InfraStruXure Manager Appliance. Данная система собирает и протоколирует информацию со всех компонентов InfraStruXure. При возникновении нештатных ситуаций система рассылает уведомления в соответствующие службы: системным администраторам и в службу главного инженера. Доступ к системе осуществляется посредством соответствующего web-приложения. Система имеет возможность посылки сообщений о любых нештатных ситуациях по протоколу SNMP. Кроме того, возможна интеграция с системой управления инженерными системами здания по протоколу Modbus.

Подсистема видеонаблюдения построена на базе Инспектор+ (три камеры с аналоговым видеосигналом). Элемент системы контроля доступа представлен «входом по карточке». В ЦОД также имеется демо-стенд интеллектуальных СКС AMPTRAC производства компании AMP.

ОПЫТ ЭКСПЛУАТАЦИИ ДЦОД

Эксплуатация ДЦОД показала особую важность своевременного выявления сбоев, отказов или неполадок в контуре холодоснабжения. Высокая стоимость установленного оборудования и ответственность решаемых задач ставит в ряд актуальных проблем диспетчерский контроль контура холодоснабжения ЦОД. Создание такой системы позволит своевременно выявлять и оперативно устранять периодически возникающие неполадки (к сожалению, риск возникновения их довольно высок).

На сегодня как минимум две технические службы вовлечены в обеспечение функционирования ЦОД. Это Служба главного инженера и системные администраторы. Возможно, в дальнейшем информация о функционировании ЦОД может быть востребована другими структурами группы инновационных департаментов Инком — эта задача реализуема.

Последующим этапом предусматривается возможность включения инженерной инфраструктуры ДЦОД в состав комплексной системы автоматизации и диспетчеризации здания.

Ближайшей задачей является интеграция систем диспетчеризации ISX Manager и автоматики управления внешними холодильными машинами (чиллерами) в систему управления инженерными системами здания с единым диспетчерским пультом.

Современный ЦОД — это сложная централизованная система, которая включает высоконадежное серверное оборудование, систему хранения данных, активное сетевое оборудование, специальные средства резервирования и дублирования критически важных элементов информационных систем, инженерную инфраструктуру, средства информационной и физической защиты данных. Немаловажной частью ЦОД являются системы управления и мониторинга, а также комплекс организационных мероприятий и обученный персонал.

Основные преимущества от внедрения ЦОД:

  • четкое соответствие между ИТ-инфраструктурой и бизнес-процессами компании;
  • обеспечение непрерывности бизнеса и катастрофоустойчивых решений за счет резервирования и географического разнесения элементов ЦОД;
  • повышение надежности, производительности, масштабируемости, управляемости и безопасности ИТ-инфраструктуры в целом;
  • уменьшение стоимости владения ИТ-инфраструктурой за счет централизации ресурсов и администрирования;
  • возврат инвестиций за счет иерархической архитектуры ЦОД.

Предлагаемые в процессе проектирования и строительства ЦОД решения позволяют заказчику выработать для себя оптимальное решение и найти компромисс между обеспечиваемым высоким уровнем надежности системы и ее стоимостью. Основным критерием здесь является то, что стоимость ЦОД не должна превышать стоимости данных, которые в нем обрабатываются, а технические решения должны быть адекватны рискам отказа критически важных информационных сервисов.

Александр Ростиславович ГоменюкАлександр Ростиславович Гоменюк
руководитель
группы консультантов,
корпорация Инком
(г. Киев)
Сергей Иванович СопенкоСергей Иванович Сопенко
консультант,
корпорация Инком
2007.11.16
19.03.2009
В IV квартале 2008 г. украинский рынок серверов по сравнению с аналогичным периодом прошлого года сократился в денежном выражении на 34% – до $30 млн (в ценах для конечных пользователей), а за весь календарный год – более чем на 5%, до 132 млн долл.


12.03.2009
4 марта в Киеве компания Telco провела конференцию "Инновационные телекоммуникации", посвященную новым эффективным телекоммуникационным технологиям для решения задач современного бизнеса.


05.03.2009
25 февраля в Киеве компания IBM, при информационной поддержке "1С" и Canonical, провела конференцию "Как сохранить деньги в условиях кризиса?"


26.02.2009
18-19 февраля в Киеве прошел юбилейный съезд ИТ-директоров Украины. Участниками данного мероприятия стали ИТ-директора, ИТ-менеджеры, поставщики ИТ-решений из Киева, Николаева, Днепропетровска, Чернигова и других городов Украины...


19.02.2009
10 февраля в Киеве состоялась пресс-конференция, посвященная итогам деятельности компании "DiaWest – Комп’ютерний світ" в 2008 году.


12.02.2009
С 5 февраля 2009 г. в Киеве начали работу учебные курсы по использованию услуг "электронного предприятия/ учреждения" на базе сети информационно-маркетинговых центров (ИМЦ).


04.02.2009
29 января 2009 года в редакции еженедельника "Computer World/Украина" состоялось награждение победителей акции "Оформи подписку – получи приз!".


29.01.2009
22 января в Киеве компания "МУК" и представительство компании Cisco в Украине провели семинар для партнеров "Обзор продуктов и решений Cisco Small Business"

 

 
 
Copyright © 1997-2008 ИД "Комиздат".