Построение современного ЦОДа с нуля. Часть II

В первой части Александр Лебедев уже рассказал о том, как разработать план и составить техническое задание для участников команды. Сегодня поговорим о проектировании, строительстве и сдаче в эксплуатацию центра обработки данных.

Часть II. Разработка документации, строительство ЦОДа, сдача в эксплуатацию

Строительство ЦОДа: этап 2. Проектирование и разработка технической документации

Процесс проектирования ЦОДа – задача, которая требует комплексного подхода и учета достаточно большого количества взаимосвязанных факторов. На данном этапе реализуется разработка эскизного проекта дата-центра, определяются конструктивные и архитектурные особенности, предварительная планировка, перечень и номиналы необходимого инженерного оборудования.

Бесперебойная эксплуатация ЦОДа зависит от качества и детальности проработки проекта. На данном этапе крайне важны не только высокий профессионализм и компетенция проектировщиков, но и их реальный опыт в проектировании, строительстве и эксплуатации дата-центров, начиная от устранения причин протечки крыши и коротких замыканий в электроцепи, заканчивая знаниями всех элементов вентиляции и других звеньев функциональных структур.

Первый наш опыт построения серверной был не самым удачным, мы допустили ряд ошибок, не были проработаны все детали и элементы структуры. В результате чего малейшие незначительные действия (кто-то задел проводок или отсоединился патч-корд) приводили к большим проблемам. Был случай соединения питания под фальш-полом через сетевой фильтр, который перегорел, а мы долго искали, где разрыв цепи. Была потрачена уйма времени и сил, не говоря о простое в работе.

Вот как выглядела наша старая серверная: 

Проектирование ЦОД осуществляется в соответствии с постановлением Правительства РФ от 16.02.2008 г №87 "О составе разделов проектной документации и требованиями к их содержанию", региональными строительными нормами и требованиями технического задания. При проектировании ЦОД учитываются требования действующего законодательства и нормативных документов по пожарной безопасности, охране труда и экологии.

В России с 1 августа 2020 года вводятся в действие два новых национальных стандарта, устанавливающих нормы создания и эксплуатации инженерной инфраструктуры ЦОДов. Эти стандарты (ГОСТ Р 58811-2020 "Центры обработки данных. Инженерная инфраструктура. Стадии создания" и ГОСТ Р 58812-2020 "Центры обработки данных. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация") опубликованы на официальном портале Федерального агентства по техническому регулированию и метрологии (Росстандарт). В эпоху глобальной цифровизации введение такие стандартов в области регулирования строительства и использования дата-центров является немаловажным шагом в развитие отрасли в целом. Данные стандарты позволят улучшить качество предоставляемых услуг, оптимизировать строительство и эксплуатацию ЦОД.

Помимо национальной нормативной базы существует ряд международных стандартов, широко применяемых на практике:

• Стандарты Tier Standard: Topology и Tier Standard: Operational Sustainability, определяющие критерии классификации физической инфраструктуры ЦОД, разработанные The Uptime Institute;  
• Международный стандарт ISO/IEC 30134 "Информационные технологии – Центры обработки данных – ключевые показатели эффективности", содержащий общие требования и положения, нормы эффективности использования мощности (PUE), регламент возобновляемого энергетический фактора;
• Стандарт 002–2010: Data Center Design and Implementation Best Practices, разработанный Международной консультативной службой строительной отрасли и расширенный в 2015 году с выходом ANSI/BICSI 002–2014;
• Европейский стандарт EN 50600, подготовленный Европейским комитетом электротехнической стандартизации (CENELEC), определяющий регламент проектирования сооружений и инфраструктуры центров обработки данных;
• Стандарт ANSI/TIA-942-A Telecommunications Infrastructure Standard for Data Centers, разработанный Ассоциацией телекоммуникационной отрасли (TIA) и Американским национальным институтом стандартов (ANSI), затрагивающий в основном кабельную и сетевую инфраструктуру, и предусматривающий избыточность и надежность в соответствии с уровнями The Uptime Institute;
• И другие стандарты.

В процессе проектирования ЦОДа и разработки комплекта проектной и рабочей документации осуществляется постановка и решение задач следующего направления:

• Формулирование общей концепции проекта ЦОД, планирование инфраструктуры. Составляются эскизы размещения оборудования, выбираются оптимальные пути прокладки кабельных трасс. Рассчитываются параметры потребляемой мощности, а также отводимого тепла;
• Проектирование и построение структурированных кабельных систем (СКС) с учетом заданных параметров и пожеланий заказчика. СКС связывают между собой компоненты дата-центра;
• Обустройство помещения с учетом требований пожарной безопасности;
• Монтаж источников бесперебойного питания;
• Построение эффективных систем охлаждения и кондиционирования, позволяющих создать необходимый для оборудования микроклимат;
• Расстановка серверных стоек и шкафов, монтаж патч-панелей, заведение основных магистралей и подключение питания;
• Размещение серверного и другого активного оборудования;
• Обеспечение безопасности объекта за счет установки видеонаблюдения и контроля доступа на объект.

Главные требования к дата-центрам – это надежность оборудования, достаточная скорость передачи данных, безопасность информации и наращиваемость инфраструктуры. Все эти показатели достигаются путем применения самых современных решений в организации структурированных кабельных систем и локальных вычислительных сетей. Поскольку именно они являются основой для организации других инженерных и телекоммуникационных систем, рассмотрим более подробно основные элементы инженерной инфраструктуры ЦОДа.

Помещение дата-центра

Помещение центра обработки данных (серверной) не должно быть проходным. Нецелесообразно размещать ЦОД рядом с внутренними конструкциями здания, которые ограничивают возможное расширение в будущем: лестничные марши, лифтовые шахты и т.д. Рекомендуется под ЦОД использовать помещение без окон, а если все-таки окна имеются, то размещать оборудование на северной или северо-восточной стороне здания. Необходимо избегать близкого размещения к источникам мощных электромагнитных полей, а также размещать рядом с оборудованием с повышенной вибрацией.

Минимально допустимый размер помещения ЦОДа (серверной) – 14 кв. м. Помещение должно иметь площадь для правильного расположения вычислительных ресурсов и обслуживающего оборудования или составлять 0,07 кв. м на каждые 10 кв. м обслуживаемых рабочих мест. Минимальная высота потолка должна составлять 2,44 м. Перекрытия здания должны выдерживать нагрузку минимум 1000 кг на 1 кв. м.

Пол, в соответствии с п.17.20 РД 45.120-2000, должен быть ровным и иметь антистатическое покрытие с сопротивлением 106 Ом, обеспечивающее стекание и отвод статического электричества. Настил пола осуществляется на несгораемое основание. Рекомендуется использовать фальшпол.

Дата-центр – это помещение с определенной структурой. Оно может состоять из таких элементов, как:

• Машинный зал, в котором размещается оборудование, связанное кабельной системой;
• Комната ввода, которая подключается к одному или нескольким интернет-провайдерам;
• Главная распределительная зона, в которой располагаются коммутаторы и маршрутизаторы;
• Горизонтальная распределительная зона, связывающая элементы ЦОД с помощью кабелей;
• Аппаратные зоны (например, серверные стойки и распределительные шкафы);
• Кабельная система.

Наш центр обработки данных занимает помещение общей площадью 100 кв. м правильной прямоугольной формы с допусками не более 1 см. Состоит из зон: главная зона с оборудованием (серверная), горизонтальная распределительная система (трасса для слаботочных систем и зона для оборудования пожаротушения (см. Рис.5). Основное оборудование размещено в комнате без окон, где имеется фальшпол (высотой 0,5 м от уровня основного пола).

Рис. 5. План-схема ЦОДа ООО "РТП"

Система электроснабжения ЦОДа

Обеспечение постоянного и бесперебойного энергоснабжения – основная задача при создании ЦОДа. Предусматривается несколько вводов электроснабжения, чтобы обеспечить надежность работы центра. Для бесперебойного функционирования оборудования, дата-центры оснащаются надежной системой электропитания с защищенными кабельными линиями и автоматизированной системой диспетчеризации (позволяющей дистанционно проводить мониторинг работы оборудования и аварийных ситуаций), управления и перехода на резервные линии электропитания. Система бесперебойного электропитания дата-центров строится на базе ИБП, что позволяет при сбоях работать автономно, пока неполадки с электроснабжением не будут устранены. Внедрение ИБП помогает не только избежать перебоев в работе ЦОДа, но и уменьшить число отказов оборудования за счет повышения качества электропитания. С целью исключения возможности простоя дата-центра при длительных отключениях электроэнергии, предусматривается поддержка в виде дизель-генератора, который может осуществлять энергоснабжение в полном объеме.

Наш ЦОД обладает всеми параметрами уровня TIER-II, а по ряду характеристик соответствует уровню TIER-III. Электропитание осуществляется от двух независимых вводов от города и подается одновременно на два комплекта ИБП (для основной и инженерной нагрузок). Каждый комплект ИБП подключен к отдельному ДГУ, рассчитанному на 8-часовое отключение от основного источника электропитания. Чтобы не перегружать перекрытия здания, ИБП расположены на первом этаже здания, а ДГУ - в подвале. Сам ЦОД расположен на 6 (и последнем) этаже офисного помещения, в максимальной близости к антенному посту. Кабельные линии ВОЛС и электропитания проложены по двум вертикальным стоякам в разных концах здания. В каждой стойке предусмотрено 2PDU для бесперебойной работы оборудования с двумя БП.

Системы кондиционирования и климата

Для создания необходимых условий работы дата-центра требуется поддерживать в нем заданную влажность, температуру и подвижность воздуха. Система вентиляции и кондиционирования должна функционировать в режиме 24х7х365, поэтому ее работа должна дополнительно поддерживаться с помощью резервного генератора, и при этом работа оборудования не должна зависеть и от внешних погодных условий.

Основные климатические показатели для дата-центров представлены в Таблице 2.

Таблица 2. Значение предельных климатических показателей для ЦОДов

Достичь "идеальных" показателей не так просто. Даже у крупных и профессиональных ЦОДов бывают определенные сложности с этим. Так, например, в загруженном помещении дата-центра температура воздуха может повышаться до 30°С, что негативно сказывается на производительности оборудования, его отказоустойчивости и долговечности. На некоторых этажах ММТС-9 (X этаж), где располагались наши стойки, температура иногда серьезно превышала данный показатель.

Основная цель системы кондиционирования – не максимально охладить оборудование, ведь тогда нарушается теплообмен и нормальные условия работы оборудования, а отвести произведенное тепло от оборудования. В связи с чем выделяют системы кондиционирования (охлаждения) ЦОДа следующих видов:

1. Охлаждение на уровне зала. Установка одного или нескольких прецизионных кондиционеров в помещении. Неизбежное смешивание теплых и холодных потоков воздуха может снизить эффективность системы в целом.

А) Используются прецизионные кондиционеры (см. Рис. 6). Эффективность охлаждения 1-3 кВт на стойку.

Рис. 6. Схема охлаждения прецизионным кондиционером на уровне зала

Б) Используются прецизионные кондиционеры и фальшполы (с системой вытяжной вентиляции или без нее – см. Рис. 7 и 8). Потоки холодного воздуха подаются непосредственно через холодные коридоры фальшпола. Эффективность охлаждения до 5 кВт на стойку.

Рис. 7. Схема охлаждения на уровне зала с использованием фальшпола

Использование системы вытяжной вентиляции способствует предотвращению перемешивания потоков холодного и горячего воздуха путем вывода последнего от стоек через специальные воздухоотводы в общую систему вытяжной вентиляции. При этом сопла вытяжки располагаются непосредственно над горячими коридорами.

Рис. 8. Схема охлаждения на уровне зала с использованием фальшпола и системы вытяжной вентиляции

2. Охлаждение на уровне рядов (см. Рис. 9). Кондиционеры устанавливаются в ряду самих шкафов, путь циркуляции воздуха становится короче. Не нужны мощные вентиляторы, что снижает общие энергозатраты.

Рис. 9. Схема охлаждения на уровне рядов.

А) С изоляцией холодного коридора. В этом случае шкафы располагаются в один ряд напротив стены либо в 2 ряда друг напротив друга. Зона подачи холодного воздуха перекрывается крышей и дверями/шторками, создавая изолированный объем.

Б) С изоляцией горячего коридора. В этом случае шкафы располагаются спиной друг к другу, и изолируется зона горячего коридора.

3. Охлаждение на уровне стоек (см. Рис. 10). Для каждого серверного шкафа устанавливается свой кондиционер и средства изоляции пространства вокруг кондиционера. Воздушные потоки не попадают во внешнюю среду помещения – замкнутая система кондиционирования. Самое эффективное охлаждение без потерь.

Рис. 10. Система охлаждения на уровне стоек

Разные дата-центры выбирают подходящие системы кондиционирования помещения под свои нужды в зависимости от геометрии помещения, высоты потолков, плотности застройки и других технических характеристик.

Рис. 11. ЦОД StoreData. Система охлаждения на уровне ряда с изолированием холодных коридоров. 

Рис. 12. ЦОД Останкино. Система охлаждения на уровне ряда с изолированием холодных коридоров. 

Рис. 13. ЦОД МТС – Авантаж. Система охлаждения на уровне ряда с изолированием холодных коридоров. 

Рис. 14. DataSpace. Разграничение горячего и холодного коридора без изолирования зон

Рис. 15. MCN Telecom. Система охлаждения на уровне стойки

Рис. 16. ЦОД Нагорная. Система охлаждения на уровне зала (в зале для нестандартного оборудования)

Для нашего ЦОДа мы выбрали систему охлаждения на уровне зала: четыре прецизионных кондиционера Schneider-Electricи наличие фальшпола, благодаря чему в помещении поддерживается температура воздуха на уровне +22°С. При помощи двух промышленных увлажнителей Carel серии HumiSteam X-Plus поддерживаем относительную влажность воздуха в пределах 45%. С целью предотвращения запыленности помещения регулируем приток воздуха из системы вентиляции, чтобы он был сильнее, чем мощность вытяжки, таким образом "прибивая" пыль к полу. Также наш фальшпол оснащен специальным антистатическим покрытием, препятствующим накоплению на поверхности статического электрического заряда (блуждающие статические токи), что способствует уменьшению пылеобразования в помещении. Ежедневно в помещении проводится влажная уборка. Все сотрудники при посещении ЦОДа надевают бахилы.

Система пожаротушения

Во многом надежность сохранения информации в дата-центрах зависит от мероприятий по пожарной безопасности, применяемых методов и средств пожаротушения. Системы пожаротушения для ЦОД проектируются с учетом требований по пожарной безопасности для данной категории помещений. Существует несколько типов систем пожаротушения (см. Табл. 4).

Таблица 4. Основные типы систем пожаротушения и их сравнительные характеристики¹

Пожаротушение серверной с помощью других автоматических систем пожаротушения не рекомендуется по причине высокой вероятности повреждения оборудования и потери данных.

В нашем ЦОДе мы установили газовую систему пожаротушения, с удвоенным объемом баллонов (основные и резервные). Используемый тип огнетушащего вещества Novec 1230 (Фторкетон ФК-5-1-12).

Система безопасности и контроля доступа

Для предотвращения проникновения посторонних и кражи данных, в дата-центрах используются различные системы ограничения физического доступа, системы видеонаблюдения, охранной и пожарной сигнализации, системы контроля доступа, использующие RFID и биометрическую авторизацию. А в некоторых ЦОДах (например, DataLine) используют проход через несколько контрольно-пропускных пунктов, прежде чем человек попадает непосредственно в помещение ЦОДа.

Для безопасности нашего ЦОДа мы используем:

• Современную систему видеонаблюдения, исключающую "слепые зоны" и передающую информацию в режиме реального времени на панель видеонаблюдения службы безопасности дежурному сотруднику. Дополнительно вся информация хранится на защищенных серверах службы безопасности в течение месяца. В помещении машинного зала в дополнение к охранной системе видеонаблюдения установлены камеры технического видеонаблюдения, которое охватывает каждую стойку для контроля работоспособности оборудования и удаленной технической помощи дежурному персоналу, с обязательным хранением информации не менее 6 месяцев.
• СКУД – многофункциональную отечественную систему Parsec для регулирования санкционированного входа/выхода сотрудников ЦОД и учета рабочего времени каждого сотрудника. Помимо общей системы контроля и управления доступом в помещения нашего ЦОД и прилегающих территорий, реализована система видеоверификации, и в ближайшее время будет осуществлена интеграция системы биометрического доступа в наиболее ответственные помещения. На каждой двери на вход и выход установлены контролеры доступа с источником бесперебойного питания и передачей информации по IP. Даже при возникновении чрезвычайной ситуации доступ в технические помещения имеет только сертифицированный персонал с правом доступа, так как ЦОД оснащен современной системой автоматического пожаротушения, не нуждающейся в присутствии человека. В дневное время доступ на территорию объекта осуществляется через пункт охраны с обязательной проверкой личности. В ночное время доступ в ЦОД имеют только дежурные технические службы.
• Систему пожарной сигнализации, интегрированную с системой газового пожаротушения. Также в нашем ЦОДе реализована система оповещения о возможном перегреве силовых кабелей как часть системы пожарной сигнализации. Это система предварительного оповещения о возможной проблеме. Перегрев кабеля питания может сигнализировать об излишней нагрузке на нем, о проблеме оборудования или контактов, о повышенной плотности прокладки силовых линий на каком-либо участке, либо же о локальном перегреве и возгорании. Термокабель проложен так, чтобы по схеме было понятно, на каком участке и с каким силовым кабелем возникла проблема. Соответственно в пожарном щите установлены приемно-контрольные модули для этого кабеля, с которых сигнал идет в общую систему управления и мониторинга пожарной сигнализации.

Этап 3. Строительство ЦОДа

Для выполнения всего комплекса работ по строительству ЦОДа требуется штат сотрудников, обладающих высоким уровнем знаний и большим практическим опытом по созданию дата-центров. А такие специализированные системы, как пожаротушение, кондиционирование и пр., лучше адресовать профильным организациям.

Порядок проведения строительных работ:

1. Предварительные строительные работы. Подготовка зала: архитектура помещения, его геометрия и зонирование, существенно влияет на климат внутри помещения, распределение воздушных потоков, уровень влажности и пр. На данном этапе также происходит подготовка стен, пола и потолка.

2. Инженерные работы, монтаж:

• Кондиционирование;
• Система приточно-вытяжной вентиляции;
• Система электроснабжения (в т.ч. бесперебойного);
• Система пожаротушения и удаления продуктов тушения после пожара;
• Система пожарной сигнализации;
• Система охранной сигнализации;
• Система видеонаблюдения;
• СКУД;
• СКС ЦОД;
• Мониторинг;
• Заземление и молниезащита.

3. Пуско-наладочные работы. Происходит поставка оборудования, размещение его на местах, подключение к энергосетям и информационным каналам. Идет наладка серверного оборудования и структурированных кабельных сетей.

На каждом этапе могут возникнуть свои проблемы: начиная от выбора подрядчика, заканчивая отслеживанием каждого этапа строительства с фото- и видеофиксацией проделанной работы. Крайне важно проверять каждый этап работ, ведь любая малейшая ошибка может привести к серьезным последствиям и многомиллионным убыткам.

Из нашего опыта: образовалась протечка основной крыши, а затем протекла и дополнительная крыша из-за сверления одного отверстия в неположенном месте, что привело к проведению ремонтных работ в помещении и дополнительным денежным затратам.

Этап 4. Сдача в эксплуатацию

На последнем этапе строительства производится ввод дата-центра в эксплуатацию. После сбора и расстановки серверных стоек, соединения всех блоков и элементов системы между собой, проверяется правильность коммутации. Проводится настройка системы и ее запуск в тестовом режиме, во время которого изучается ее работоспособность и отслеживаются все основные показатели (скорость подключения, ширина канала, общая работоспособность, надежность защиты от кибернетических угроз и пр.).

После успешного прохождения всех тестов ЦОД официально переходит в рабочий режим.

В нашем дата-центре размещено 20 шкафов и 18 открытых стоек для услуг коллокации. Сам ЦОД размещен в непосредственной близости к собственному антенному посту. Антенны позволяют принимать с высокими качественными характеристиками сигналы со всех орбитальных позиций, доступных для Москвы. ЦОД соединен с ММТС-9, ММТС-10 нашими собственными волоконно-оптическими линиями связи, что позволяет нам, помимо традиционной передачи данных, передавать сигналы КТВ и заниматься медиалогистикой. Более того, из нашего ЦОДа есть выход к любому оператору спутникового телевидения, у нас агрегируется большинство телеканалов в формате SDI.

Итак, создание ЦОДа далеко не дешевое (сотни миллионов рублей) и очень трудозатратное удовольствие, проведение всех работ может занять до 1 года. Однако, это сейчас является одним из самых перспективных направлений, и если грамотно к нему подходить, закладывая возможности на перспективу, то можно не только упрочить свои текущие позиции на рынке, но и получать хорошую прибыль!

1 - На основе данных с сайта https://selectel.ru/blog/obzor-reshenij-dlya-pozharotusheniya-cod/