Устойчивость инфраструктуры операторов связи: почему резервирование становится вопросом выживания

Атаки на крупные дата-центры (три ЦОДа "Яндекса" Рязанской, Калужской и Владимирской областях, ЦОД Сбера в Саратовской области и ЦОД VK в Ленинградской области), сбои облачных платформ и нарушения связности сети заставляют операторов связи по-новому оценивать устойчивость собственной инфраструктуры. Мы поговорили с представителями операторов связи о том, как они оценивают новые угрозы, организуют резервирование и готовятся к физическим воздействиям на инфраструктуру.

Удар по ЦОДу — не обязательно удар по оператору

Первое, что важно учитывать при оценке устойчивости телеком-инфраструктуры, — различие между сетью оператора и вычислительными мощностями, на которых работают сторонние сервисы. Выход из строя дата-центра не означает автоматической остановки сети связи. Однако он может повлиять на доступность размещенных в нем ресурсов, а также на маршруты прохождения трафика.

Для регионального оператора последствия могут быть особенно заметны на уровне пользовательского опыта. Даже если собственное оборудование продолжает работать, абоненты сталкиваются с недоступностью отдельных сайтов и приложений. При этом разобраться в причинах сбоя им бывает непросто.

"Абоненту бывает крайне сложно объяснить, почему произошел тот или иной инцидент и почему события в условной Рязани связаны с его клиентским опытом в Нижнем Новгороде", — отмечает технический директор ГК ИВЦ Дмитрий Терентьев.

Директор "ЛинкТелеком" Дмитрий Коршунов также обращает внимание на зависимость доступности сервисов от состояния сетевых стыков. При отказе инфраструктуры крупного интернет-ресурса маршруты BGP могут перестраиваться, если существуют альтернативные пути. В противном случае часть ресурсов становится недоступной для абонентов.

По его словам, после инцидента с инфраструктурой "Яндекса" прямой стык оператора с компанией временно существенно просел, однако вскоре восстановился. Трафик частично перераспределился по другим маршрутам, поэтому критического ухудшения доступности оператор не заметил.

Вячеслав Темош, заместитель генерального директора "ЮнитТел", описывает ещё один риск — перераспределение нагрузки. Если один из элементов инфраструктуры становится недоступен, трафик начинает идти по другим маршрутам, которые изначально могли не рассчитываться на такой объем. В результате возникает эффект внутреннего DDoS: перегружаются альтернативные направления, а вслед за этим могут деградировать и другие сервисы.

Физическая защита выходит на первый план

До недавнего времени при обсуждении информационной безопасности многие компании прежде всего говорили о логической защите: межсетевых экранах, контроле доступа, противодействии DDoS-атакам и защите данных. Однако физическое уничтожение или длительная недоступность оборудования создают принципиально другую ситуацию.

В "ЮнитТел" признают, что сообщения об инцидентах с крупными ЦОДами заставили пересмотреть приоритеты защиты. "Безусловно, подход изменился. Пришлось задуматься о физической защите оборудования в большей части, чем о логической. Логическую инфраструктуру можно восстановить в течение нескольких часов, максимум дней, а в случае физического воздействия на оборудование сроки могут исчисляться неделями", — говорит Вячеслав Темош.

Это различие принципиально: программные компоненты и конфигурации при наличии резервных копий можно восстановить на другом оборудовании. Если же повреждены серверы, коммутаторы, системы электропитания или сама площадка, восстановление потребует не только технических работ, но и доступа к запасному оборудованию, помещениям и каналам связи.

При этом реакция компаний на новые угрозы неодинакова. Например, Дмитрий Коршунов говорит, что сообщения об атаках на крупные дата-центры не изменили подход "ЛинкТелеком" к защите инфраструктуры. По оценке спикера, для регионального оператора подобные события находятся в несколько иной плоскости, а существующая архитектура сети уже предусматривает необходимые механизмы устойчивости.

Евгений Чёмин, директор "Интронекс Сетевые решения", также отмечает, что многие небольшие операторы не спешат менять подходы к безопасности. В собственной инфраструктуре компании резервирование площадок существовало и раньше, но теперь она рассматривает возможность организации отдельного контура холодных резервных копий.

Собственные площадки или внешние дата-центры

Зависимость от крупных ЦОДов — еще один вопрос, по которому мнения представителей отрасли расходятся. Для одних компаний внешние площадки являются частью инфраструктуры, для других — практически не имеют значения. Дмитрий Коршунов подчеркивает, что оператор не зависит от крупных дата-центров в части размещения собственной сетевой инфраструктуры. По его словам, ЦОДы в первую очередь обеспечивают работу сайтов и сервисов, размещенных на их мощностях. Если у владельца такого ресурса нет альтернативной площадки, его сервис перестает работать, но это не обязательно затрагивает саму сеть оператора.

Похожую позицию занимает Дмитрий Терентьев. ГК ИВЦ не использует облачные платформы и сторонние ЦОДы для размещения серверов, предпочитая собственные мощности. Основные элементы инфраструктуры находятся на нескольких площадках в городе и области. Отдельно он отмечает исторически сложившийся подход к размещению оборудования: ядро сети располагается в "неубиваемых" зданиях бывших советских конструкторских бюро.

У "ЮнитТел" ситуация иная. Компания зависит от точек обмена трафиком, размещенных в так называемых телехаусах. Альтернативные площадки существуют, но они взаимосвязаны: выход одной из них из строя способен существенно увеличить нагрузку на остальные. Поэтому наличие нескольких точек присутствия само по себе еще не гарантирует полной независимости инфраструктуры.

Изменились и критерии выбора площадок. Если раньше в "ЮнитТел" прежде всего учитывали количество представленных операторов, стоимость и логистику, то теперь на первый план выходит физическая защищенность дата-центра.

В "Интронекс" при выборе внешних ЦОДов для отдельных сервисов ориентируются преимущественно на скорость и качество предоставляемых услуг. Евгений Чёмин обращает внимание, что перенос мощностей, например, в восточные регионы страны сам по себе не устраняет риски физических атак: географическая удаленность не равнозначна защищенности.

Географическое резервирование: две площадки лучше одной

Один из наиболее распространенных способов повысить устойчивость телеком-инфраструктуры — географически разнести ключевые узлы. Смысл такого подхода заключается в том, чтобы отказ одной площадки не приводил к остановке всей сети.

У "ЛинкТелеком" эта архитектура была заложена еще до появления нынешних угроз. По словам Дмитрия Коршунова, в сети работают два географически разнесенных ядра, которые полностью взаимозаменяемы. "При отказе одной площадки вторая способна самостоятельно обработать трафик всех пользователей", — объясняет Коршунов.

В "Интронекс" также используют разнесение площадок. По словам Евгения Чёмина, расстояние между ними составляет десятки километров, что позволяет организовать резервирование и снизить вероятность одновременного выхода из строя основных и резервных мощностей.

В "ЮнитТел" применяют комплексный подход, включающий также и резервные площадки. 

Резервные копии: наличие еще не означает готовность к восстановлению

Отдельная составляющая устойчивости — сохранность данных и конфигураций. Даже если оператор располагает резервным оборудованием и запасной площадкой, восстановление может оказаться невозможным или затянуться, если резервные копии повреждены, устарели либо хранятся в той же инфраструктуре, что и основные данные.

Один из известных подходов к организации резервного копирования — правило 3-2-1: три копии данных, два разных типа носителей и одна копия за пределами основной площадки. 

Дмитрий Терентьев рассказывает, что в его компании используется именно принцип 3-2-1. Предусмотрены три узла в двух географических локациях, один из которых не подключен к сети и активируется для выполнения резервного копирования. В то же время компания планирует пересмотреть график проверки и активации резервных копий, поскольку до недавнего времени такие процедуры проводили редко.

В "ЛинкТелеком" используют несколько уровней резервирования. В городе развернуты дополнительные площадки с узлами, которые постоянно обмениваются данными. Кроме того, предусмотрено офлайн-хранение копии на отдельном носителе. Возможность восстановления проверяется примерно раз в два-три месяца. Для проверки инфраструктуры компания также проводит стресс-тесты, во время которых инженеры имитируют обрыв оптики, отключение электропитания и выход из строя центрального коммутатора ядра. По результатам таких испытаний корректируется регламент действий при авариях.

В "ЮнитТел" резервное копирование выполняется ежедневно. 

Евгений Чёмин обращает внимание на проблему, знакомую многим системным администраторам: резервная копия может оказаться нерабочей именно в тот момент, когда она понадобится.

"Бэкап Шредингера никуда не делся: в момент именно восстановления копии мы можем узнать, работает она как копия или не работает. Всегда есть определенный процент", — говорит он.

По его словам, изолированное резервирование в "Интронекс" предполагает физическое копирование данных на жесткий диск с последующим хранением отдельно от рабочей инфраструктуры. Такая процедура выполняется не так часто, как обычное копирование.

Проблема заключается в том, что успешное завершение операции резервного копирования еще не подтверждает возможность полноценного восстановления. Для этого необходимы регулярные тесты, в том числе проверка целостности данных, работоспособности конфигураций и возможности запуска сервисов на альтернативном оборудовании.

Сколько времени занимает восстановление

Оценивать устойчивость инфраструктуры только по количеству резервных площадок недостаточно. Не менее важны два показателя: RTO (Recovery Time Objective) — целевое время восстановления сервиса, и RPO (Recovery Point Objective) — максимально допустимая потеря данных, выраженная во времени.

Первый показатель отвечает на вопрос, как долго сервис может оставаться недоступным. Второй определяет, насколько свежими должны быть данные после восстановления. Например, ежедневное резервное копирование потенциально допускает потерю изменений за период между последней копией и аварией, если не предусмотрены дополнительные механизмы репликации.

У опрошенных компаний показатели по времени восстановления различаются.

В "Интронекс" уже сталкивались с достаточно серьезными отказами. По словам Евгения Чёмина, в одном из таких случаев восстановление заняло около четырех часов. Сейчас компания планирует оптимизировать процессы, чтобы сократить этот срок менее чем до двух часов.

В "ЛинкТелеком" рассчитывают на автоматическое или оперативное переключение на вторую площадку. Коршунов отмечает, что при отказе основного ядра простой должен составлять минимальное время — от нескольких минут до нескольких часов. Такой подход подтверждается практическими испытаниями: компания самостоятельно моделирует различные аварийные ситуации и проверяет выполнение регламентов.

В "ЮнитТел" заявляют, что при текущей конфигурации полная недоступность основного ЦОДа не должна приводить к нарушению работы критически важных сервисов. Восстановления могут потребовать лишь отдельные сегменты инфраструктуры.

Таким образом, резервирование может работать по двум сценариям. В первом случае после аварии инженерам необходимо восстанавливать сервисы из копий и переносить их на другие мощности. Во втором — резервная инфраструктура уже готова принять нагрузку, а переключение происходит практически без остановки обслуживания. Второй сценарий требует больших затрат на поддержание резервных ресурсов, но позволяет существенно сократить время простоя.

Собственная инфраструктура как способ снизить зависимость

Вопрос строительства собственного ЦОДа для операторов также решается по-разному. Для одних компаний это необходимый элемент контроля над инфраструктурой, для других — избыточные инвестиции, которые не соответствуют масштабу бизнеса.

В "Интронекс" считают, что полноценный собственный ЦОД компании не требуется. Однако своя серверная необходима, в частности для размещения оборудования и выполнения требований законодательства о хранении данных. Ее строительство уже учитывается в проекте нового офиса.

"ЮнитТел", напротив, рассматривает увеличение своих локальных вычислительных мощностей. Оператор уже располагает двумя собственными мини-ЦОДами, которые рассчитаны на небольшое количество стоек; местоположение объектов не раскрывается публично. Еще один проект находится на стадии проектирования.

"ЛинкТелеком" также планирует развитие персональной инфраструктуры. Сейчас имеющийся небольшой ЦОД преимущественно используется для собственных нужд, в том числе в связи с требованиями законодательства. На 2027 год запланировано строительство более крупного объекта.

Для Дмитрия Терентьева вопрос строительства ЦОДа в привычном понимании неактуален: компания использует несколько собственных площадок в городе и области, где размещены отдельные единицы оборудования. "Мысли по резервированию именно этих свичей также есть, планируем развернуть его в Москве на других площадках", — добавляет Терентьев.

***

Комментарии представителей отрасли показывают, что на практике единого подхода к обеспечению устойчивости телеком-инфраструктуры нет: одни компании делают ставку на собственные площадки и географически разнесенные узлы связи, другие используют внешние дата-центры, резервные каналы и изолированные копии данных. А некоторые региональные операторы считают, что их бизнес в принципе не зависит от крупных ЦОДов.

Однако даже если инфраструктура оператора напрямую не затронута инцидентом, последствия могут дойти до абонентов через нарушение маршрутизации, перегрузку альтернативных каналов и недоступность популярных сервисов. Поэтому сегодня важно не только иметь резервную площадку, но и понимать, насколько быстро она сможет принять нагрузку, а также регулярно проверять готовность инфраструктуры к аварийному сценарию.