Содержание Рынок ЦОД в России Задачи Преимущества История Условия создания ЦОД Типы центров обработки данных Принципы работы ЦОД Состав ЦОД Этапы создания ЦОД Энергоснабжение ЦОД и выбор площадки Средства защиты от пожара Ограничения по инженерной инфраструктуре Климатические условия и экосистемные требования Передовые разработки Некоторые рекомендации на пути к более эффективному ЦОД Виртуализируйте все, что можете Учтите ограничения, присущие виртуализации Обдумывайте приобретение лицензий Анализируйте ситуацию с энергопотреблением в различное время суток Обдумайте размещение тепловыделяющего оборудования Рассматривайте возможность использования блейд-серверов Контролируйте количество физических портов Учитывайте модернизацию оборудования в процессе эксплуатации Примечания Интересные факты Ссылки

Для хранения и обработки большого количества информации используются специализированные технические решения, мощные серверы, дисковые хранилища. Создавать и обслуживать такие технические системы самостоятельно достаточно сложно и дорого: содержание серверов требует специальных технических условий, отдельных помещений и квалифицированного персонала. Одним из основных назначений дата центров как раз и является создание подходящих условий для размещения таких технических решений.

Дата-центры (data-центры, ЦОД – центры обработки данных) специализируются на размещении специализированных компьютерных устройств, предназначенных для хранения, обработки информации, а также на предоставлении клиентам каналов связи для доступа в Интернет или передачи данных. Главная задача дата-центра состоит в создании защищенного надежного пространства с благоприятными для работы климатическими условиями, гарантированному электропитанию, благодаря которому компания-арендатор может всегда получить доступ к своим данным, закрытым для посторонних пользователей.

[править] Рынок ЦОД в России

Согласно отчету аналитической компании J’son & Partners за 2008 год рынок коммерческих ЦОД в России вырос на 55%. Уровень доходов в этой сфере составил $160 млн. Лидером в области реализации ЦОД стала компания Stack Group. Ее доля составила около 15%. Читать статью "Рынок ЦОД в России"

[править] Задачи

Любой бизнес стремится максимально увеличить свои доходы и снизить расходы. Руководители крупных компаний знают, что лучше потратить чуть больше средств на модернизацию процессов, чем потерять огромные суммы на ликвидацию непредвиденных обстоятельств. Поэтому перед ЦОД ставится ряд основных задач. К ним относятся:

• хранение и анализ большого количества информации;
• обеспечение безопасности IT-систем;
• максимальная доступность данных;
• безотказность систем;
• объединение распределенных систем;
• обеспечение бесперебойной работы.

Все это в конечном итоге ведет к повышению надежность бизнеса.

[править] Преимущества

Создание многокомпонентных систем, решающих большинство проблем в бизнесе, намного сокращает расходы предприятий. В частности, для компаний с территориально-распределенной инфраструктурой это незаменимое решение, поскольку 1–2 сотрудника, обслуживающих ЦОД, с успехом заменяют множество лиц, работающих в офисах в регионах. Впоследствии многие предприниматели задумались над приобретением центров обработки данных в связи с тем, что потребовалось интегрировать воедино большое количество информации. Риск потерять определенные сведения безвозвратно стал очень велик и обусловил определенные затраты по восстановлению информации. Кроме того, возникли риски по лишению части доходов в связи с простоями по разным причинам. То есть, благодаря своим уникальным особенностям ЦОД обеспечивает эффективную бесперебойную работу любой организации.

Преимущество дата-центра в том, что человек или компания, может, из любой точки планеты, используя любое устройство доступа в сеть, работать с необходимой и достаточной вычислительной мощностью, требуемым объемам памяти, всем необходимым программным обеспечением, которое будет работать и храниться на серверах в дата-центре.

Традиционные услуги в дата-центрах: аренда стойки, размещение серверов, подключение к Интернету, аренда каналов связи, установка, настройка ПО, администрирование. В настоящее время к ним добавились предоставление в аренду вычислительных мощностей, виртуальных серверов, дискового пространства для резевного копирования данных, аренды приложений.

• Надежность хранения информации. Причем эта надежность подтверждается как заложенной на этапе проектирования архитектурой, так и последующей эксплуатацией. Интересный факт, что при детальном сравнении стоимости владения информационной системой, расположенной на территории заказчика (как правило, это бизнес-центр) и в дата центре, получаются вполне сравнимые цифры, чего нельзя сказать о сравнении надежности этих способов.
• Уменьшение временных затрат на реализацию новых проектов в сфере IT. При работе в дата-центре компании самостоятельно выбирают услуги, которые они хотят получать. Самыми востребованными остаются аренда стойки, юнита, готового сервера, виртуального сервера и резервное копирование данных. Но помимо этого существует ряд других услуг, которыми компании-арендаторы могут при необходимости воспользоваться, что значительно сэкономит время на запуск нового IT-проекта. Например, это аренда приложений, позволяющая избежать масштабных инвестиций на начальном этапе работы. В качестве примера можно привести аренду 1С бухгалтерии – для развертывания готовой системы, пригодной к работе, достаточно заказать и оплатить такую услугу в дата центре. При этом, зачастую, в офисе заказчика не нужно ничего покупать, устанавливать или настраивать, кроме как доступа в Интернет.
• Сокращение затрат на аренду помещения. Сюда можно отнести затраты на электричество, офисные площади, используемые под «серверные», и обслуживание собственных систем охлаждения и устройств бесперебойного питания. Кстати, купленная в офис техника становится основными средствами предприятия, на них начисляется налог на имущество.
• Организация непрерывной работы головного офиса с филиалами компании по всей стране. доступ к рабочей информации независимо от места нахождения сотрудника. Например, руководитель компании может, находясь в отпуске, проверять рабочую почту, связываться со своими сотрудниками через IP-телефонию.
• Возможность создания резервного офиса организации, если по каким-то причинам работа в основном офисе невозможна, а необходимо получить важную информацию, доделать проект

сокращение затрат на покупку приложений. Для усиления конкурентных позиций собственники дата-центров разрабатывают новый спектр услуг, который можно предлагать арендаторам.

[править] История

Первыми, кто стал использовать в своей работе центры обработки данных, были крупные зарубежные компании. За ними последовали и российские предприниматели. В РФ в 2000-2001 годах появились первые обладатели ЦОД. Пионером выступил Сбербанк России. Именно он является наиболее территориально-распределенной организацией. То есть потребность в создании интеграции многочисленных данных была высока. В дальнейшем собственными ЦОД обзавелись и крупные нефтяные компании.

[править] Условия создания ЦОД

Как правило, организация выделяет ЦОД в качестве отдельного структурного подразделения. Иногда компании пользуются услугами ЦОД, предлагаемыми извне. То есть существуют организации, которые занимаются аутсорсингом на коммерческих условиях. Перед построением ЦОД необходимо вычислить показатель TCO для конкретного предприятия. Он учитывает затраты как на приобретение системы безопасности, так и на ее обслуживание и возможный простой. Требования, применяемые к зданию, в котором размещается ЦОД, сводятся к следующим: оно обязательно должно располагаться вблизи от внешних электрических и транспортных коммуникаций. Есть жесткие нормативы по минимальной площади, минимальной нагрузочной способности перекрытий, электропитанию, кондиционированию. Внутри здания зоны серверная, инженерная, общего доступа также должны располагаться определенным образом. Все это обеспечит надежную и бесперебойную работу.

[править] Типы центров обработки данных

В зависимости от назначения различают три разных типа дата-центров, каждый из которых рассчитан на определенную модель предприятия и имеет собственные оперативные задачи и проблемы:

• корпоративные дата-центры;
• хостинговые дата-центры, предоставляющие компьютерную инфраструктуру как услугу (IaaS);
• дата-центры, использующие технологию Web 2.0.

Ниже приведены параметры, которые могут значительно отличаться в разных типах дата-центров:

• тип трафика (внутренний, внешний или смешанный);
• использование Layer 2 (L2) и/или Layer 3 (L3) для управлення трафиком в центре или на периферии (Top of Rack);
• технология хранения данных;
• уровень серверной виртуализации;
• общий размер центра обработки данных (по количеству серверов).

[править] Принципы работы ЦОД

• Виртуализация. Отличное решение при недостатке площадей и мощностей. С ее помощью можно сократить количество единиц оборудования в ЦОД. Эта технология дает возможность экономить время на установку новых программ в ЦОД, позволяет изолировать потенциально опасные окружения и создавать необходимые аппаратные конфигурации. За счет виртуализации достигается представление устройств, которых нет в ЦОД, а также проводится обучение работе с операционными системами. Виртуальные машины могут быть объединены в сеть.

• Кластеризация. Необходимая основа для бесперебойной деятельности бизнес процессов. Она обеспечивает объединение нескольких серверов в единую систему, путем установки программных связей между ними, координирует их работу, выполняет перераспределение нагрузки в случае сбоя в одном из серверов.

• Масштабирование. При создании ЦОД необходимо учесть изменяющиеся со временем потребности в ресурсах. Поэтому либо используют максимальную мощность устройств, либо модульную систему. Это значит, что в процессе развития есть возможность добавлять требуемые модули без замены существующего оборудования. Такая система более экономически целесообразна, поскольку, как известно, нет предела совершенству.

• Резервирование. Залог того, что при выходе из строя одной подсистемы центра, функцию ее возьмет на себя другая, резервная. Есть также понятие резервный ЦОД. Он начинает работать тогда, когда основной ЦОД полностью прекратил работу.

[править] Состав ЦОД

Обязательные компоненты, входящие в состав ЦОД, можно разделить на три основные группы:

1. Технические компоненты. Они создают условия для эффективной работы центра. К таковым относятся:

• серверный комплекс, включает серверы информационных ресурсов, приложений, представления информации, а также служебные серверы
• система хранения данных и резервного копирования – ядро ЦОД. Она состоит из консолидирующих дисковых массивов, сети хранения данных, системы резервного копирования и аварийного восстановления данных
• сетевая инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и организует каналы связи. Она включает магистрали для связи с операторами общего доступа, телекоммуникации, обеспечивающие связь пользователей с ЦОД
• инженерная система эксплуатации ЦОД поддерживает условия для нормального функционирования центра. В ее состав входят подсистемы энергообеспечения, климатконтроля, пожарной сигнализации и пожаротушения, передачи данных, а также автоматизированные системы диспетчеризации, управления информационными ресурсами
• система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она состоит из средств защиты, системы оповещения и системы контроля доступа

2. Программное обеспечение. Это фактически сервисы инфраструктуры ЦОД и ПО для корректной работы бизнес-процессов, необходимых для конкретной организации. К компонентам инфраструктуры относятся:

• операционные системы серверов;
• программное обеспечение баз данных;
• операционные системы рабочих станций;
• средства кластеризации;
• средства резервного копирования;
• программы устройств хранения данных;
• средства администрирования серверов и рабочих станций;
• средства инвентаризации;
• офисное программное обеспечение;
• электронная почта;
• Интернет-браузеры.

К программам, отвечающим за функционирование бизнес процессов, относятся:

• деловые приложения;
• базовые корпоративные информационные сервисы;
• приложения для коллективной работы;
• отраслевые компоненты;
• программное обеспечение для решения задач конструкторско-технологического плана системы электронного архива и управления проектами;
• программы, обеспечивающие сервисы файлов, печати, службы каталогов и других прикладных задач.

3. Организационная среда решает вопросы, связанные с предоставлением IT-услуг. Она должна соответствовать требованиям по оказанию IT-услуг, таким как ISO/IEC 20000. Здесь представлены:

• процессы оказания услуг, то есть качество и доступность услуг;
• процессы взаимоотношений между поставщиком и клиентом, а также с подрядными организациями;
• процессы решения проблем, возникающих при функционировании любого из компонентов системы;
• процессы управления конфигурациями, мониторинг и контроль статуса IT-инфраструктуры, инвентаризация, верификация и регистрация конфигурационных единиц, сбор и управление документацией, предоставление информации об IT-инфраструктуре для всех других процессов;
• процессы управления изменениями, то есть определение необходимых изменений и способов их проведения с наименьшим риском для IT-услуг, а также проведение консультаций и координации действий с организацией в целом;
• процессы релиза, то есть совместного тестирования и введения в активную деятельность организации ряда конфигурационных единиц.

[править] Этапы создания ЦОД

Процесс создания центра обработки данных многоступенчатый. Он включает 5 основных этапов:

• Планирование – составление технического задания и выработка концепции строительства. Если не будет этого этапа, то вся идея создания ЦОД обречена на провал. Поэтому нужно уделить ему особое внимание. Организаторами детально прорабатываются цели, методы и средства для создания этого проекта, определяется внутренняя структура комплекса. При планировании учитываются региональные особенности и спектр деятельности организации, проводится экономическая оценка и обоснование инвестиций. В конечном итоге выбирается площадка для строительства, отвечающая всем необходимым требованиям.
• Конструирование – согласование всех составляющих ЦОД с целью создания единого комплекса и ввода его в эксплуатацию. Другими словами, это решение задач, поставленных на этапе планирования ЦОД. Также проводится испытание компонентов с учетом нагрузки, определение возможности удовлетворения текущих и будущих запросов бизнеса, делается прогноз способности IT-инфраструктуры отвечать запросам развивающейся деятельности организации в целом. Кроме того, рассчитываются различные риски при введении ЦОД в эксплуатацию и пути их снижения. Выполняется подготовка необходимой документации, связанной с функционированием отдельных компонентов: оборудования, программного обеспечения, инженерных систем. Весь процесс конструирования заканчивается созданием проекта, который согласовывается с заказчиком и с контролирующими органами.
• Реализация – наиболее трудоемкий этап в процессе создания ЦОД. Он сводится к комплектации и поставке необходимого оборудования, монтажу, внедрению основных компонентов, тестированию их и созданию организационной структуры.
• Эксплуатация – это непосредственное обслуживание комплекса и организация работы подразделений. На этом этапе регламентируются проверки всех систем. Сроки устанавливаются в зависимости от типа компонентов. Проводится техническое обслуживание серверов. В результате плановых проверок заполняется журнал регламентных работ.
• Модернизация – структурные и технические изменения ЦОД, направленные на улучшение его работы. По статистическим данным новейшее оборудование морально устаревает в срок до 5 лет. За этот период организация развивается, прогрессирует ее деятельность, расширяется сеть филиалов. Соответственно возрастают и IT-потребности. Для этого необходимо вовремя проводить процесс модернизации IT-инфраструктуры.

Будем исходить из того, что состав оборудования и программного обеспечения определен. Задача состоит в том, чтобы построить надежный, безопасный ЦОД.^[1]

Во-первых, строительные конструкции здания или будущего серверного помещения должны соответствовать требованиям нормативов по несущей способности перекрытий, пределу огнестойкости и т.д. Во-вторых, нужно учесть, что к площадке, на которой планируется строить ЦОД, должны быть подведены необходимые внешние коммуникации - электроснабжение требуемой категории, каналы связи и т.д. В-третьих, внутри здания или помещения должна быть построена отказоустойчивая инженерная инфраструктура.

Цена вопроса зависит от исходного состояния площадки. Наиболее дорогостоящие работы - обеспечение дополнительной электроэнергией, включая реконструкцию существующей электроустановки здания. Стоимость инженерной инфраструктуры если и меняется из-за особенностей площадки, то, как правило, незначительно.

Правильно, чтобы строительство ЦОД опиралось на известные методики управления проектами. Но у нас в стране так поступают только тогда, когда строительство - инвестиционный проект. Большинство владельцев ЦОДов, особенно если речь идет о корпоративном центре обработки данных или серверной комнате, приступает к делу без лишних раздумий: на этом этаже у нас есть свободное помещение, значит, здесь и будем строить. Проектно-изыскательские работы обычно не проводятся, экономия видится заказчику очевидной - площадь уже арендована либо находится в собственности, ЦОД или серверная располагаются здесь же, поди плохо.

О том, пригодно ли это помещение, и легко ли будет его оборудовать инженерными системами, мало кто думает. Понятно, почему. Корпоративный ЦОД - вообще продукт долгой эволюции. Сначала хватало одного сервера, потом оборудовали серверную, потом ее расширили, потом расширили еще разок, но больше расширить не могут - и тут-то решают строить ЦОД. Вопрос, где его строить, обсуждается редко. Конечно, в том же здании и хорошо бы на смежной площади.

Часто случается, что из-за дефицита площадей в офисных зданиях местом строительства будущего ЦОДа выбирают, скажем, столовую или другое помещение, не слишком пригодное для установки серверов. В практике "Инсистемс" был даже случай, когда нам пришлось перестраивать под серверное помещение… санузел. Такие проекты исполнителю интересны нетривиальностью, но заказчику, надо признать, обходятся недешево. Скажем, если к помещению подведена вода (а в случае с санузлом, как вы понимаете, так оно и было), эти коммуникации необходимо полностью перенести, иначе ЦОД будет под постоянной угрозой затопления.

В тех случаях, когда ЦОД размещается на втором или более высоком этаже, нужно в обязательном порядке проводить исследование несущей способности конструкций. В общем-то, такое исследование следует провести, даже когда речь идет о первом этаже или подвале - несущая способность фундамента тоже может оказаться недостаточной, особенно в зданиях старой постройки. Если не организовать такую превентивную проверку, есть риск обрушения перекрытий и стен. Серверы, системы охлаждения и резервного питания весят много больше мебели.

Причем исследование лучше провести даже тогда, когда есть результаты более ранних изысканий. Если по документам десяти- пятнадцатилетней давности стена помещения, где планируется строить ЦОД, должна выдержать необходимый вес, это еще не значит, что и правда выдержит. Под нагрузкой в стене может образовываться трещина, и тогда придется укреплять конструкцию в экстренном порядке, да еще и в помещении, куда уже завезли оборудование. Получится несколько дороже, чем могло бы быть.

Нужно также учитывать специфику строительства ЦОД. Скажем, необходимо будет просверлить в стенах каналы достаточно большого диаметра для прокладки кабелей. Если не изучить особенности здания или помещения заранее, из-за этого не исключено ощутимое проседание перекрытий. Придется домкратами возвращать их на место и усиливать металлическими конструкциями.

Для России такие ситуации типичны: заказчики у нас очень не любят платить за проектно-изыскательские работы, хотя именно с них начинается безопасность ЦОД.

[править] Энергоснабжение ЦОД и выбор площадки

Задержим некоторое внимание на энергосистеме ЦОД. Хотя бы для того, чтобы напомнить об опыте компании Amazon в апреле 2011 года, но не только. Система энергообеспечения в любом случае имеет наиболее высокий приоритет в процессе планирования ЦОД, его эксплуатации. Требуется обеспечить необходимую энергетическую мощность, озаботиться вопросами подачи электроэнергии на случай возникновения экстренных ситуаций: устроить дополнительные вводы (в идеале - от разных трансформаторных подстанций), установить резервные генераторы, системы бесперебойной подачи электроэнергии.

Параллельно с планированием и обеспечением мощности, вновь возникает вопрос размещения ЦОД: при обустройстве ЦОД в действующем офисе, недостаток мощностей становится одним из наиболее важных аспектов жизнеобеспечения системы. Затраты на подключение одной и той же дополнительной мощности могут различаться в разы. Можно считать достаточно экономичным вариант, если рядом имеется действующая подстанция с резервом мощности – необходимо лишь обеспечить прокладку кабеля. В других случаях доходит до реконструкции или строительства новой трансформаторной подстанции (ТП). Здесь важно учитывать, что одновременно с вводом мощности требуется оснащение ЦОД защитой от электромагнитного излучения – с высокой вероятностью оно может привести к повреждению и потере данных, сбоям в работе электронного оборудования.

Помимо этого, опыт взаимодействия с поставщиками электроэнергии говорит, что после детальной оценки расходов и рисков, связанных с обустройством систем энергоснабжения, логичнее бывает перенос площадки ЦОД на другую территорию, где подвод мощности возможен за вменяемую стоимость.

[править] Средства защиты от пожара

В отношении средств пожаротушения помещений и зданий ЦОД, нормативы достаточно жестки: необходимо оборудование помещений системой автоматического газового пожаротушения. Применение воды в системах пожаротушения ЦОД недопустимо из-за последующего повреждения оборудования и данных.

Использование систем газового пожаротушения требует проведения дополнительных мероприятий:

• требуется предусмотреть механизм сброса избыточного давления, возникающего при срабатывании системы тушения и выбросе газового огнетушащего вещества;
• оборудовать помещение системой газоудаления;
• необходимы правила эвакуации персонала и противогазы для него.

[править] Ограничения по инженерной инфраструктуре

Выше говорится, что в помещении ЦОД не должно быть транзитных коммуникаций (отопление, водопровод, канализация). Однако для помещений, содержащих серверы, существуют требования по уровню влажности воздуха, так что наличие воды необходимо постоянно. Риск затопления можно предупредить при помощи гидроизоляции, на стадии строительства. Тем не менее, необходима установка датчиков протечек – они способствуют предотвращению залива оборудования, при вероятных порывах труб систем увлажнения воздуха.

[править] Климатические условия и экосистемные требования

Система искусственного климата – отдельная система и она наиболее отличается от типичного оборудования, применяемого в большинстве помещений: особенность помещения ЦОД - в том, что серверы требуют постоянного, круглосуточного охлаждения и теплоотвода, даже если центр обработки данных размещен у полюса. Для решения этой инженерной задачи потребуется специальное оборудование, которое потребляет значительный объем электроэнергии.

Попутно стоит заметить, что иногда возникает необходимость в защите ЦОД не только от внешних факторов риска, но и окружающей среды от воздействия оборудования ЦОД. В частности, от шумных серверов. В некоторых случаях может потребоваться дополнительная шумоизоляция помещений ЦОД.

[править] Передовые разработки

Во время проходившего в Санта-Кларе, Калифорния, США, в период с 14 по 17 мая 2012 года симпозиума знаменитый Uptime Institute объявил победителей ежегодного международного конкурса Green Enterprise IT Awards 2012 (GEIT). Читать статью "ЦОД (передовые разработки)".

[править] Некоторые рекомендации на пути к более эффективному ЦОД

Контроль расходов над обеспечением функционирования дата-центра может существенно повлиять на структуру расходов компании. Основные направления — переход от физических серверов к виртуальным и модернизация серверного оборудования на энергоэффективное. В обоих случаях требуются инвестиции, но возврат от них может быть ощутимым.

Здесь возможно обновить лицензии при покупке новых серверов, что несомненно скажется в лучшую сторону. Улучшение изоляции друг от друга горячих и холодных потоков воздуха внутри помещения, применение термостатов реально снижает стоимость потребленной электроэнергии.

Итак, несколько советов для более эффективной работы ЦОД.

[править] Виртуализируйте все, что можете

Виртуализация позволяет сократить объем используемого пространства, применить более экономичные системы охлаждения и более эффективное управление.

[править] Учтите ограничения, присущие виртуализации

Она возможна не всегда, если система обслуживает тысячи пользователей или некоторые вертикальные приложения.

[править] Обдумывайте приобретение лицензий

На виртуальные среды могут распространяться комплексные соглашения.

[править] Анализируйте ситуацию с энергопотреблением в различное время суток

Вероятно, это поможет оптимизировать рабочие нагрузки на серверы.

[править] Обдумайте размещение тепловыделяющего оборудования

Вместо простого чередования холодных и горячих проходов, примените более вдумчивый подход.

[править] Рассматривайте возможность использования блейд-серверов

Анализируйте стоимость апгрейда и возможную экономию в процессе потребления энергии, площадей и обслуживания.

[править] Контролируйте количество физических портов

Большое число физических подключений к одному серверу приводит к усложнению сетевой инфраструктуры.

[править] Учитывайте модернизацию оборудования в процессе эксплуатации

Современные серверы допускают более высокие значения температуры окружающей среды, что позволяет экономить при использовании систем охлаждения помещений.

[править] Примечания

[править] Интересные факты

• «Ай-Теко» ввела в эксплуатацию собственный ЦОД, не имеющий, как утверждают в компании, аналогов в России по уровню защищенности от техногенных катастроф, совокупности характеристик и величине. Площадь в 3 тыс. кв. меторв вычислительного центра отдана под 800 стоечных мест, что соответствует более 34 тыс. серверных модулей.
• КРОК участвовал в создании одного из крупнейших в России центров обработки данных для Поволжского филиала ОАО «МегаФон». ЦОД построен в г. Самара на территории общей площадью 3 гектара.
• Интернет-аукцион eBay располагает крупнейшим в мире ЦОД, обслуживающим 241 млн. клиентов ежедневно.

[править] Ссылки

• Виртуальная модель ЦОД
• Подробности о структуре ЦОД, этапах создания
• ЦОД с экономических позиций
• Основные аспекты создания ЦОД
• Датацентр SafeData
• Экскурсия по датацентру
• TIA-942
• Лист дата-центров Москвы и Санкт-Петербурга.
• Планировочные решения цодов
• Прогнозы развития петербургского рынка дата-центров
• Газовое пожаротушение для серверной и электронного архива