С точностью до миллиметра

Распределение электропитания для Курчатовского ЦОДа

Прежде чем серверы дата-центра начнут обрабатывать терабайты данных, необходимо построить для него инженерную инфраструктуру, состоящую из целого ряда систем.

О создании системы распределения электропитания высоконадежного дата-центра НИЦ «Курчатовский институт» рассказывает участник проекта, технический директор компании «Эликом Групп» Эдуард СТАРКОВ.

– Общий проект ЦОДа для Национального исследовательского центра «Курчатовский институт» был создан в 2007 г. В тендере на разработку системы распределения электропитания дата-центра, ее поставку и запуск в эксплуатацию приняли участие системные интеграторы и поставщики электрораспределительного оборудования практически всех известных в России производителей. Победила наша компания.

– Почему предпочтение было отдано именно вашему решению?

– Как известно, российские ЦОДы в большинстве своем размещают в уже имеющихся зданиях, и это часто накладывает серьезные ограничения на выбор технических решений и для инженерных, и для вычислительных систем. Не стал исключением и дата-центр института им. И. В. Курчатова. Поскольку это ЦОД очень высокого уровня надежности (все системы в нем должны иметь 100%-ное резервирование), требовалась установка фактически двойного комплекта инженерного оборудования. Предусмотренное проектом помещение для системы распределения электропитания по своим размерам и конфигурации, скажем прямо, не позволяло применить стандартные схемы и оборудование. А еще – и это самое главное – уложиться в рамки имеющегося бюджета!

Наша компания работает с электрораспределительным оборудованием разных производителей, но в данном случае нам сразу стало ясно, что проблему можно решить только с помощью оборудования и шкафов производства Eaton. И все равно задача оставалась непростой. При создании технического решения было разработано в общей сложности 12 вариантов компоновки, и лишь в последнем нам удалось полностью удовлетворить все заявленные требования проекта и по электротехническим характеристикам, и по надежности, и по габаритам, и по цене. Кстати, в снижение цены оборудования Eaton вносит свой вклад именно его компактность: чем меньше размеры, тем меньше используется дорогой меди. Мы как-то подсчитали, что если сравнивать с оборудованием других производителей, то при сходных характеристиках в электрораспределительных щитах от Eaton количество меди оказывается на 10–20% меньше.

– Из чего состоит эта система распределения электропитания и какие функции в ЦОДе она выполняет?

– В Курчатовском институте довольно крупный дата-центр с подведенной мощностью около 15 МВт. Электропитание подводится к шести трансформаторам мощностью 2500 кВА каждый, где входное напряжение 10 кВ понижается до 380 В. Максимальная величина тока на выходе такого трансформатора – 4000 А. Система распределения питания предусматривает разные варианты резервирования на случай выхода из строя любого из трансформаторов, чтобы при пропадании напряжения на одном из вводов питание переключалось на другой. При общем отключении входного питания запускаются дизель-генераторы, их в ЦОДе четыре штуки мощностью 1800 кВА каждый. Управляют всеми этими процессами три главных распределительных щита (ГРЩ) и щиты автоматического включения резерва (АВР). Далее электропитание с помощью распределительных электрощитов и шинопроводов разводится по всему инженерному и вычислительному оборудованию дата-центра. Каждый щит представляет собой шкаф размером 800х800 мм. В общей сложности в систему входит порядка 230 электрощитов серии Eaton Moeller X Energy с автоматическими выключателями IZM13, рассчитанными на токи от 2000 до 4000 А, и NZM4 для более низких токов – от 800 до 1600 А. В рамках этого проекта в системе электропитания дата-центра, начиная от вводов в здание и заканчивая подведением электричества к конечным серверам, используется только оборудование Eaton, а за его работой следит своя система диспетчеризации, отслеживающая на всех автоматах около 400 различных параметров (напряжения, токи, разные гармоники, потребляемая мощность и т.д.).

– С какими трудностями при построении системы вам пришлось столкнуться?

– Основная трудность была, конечно, связана с жесткими пространственными ограничениями. Несмотря на относительную компактность щитов Eaton по сравнению с аналогичными изделиями других производителей, разместить их в предоставленном помещении, в котором было несколько несущих колонн, было непросто. Требовалась самая плотная компоновка силового оборудования, а так как рабочие токи там очень высокие, то вариант кабельной разводки даже не рассматривался – только шинопроводы. К тому же надо было учесть, что любое электрооборудование при работе нагревается. А когда оно так плотно упаковано, нагрев может представлять собой серьезную проблему, поскольку используемые в распределительных щитах силовые автоматические выключатели имеют ограниченный диапазон рабочих температур (как правило, максимум +25–30?C). Но тут нам помогло само оборудование компании Eaton: ее автоматические выключатели могут работать при температуре окружающей среды до +50?C. Нынешним летом, когда уже была запущена в эксплуатацию первая очередь дата-центра, они в жару обеспечили нормальную работу всего остального оборудования. Правда, теперь заказчик все-таки устанавливает в этом помещении систему вентиляции.

Были в работе и организационные сложности, ведь НИЦ «Курчатовский институт» – это режимный объект с особым расписанием работы и строгими правилами допуска людей, ввоза и вывоза оборудования.

– Как компания Eaton помогала вам в реализации проекта?

– В первую очередь эта помощь выразилась, повторюсь, в поставке надежного и одновременно недорогого оборудования, благодаря которому мы и смогли принять участие в проекте. Хотелось бы особо отметить качество исполнения, вполне, впрочем, объяснимое: все производство Eaton находится в Германии и в Австрии. Кроме того, программное обеспечение, которое Eaton предоставляет своим сертифицированным дистрибьюторам, позволяет, задав в интерактивном режиме параметры требуемого оборудования, провести расчет расходных материалов, шин, пластмассовых деталей изоляторов и получить полную спецификацию устройства – вплоть до последнего болтика. На основании этой спецификации составляется заказ, и потом из полученных деталей наши монтажники собирают распределительные щиты. Причем шкафы Eaton не требуют никакой подгонки. Кстати, из-за этой немецкой точности были даже определенные проблемы со сборкой оборудования на месте в дата-центре: российский пол оказался недостаточно ровным, а допуски при соединении шинопроводов были маленькие, так что пришлось устанавливать специальные щиты, использовать лазерный уровень и т.п.

У нас есть опыт работы с разными производителями, и могу сказать, что на сегодняшний момент Eaton – наш самый стабильный поставщик. Российское представительство Eaton с полным пониманием относилось к тому, что Курчатовский ЦОД – проект государственной важности, и потому держало его на контроле на всех этапах производства и доставки оборудования. Объемы поставок были большие, и мы конечно же не могли сразу оплатить все оборудование. Но компания Eaton открыла нам кредитную линию, благодаря чему мы смогли продолжить работу в проекте.

– На каком этапе сейчас находится этот проект?

– Проект технически очень сложный, а из-за экономического кризиса 2008–2009 гг. получился еще и длительным. Как я уже говорил, тендер состоялся в 2007 г., но реальные работы на объекте мы начали только в январе 2010 г., установив там первые 10 шкафов с электрощитами Eaton Moeller X Energy. Надо отдать должное компании Eaton: цены на оборудование за этот период «простоя» для нас не изменились.

Первый этап, завершившийся к концу 2010 г., предусматривал запуск одного из четырех изолированных модулей-саркофагов ЦОДа. Его электропитание было организовано по временной схеме. Кстати, тогда в дата-центре велась обработка данных, полученных с Большого адронного коллайдера, установленного в Швейцарии. В течение 2011 г. в эксплуатацию вводились остальные модули дата-центра, а мы наращивали для них систему распределения питания, установив в общей сложности 180 электрощитовых шкафов. Большая часть оборудования уже смонтирована, но некоторые резервные линии электропитания пока управляются вручную, т.е. при переключении нужно использовать ИБП.

В начале 2012 г., при наличии госфинансирования, приступим к завершающему этапу проекта: нам предстоит поставить еще около 50 шкафов и завершить автоматизацию системы распределения питания. Это означает, что система электропитания дата-центра Курчатовского института будет готова к полноценной работе.