ݺߣ

ݺߣShare a Scribd company logo
Проблемы проектирования больших
коммерческих ЦОДов на примере
NORD 4 DataLine
Сергей Мищук
smishchuk@dtln.ru
КТО МЫ

2
Историческая справка
ЦОД

Начало
эксплуатации

Особенности

OST-1 (Боровая)

2009 Существующее здание. Кондиционирование CW. TIA-942
Первый ЦОД, первые грабли
Выводы (по состоянию на начало эксплуатации):
•CW – дорого!!! И долго!!! (особенно в монтаже!
особенно в старом здании!)
•Проектировщики слабо разбираются в экономике

NORD-1
(Коровинское)

2010 Существующее здание. Кондиционирование DX. 285
стоек

NORD-2
(Коровинское)

2011-2012 Новое здание. Кондиционирование DX. 450 стоек

NORD-3
(Коровинское)

2013 Новое здание. Кондиционирование DX. 450 стоек

NORD-4
(Коровинское)

2014 Новое здание. Кондиционирование CW. 2000 стоек
•Tier-III (Uptime)
•Снижение эксплуатационных затрат
3
Площадка NORD 2013-2014
Генеральный план и фасады
нового здания

4
NORD 4: большой ЦОД
•

•
•
•

•

2000 стойко-мест
Установленная мощность - 20 МВА
8 машинных залов суммарной площадью 4276 кв.м.
Общая площадь здания -11 700 кв.м
3.5 этажа
•
•
•
•

1 – энергетика
2, 3 –машинные залы
тех. этаж – хладоцентр
кровля - чиллеры

5
Проблемы большого ЦОДа
•

•

•
•

На этапе капитального строительства увеличение масштаба
не приводит к снижению удельной себестоимости из
расчета на стойко-место или киловатт (если не говорить о
потенциальных скидках поставщиков)
Большой ЦОД, большие затраты
• Модульная архитектура инженерных систем,
позволяющая вводить мощности очередями (4 очереди)
Проблемы с компоновкой
Большая абсолютная стоимость проектных ошибок

6
Проблемы компоновки

1-й этаж
7
Проблемы большого ЦОДа

Этажи 2,3
8
Технико-экономические проблемы
•
•

Не специфичны для большого ЦОДа, но их последствия в
абсолютном выражении растут вместе с объектом
Трудности корректной экономической оценки того или иного
инженерного решения:
• Во что обойдется закупка инженерного оборудования (самый
простой вопрос)
• Сколько будет стоить монтаж
• Сколько будет стоить адаптация смежных систем
• Сколько будет стоить эксплуатация конкретного решения
• Какие еще скрытые расходы нас ждут
• Как корректно посчитать экономический эффект
(лучший/худший/средний сценарий)?
9
NORD-4. Новый ЦОД, новые задачи
•

PUE по холоду не более 1.3
•

•

Соответствие Tier III по Uptime Institute
•

•

•

Возвращаемся к CW
Проект: готовность к сертификации
• В случае принятия решения начинаем процедуру
сертификации
Объект: готовность к сертификации

Чтобы снизить риски в новых для себя областях, мы
приняли решение воспользоваться опытом Schneider Electric
10
Schneider Electirc: история
сотрудничества

•

С самого начала в ЦОДах DataLine используются ИБП APC
(MGE) by Schneider Electric: Galaxy 5000, 6000, 7000
Электротехнические шкафы Prisma и автоматы Masterpact
2010 г.: в одном из залов ЦОД OST (Боровая) реализована
система изоляции горячих коридоров (HACS)
2011 г.: переход на DX кондиционеры Uniflair (ЦОДы NORD
2,3)
Разумеется, стойки NetShelter

•

А теперь еще и проектирование и консультации

•
•
•
•

11
NORD 4: Schneider Electirc

•Архитектурный

надзор: анализ проектных решений на предмет
формального соответствия требованиям Uptime Institute. В
первую очередь это относится к электроустановке, включая
ДЭС.
•Проектирование

системы холодоснабжения

•Проектирование

ДЭС

12
NORD 4: Холодоснабжение
•

•

Проектный среднегодовой PUE по холоду не более 1.3
Гидравлическая схема с переменным расходом холодоносителя
обеспечивает повышенную энергоэффективность (отсутствует
смешение холодной и горячей воды)

•
•

•
•

Схема на чиллерной воде позволяет использовать преимущества
свободного охлаждения (free cooling)
Высокая температура холодоносителя (16/21 0C этиленгликоль, 18/23 вода)
позволяет увеличить среднегодовую продолжительность фрикулинга
14 холодильных машин на кровле (резерв 12+2)
Шкафные кондиционеры в машинных залах по схеме N+1 (традиционная
схема с подачей холодного воздуха под фальшпол)

13
NORD 4: Холодоснабжение

14
NORD 4: Опыт и развитие









Опыт эксплуатации оборудования Schneider Electric позволяет
уверенно выбирать это оборудование в дальнейших проектах
Опыт эксплуатации чиллерных (CW) и фреоновых (DX) схем
холодоснабжения дает нам надежные данные по экономическому
обоснованию выбираемых решений
Опыт эксплуатации различных моделей ИБП а сочетании с
различными схемами резервирования показывает, что схема 2N на
ИБП APC Galaxy 7000 обеспечивает отличную энергоэффективность
при высокой надежности
Опыт управления строительством ЦОД позволяет нам обеспечивать
ввод в эксплуатацию мощностей ЦОД очередями, без ущерба для
уже введенных в эксплуатацию
Партнерство со Schneider Electric в проектировании дает нам
уверенность в правильности проектных решений
15
КОНТАКТЫ
Центральный офис: 127521, Москва, ул. Октябрьская, 72
Телефон +7 (495) 784-65-05
Факс +7 (495) 784-65-05
E-mail info@dtln.ru
Дата-центр на Боровой: Москва, Боровая ул., дом 7, строение 10
Дата-центры на Коровинском: Москва, Коровинское ш., д. 41

16
Ad

Recommended

Топологическая оптимизация конструкций
Топологическая оптимизация конструкций
Yury Novozhilov
Rubius Electric Suite 5.6
Rubius Electric Suite 5.6
Егор Воднев
Sales force productivity in animal healthcare
Sales force productivity in animal healthcare
CLARAsteven7
Сотрудничество "Лаборатории Касперского" и DataLine в облаке
Сотрудничество "Лаборатории Касперского" и DataLine в облаке
Alina Karimullina
Все о безопасности облака DataLine
Все о безопасности облака DataLine
Alina Karimullina
Responsible tourism initiatives in India
Responsible tourism initiatives in India
JSP Krishna Teja Chandaa
DataLine CloudLine Metrocluster_25 09
DataLine CloudLine Metrocluster_25 09
Alina Karimullina
Impact of sales training.
Impact of sales training.
CLARAsteven7
Anti aging therapy | Interlink Consultancy Pvt. Ltd.
Anti aging therapy | Interlink Consultancy Pvt. Ltd.
CLARAsteven7
Empowering Indian pharmaceutical industry to lead globally.
Empowering Indian pharmaceutical industry to lead globally.
CLARAsteven7
Air cargo management Packing
Air cargo management Packing
JSP Krishna Teja Chandaa
Irctc 2008
Irctc 2008
JSP Krishna Teja Chandaa
Pharmacoeconomics
Pharmacoeconomics
CLARAsteven7
Air cargo managenent Charges
Air cargo managenent Charges
JSP Krishna Teja Chandaa
Air cargo management
Air cargo management
JSP Krishna Teja Chandaa
Indian pharma industry 2015
Indian pharma industry 2015
CLARAsteven7
ТОП-20 ошибок при проектировании дата-центров и их последствия для эксплуатации
ТОП-20 ошибок при проектировании дата-центров и их последствия для эксплуатации
DataLine
Принципы эксплуатации и построения эффективных ЦОД
Принципы эксплуатации и построения эффективных ЦОД
it.times.com.ua
Cti планирование и создание инженерной инфраструктуры цод
Cti планирование и создание инженерной инфраструктуры цод
Yulia Sedova
CTI Панирование и создание инженерной инфраструктуры цод
CTI Панирование и создание инженерной инфраструктуры цод
Yulia Sedova
молчанов сергей датацентры 10 04 2010 Light
молчанов сергей датацентры 10 04 2010 Light
rit2010
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Zaur Abutalimov
Schneider Electric - Модульные Дата-Центры
Schneider Electric - Модульные Дата-Центры
Expolink
СTI. Планирование и создание инженерной инфраструктуры ЦОД
СTI. Планирование и создание инженерной инфраструктуры ЦОД
Yulia Sedova
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Zaur Abutalimov
CDC "Daterium-4"
CDC "Daterium-4"
Nvision Group, Moscow, Russia
Обновление и модернизация существующих центров обработки данных
Обновление и модернизация существующих центров обработки данных
Nick Turunov
Schneider Electric - Модульные DATA-центры
Schneider Electric - Модульные DATA-центры
Expolink
Инновационные технологии эффективного ЦОД: от проектирования до эксплуатации
Инновационные технологии эффективного ЦОД: от проектирования до эксплуатации
Nick Turunov

More Related Content

Viewers also liked (9)

Impact of sales training.
Impact of sales training.
CLARAsteven7
Anti aging therapy | Interlink Consultancy Pvt. Ltd.
Anti aging therapy | Interlink Consultancy Pvt. Ltd.
CLARAsteven7
Empowering Indian pharmaceutical industry to lead globally.
Empowering Indian pharmaceutical industry to lead globally.
CLARAsteven7
Air cargo management Packing
Air cargo management Packing
JSP Krishna Teja Chandaa
Irctc 2008
Irctc 2008
JSP Krishna Teja Chandaa
Pharmacoeconomics
Pharmacoeconomics
CLARAsteven7
Air cargo managenent Charges
Air cargo managenent Charges
JSP Krishna Teja Chandaa
Air cargo management
Air cargo management
JSP Krishna Teja Chandaa
Indian pharma industry 2015
Indian pharma industry 2015
CLARAsteven7

Similar to DataLine_Datacenter dynamics converged (20)

ТОП-20 ошибок при проектировании дата-центров и их последствия для эксплуатации
ТОП-20 ошибок при проектировании дата-центров и их последствия для эксплуатации
DataLine
Принципы эксплуатации и построения эффективных ЦОД
Принципы эксплуатации и построения эффективных ЦОД
it.times.com.ua
Cti планирование и создание инженерной инфраструктуры цод
Cti планирование и создание инженерной инфраструктуры цод
Yulia Sedova
CTI Панирование и создание инженерной инфраструктуры цод
CTI Панирование и создание инженерной инфраструктуры цод
Yulia Sedova
молчанов сергей датацентры 10 04 2010 Light
молчанов сергей датацентры 10 04 2010 Light
rit2010
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Zaur Abutalimov
Schneider Electric - Модульные Дата-Центры
Schneider Electric - Модульные Дата-Центры
Expolink
СTI. Планирование и создание инженерной инфраструктуры ЦОД
СTI. Планирование и создание инженерной инфраструктуры ЦОД
Yulia Sedova
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Zaur Abutalimov
CDC "Daterium-4"
CDC "Daterium-4"
Nvision Group, Moscow, Russia
Обновление и модернизация существующих центров обработки данных
Обновление и модернизация существующих центров обработки данных
Nick Turunov
Schneider Electric - Модульные DATA-центры
Schneider Electric - Модульные DATA-центры
Expolink
Инновационные технологии эффективного ЦОД: от проектирования до эксплуатации
Инновационные технологии эффективного ЦОД: от проектирования до эксплуатации
Nick Turunov
MDC "DATERIUM"
MDC "DATERIUM"
Nvision Group, Moscow, Russia
Проектирование и построение непрерывного ЦОДа
Проектирование и построение непрерывного ЦОДа
КРОК
Надежная инфраструктура цод
Надежная инфраструктура цод
Дмитрий Мацкевич
Megatrade артем вижуткин академия цод
Megatrade артем вижуткин академия цод
Nick Turunov
Megatrade артем вижуткин академия цод
Megatrade артем вижуткин академия цод
Nick Turunov
Сотрудник. Алексей Волков "Надежный ЦОД - одна из основ ИБ"
Сотрудник. Алексей Волков "Надежный ЦОД - одна из основ ИБ"
Expolink
Apc by schneider electric
Apc by schneider electric
Дмитрий Мацкевич
ТОП-20 ошибок при проектировании дата-центров и их последствия для эксплуатации
ТОП-20 ошибок при проектировании дата-центров и их последствия для эксплуатации
DataLine
Принципы эксплуатации и построения эффективных ЦОД
Принципы эксплуатации и построения эффективных ЦОД
it.times.com.ua
Cti планирование и создание инженерной инфраструктуры цод
Cti планирование и создание инженерной инфраструктуры цод
Yulia Sedova
CTI Панирование и создание инженерной инфраструктуры цод
CTI Панирование и создание инженерной инфраструктуры цод
Yulia Sedova
молчанов сергей датацентры 10 04 2010 Light
молчанов сергей датацентры 10 04 2010 Light
rit2010
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Zaur Abutalimov
Schneider Electric - Модульные Дата-Центры
Schneider Electric - Модульные Дата-Центры
Expolink
СTI. Планирование и создание инженерной инфраструктуры ЦОД
СTI. Планирование и создание инженерной инфраструктуры ЦОД
Yulia Sedova
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Адаптация инженерной инфраструктуры для облачных ЦОД - APC by Schneider Electric
Zaur Abutalimov
Обновление и модернизация существующих центров обработки данных
Обновление и модернизация существующих центров обработки данных
Nick Turunov
Schneider Electric - Модульные DATA-центры
Schneider Electric - Модульные DATA-центры
Expolink
Инновационные технологии эффективного ЦОД: от проектирования до эксплуатации
Инновационные технологии эффективного ЦОД: от проектирования до эксплуатации
Nick Turunov
Проектирование и построение непрерывного ЦОДа
Проектирование и построение непрерывного ЦОДа
КРОК
Megatrade артем вижуткин академия цод
Megatrade артем вижуткин академия цод
Nick Turunov
Megatrade артем вижуткин академия цод
Megatrade артем вижуткин академия цод
Nick Turunov
Сотрудник. Алексей Волков "Надежный ЦОД - одна из основ ИБ"
Сотрудник. Алексей Волков "Надежный ЦОД - одна из основ ИБ"
Expolink
Ad

DataLine_Datacenter dynamics converged

  • 1. Проблемы проектирования больших коммерческих ЦОДов на примере NORD 4 DataLine Сергей Мищук smishchuk@dtln.ru
  • 3. Историческая справка ЦОД Начало эксплуатации Особенности OST-1 (Боровая) 2009 Существующее здание. Кондиционирование CW. TIA-942 Первый ЦОД, первые грабли Выводы (по состоянию на начало эксплуатации): •CW – дорого!!! И долго!!! (особенно в монтаже! особенно в старом здании!) •Проектировщики слабо разбираются в экономике NORD-1 (Коровинское) 2010 Существующее здание. Кондиционирование DX. 285 стоек NORD-2 (Коровинское) 2011-2012 Новое здание. Кондиционирование DX. 450 стоек NORD-3 (Коровинское) 2013 Новое здание. Кондиционирование DX. 450 стоек NORD-4 (Коровинское) 2014 Новое здание. Кондиционирование CW. 2000 стоек •Tier-III (Uptime) •Снижение эксплуатационных затрат 3
  • 4. Площадка NORD 2013-2014 Генеральный план и фасады нового здания 4
  • 5. NORD 4: большой ЦОД • • • • • 2000 стойко-мест Установленная мощность - 20 МВА 8 машинных залов суммарной площадью 4276 кв.м. Общая площадь здания -11 700 кв.м 3.5 этажа • • • • 1 – энергетика 2, 3 –машинные залы тех. этаж – хладоцентр кровля - чиллеры 5
  • 6. Проблемы большого ЦОДа • • • • На этапе капитального строительства увеличение масштаба не приводит к снижению удельной себестоимости из расчета на стойко-место или киловатт (если не говорить о потенциальных скидках поставщиков) Большой ЦОД, большие затраты • Модульная архитектура инженерных систем, позволяющая вводить мощности очередями (4 очереди) Проблемы с компоновкой Большая абсолютная стоимость проектных ошибок 6
  • 9. Технико-экономические проблемы • • Не специфичны для большого ЦОДа, но их последствия в абсолютном выражении растут вместе с объектом Трудности корректной экономической оценки того или иного инженерного решения: • Во что обойдется закупка инженерного оборудования (самый простой вопрос) • Сколько будет стоить монтаж • Сколько будет стоить адаптация смежных систем • Сколько будет стоить эксплуатация конкретного решения • Какие еще скрытые расходы нас ждут • Как корректно посчитать экономический эффект (лучший/худший/средний сценарий)? 9
  • 10. NORD-4. Новый ЦОД, новые задачи • PUE по холоду не более 1.3 • • Соответствие Tier III по Uptime Institute • • • Возвращаемся к CW Проект: готовность к сертификации • В случае принятия решения начинаем процедуру сертификации Объект: готовность к сертификации Чтобы снизить риски в новых для себя областях, мы приняли решение воспользоваться опытом Schneider Electric 10
  • 11. Schneider Electirc: история сотрудничества • С самого начала в ЦОДах DataLine используются ИБП APC (MGE) by Schneider Electric: Galaxy 5000, 6000, 7000 Электротехнические шкафы Prisma и автоматы Masterpact 2010 г.: в одном из залов ЦОД OST (Боровая) реализована система изоляции горячих коридоров (HACS) 2011 г.: переход на DX кондиционеры Uniflair (ЦОДы NORD 2,3) Разумеется, стойки NetShelter • А теперь еще и проектирование и консультации • • • • 11
  • 12. NORD 4: Schneider Electirc •Архитектурный надзор: анализ проектных решений на предмет формального соответствия требованиям Uptime Institute. В первую очередь это относится к электроустановке, включая ДЭС. •Проектирование системы холодоснабжения •Проектирование ДЭС 12
  • 13. NORD 4: Холодоснабжение • • Проектный среднегодовой PUE по холоду не более 1.3 Гидравлическая схема с переменным расходом холодоносителя обеспечивает повышенную энергоэффективность (отсутствует смешение холодной и горячей воды) • • • • Схема на чиллерной воде позволяет использовать преимущества свободного охлаждения (free cooling) Высокая температура холодоносителя (16/21 0C этиленгликоль, 18/23 вода) позволяет увеличить среднегодовую продолжительность фрикулинга 14 холодильных машин на кровле (резерв 12+2) Шкафные кондиционеры в машинных залах по схеме N+1 (традиционная схема с подачей холодного воздуха под фальшпол) 13
  • 15. NORD 4: Опыт и развитие      Опыт эксплуатации оборудования Schneider Electric позволяет уверенно выбирать это оборудование в дальнейших проектах Опыт эксплуатации чиллерных (CW) и фреоновых (DX) схем холодоснабжения дает нам надежные данные по экономическому обоснованию выбираемых решений Опыт эксплуатации различных моделей ИБП а сочетании с различными схемами резервирования показывает, что схема 2N на ИБП APC Galaxy 7000 обеспечивает отличную энергоэффективность при высокой надежности Опыт управления строительством ЦОД позволяет нам обеспечивать ввод в эксплуатацию мощностей ЦОД очередями, без ущерба для уже введенных в эксплуатацию Партнерство со Schneider Electric в проектировании дает нам уверенность в правильности проектных решений 15
  • 16. КОНТАКТЫ Центральный офис: 127521, Москва, ул. Октябрьская, 72 Телефон +7 (495) 784-65-05 Факс +7 (495) 784-65-05 E-mail info@dtln.ru Дата-центр на Боровой: Москва, Боровая ул., дом 7, строение 10 Дата-центры на Коровинском: Москва, Коровинское ш., д. 41 16