Design, Facility и Operational Sustainability, какие требования предъявляются к Tier 3, Tier 4

Что такое TIER?

TIER III имеет три варианта сертификации выдаваемых UPTIME INSTITUTE.

Какие бывают сертификаты TIER III и что означает каждый из сертификатов TIER III?

Tier III Certification of Data Center Design Documents – Сертификат проекта.
Данный сертификат подтверждает, что проектная документация инфраструктуры ЦОДа соответствует стандартам Tier III Uptime Institute.

Tier III Certification of Constructed Data Center Facility – Сертификат исполнения.
Данный сертификат подтверждает, что построенный и введенный в эксплуатацию ЦОД соответствует ранее сертифицированной проектной документации и отвечает требованиям Tier III Uptime Institute.

Tier III Certification of Data Center Operational Sustainability – Сертификат операционной устойчивости.

Данный сертификат подтверждает:

• резервирование всех инженерных подсистем выполнено по схеме N+1, что позволяет бесперебойно обслуживать инфраструктуру ЦОД, тем самым повысив его надежность и отказоустойчивость;
• высокую квалификацию и достаточный количественный состав персонала, обеспечивающий стабильную работу  ЦОДа;
• наличие и выполнение оптимального, согласно стандартам Tier III, планирования жизненного цикла, правил и процедур эксплуатации и технического обслуживания инфраструктуры ЦОДа.

Где можно посмотреть наличие сертификатов Tier III Uptime Institute​

Наличие сертификатов Tier III можно посмотреть на официальном сайте Uptime Institute​ по следующим ссылкам:

Наличие Tier III Desing

– список всех российских ЦОДов, которые имеют сертификаты Tier III Desing Uptime Institute

– ссылка на список всех сертифицированных ЦОДов Tier Desing Uptime Institute I+II+III+IV (без включенных фильтров)

Наличие Tier III Facility

– список всех российских ЦОДов, которые имеют сертификаты Tier III Facility Uptime Institute

– ссылка на список всех сертифицированных ЦОДов Tier Facility Uptime Institute I+II+III+IV (без включенных фильтров)

Наличие Tier III Operational Sustainability

– список всех российских ЦОДов, которые имеют сертификаты Tier III Operational Sustainability Uptime Institute

– ссылка на список всех сертифицированных ЦОДов Tier Operational Sustainability Uptime Institute I+II+III+IV (без включенных фильтров)

Какие требования предъявляются стандартами Tier I, Tier II, Tier III, Tier IV

С требованиями предъявляемыми Uptime Institute к стандартами Tier I, Tier II, Tier III, Tier IV можно ознакомиться на официальном сайте, скачав соответствующие материалы по ссылке ниже:

– Программы сертификации Tier

---

Особенности выбора ЦОД
ЦОДы Москвы
ЦОДы Санкт-Петербурга
Аренда DWDM каналов между ЦОДами

www.dwdm.ru

Что такое Tier 2 и Tier 3?

Прежде чем перейти к характеристикам 2- и 3-го уровней Tier, давайте разберемся, что это вообще такое. Итак, Tier — это показатель надежности центра обработки данных (ЦОД), разработанный известнейшей сертификационной организацией Uptime Institute. В отличие от многих других стандартов, в этой многоуровневой классификации рассматриваются главным образом надежность и безопасность будущего дата-центра — то, что призвано защитить вложения в его строительство.

Существует четыре уровня надежности дата-центра. Каждый из них представляет собой подробное описание, требования и даже рекомендации к входящим в него системам. Речь в этих стандартах идет не только об архитектурных особенностях ЦОД, но и об электроснабжении, используемых системах охлаждения, проводке, телекоммуникациях и многом другом. Давайте рассмотрим каждый из этих стандартов по отдельности.

Tier 1 (отказоустойчивость — 99,671 %)

Согласно классификации, принятой международным сертификационным институтом, это базовый уровень надежности. Он был актуален в 1960-е и 1970-е годы. В случае ошибок и отказов в работе ЦОД его работа прерывается. Даже при беглом ознакомлении с этим стандартом становится ясно, что он сильно устарел. В частности, в требованиях уровня Tier 1 не предусмотрено обязательное использование источников бесперебойного питания и возможность резервирования данных.

Tier 2 (отказоустойчивость — 99,749 %)

Как и в случае с 1-м уровнем, работа ЦОД стандарта Tier 2 может быть прервана из-за ошибок и отказов и возобновлена лишь после ремонтных операций. Однако здесь уже покрываются не только текущие потребности — этот стандарт предусматривает:

• небольшой уровень резервирования работоспособности систем;
• избыточные системные ресурсы;
• улучшенные системы охлаждения и энергоснабжения;
• наличие фальшпола;
• резервные источники электроснабжения ЦОД.

Tier 3 (отказоустойчивость — 99,982 %)

В отличие от первых двух стандартов, ЦОД Tier 3 не нужно останавливать для ремонта и профилактических работ — это основное отличие. Для соответствия Tier 3 data center должен иметь резервные мощности всей системы и два трубопровода для охлаждения.

Дата центр Tier 3 — это гарантия надежности 3data. Все наши центры обработки данных спроектированы в соответствии с этим стандартом.

Цены на colocation

Tier 4 (отказоустойчивость — 99,995 %)

На сегодня это высший уровень надежности. В требования этого стандарта входит двойное резервирование и дублирование системы.

3data.ru

Tier Classification System – Uptime Institute LLC

Стандарты Tier — это язык показателей работы ЦОД.

Система классификации Tier

Uptime Institute создал стандартную систему классификации Tier для эффективной оценки инфраструктуры ЦОДов с точки зрения коммерческих требований к работоспособности системы. Система классификации Tier предоставила отрасли надежный метод для сравнения, как правило, уникальных, реализованных в соответствии со специальными требованиями заказчика, объектов на основании ожидаемой производительности инфраструктуры объекта или безотказности его работы. Кроме того, стандарты Tier позволяют компаниям увязать инвестиции в инфраструктуру ЦОДов с коммерческими целями, характерными для стратегии роста и технологической стратегии.

В стандарте Data Center Site Infrastructure Tier Standard: Topology определены требования и преимущества четырех различных классификаций Tier инфраструктуры ЦОДов. Каждый уровень (Tier) соотносится с определенной коммерческой функцией и устанавливает соответствующие требования к электропитанию, охлаждению, техническому обслуживанию и безотказности работы. Стандарты Tier являются прогрессивными — каждый следующий уровень включает в себя требования всех предыдущих уровней. Кроме того, стандарты Tier показали себя значимым отраслевым стандартом, поскольку допускают множество решений, гарантирующих гибкость системы, что позволяет достичь желаемой производительности и соответствовать местным нормам, кодексам и правилам. Стандарты Tiers приветствуют инновационные инженерные решения и признают, что все центры обработки данных не похожи друг на друга и не должны таковыми быть.

Стандарты Tier I и Tier II являются тактическими решениями, для которых на первом месте стоит, как правило, стоимость приобретения и срок вывода продукта на рынок, а не стоимость объекта с учетом срока службы и требования к производительности (безотказности). Значительная часть доходов организаций, которые выбирают сертификацию на соответствие стандартам Tier I или Tier II, как правило, не зависит от доставки продукта или услуги в реальном времени. Как правило, эти организации защищены договорами, страхующими от ущерба, возникшего вследствие недоступности системы. Причиной выбора стратегических решений, предлагаемых инфраструктурами объектов, сертифицированных на соответствие стандартам Tier III и Tier IV, обычно являются жесткие требования к безотказной работе и гарантия постоянной работоспособности. Решения, предлагаемые инфраструктурами объектов, сертифицированных на соответствие стандартам Tier III и Tier IV, имеют срок службы, превышающий текущие ИТ-потребности и, как правило, используются организациями, которые знают цену сбоев и отказов в наличных долларах, а также их влияние на долю рынка и важнейшие задачи непрерывной деятельности.

Топология — это инфраструктура центра обработки данных, операционная устойчивость — это управление центром обработки данных, но для достижения целей нужно и первое, и второе. Эксплуатационная устойчивость определяется как поведение и риски за пределами топологии инженерных систем, которые влияют на достижение целей ЦОДа или решение бизнес-задач в долгосрочной перспективе. Стандарт Tier Standard: Operational Sustainabilty — это объективная методика, которая позволяет владельцам ЦОДов соотнести программы управления объектом с конкретным уровнем установленной инфраструктуры для достижения коммерческих целей организации или важнейших задач деятельности.

Стандарт Tier: Operational Sustainability определяет поведение и риски за пределами системы классификации Tier (I, II, III и IV), которые влияют на показатели работы ЦОДа в долгосрочной перспективе. Стандарт Tier: Стандарт Operational Sustainability объединяет управление объектом и функциональность инфраструктуры объекта, подтвержденной Tier.

Стандарт Tier Standard: Topology и стандарт Tier Standard: Operational Sustainability, разработанные Uptime Institute, являются последовательной системой критериев эффективности, которой можно соответствовать и использовать во всем мире. Для успешного проектирования, реализации и устойчивого функционирования ЦОДа владелец и проектная группа должны также учесть дополнительные факторы и риски. Многие из них определяются расположением объекта, а также местными, национальными или региональными особенностями и/или правилами. В частности, следует учитывать строительные нормы и правила, требования официальных уполномоченных органов, сейсмические данные, экстремальные погодные условия (сильный ветер, торнадо), наводнения, использование примыкающей недвижимости, наличие профсоюзов или других трудовых организаций и/или физическую безопасность (обусловленную как корпоративной политикой, так и непосредственным окружением).

Из-за существования многих проектных и управленческих вариантов, которые могут быть продиктованы владельцем, требоваться местными органами власти, рекомендоваться отраслевыми группами или считаться общей практикой, стандарт Tier Standard: Topology и стандарт Tier Standard: Operational Sustainability не допускает установления своих критериев для этих дополнительных факторов и воздействий по всему миру. Uptime Institute не стремится вытеснить или запутать рекомендации местных экспертов, которые крайне важны для своевременной реализации проекта, соблюдения нормативных требований и использования передовых практик.

Для успешной реализации проекта Uptime Institute рекомендует проектной группе сформировать подробный перечень требований проекта, который включает в себя стандарт Tier Standard: Topology и стандарт Tier Standard: Operational Sustainability, а также тщательно продуманные меры по смягчению дополнительных факторов и воздействий. Такой подход гарантирует, что проект будет соответствовать международным стандартам Uptime Institute, а также местным ограничениям и бизнес-модели владельца.

Система сертификации Tier признается во всем мире

Сертификация по стандарту Tier

Uptime Institute Professional Services — единственная компания, у которой есть лицензия на проведение оценки и сертификации проектов, построенных объектов и текущей эксплуатации на соответствие системе классификации Tier, разработанной Uptime Institute, и критериям Operational Sustainability. Сертификация Tier соотносит готовность инфраструктуры с топологией. Сертификация гарантирует, что в инфраструктуре ЦОДа нет недостатков или слабых звеньев. Обеспечить систематичность инженерных концепций на уровне представления подробных данных и допустить невыполнение правил или подмены невозможно. Процесс сертификации Tier был разработан с учетом вероятных последствий аварии — в терминах эффективности вложений в инфраструктуру ЦОДа и влияния на имидж компании, владеющей ЦОДом.

Процесс сертификации Tier органично включается в график проекта. Результаты проверки предлагают действенные рекомендации, развивая их от концепции до проектирования, от проектирования до реализации и дальше до ввода в эксплуатацию.

• Tier Gap Analysis сможет выявить основные проблемы в достижении заданного уровня Tier.
• Сертификация Tier Certification of Design Documents обеспечивает углубленный анализ 100 % пакета проектной документации.
• Сертификация Tier Certification of Constructed Facility является проверкой установленной инфраструктуры, которая проводится непосредственно на объекте.
• Стандарт Tier Certification of Operational Sustainability оценивает наличие и эффективность управления и эксплуатации

Сертификация Tier Certification of Design Documents является необходимым условием для сертификации Tier Certification of Constructed Facility. Сертификация Tier Certification of Constructed Facility является необходимым условием для сертификации Tier Certification of Operational Sustainability.

В текущий список клиентов с официальной сертификацией на соответствие Tier входят ведущие отраслевые компании со всего мира. Нажмите на ссылку справа, чтобы посмотреть карту и сортировать по типу сертификата, уровню Tier, клиенту или стране.

ru.uptimeinstitute.com

Инфраструктура отказоустойчивого дата-центра класса TIER-III / Блог компании КРОК / Хабрахабр

В средней части первого этажа ЦОД «Компрессор» два машзала, строго над ними — два машзала на втором этаже. В каждом зале по 1 МВт электромощности на стойки. На первом этаже трансформаторная подстанция, распредпункт, электрощитовая. Слева-сверху на схеме бытовой комплекс, помещение охраны. Справа от машзалов – помещение системы охлаждения – насосная станция. Рядом с машзалами (по бокам) коридоры с фанкойлами, по центру — коридор с распредщитами.

Второй этаж в принципе повторяет планировку первого этажа:

На месте трансформаторных подстанций — ИБП и аккумуляторы. Холодильная часть второго этажа — это насосная станция гликолевого контура (второй контур охлаждения). Плюс справа от машзалов установлен бак-аккумулятор на 100 кубометров на 15 минут автономного холодоснабжения ЦОДа (при отключении внешнего электроснабжения на время запуска дизельной электростанции для охлаждения машзалов используется уже заранее захоложенная вода из бака, которая подаётся в контур охлаждения).

Макет ЦОДа

Вот первый топик про строительство этого ЦОД.

Вводная

Прежде чем идти дальше, для начала коротко расскажу о ситуации. Сейчас у КРОК есть 3 ЦОДа, которые располагаются вот так:

Первые два – у нас в офисе и под соседним зданием парковки соответственно. Третий (как раз «Компрессор») находится подальше, но тоже в Москве, из-за развитой инфраструктуры и хороших каналов связи в столице и из любой точки города. Он расположен там, куда системный администратор или инженер спокойно может добраться минут за 40-50 из любой точки города или из центра на метро или машине.

Вообще, на сегодня мы участвовали уже более чем в 60 запусках ЦОДов разных компаний в России – где-то делали очень много, где-то консалтили, где-то выполняли только отдельный участок работ. Опыт накопился большой. Но начиналось всё просто: первый ЦОД был пилотный, со всеми классическими решениями. На базе него мы для себя поняли, насколько перспективно это направление и насколько аутсорсинговые ЦОДы востребованы. Тогда же мы начали проектировать и строить ЦОД «Компрессор». По ходу дела появилась возможность построить ещё один не очень большой ЦОД под парковкой. В нём впервые в РФ мы использовали ДДИБП (это очень интересный ИБП, где огромный ротор накапливает кинетическую энергию), плюс как на нем, так и на Компрессоре обкатали ещё несколько новых штук.

Первый ЦОД на 90 стоек и 1Мвт.

Второй ЦОД на 110 стоек и 2 Мвт.

ЦОД «Компрессор» на 800 стоек и 8 Мвт.

Базовые параметры ЦОД «Компрессор»

• Отказоустойчивость: Tier III, подтвержденная Uptime Institute,
• Охлаждение: N+1, в среднем 5 кВт/стойку (есть и 30 кВт стойки, они ставятся рядом с менее мощными в машзале),
• Энергоснабжение: 2N, ИБП – 15 минут, ДГУ – 24 часа без дозаправки,
• Вместимость – 800 стоек,
• Помещения склада и персонала заказчика,
• Охраняемая территория,
• Здание в собственности,
• Соединен оптоволоконным кольцом с сетью дата-центров КРОК,
• 6000 кВт общей холодильной мощности, из них 1500 кВт резерв,
• Сквозное резервирование системы холодоснабжения N+1 (3+1),
• Среднегодовой расчётный PUE не хуже 1.45,
• Запас холода 15 минут при отключении электроснабжения,
• Температурный диапазон -36…+37 градусов (это абсолютный минимум и максимум за последние 10 лет в Москве).

Электроснабжение

Извините, меня предупредили, что если на схеме будет что-то читаться, то безопасники меня пристрелят, поэтому вот так.

Энергоснабжение

• 8 МВА максимальное энергопотребление ЦОД,
• 4 МВт (4х200х5 кВт) энергопотребление ИТ,
• Энергия напрямую от генератора (ТЭЦ-11) по двум независимым кабельным линиям,
• PUE по результатам замеров из полного потребления ЦОДа (включающего всех потребителей) к IT-стойкам 1,35-1,45 (зима), в отдельные дни было 1,25. 1,45-1,85 (лето). Запланированное среднегодовое – 1,45, идём чуть лучше плана,
• Крупнейшая в России сборка ДГУ F.G.Wilson в контейнерном исполнении,
• 7 ДГУ по 2000 МВА каждый,
• Параллельная работа ДГУ на 2 шины,
• Резервирование коммуникаций 2N,
• Резервирование ДГУ N+1,
• Запас топлива на 24 часа.

Бесперебойное энергоснабжение

• Крупнейшая в России сборка ИБП GE Digital Energy,
• 38 шт. GE DE SG series по 300 кВА каждый,
• Автономия 15 мин,
• Резервирование сборок ИБП 2N и N+1.

Оборудование

• Электромонтажное и электрощитовое оборудование Schneider Electric,
• Релейная микропроцессорная защита Sepam,
• Распределительные щиты Prisma Plus серий P и G,
• Шинопроводы Canalis KTA,
• Кабельная продукция: более 100 км кабеля сечением от 1,5 до 400 квадратных миллиметров (некоторые нельзя согнуть руками, только специальным прибором) от отечественных заводов.

Полные 8 МВт достигаются при температуре +37 снаружи и полной загрузке машинных залов. Вход — 2 линии от ТЭЦ, причём нам пришлось дорабатывать их питающие ячейки и самим прокладывать инфраструктуру до ЦОДа. Затем 8 трансформаторов, 4 группы по 2 штуки. Мы старались минимизировать количество коммутирующих аппаратов. В России один автоматический выключатель на 2,5 килоампера стоит дороже, чем трансформатор. Поэтому мы оптимизировали схему исходя из минимизации затрат. На каждый машзал сейчас работает по два независимых трансформатора по 2000 киловольт-ампер каждый. Нечётные трансформаторы питают чиллеры и градирни, чётные — фанкойлы. Мы имеем возможность отключать любой из трансформаторов, и при этом работоспособность ЦОДа не нарушается. Справа на схеме — 7 резервных ДГУ по 2000 киловольт-ампер резервной мощности. Запас топлива хранится в двух ёмкостях по 25 кубометров.

ИБП — классические статические. 38 штук по 300 киловольт-ампер каждый. Для машзалов резервирование 2N, для инженерной нагрузки — N+1. Обеспечивается 15 минут бесперебойного питания.

Силовые трансформаторы отечественные, они вполне высокого качества. Всего — 8 штук. Делал их Подольский трансформаторный завод, они прекрасно работают, никаких нареканий. Кабельная продукция тоже отечественная, но мы тщательно проверяли каждый кабель при отгрузке, потому что не секрет, что при больших партиях наши заводы могут выгнать брак. Воевали за каждый метр.

Охлаждение

Система охлаждения – это баланс между экологичностью, ценой и эффективностью. Да-да, мы любим экологичные решения, и уже тогда думали про это, а не только про деньги.

Система двухконтурная, первый контур с водой — 200 тонн. В случае разлива никаких проблем. Вода ещё и хороша по теплофизическим свойствам. Баки-аккумуляторы у нас из железобетона, давление создаётся естественным столбом воды (система открытая).

Мы закладывали высокие параметры по температуре, чтобы минимизировать потери мощности на конденсации воды на теплообменниках. В нашем случае 13 градусов на подающей 18 градусов на обратной магистрали. В будущем, в следующих ЦОДах (мы их постоянно строим в России) хотим ещё поднимать температуру, можно двигаться дальше.

Внешний контур заполнен этиленгликолем. Чиллеры и драйкулеры включены последовательно — то есть расширяется температурный диапазон работы в режиме свободного охлаждения, можно практически до +15 на улице частично снимать тепло драйкулерами в режиме свободного охлаждения. 100% Фрикулинг с полным съёмом мощности доступен уже при +5 и ниже.

Применяли систему автоматизированного проектирования, что позволило оптимизировать итоговую схему. В процессе испытания получили все заложенные в проект значения по температурам, давлению и так далее совершенно чётко и без сложностей. Вручную было бы сложно из-за высокой разветвлённости трубопроводов.

Основные параметры:

• 64 фанкойла STULZ на 4000 кВт мощности. 48+16 резервных. Для экономии мы используем все, что позволяет работать на более тёплой воде.
• Вода 13/18 градусов Цельсия,
• Увлажнитель на каждой 4-й машине
• Мощность 97 кВт (Qявн = Qполн),
• Расход воздуха 28800 куб.м/ч.

Поставщики:

• Чиллеры и градирни: Nordvent,
• Вентиляционное оборудование: LENNOX,
• Насосное оборудование: GRUNDFOS,
• Теплообменное оборудование: Alfa Laval,
• Запорно-регулирующая арматура: BROEN, GROSS.

Под фальшполом нет ничего, кроме труб системы газового пожаротушения, и там ничего не зонируется, работаем на общий объем. Чиллеры все воздушные + «сухие» градирни, включенные в контур последовательно (сначала по потоку стоят градирни, потом чиллеры). Это позволяет расширить диапазон работы системы в режиме полного и частичного фрикулинга.

В предыдущем топике был вопрос по именно такому решению через фальшпол, расскажу чуть подробнее, почему. Работа через фальшпол достаточно эффективна, удобна и конструктивно проста практически для всех современных применений в ЦОДах. Одна из задач, которую мы решали при проектировании инженерных систем состояла в том, чтобы внутри машинных залов не было никакого «постороннего» (не относящегося к арендаторам) инженерного оборудования. Нужно это потому, что если, например, банк размещает у нас стойки, то чаще всего ставит специальные ограждения прямо в машзале. Любое обслуживание оборудования внутри зоны клиента означает необходимость звать их безопасников. Вопросы безопасности наших клиентов превыше всего.

Вторая задача – отсутствие воды в машинных залах и над ними (никаких «внутрирядников» и «холодильников» на перекрытиях). Работая через фальшпол мы обе эти задачи и решили, ведь фанкойлы у нас вынесены из машзалов в специальные боковые коридоры.

Ещё вопрос был про «мегагорячие» стойки. Они охлаждаются на общих основаниях. Рядом с ними ставим «пустые» стойки с заглушками. Есть условие — через одну перфорированную плитку фальшпола в наших условиях можно продуть количество воздуха, достаточное для снятия примерно 5 кВт тепла (одного «среднестатистического» серверного шкафа). Если сервер выделяет 30 кВт, значит ему нужно отдать 6 плиток.

Защита от пыли

Заготовка воздуха

В посте про строительство этого ЦОДа спрашивали про защиту от пыли. Вообще, вещь достаточно простая, но расскажу детальнее. Нужно несколько операций:

• Во-первых, надо убрать всё после монтажа оборудования после застройки. Для этого мы привлекли специальную клиниговую компанию, которая зачистила всё так, как будто нужно было установить карантин для инопланетян.
• Во-вторых, когда пыли внутри уже нет, важно не пускать её больше в ЦОД. Фильтрацию воздуха внутри машзалов обеспечивают фильтры фанкойлов EU4. То есть снаружи пыль может попасть только с посетителями.
• В-третьих, любая пыль, пришедшая в ЦОД вместе с гостями, фильтруется теми же фильтрами, поскольку воздух внутри машзалов циркулирует фактически в замкнутом объеме с огромной кратностью.
• И, в-четвёртых, в машинных залах обеспечен подпор воздуха специальной вентиляционной машиной (тоже с фильтрами, разумеется), то есть внутри залов обеспечено небольшое избыточное давление, которое не дает подсосать пыль извне.

Сертификация

Если коротко, то есть два подхода к сертификации – «стройте как мы сказали и всё будет ОК» — по TIA и «стройте по требованиям, и мы проверим объект» по UI. Мы сертифицировали по второй методологии, то есть прогоняли по ЦОДу фактические тесты, что довольно-таки редко в России. Список сертифицированных по TIER-III ЦОДов можно посмотреть вот здесь: uptimeinstitute.com/TierCertification/certMaps.php.
Разницу про подходы сертификации – вот здесь habrahabr.ru/company/croc/blog/157099.

Различия между уровнями TIER I – TIER IV

TIER-III по Uptime предполагает параллельное обслуживание, когда регламентные работы и аварии не вырубают ЦОД и не снижают его выходные параметры.

Делалось это так: сначала Uptime получает проектные документы на английском. Они выдают рекомендации, потом если всё хорошо — они выдают сертификат на проект. Специалисты ATD (специалисты сертифицированные UI) могут очень помочь на этой стадии, плюс они гарантируют соответствие проекта требованиям института. Это сертификация бумаг, то есть проекта.

Затем уже куда сложнее сертифицировать построенный ЦОД, чтобы получить сертификацию объекта. После утверждения проекта и строительства парни из UI приезжают на место. У нас они пробыли 4 дня, провели комплексные испытания с имитацией кучи отказов и имитацией регламентного обслуживания. Залог успеха — полное соответствие ЦОД проекту, плюс опыт работы команды обслуживания. Если вы до этого не проводили «учебных тревог» — высок шанс не пройти проверку. Для подготовки программ обучения и персонала можно опять же привлечь ATD, если нужна помощь.

Вообще, при проектировании и строительстве ЦОДа повышенной ответственности очень важно иметь лучших специалистов в каждой сфере. Как правило, сейчас это инженеры советской школы, крайне глубоко знающие предмет и имеющие огромную практику. Подрастает и новое поколение, благо IT в СНГ развивается довольно бурно. Ещё в проектной команде нужен человек от бизнеса, который обеспечивает соответствие целей проекта целям бизнеса. Он же поможет привлечь лучшие ресурсы в случае необходимости.

Нужны проверенные субподрядчики. Кроме самих работ нужно понимать, что комплексные испытания будут проводиться несколько раз, и хорошо если подрядчики будут помогать, это важно.

Очень важно привлекать службу эксплуатации в сам проект, чтобы к запуску не пришлось начинать учить всех заново. Хорошо когда эксплуатационная команда изнутри понимает что и как работает.

Вот и всё. Больше картинок есть вот здесь в фотоэскурсии. ТТХ объекта есть на www.croc.ru/dc.

habr.com

Дата центр хевенкоу: tier iii требования

TIER III (UPTIME INSTITUTE)

TIER III имеет три варианта сертификации выдаваемых UPTIME INSTITUTE.

Какие бывают сертификаты TIER III и что означает каждый из сертификатов TIER III?

Tier III Certification of Data Center Design Documents – Сертификат проекта.
Данный сертификат подтверждает, что проектная документация инфраструктуры ЦОДа соответствует стандартам Tier III Uptime Institute.

Tier III Certification of Constructed Data Center Facility – Сертификат исполнения.
Данный сертификат подтверждает, что построенный и введенный в эксплуатацию ЦОД соответствует ранее сертифицированной проектной документации и отвечает требованиям Tier III Uptime Institute.

Tier III Certification of Data Center Operational Sustainability — Сертификат операционной устойчивости.

Данный сертификат подтверждает:

• резервирование всех инженерных подсистем выполнено по схеме N+1, что позволяет бесперебойно обслуживать инфраструктуру ЦОД, тем самым повысив его надежность и отказоустойчивость;
• высокую квалификацию и достаточный количественный состав персонала, обеспечивающий стабильную работу  ЦОДа;
• наличие и выполнение оптимального, согласно стандартам Tier III, планирования жизненного цикла, правил и процедур эксплуатации и технического обслуживания инфраструктуры ЦОДа.

Где можно посмотреть наличие сертификатов Tier III Uptime Institute​

Наличие сертификатов Tier III можно посмотреть на официальном сайте Uptime Institute​ по следующим ссылкам:

Наличие Tier III Desing

— список всех российских ЦОДов, которые имеют сертификаты Tier III Desing Uptime Institute

— ссылка на список всех сертифицированных ЦОДов Tier Desing Uptime Institute I+II+III+IV (без включенных фильтров)

Наличие Tier III Facility

— список всех российских ЦОДов, которые имеют сертификаты Tier III Facility Uptime Institute

— ссылка на список всех сертифицированных ЦОДов Tier Facility Uptime Institute I+II+III+IV (без включенных фильтров)

Наличие Tier III Operational Sustainability

— список всех российских ЦОДов, которые имеют сертификаты Tier III Operational Sustainability Uptime Institute

— ссылка на список всех сертифицированных ЦОДов Tier Operational Sustainability Uptime Institute I+II+III+IV (без включенных фильтров)

Какие требования предъявляются стандартами Tier I, Tier II, Tier III, Tier IV

С требованиями предъявляемыми Uptime Institute к стандартами Tier I, Tier II, Tier III, Tier IV можно ознакомиться на официальном сайте, скачав соответствующие материалы по ссылке ниже:

— Программы сертификации Tier

---

Особенности выбора ЦОД
ЦОДы Москвы
ЦОДы Санкт-Петербурга
Аренда DWDM каналов между ЦОДами

rpilot62.ru

Категории центров обработки данных (Tier)

из Википедии:
Дата-центр (от англ. data center), или центр (хранения и) обработки данных (ЦОД/ЦХОД) — это специализированное здание для размещения (хостинга) серверного и сетевого оборудования и подключения абонентов к каналам сети Интернет.

В США принят американский (ANSI) стандарт TIA-942, несущий в себе рекомендации по созданию дата-центров, и делящий дата-центры на типы по степени надёжности.
В России дата-центры оснащаются согласно требованиям для сооружений связи, а также ориентируются на требования TIA-942 и используют дополнительную документацию Uptime Institute и ГОСТы серии 34.

Существующие на сегодняшний день четыре уровня надежности ЦОД, названные Tier 1, Tier 2, Tier 3 и Tier 4 введены организацией Uptime Institute (Институт Бесперебойных Процессов, США). Uptime Institute основан в 1993 году с целью повышения надежности и доступности ЦОД. Институт разработал множество нововведений, которые к настоящему моменту стали стандартными решениями, применяемыми при построении ЦОД. В частности, классификация Tier вошла в повсеместно использующийся американский стандарт TIA/EIA-942.

Основной показатель, определяющий Tier

На первый взгляд может показаться, что основным показателем, определяющим уровень надежности является время простоя ЦОД за год и вытекающий из него коэффициент отказоустойчивости, равный отношению времени простоя за год к длительности года. Однако, следует отметить, что есть ещё более принципиальное разделение четырех уровней надежности на две категории. Критерием является возможность проведения профилактических работ без полной остановки ЦОД:
◦ При Tier I и II для выполнения планово-предупредительных работ необходимо остановить ЦОД,
◦ При Tier III и IV любая плановая деятельность осуществляется без нарушения нормального хода работы ЦОД.

По показателю отказоустойчивости выделено 4 уровня надежности:
◦ Tier I: время простоя 28,8 часов в год, коэффициент отказоустойчивости 99,671%;
◦ Tier II: 22,0 часа в год, 99,749%;
◦ Tier III: 1,6 часа в год, 99,982%;
◦ Tier IV: 0,4 часа в год, 99,995%.

Требования, предъявляемые к каждому из уровней надежности ЦОД

Все четыре уровня Tier получили дорогу в жизнь через стандарт TIA/EIA-942. Именно в нем и указаны требования к каждому Tier.

Tier I. Базовый уровень.

ЦОД базового уровня подвержен нарушениям работы как от плановых, так и от внеплановых действий. Применение фальшпола, ИБП, ДГУ не обязательно. Если же ИБП и ДГУ используются, то выбираются более простые модели, без резерва, с множеством точек отказа. Возможны самопроизвольные отказы оборудования. Ошибки в действиях обслуживающего персонала также приведут к простою ЦОД.

В ЦОД Tier I отсутствует защита от случайных и намеренных событий, обусловленных действиями человека. Несущая способность перекрытий не менее 735кг/м² при нагрузке сверху плюс 125кг/м² нагрузки снизу.

Tier II. С резервированными компонентами.

В ЦОД Tier II время простоя возможно в связи с плановыми и внеплановыми работами, а также аварийными ситуациями, но оно сокращено благодаря введению одной резервной единицы оборудования в каждой системе. Таким образом, системы кондиционирования, ИБП и ДГУ имеют одну резервную единицу. Тем не менее, профилактические работы требуют отключения ЦОД.

Tier II требует наличия минимальных защитных мер от влияния человека. Стены и потолки снабжаются пароизоляцией, в двери устанавливается глазок с углом обзора 180°, все стены строятся на всю высоту помещения – от грязного пола до грязного потолка. Несущая способность перекрытий не менее 857кг/м² при нагрузке сверху плюс 125кг/м² нагрузки снизу.

Tier III. С возможностью параллельного проведения ремонтных работ.

Третий уровень надежности требует осуществления любой плановой деятельности без остановки ЦОД. Под плановыми работами подразумевается профилактическое и программируемое техническое обслуживание, ремонт и замена компонентов, добавление или удаление компонентов, их тестирование. Очевидно, что в этом случае необходимо иметь резервирование, позволяющее всю нагрузку пустить по другому пути во время работ на первом.

Итак, для реализации Tier III необходима схема резервирования блоков систем кондиционирования, ИБП, ДГУ N+1, также требуется наличие двух комплектов трубопроводов для системы кондиционирования, построенной на основе чиллера. Строительные требования обязывают сохранять работоспособность ЦОД при большинстве случаев намеренных и случайных вмешательств человека. Следует предусмотреть резервные входы, дублирующие подъездные пути, контроль доступа, отсутствие окон, защиту от электромагнитного излучения, несущую способность перекрытий не менее 1225кг/м² при нагрузке сверху плюс 245кг/м² нагрузки снизу.

Tier IV. Отказоустойчивый.

Отказоустойчивый ЦОД характеризуется безостановочной работой при проведении плановых мероприятий и способен выдержать один серьезный отказ без последствий для критически важной нагрузки. Необходим дублированный подвод питания, резервирования системы кондиционирования и ИБП по схеме 2(N+1). Для ДГУ необходима отдельная площадка с зоной хранения топлива.

Tier IV требует защиту от всех потенциальных проблем в связи с человеческим фактором. Регламентированы даже избыточные средства защиты от намеренных или случайных действий человека. Также учтено влияние непреодолимой силы – сейсмоявления, потопы, пожары, ураганы, штормы, терроризм. Несущая способность перекрытий не менее 857кг/м² при нагрузке сверху плюс 125кг/м² нагрузки снизу.

О Tier уровнях

По материалам http://www.balt.net/kolokatsiya-v-tsod/o-tier-urovnyakh/

Центры обработки данных (ЦОД) распределяются по 4 категориям – Tier 1, Tier 2, Tier 3 ir Tier 4 (Tier 4 – наивысшая категория). Соответствие той или иной категории описывает уровень установленной технолгии резервации, решения физческой безопасности, особенности здания и территории. Официальное соответствие категории подтверждает Uptime Institute или TIA (Telecommunications Industry Association).

Tier 1: базовая серверная

ЦОД, соответствующий уровню Tier 1, не имеет никаких дублирующих активных компонентв и распределения потоков. Плановые работы возможны только при остановке ЦОД.

Tier 2: дублирование активного оборудования N+1

У ЦОД есть дополнительные копненты (N+1 резервация) активного оборудования (UPS, кондиционеры, сетевое оборудование) и только один поток распределения. Во время проведения профилактических работ ЦОД должен быть отключен.

Tier 3: возможность обслуживания ЦОД без остановки

Активное оборудование дублируется по приципу N+1. Дублируется распределение потоков: трубопроводы охлаждения, каналы связи в здании, электроинстоляция. Выполняя профилактические работы нет необходиости отключения ЦОД. Центр находится в отдельном выделенном здании, территория – огорожена.

Tier 4: двойная инфраструктура

Как активное оборудование, так и распределение потоков дублируются. ЦОД выдерживает незапланированный отказ. Активное оборудование (UPS, кондиционеры, сетевое оборудование). Выделенное здание. ЦОД Tier 4 комерческой направленности в странах Балтии нет. Чаще всего он строится как выделенный ЦОД для большой корпорации или государственый ЦОД.

Самые популярные ЦОД комерческой направленности – это Tier 2 и Tier 3. У Tier 1 отсутствуют уровни резервирования, а Tier 4 чаще всего является частным ЦОДом. Помимо уровней резервирования и пригодности, ЦОД’ы Tier 2 ir Tier 3 уровня различаются еще и наличием собственной территории, здания, других особенностей.

Кроме этого следует обратить внимание на следующие документы:

Справочные материалы для классификации центра обработки данных (ЦОД) по уровням TIER ANSI/TIA-942-2005

Телекоммуникационная инфраструктура Центров Обработки Данных (Стандарт TIA-942, редакция 7.0, февраль 2005)

TIA-942. Телекоммуникационная инфраструктура ЦОД

Требования к проектированию аппаратных (серверных комнат)

• Стандарт TIA/EIA-569. Commercial Building Standard for Telecommunication Pathways and Spaces.
• Стандарт ANSI/NECA/BICSI 568-2001. Installing Commercial Building Telecommunication Cabling.
• Стандарт ANSI/TIA/EIA-607. Commercial Building Grounding and Bonding Requirements for Telecommunications.
• СН 512-78. Инструкция по проектированию зданий и помещений для электронных вычислительных машин. Строительные нормы.
• ППБ 01-93. Правила пожарной безопасности в Российской Федерации. Главное управление государственной противопожарной службы МВД России.
• РД 45.120-2000. Нормы технологического проектирования.

Про затвердження Правил з технічного захисту інформації для приміщень банків, у яких обробляються електронні банківські документи. Постанова Правління Національного банку України від 4 липня 2007 року N 243

Про затвердження Положення про вимоги щодо технічного стану та організації охорони приміщень банків України. Постанова Правління Національного банку України від 17 вересня 2003 року N 403

ПРАВЛЕНИЕ НАЦИОНАЛЬНОГО БАНКА УКРАИНЫ. ПОСТАНОВА 04.07.2007 N 243. Об утверждении Правил на техническую защиту для помещений банков, в которых обрабатываются электронные банковские документы {С изменениями, внесенными в связи с Постановлением Национального банка N 493 (z0049-08) от 29.12.2007}

МІНІСТЕРСТВО ВНУТРІШНІХ СПРАВ УКРАЇНИ. НАКАЗ 17.02.2015 № 169. Про затвердження Положення про єдину цифрову відомчу телекомунікаційну мережу МВС

КАБІНЕТ МІНІСТРІВ УКРАЇНИ. ПОСТАНОВА від 29 березня 2006 р. N 373. Київ. Про затвердження Правил забезпечення захисту інформації в інформаційних, телекомунікаційних та інформаційно-телекомунікаційних системах

Возможность оптимизации инфраструктуры: процесс управления, основанный на спецификациях ITIL/COBIT — переход со стандартизованного уровня на рационализированный

Стандарты iTiL: Стандартная спецификация серверной
Инструкция серверные помещения в структуре МВД

Вернуться к Оглавлению

bga68.livejournal.com

Мифология ЦОД: чем на практике различаются уровни Tier? | Журнал сетевых решений/LAN

При выборе центра обработки данных для размещения своих информационных систем ИТ-директору необходимо решить сложную задачу — оценить, готов ли ЦОД обеспечить многолетнюю бесперебойную работу оборудования при любых обстоятельствах. Один из главных практических помощников в этом деле — стандарт «Tier Standard: Topology», предложенный и детализированный Uptime Institute. За годы существования отрасли вокруг классификации Tier возникло множество мифов и легенд. Начнем с того, что в России это слово часто произносят как , хотя в значении «уровень, класс, разряд» оно читается . Это, конечно, мелочь, существуют гораздо более серьезные заблуждения.

СТАНДАРТ UPTIME INSTITUTE

Консалтинговая организация Uptime Institute была основана в США в 1993 году. Она входит в The 451 Group и занимается улучшением производительности, эффективности и надежности ключевой инфраструктуры бизнеса с помощью инноваций, сотрудничества и независимых сертификаций. Компания стала признанным общемировым центром экспертизы в сфере стандартов проектирования, строительства и эксплуатации ЦОД.

Классификация Uptime Institute — далеко не единственная. Например, существует во многом схожий японский стандарт JDCC, в котором, однако, сильный акцент делается на сейсмической устойчивости. Европейские аналоги, в частности немецкая TÜV Süd, не идут дальше терминов и определений. Главное же преимущество шкалы Tier — проработанная сертификация на соответствие четкому набору требований.

ПРОЦЕСС СЕРТИФИКАЦИИ

Консультанты организации начинают взаимодействовать с будущим владельцем ЦОД еще на стадии проектирования. Этот этап, в ходе которого эксперты стремятся выявить единичные точки отказа, неполноту в документации и другие проблемы, называется Tier Certification of Design Documents (TCDD). Перед открытием ЦОД они проверяют установленное оборудование на соответствие проектной документации, проводят испытания и приемку объекта — это этап Tier Certification of Constructed Facility (TCCF).

В дальнейшем с помощью стандарта «Tier Standard: Operational Sustainability» оценивается, насколько качественно организована эксплуатация. На этом этапе проверяется работа с эксплуатационной документацией, а также процессы обслуживания оборудования и обучения персонала. На основании полученных результатов присваиваются рейтинги соответствующего уровня: Gold, Silver и Bronze. По сути, это отдельная сертификация, которую нужно регулярно подтверждать.

I, II, III, IV

Шкала Tier — прогрессивная: требования последующих уровней включают в себя требования предыдущих. Уровни нумеруются с первого по четвертый, где Tier I — базовая топология инженерной инфраструктуры без резервирования, когда серверы запитываются от одного ИБП и имеется один дизель-генератор. Вариант вполне жизнеспособный для некритичной нагрузки или в ситуации, если резервирование осуществляется на уровне ИТ-инфраструктуры.

Tier II предполагает резервирование критически важных компонентов электроснабжения и охлаждения, а Tier III — возможность их обслуживания без перебоев в оказании услуг. Это, пожалуй, ключевое отличие между ними и главная «фишка» правильно построенного ЦОД Tier III: в его работе не предусматриваются плановые перерывы с отключением оборудования клиентов.

Помимо этого, выдвигаются требования к запасам топлива для обеспечения работы без внешних источников электроснабжения в течение неограниченного времени. Если в центре обработки данных Tier III что-то произойдет с внешней энергосетью, дизель-генераторные установки (ДГУ) позволят ему продержаться до возобновления подачи питания. Каждую ДГУ можно выключать по отдельности, менять масло и заправлять подвозимым дизтопливом по мере его расходования.

Топологическая схема ЦОД уровня Tier IV предусматривает его полную отказоустойчивость. Это означает, что сбои отдельных единиц оборудования или перебои в работе каналов не должны оказывать влияния на функционирование ЦОД. Построенные в соответствии с этим стандартом ЦОД иначе называют Fault Tolerance — устойчивыми к сбоям. Они способны функционировать без участия обслуживающего персонала.

Такие центры обработки данных очень дороги, поэтому обычно они небольшие по размерам и используются в силовых структурах или для сверхдорогих финансовых транзакций, когда нужно свести к минимуму человеческий фактор и сделать ЦОД почти необслуживаемым. Если на таком объекте что-то выходит из строя, ремонтная бригада может приехать без спешки — через несколько часов или даже на следующий день.

Основные отличия разных уровней Tier

 

ЦОД БЕЗ СЕРТИФИКАТА ≠ ПЛОХОЙ ЦОД

Отсутствие официальной сертификации не обязательно означает, что центр обработки данных ненадежен. Причин для отказа от сертификации довольно много, и первая из них — финансовая. Для относительно небольшого ЦОД расходы в пересчете на одну стойку оказываются весьма чувствительными, к тому же в нашей стране Uptime Institute активно работает только последние пять лет и более старые центры обработки данных строились не в «эпоху UI».

Собственник серьезного коммерческого ЦОД должен предоставить клиенту убедительные аргументы, подтверждающие, что площадка соответствует требованиям стандарта для определенного уровня Tier. В частности, техническим специалистам следует быть готовыми к тому, чтобы продемонстрировать инженерам клиента необходимые доказательства.

МАРКЕТИНГОВЫЕ СКАЗКИ ПРО 99,88%

Ближе к концу девяностых сотрудники UI собрали статистику о простоях, опросив достаточно большое количество существующих центров обработки данных. Этот документ с разбиением по уровням Tier был опубликован как справочный материал. На тот момент для ЦОД уровня Tier III готовность составила 99,982%, и у многих появился соблазн просто внести эту цифру в контракт на SLA, в чем, конечно же, мало смысла. Самый главный и самый вредный миф состоит в том, что в массовом сознании глубоко отпечаталось: выполнив требования Tier III, мы получаем коэффициент готовности 99,982% (99,741% для Tier II и так далее).

Естественно, на такой сложный вопрос, как определение уровня готовности большого объекта, оснащенного разнообразным оборудованием, не может быть простого ответа. Чтобы просчитать его априори для каждого конкретного центра обработки данных, нужно проделать очень большую работу, а главную сложность в таких расчетах представляет получение исходных оценок по каждому компоненту.

В любом случае сама по себе эта цифра значения не имеет. Например, готовность 99,982% формально может указывать на то, что за год (31,5 млн сек) случится 5600 перебоев питания длительностью в 1 сек. На самом деле главная интрига состоит в том, как красивую цифру превратить в финансовые компенсации.

ПУТАНИЦА МЕЖДУ TIER И TIA 942

Многие считают, будто стандарт Tier определяет буквально все аспекты деятельности центра обработки данных, но это не соответствует действительности, поскольку регламентируются вещи фундаментальные, но весьма узкие по своему охвату: главным образом все, что касается топологии инженерных систем ЦОД и достаточной производительности критического оборудования. Например, нет никаких требований в отношении высоты потолков или количества охранников.

Исторически сложилось так, что шкалу из четырех уровней Tier «одолжили» (официально, безвозмездно и на ограниченный срок) авторы стандарта TIА-942 (Ассоциация телекоммуникационной отрасли США) для информационного приложения. Это приложение содержит множество рекомендаций по разным аспектам ЦОД (включая телекоммуникационные) с разбивкой по уровням Tier. Однако речь идет именно о рекомендациях, которые не являются критериями сертификации. Эта путаница до сих существует в массовом сознании, хотя срок «аренды» шкалы уже закончился и в новой редакции TIА-942 терминология уже другая (вместо Tier используется термин Rated или Rating).

В требованиях Tier есть определенные указания на необходимость резервирования линий связи, но без конкретики. Безопасность (контроль доступа и прочее) в стандарте Uptime Institute тоже выносится за скобки. На уровне ИТ-нагрузки этот вопрос решается клиентом, а с точки зрения владельца ЦОД, сервер — это еще один прибор, на который нужно подать питание и холод (отвести тепло), а также подвести к нему линии связи. Нормы безопасности детализированы, например, в стандарте PCI DSS, где есть разделы, связанные с физическим доступом и другими уровнями защиты. Tier Standard фокусируется только на топологии инженерных подсистем, и такие вопросы он не регулирует.

МИФ О ДВУХ ЭНЕРГОВВОДАХ

Принято считать, что, согласно требованиям Tier III, у центра обработки данных обязательно должны быть два независимых энерговвода. Это настолько распространенное заблуждение, что на нем стоит остановиться отдельно.

Схемы подключения к внешним сетям нормируются по категориям присоединения потребителей, принятым еще при построении советской энергетической системы. В рамках Tier Standard Topology любая внешняя сеть рассматривается как всего лишь экономичная альтернатива, а ЦОД уровня Tier III и выше должен иметь локальную генерацию, от которой он мог бы работать произвольное время. У нас в стране это может показаться избыточным, особенно в промышленных центрах, где и строятся крупные центры обработки данных. Но на самом деле такая избыточность энергоресурсов необходима для обеспечения надежности и реальной независимости от внешних обстоятельств.

Путаницу добавляет и история с уже упомянутым TIА-942, где очень много рекомендательных положений, в том числе о двух независимых источниках электроэнергии. Но это не требование Uptime Institute.

ВЫБИРАЕМ ЦОД

С практической точки зрения для размещения важных систем обычно выбирают между центрами обработки данных Tier III и Tier II. Наиболее популярен Tier III: он обходится ненамного дороже, но обладает ценным качеством — отсутствием сервисных окон.

Остановить ИТ-нагрузку на несколько часов очень непросто, а построение резервной площадки с возможностью горячего переключения — слишком дорогое удовольствие для большинства компаний. Зачастую выгоднее использовать надежный ЦОД, чем создавать распределенную систему из нескольких менее надежных, поэтому клиенты предпочитают центры обработки данных уровня Tier III.

В ряде случаев можно выбрать менее надежные варианты, но лучший способ сэкономить — арендовать место в стойках проверенного ЦОД Tier III, хоть и не прошедшего формальную сертификацию. Разумеется, предварительно следует ознакомиться с отзывами о качестве предоставляемых услуг, узнать о реальной продолжительности периода бесперебойной работы и, возможно, посетить площадку.

Михаил Золотарев, руководитель проектного отдела дата-центра Xelent

www.osp.ru