Центры обработки данных Google

Внешние видео
Ютуб
Обзор центра обработки данных Google 360°

Центры обработки данных Google — это крупные центры обработки данных , которые Google использует для предоставления своих услуг . Они объединяют большие диски, компьютерные узлы, организованные в проходах стоек, внутренние и внешние сети, средства контроля окружающей среды (в основном, управление охлаждением и увлажнением) и программное обеспечение для эксплуатации (особенно в части балансировки нагрузки и отказоустойчивости ).

Официальных данных о количестве серверов в центрах обработки данных Google нет , но Gartner подсчитал в отчете за июль 2016 года, что на тот момент у Google было 2,5 миллиона серверов. Это число меняется, поскольку компания расширяет мощности и обновляет свое оборудование. ^[1]

Расположение различных центров обработки данных Google по континентам следующее: ^{[2] [3]}

Первоначальное оборудование (около 1998 года), которое использовалось Google, когда компания располагалась в Стэнфордском университете, включало: ^[77]

• Sun Microsystems Ultra II с двумя процессорами 200  МГц и 256  МБ ОЗУ . Это была основная машина для оригинальной системы Backrub .
• 2 × 300 МГц двухпроцессорных сервера Pentium II , подаренных Intel , они включали 512 МБ оперативной памяти и 10 × 9  ГБ жестких дисков между ними. Именно на них и проводился основной поиск.
• F50 IBM RS/6000, подаренный IBM , включал в себя 4 процессора, 512 МБ памяти и 8 жестких дисков по 9 ГБ.
• Два дополнительных ящика включали 3 × 9 ГБ жестких дисков и 6 × 4 ГБ жестких дисков соответственно (исходное хранилище для Backrub). Они были подключены к Sun Ultra II.
• Коробка расширения SSD-диска с еще 8 жесткими дисками по 9 ГБ, подаренная IBM.
• Самодельный дисковый бокс, вмещающий 10 жестких дисков SCSI емкостью 9 ГБ.

Состояние инфраструктуры Google в 2003 году было описано в отчете Луиса Андре Баррозу , Джеффа Дина и Урса Хёльцле как «надежная вычислительная инфраструктура из кластеров ненадежных ПК массового потребления». ^[78]

В среднем один поисковый запрос требует чтения ~100 МБ данных и потребляет циклы ЦП. В пиковое время Google обслуживает ~1000 запросов в секунду. Чтобы справиться с этой пиковой нагрузкой, они построили вычислительный кластер с ~15 000 ПК товарного класса вместо дорогостоящего суперкомпьютерного оборудования, чтобы сэкономить деньги. Чтобы компенсировать более низкую надежность оборудования, они написали отказоустойчивое программное обеспечение. ${\displaystyle \сим 10^{10}}$

Структура кластера состоит из 5 частей. Центральные веб-серверы Google (GWS) обращены к публичному Интернету. Получив запрос пользователя, веб-сервер Google взаимодействует с проверкой орфографии, сервером рекламы, многими серверами индексов, многими серверами документов. Каждая из 4 частей отвечает на часть запроса, а GWS собирает их ответы и предоставляет окончательный ответ пользователю.

Необработанные документы были ~100 ТБ, а файлы индекса были ~10 ТБ. Файлы индекса разделены, и каждый шард обслуживается «пулом» серверов индекса. Аналогично, необработанные документы также разделены. Каждый запрос к файлу индекса приводит к списку идентификаторов документов, которые затем отправляются на серверы документов для извлечения заголовка и фрагментов ключевых слов в контексте.

Использовалось несколько поколений ЦП, от серверов на базе Intel-Celeron с одним процессором 533 МГц до двух 1,4 ГГц Intel Pentium III . Каждый сервер содержит один или несколько жестких дисков, по 80 ГБ каждый. Индексные серверы имеют меньше дискового пространства, чем серверы документов. Каждая стойка имеет два коммутатора Ethernet , по одному с каждой стороны. Серверы с каждой стороны соединены между собой через 100-Мбит/с. Каждый коммутатор имеет восходящий канал ~250 МБ/с к центральному коммутатору, который подключается ко всем стойкам.

Цели проектирования включают в себя:

• Используйте ненадежное потребительское оборудование и компенсируйте это отказоустойчивым программным обеспечением.
• Максимизируйте параллелизм, например, разделив поиск совпадений одного документа в большом индексе на MapReduce по множеству небольших индексов.
• Разделение данных индекса и вычислений для минимизации обмена данными и равномерного распределения нагрузки между серверами, поскольку кластер представляет собой большую машину с общей памятью.
• Минимизируйте накладные расходы на управление системой за счет разработки всего программного обеспечения собственными силами.
• Выбирайте оборудование, которое обеспечивает максимальное соотношение производительности и цены, а не абсолютную производительность.
• Выбирайте оборудование, которое имеет высокую пропускную способность , а не высокую задержку . Это связано с тем, что запросы обслуживаются с массовым параллелизмом, с очень небольшим количеством зависимых шагов и минимальным взаимодействием между серверами, поэтому высокая задержка не имеет значения.

Благодаря массовому параллелизму масштабирование оборудования линейно увеличивает производительность, т. е. удвоение вычислительного кластера удваивает количество запросов, обслуживаемых в секунду.

Кластер состоит из серверных стоек в 2 конфигурациях: 40 x 1u на сторону с 2 сторонами или 20 x 2u на сторону с 2 сторонами. Потребляемая мощность составляет 10 кВт на стойку при плотности 400 Вт/фут^2, потребляя 10 МВт·ч в месяц, что обходится в 1500 долларов в месяц.

С 2014 года Google использует сильно измененную версию Debian Linux . Они постепенно перешли с системы на основе Red Hat в 2013 году. ^[79]

Цель настройки — приобрести поколения ЦП, которые предлагают лучшую производительность за доллар, а не абсолютную производительность. Как это измеряется, неясно, но, вероятно, это будет включать эксплуатационные расходы всего сервера, а энергопотребление ЦП может быть существенным фактором. ^[80] Серверы по состоянию на 2009–2010 годы состояли из изготовленных на заказ систем с открытым верхом, содержащих два процессора (каждый с несколькими ядрами ^[81] ), значительный объем оперативной памяти, распределенной по 8 слотам DIMM, в которых размещались модули DIMM двойной высоты, и по крайней мере два жестких диска SATA, подключенных через нестандартный блок питания размера ATX. ^[82] Серверы были с открытым верхом, чтобы в стойку можно было вставить больше серверов. Согласно CNET и книге Джона Хеннесси , каждый сервер имел новую 12-вольтовую батарею для снижения затрат и повышения энергоэффективности. ^{[81] [83]}

По данным Google, электрическая мощность их глобального центра обработки данных колеблется от 500 до 681 мегаватт . ^{[84] [85]} Совокупная вычислительная мощность этих серверов могла достигать от 20 до 100 петафлопс в 2008 году. ^[86]

Подробная информация о всемирных частных сетях Google недоступна для общественности, но публикации Google ^{[87] [88]} ссылаются на отчет «Atlas Top 10», в котором Google занимает третье место среди крупнейших интернет-провайдеров после Level 3 .

Для того чтобы управлять такой большой сетью с прямыми подключениями к максимально возможному количеству интернет-провайдеров по минимально возможной цене, Google придерживается очень открытой политики пиринга . ^[89]

На этом сайте мы видим, что доступ к сети Google возможен из 67 публичных точек обмена и 69 различных мест по всему миру. По состоянию на май 2012 года у Google было 882 Гбит/с публичного подключения (не считая частных пиринговых соглашений, которые Google имеет с крупнейшими интернет-провайдерами). Эта публичная сеть используется для распространения контента среди пользователей Google, а также для сканирования интернета с целью создания своих поисковых индексов. Частная сторона сети является секретом, но недавнее раскрытие информации от Google ^{[90] указывает на то, что они используют специально изготовленные} коммутаторы-маршрутизаторы с высоким радиусом (с емкостью 128 × 10 портов Gigabit Ethernet ) для глобальной сети . Запустив не менее двух маршрутизаторов на центр обработки данных (для избыточности), мы можем сделать вывод, что сеть Google масштабируется в диапазоне терабит в секунду (с двумя полностью загруженными маршрутизаторами двухсекционная пропускная способность составляет 1280 Гбит/с).

Эти специальные коммутаторы-маршрутизаторы подключаются к устройствам DWDM для соединения центров обработки данных и точек присутствия (PoP) через темное оптоволокно .

С точки зрения центра обработки данных сеть начинается на уровне стойки, где 19-дюймовые стойки изготавливаются на заказ и содержат от 40 до 80 серверов (от 20 до 40 серверов 1 U с каждой стороны, в то время как новые серверы представляют собой системы для монтажа в стойку 2U. ^[91] Каждая стойка имеет коммутатор Ethernet ). Серверы подключаются через канал Ethernet 1 Гбит/с к верхнему коммутатору стойки (TOR). Затем коммутаторы TOR подключаются к гигабитному кластерному коммутатору с помощью нескольких гигабитных или десятигигабитных восходящих соединений. ^[92] Сами кластерные коммутаторы соединены между собой и образуют структуру межсоединений центра обработки данных (скорее всего, с использованием конструкции «стрекоза», а не классической компоновки «бабочка» или «сплющенная бабочка» ^[93] ).

С точки зрения эксплуатации, когда клиентский компьютер пытается подключиться к Google, несколько DNS-серверов преобразуются www.google.comв несколько IP-адресов с помощью политики Round Robin . Более того, это действует как первый уровень балансировки нагрузки и направляет клиента на разные кластеры Google. Кластер Google имеет тысячи серверов , и как только клиент подключается к серверу, выполняется дополнительная балансировка нагрузки для отправки запросов на наименее загруженный веб-сервер. Это делает Google одной из крупнейших и самых сложных сетей доставки контента . ^[94]

Google имеет многочисленные центры обработки данных, разбросанные по всему миру. По крайней мере 12 значительных установок центров обработки данных Google расположены в Соединенных Штатах. Крупнейшие известные центры расположены в Даллесе, штат Орегон ; Атланте, штат Джорджия ; Рестоне, штат Вирджиния ; Ленуаре, Северная Каролина ; и Монкс-Корнере, Южная Каролина . ^[95] В Европе крупнейшие известные центры находятся в Эмсхавене и Гронингене в Нидерландах и Монсе , Бельгия . ^[95] Центр обработки данных Google Oceania расположен в Сиднее , Австралия . ^[96]

Для поддержки отказоустойчивости , увеличения масштаба центров обработки данных и размещения коммутаторов с низким радиусом счисления Google в прошлом принимала различные модифицированные топологии Clos . ^[97]

Один из крупнейших центров обработки данных Google расположен в городе Даллес, штат Орегон , на реке Колумбия , примерно в 80 милях (129 км) от Портленда . Комплекс под кодовым названием «Проект 02» был построен в 2006 году и имеет размер примерно двух полей для американского футбола , с градирнями высотой в четыре этажа. ^{[98] [99]} Место было выбрано для использования недорогой гидроэлектроэнергии и для подключения к большому избытку оптоволоконного кабеля в регионе , остатка бума доткомов . Проект участка появился в 2008 году. [ ^100]

В феврале 2009 года Stora Enso объявила о продаже бумажной фабрики Summa в Хамине , Финляндия, компании Google за 40 миллионов евро. ^{[101] [102]} Google инвестировала 200 миллионов евро в строительство центра обработки данных на этом участке и объявила о дополнительных инвестициях в размере 150 миллионов евро в 2012 году. ^{[103] [104]} Google выбрала это место из-за доступности и близости возобновляемых источников энергии. ^[105]

В 2013 году пресса раскрыла существование плавучих центров обработки данных Google вдоль побережья штатов Калифорния ( здание 3 Treasure Island ) и Мэн. Проект разработки держался в строгой секретности. Центры обработки данных имеют длину 250 футов, ширину 72 фута, глубину 16 футов. Патент на технологию охлаждения центра обработки данных в океане был куплен Google в 2009 году ^{[106] [107]} (вместе с патентом на центр обработки данных на основе волн в 2008 году ^{[108] [109]} ). Вскоре после этого Google заявила, что две огромные и тайно построенные инфраструктуры были просто «интерактивными учебными центрами, [...] пространством, где люди могут узнать о новых технологиях». ^[110]

Google остановил работу над баржами в конце 2013 года и начал распродавать баржи в 2014 году. ^{[111] [112]}

Большая часть программного стека , который Google использует на своих серверах, была разработана внутри компании. ^[113] По словам известного бывшего сотрудника Google в 2006 году, C++ , Java , Python и (совсем недавно) Go имеют преимущество перед другими языками программирования. ^[114] Например, бэкенд Gmail написан на Java, а бэкенд Google Search написан на C++. ^[115] Google признал, что Python играл важную роль с самого начала и продолжает играть ее по мере роста и развития системы. ^[116]

Программное обеспечение, на котором работает инфраструктура Google, включает: ^[117]

• Google Web Server (GWS)  — специализированный веб-сервер на базе Linux, который Google использует для своих онлайн-сервисов.
• Системы хранения:
  • Google File System и ее преемник Colossus ^{[118] [119]}
  • Bigtable  – структурированное хранилище, построенное на основе GFS/Colossus ^[118]
  • Spanner  – база данных планетарного масштаба, поддерживающая внешне согласованные распределенные транзакции ^{[118] [120]}
  • Google F1  – распределенная, квази- SQL СУБД на основе Spanner, заменяющая пользовательскую версию MySQL. ^[121]
• Обслуживание замков Chubby
• Язык программирования MapReduce и Sawzall
• Системы индексирования/поиска:
  • TeraGoogle – большой поисковый индекс Google (запущен в начале 2006 года) ^[122]
  • Кофеин (Перколятор) – система непрерывной индексации (запущена в 2010 году). ^[123]
  • Hummingbird – крупное обновление поискового индекса, включая сложный поиск и голосовой поиск. ^[124]
• Программное обеспечение для декларативного планирования процессов Borg

Google разработал несколько абстракций, которые он использует для хранения большинства своих данных: ^[125]

• Protocol Buffers  – «язык общения Google для данных» ^[126] , двоичный формат сериализации, широко используемый в компании.
• SSTable (Sorted Strings Table) – постоянная, упорядоченная, неизменяемая карта ключей и значений, где и ключи, и значения являются произвольными строками байтов. Она также используется как один из строительных блоков Bigtable. ^[127]
• RecordIO – последовательность записей переменного размера. ^{[125] [128] [129]}

Большинство операций только для чтения. Когда требуется обновление, запросы перенаправляются на другие серверы, чтобы упростить проблемы согласованности. Запросы делятся на подзапросы, где эти подзапросы могут быть отправлены в разные каналы параллельно , тем самым сокращая время задержки. ^[91]

Чтобы уменьшить последствия неизбежного отказа оборудования , программное обеспечение разрабатывается как отказоустойчивое . Таким образом, когда система выходит из строя, данные остаются доступными на других серверах, что повышает надежность.

Как и большинство поисковых систем, Google индексирует документы, создавая структуру данных, известную как инвертированный индекс . Такой индекс получает список документов по слову запроса. Индекс очень большой из-за количества документов, хранящихся на серверах. ^[94]

Индекс разделен идентификаторами документов на множество частей, называемых шардами . Каждый шард реплицируется на несколько серверов. Первоначально индекс обслуживался с жестких дисков , как это делается в традиционных системах поиска информации (IR). Google справился с растущим объемом запросов, увеличив количество реплик каждого шарда и, таким образом, увеличив количество серверов. Вскоре они обнаружили, что у них достаточно серверов, чтобы хранить копию всего индекса в основной памяти (хотя с низкой репликацией или без репликации вообще), и в начале 2001 года Google перешел на систему индексации в памяти . Этот переход «радикально изменил многие параметры дизайна» их поисковой системы и позволил значительно увеличить пропускную способность и значительно сократить задержку запросов. ^[130]

В июне 2010 года Google выпустила систему индексирования и обслуживания следующего поколения под названием «Caffeine», которая может непрерывно сканировать и обновлять индекс поиска. Ранее Google обновлял свой индекс поиска партиями, используя серию заданий MapReduce . Индекс был разделен на несколько слоев, некоторые из которых обновлялись быстрее других, а основной слой не обновлялся в течение двух недель. С Caffeine весь индекс обновляется постепенно на постоянной основе. Позже Google представил распределенную систему обработки данных под названием «Percolator» ^[131], которая, как говорят, является основой системы индексирования Caffeine. ^{[123] [132]}

Инфраструктура серверов Google делится на несколько типов, каждый из которых предназначен для разных целей: ^{[91] [94] [133] [134] [135]}

• Веб-серверы координируют выполнение запросов, отправленных пользователями, затем форматируют результат в HTML- страницу. Выполнение состоит из отправки запросов на индексные серверы, объединения результатов, вычисления их ранга, получения сводки для каждого попадания (с использованием сервера документов), запроса предложений от серверов проверки орфографии и, наконец, получения списка объявлений с сервера объявлений.
• Серверы сбора данных постоянно предназначены для сканирования Интернета. Веб-сканер Google известен как GoogleBot. Они обновляют индекс и базы данных документов и применяют алгоритмы Google для присвоения рейтингов страницам.
• Каждый сервер индекса содержит набор сегментов индекса. Они возвращают список идентификаторов документов («docid»), так что документы, соответствующие определенному docid, содержат слово запроса. Этим серверам требуется меньше дискового пространства, но они испытывают наибольшую нагрузку на ЦП.
• Документ-серверы хранят документы. Каждый документ хранится на десятках документ-серверов. При выполнении поиска документ-сервер возвращает сводку документа на основе слов запроса. Они также могут извлечь полный документ по запросу. Этим серверам требуется больше дискового пространства.
• Рекламные серверы управляют рекламой, предлагаемой такими сервисами, как AdWords и AdSense .
• Серверы проверки орфографии предлагают варианты написания запросов.

Существуют также «канареечные запросы», когда запрос сначала отправляется на один или два конечных сервера, чтобы проверить, является ли время ответа разумным. Если нет, то запрос не выполняется. Это обеспечивает безопасность. ^[136]

Внешние видео
Ютуб
Безопасность центра обработки данных Google: 6 уровней

В октябре 2013 года The Washington Post сообщила, что Агентство национальной безопасности США перехватывало коммуникации между центрами обработки данных Google в рамках программы под названием MUSCULAR . ^{[137] [138]} Это прослушивание телефонных разговоров стало возможным, поскольку в то время Google не шифровал данные, передаваемые внутри своей собственной сети. ^[139] Это было исправлено, когда Google начал шифровать данные, передаваемые между центрами обработки данных в 2013 году. ^[140]

Самый эффективный центр обработки данных Google работает при температуре 35 °C (95 °F), используя только охлаждение свежим воздухом и не требуя электрического кондиционирования воздуха. ^[141]

В декабре 2016 года Google объявила, что начиная с 2017 года она будет закупать достаточно возобновляемой энергии, чтобы покрыть 100% энергопотребления своих центров обработки данных и офисов. Это обязательство сделает Google «крупнейшим в мире корпоративным покупателем возобновляемой энергии с обязательствами, достигающими 2,6 гигаватт (2600 мегаватт) ветровой и солнечной энергии». ^{[142] [143] [144]}

• Публикации исследований Google
• Веб-поиск для планеты: архитектура кластера Google (Луис Андре Баррозу, Джеффри Дин, Урс Хёльцле)