Прошла примерно неделя с тех пор, как мы в первый раз сняли режим VIP-доступа в нашем новом дата-центре, и мы наконец можем сказать — ОПС УСПЕШЕН!

В тот насыщенный событиями понедельник, 29 февраля — все начиналось довольно жестко, но мы чертовски гордимся нашим достижением.

Я расскажу вам о нескольких днях, которые предшествовали этому переезду, как все происходило на самом деле, без лишних украшательств.

Приветствуем, капсулёры!

Прошло некоторое время после нашего последнего поста, так что мы подумали что неплохо было бы предоставить Вам небольшой апдейт о создании нового игрового кластера EVE Online. Изначальный обзор проекта можете посмотреть ЗДЕСЬ

После бесконечного количества встреч, планерок, пересмотров и подтверждений конфигурации, и долгого ожидания доставки железа в Исландию, наконец-то в наших руках собрались все части этого великолепного пазла.

От имени команды Operations, включив на всю катушку специальную музыку для сочинения статей (Skálmöld), с гордостью представляю вам большой проект под названием «Транквилити Tech III», который по нашим планам будет завершен в самом начале 2016 года.

Проект называется TQ Tech III (TQ от полного названия «Транквилити», главный сервер EVE Online) из-за того, что инфраструктура Евы физически меняется в третий раз. ССР делает значительные инвестиции в совершенно новое оборудование (сетевое оборудование, система хранения и серверы), а также переносит его на новый хостинг в Лондоне.

Эта статья написана в соавторстве с CCP Masterplan.

В этой статье мы расскажем, что происходило «за кулисами» 15 июля 2015 года, в момент самого длинного за последние годы периода отключения сервера EVE Online. Мы делимся с вами этой информацией, потому что знаем, что среди игроков есть много людей, занятых в сфере IT: им могут быть интересны истории из практики. Кроме того, в тексте есть детали о том, как работает уникальный игровой кластер. Если вам это интересно, то подробности о том, что же произошло 15 июля, ниже. Если вы не хотите загружать голову лишними мелочами, ознакомьтесь с этим текстом, написанным вскоре после инцидента.

Если бы это был Плоский Мир, сервер Транквилити был бы Великой А’Туин, Гигантской Звездной Черепахой, на которой зиждется все существующее. Но это Eve Online. Укрытая в том, что признано самым большим суперкомпьютером игровой индустрии, это изобилующая бандитами целостная вселенная Нового Эдема (New Eden). Согласно его создателям, CCP, чудовищный серверный кластер в Лондоне имеет 3936Гб ОЗУ, 2574Ггц процессорной мощности и оборудование военного класса.

Граждане Нового Эдема

Моё имя — CCP Nillarbor из команды True Grit, и я здесь, чтобы представить вам новых космических друзей: наемников DUST’а 514.

DUST 514 — это вторая игра во вселенной EvE online, где штурмовики участвуют в сражениях на поверхности планет, мимо которых вы летаете почти 10 лет в EvE online. Вы можете узнать об этом больше на сайте www.dust514.com.

В четверг, 10 января, после немного более длительного даунтайма, нежели обычно, мы перенесем игроков, на сегодня участвующих в закрытой бете DUST 514, с сервера Singularity на Tranquility. Это особо важный день для CCP, в котором будут реализованы амбиции и невероятно захватывающие взгляды единственной кросс-платформенной вселенной, подобных которой никогда прежде еще не было.

Перед нами встал интересный вопрос: как мы будем публично тестировать последние обновления EVE, не задевая DUST, и наоборот (с учётом открытой беты DUST 514). Вы знаете, что сейчас Сингулярити держит на себе закрытую бету DUST, и по некоторым причинам, версия EVE, запущенная там — устаревшая по сравнению с Транквилити (живым сервером вселенной EVE). Это может казаться противоестественным, но причины просты — в первую очередь нам нужна была версия EVE, позволяющая тестировать DUST в предсказуемом и сопоставимом окружении. Мы проводили внутреннее тестирование, чтобы удостовериться, что обе игры остаются совместимыми независимо от версий, но не можем обновлять публичный клиент DUST настолько же регулярно, насколько EVE.

DUST был открыт для пользователей закрытой беты 17-го августа на Сингулярити в результате титанических усилий и множества ночных задержек на работе команд обслуживания кластера. 27-го августа коктейль дополнился игроками EVE — неоценимая веха для нас, прошедшая очень гладко несмотря на огромные объёмы планирования и технических решений, которые понадобилось провести в жизнь.

Все дети любят хвастаться своими игрушками. Видимо, я еще не вырос ― поэтому мне очень хочется похвастаться новой системой для анализа быстродействия, недавно установленной на сервере Tranquility. Мы используем ее в ходе масштабных битв и других ситуаций, создающих большую нагрузку на сервер, чтобы узнать, на что именно расходуются системные ресурсы. Около месяца назад я записал дома небольшой видеоролик, которым хочу поделиться с вами. Встречайте: телеметрия на Tranquility.

В среду, 13 июля, во время расширенного ДТ будут произведены изменения в серверной части Tranquility. ДТ начнется в 11:00 UTC (15:00 МСК) и ориентировочно продлится до 12:00 UTC (16:00 МСК).

Вскоре после восстановления работы Tranquility, рабочая группа CCP по безопасности зафиксировала значительный паразитивный трафик, после чего сервер был вновь остановлен. Мы приносим свои извинения за причиненные неудобства, данный шаг направлен на защиту наших клиентов и сервисов, которые мы им предоставляем. Мы продолжаем наблюдать за ситуацией и запустим сервер вновь только после того, как посчитаем, что это безопасно. Спасибо за ваше терпение и понимание.

UPD: online