Как мы выстрелили себе в руку, ногу, но собрались и не совершили контрольный в голову.

Apache Ant

Project Manager
Joined
Feb 24, 2016
Messages
2,132
E-Coins
85.25
Авторы и редакторы: Хеопс, Апач Ант, Папанда.
119776


Немного отдышавшись и даже немного поспав, хотелось бы рассказать о данном открытии нашими глазами, показать немного внутренней кухни, процесс старта сервера.

Текущий игровой продукт - это результат инноваций последних полутора лет, запущенных с разработкой Gracia Final x3 в 2017 году (совместка с Шоком, при поддержке AdvExt), где мы впервые, по-настоящему, получили возможность делать сложные и интересные вещи, творить игровой процесс, а не 10-тый год подряд открывать отрейтованную копию игры 2007 - 2010 года.

В кузне той кооперации, безумного куража и желания дать что-то новое - родился проект Interlude Final, к реализации которого мы приступили чуть позже.

В основе Interlude Final была простая идея.
Интерлюд - хорошие хроники, которые любит половина всей аудитории Lineage 2 (всех хроник), но он бесконечно постарел, оброс рядом нерешаемых проблем и ограничений. Мы поставили себе задачу дать все тот же простой и понятный продукт, но немного его пересобрать, обновить, использовать хороший опыт старших хроник, при этом многого не перенимая, что бы не испортить. В итоге формулой выбранной для базы продукта стало: ГФ движок AdvExt, поддержку максимального на тот момент клиента - High Five, и подтянуть в игровой процесс следующие пункты:
  1. Трансформы для саппортов и танков, для увеличения их играбельности в соло;
  2. Систему эволюции пэтов, потому что они крутые и удобные;
  3. Пересмотреть наборы умений персонажа, для увеличения разнообразия профессий и составов групп в пве, пвп, масс пвп, олимпиаде и тд;
  4. Использовать функционал и фичи самого ХФ клиента, такие как почта, альт+ клик баффов, шифт в чат и прочие встроенные удобства , которых лишён интерлюд;
  5. Форты, как дополнительный игровой контент;
  6. Система заточки скиллов, приближённая к ГФу, так как в интерлюде она совсем общипанная и морально обнищавшая.
За 2018 год провели два успешных запуска этого продукта, получили много положительных отзывов, включая общее настроение, что после этого играть в чистый, "сине-черный", вечно критующий интерлюд уже просто не хочется, да и банально нельзя. Время двигаться дальше и после регулярного открытия ГФа, мы стали планировать открытие нового Interlude Final.

Как вы могли заметить - мы редко когда делали такие огромные разрывы, почти в пол года (открытие ГФ состоялось 26 Октября) , между двумя открытиями на PTS платформе, но на этот раз аппетит на создание идеального продукта мы нагуляли такой - что чуть не подавились.
Итак. Какие ключевые задачи мы поставили себе на этот сервер:
  1. Дать новый игровой клиент.
    • Опыт ГФа показал, что выходит НЕ очень хорошо , когда файты по 500 человек проходят с камерой в пол (5 фпс). Старый игровой клиент очень плохо оптимизирован под современные процессоры, которые не сильно гонятся за частотой ядра, а проектируются многоядерными под асинхронную работу, старый клиент с многопоточностью дружит очень плохо.
      К тому же - новый клиент это лучшая картинка, современней интерфейс, развязанные руки для улучшения игрового дизайна и просто визуально современная игра.
  2. Создать единый Апдейтер для всех серверов.
    • Осознание, что мы живём в 2019 году, все реже пользуемся сложными схемами запуска (комбинация из 10 действий) привело к безальтернативному решению развивать собственное приложение.
      В своем финальном виде - оно обязано быть быстрым, информативным, не тригериться на анти-вирусные системы, вмещать в свои настройки все опции с встроенной кастомизацией клиента.
      В добавок к этому разработка нового клиента критично требовала того, чтобы ошибки исправлялись быстро - значит мы должны обязаывать игрока обновляться, а не открывать игру через l2.exe
  3. Улучшить ситуацию в сфере борьбы с софтом.
    • Да-да мы.
  4. Обновить сайт, форум, объединить крупные базы Глобала и Аверии.
    • Конечным итогом (а процесс развития этой инфраструктуры, чтоб вы понимали, все еще длится) мы видели создание общества по интересам, которое будет заинтересовано помогать нам развивать продукты, являться энергетической подпиткой для коллектива.
  5. Сделать несколько дополнительных шагов в расширении игрового дизайна.
    • Перенести несколько инстансов, не перегибая, так как инстансы это удобный социализирующий контент для всех категорий игроков;
    • Доделать новую локацию для хай-уровневого контента;
    • Заложить основы в систему внешнего вида, механика костюмов, способы получения
    • Внутри-игровой туториал и базы знаний.
Простыми словами, в рамках одного открытия - это ОЧЕНЬ амбициозно, ведь любая новая система требует обкатки под нагрузкой.
К сожалению доделать успели не все, и продолжаем работу, чтобы предоставить после-стартовые обновления в уместное время, но об этом позже.

Итак день ОБТ.
На удивление - хорошо, внимание аудитории привлечено, по настоящему критических проблем не выявлено.
Риски, с которыми мы могли столкнуться - были понимаемы и посильны. Но, как говорится - у каждого есть план, пока он не получает по лицу.

День старта! (1)
Запускаем сервер. Первая тысяча игроков и лаунчер, который является единственной точкой входа в игру, просто не выдерживает нагрузки и падает. Короткая диагностика показывает, что решить проблему за 10 минут нельзя. Сервер останавливается, разворачиваем резервные мощности, наблюдаем что система устойчива, сброс уровней персонажей и запускаем сервер через два с половиной часа.

Очень неприятно споткнулись, подпортили вам гонку первых часов и кажется можно выдохнуть, но...
Объявляется некий болгарский перец, мамкин ддосер, который в обычное время максимум что может, так это пробить себе очко своей же рукой по локоть, но куча новых модулей оставили потенциальные бреши.
Как результат: пот + 2 падения + пол часа времени = зарыли видимые дыры.
ДДоС, конечно, не закончился, но стал ощутимо меньше влиять на игровой процесс.

Параллельно этому процессу - наши личные каналы связи, форум, возможно даже телефоны - разрываются от негатива.
Вас много, нас мало - шансов 0.
От одновременного набега игроков и создания сотен сообщений / секунду - дропается форум и парализуются общественные каналы связи.
Если жопы горели у вас, можете себе представить состояние наших.

Но это был точно не наш день и, естественно, на этом все не закончилось.
Сервер начал падать каждые 20 минут, а уровень нашей концентрации и осознанности к этому времени - ну сами понимаете, несколько часов сильного стресса... Берём полтора часа тайм-аута и заплатка успешно установлена на сервер - пускаем игроков.
На часах 3 с копейками. Пол команды уже просто позасыпали на клавиатурах.

Хотелось бы надеяться , что это все - но хуй там НЕТ:D.
Развёрнутая система защиты стала блокировать запуск клиентской защиты, из-за чего крашнулась сеть и практически ни один игрок более не может попасть в игру, в это самое время - пару сотен просочилось, качаются, агрессия растёт.
Мы - "всё".
Нужно прекращать, принимаем решение вырубить сервер, ставится временный анонс и все уходят спать, чтобы с утра, на свежую голову, проанализировать этот локальный апокалипсис (на тот момент казалось что это конец вселенной) и определиться с дальнейшими действиями.

Утро нового дня.
Сбор совещания и брейншторм всего произошедшего.
Что нужно предпринять, чтобы прикрыть все проблемные места и, самое главное, сколько нам нужно на это времени, когда запускать сервер: сегодня, завтра, через неделю.
Причём вариант "через неделю" был доминирующий, так как второго права на ошибку у нас уже не было.
Как мы это поняли? - Рекордный показатель в 1700 человек на форуме, и не один из них тебе по настоящему не рад.
Выявили проблемные точки, дали быструю оценку того, кому-что делать и сколько на это нужно времени, а именно:
  1. Переработать систему запуска игры: запуская игру через l2.exe - запускать как сам апдейтер, так и игру, чтобы была резервная возможность получить рабочий клиент, если лаунчер падет смертью храбрых;
  2. Доработать сетевое окружение, в условиях ддос защиты, чтобы не добавлять себе же проблем, но и не подставиться под повторный удар;
  3. Проанализировать и надёжно закрыть причины ночных падений;
  4. Поставить икону и свечку за здравие сервера.
Первые три пункта, скорее всего, были лишними и помог именно последний.


В итоге открыли сервер (2) для игроков в 19:00, без особых сложностей, критичных ошибок, вынужденных перезагрузок, спасибо.

И спасибо это, конечно же не нам, мы просто делаем свою работу.
Спасибо - Вам.
Мы очень признательны за ваше доверие к нам, за шанс оправиться после случившегося (оплёванное лицо и спину мы, конечно, тоже спокойно вытерли платочком) и ближайшее время мы концентрируемся на том, чтобы выдать запланированный, но еще недоделанный контент:
  1. Новую локацию;
  2. Систему Боевого Пропуска (Battle Pass) для получения внешек (падающие уже сейчас Battle Piece и Battle Coin это часть данной системы);
  3. Инстанс Закена, с сохранением оригинального и несколько интересных вещей вокруг него.
Так же хочу поделиться статистикой за первые сутки после старта:
Всего - 12266 персонажей
1-19 lvl. - 6068 персонажей (49.5%)
20-39 lvl. - 4154 персонажей (33.8%)
40-51 lvl. - 1276 персонажей (10.4%)
52-60 lvl. - 601 персонажей (4.8%)
61-67 lvl. - 114 персонажей (1%)
68+lvl. - 53 персонажа (< 1%)
Суббота - 4363 уникальных пользователей
Воскресение (17:30) - 5160 и растёт!
За эти сутки 1674 персонажа (без учёта торговцев) провели в игре > 12 часов!
6200 персонажей - больше 3-х часов!
320.322 сообщений в чатах!

Подбивая итог, хочется еще раз извиниться перед Вами за доставленные хлопоты и сказать спасибо, за вашу поддержку.
Взвешенность и 10-и кратное обдумывания наших решений это то, что мы усвоили через тяжелую боль.
С обратной стороны, риск и успех сопутствующие друг другу понятия.
Уверен, вместе мы сможем пройти через все.


С :1f497:, Ваша команда E-Global.
 

MaxFW

Visitor
Joined
Apr 7, 2019
Messages
1
E-Coins
0.00
Молодцы парни, молодцы :) Не опускайте руки и дальше, говном вас поливать не перестанут в любом случае, так что наряжайтесь в озк и ебашьте топовый серв дальше )
 

FLINT1

Member
Joined
Oct 30, 2018
Messages
36
E-Coins
6.14
Систему Боевого Пропуска (Battle Pass)

Есть более инфы?))
Так чисто любопытство
Пойду 25 ур апать
На вахте много не по играешь)))
 

L2teamStorm

Knower
Joined
Apr 7, 2016
Messages
714
E-Coins
90.56
Клан
L2team
Воткнуть бы лайкушу, ну да ладно. Боретесь с честью, людей как всегда море и дотекают)
Лечите ногу,руку. Кажется снова получился збс сервак
 

Apache Ant

Project Manager
Joined
Feb 24, 2016
Messages
2,132
E-Coins
85.25
Воткнуть бы лайкушу, ну да ладно. Боретесь с честью, людей как всегда море и дотекают)
Лечите ногу,руку. Кажется снова получился збс сервак
Поправим
 

iNoNameUser

Resident
Joined
Aug 26, 2014
Messages
105
E-Coins
7.78
Слезливая история, надеюсь оклемаетесь.
Одна просьба, я понимаю что стафу сейчас не до отслеживания политики, есть более важные дела и это правильно, но найдите репортера (читай как "шныря"), дайте ему хайд и телепорт и замотивируйте (читай как "киньте кость или 2к Ц сосок"). Тема политики это, зачастую, лицо проекта, но пока она мертва (6 страниц, это как минимум на 50 страниц меньше, чем должно быть с таким бигваром) Saint A.L. не принимай на свой счет, я опять же понимаю, что у тебя есть более важные должностные обязанности... :1f497:
у меня, как и у многих работяг, прайм на форуме превосходит прайм в игре и хочется читать актуальную обстановку и драмки. Вызывайте панику Карра
 
Last edited:

TheDominator

Last Laveist
Почетный игрок
Joined
Apr 9, 2013
Messages
3,510
E-Coins
44.41
Спасибо, интересный первый пост.

PS: Почему мы приходим на сигнатурный спот внизу ГЦ, на котором обычно никогда никого нет, а тут куча людей?
Про принципиальные часовые драки за рендом РБ 49х уровней - вообще молчу.
Слишком много онлайна :D
 
Last edited:

kukich

Newbie
Joined
Apr 5, 2019
Messages
25
E-Coins
0.00
что скажете про дюп ЕВЦ ? этим вовсю занимаются, если надо могу пруфы показать
 
Top