Уважаемые участники проекта Infinity Hash,

Мы хотели бы предоставить прозрачный обзор недавних событий, связанных с многочисленными DDOS-атаками на наши сервисы, которые происходили в течение нескольких дней на протяжении последних двух недель. А также быстро проинформировать вас о наших новых страницах и услугах, которые мы запустили для повышения прозрачности времени работы:

Краткий обзор

Все веб-сайты, включая блог, целевые страницы, главную страницу и Личный кабинет, были недоступны из-за DDOS-атак, что повлияло на доступ к ним клиентов. Следует отметить, что BTCPay, наши системы выплат, майнинг-пул, майнеры и внутренний сервер остались незатронутыми. Перебои продолжались около двух недель, общее время простоя составило 15-20 %. В ликвидации последствий участвовали наша команда разработчиков, системные администраторы и хостинг-провайдер. Мы решили проблему, увеличив мощность сервера, внедрив защиту от DDOS на стороне сервера, оптимизировав эффективность системы и применив дополнительные меры защиты.

Анализ Основных Причин

Основной причиной стала недостаточная подготовка к масштабным DDOS-атакам на целевые страницы и Личный кабинет. Проблеме способствовала ограниченная защита сервера и наличие нескольких сервисов, размещенных на одном сервере. DDOS-атаки - обычное явление, они могут происходить случайно, с целью получения выкупа или со стороны конкурентов.

Предпринятые Действия и Сроки их Выполнения

  1. Изначальное обнаружение через логи доступа к серверу: Сначала мы проверили логи доступа к серверу, чтобы найти причину простоя. Мы заметили необычный трафик и пришли к выводу, что имела место DDOS-атака, исходящая с небольшого количества внешних IP-адресов (около 100 новых адресов в минуту с примерно 50-150 попытками подключения в секунду для каждого адреса).
  2. Перенос каждого сервиса на отдельный сервер и 10-кратное увеличение производительности Личного кабинета: Поскольку большинство сервисов в то время размещалось всего на двух небольших серверах, мы решили перенести каждый сервис на свой собственный сервер и значительно увеличить производительность сервера Личного кабинета примерно в 10 раз.
  3. Работа с хостинг-провайдером; расторжение контракта с нежелающим сотрудничать провайдером и перенос домена: and domain transfer: Мы также напрямую связались с обоими хостинг-провайдерами, чтобы получить дополнительную информацию и помощь в борьбе с атакой, поскольку хостинг-план, который мы использовали в то время, включал защиту от DDOS, которая явно не работала в случае текущей атаки. Мы получили быструю и полезную информацию от одного хостера ("хостер А") и крайне медленную и неидеальную поддержку от другого хостера ("хостер Б"). В результате мы решили расторгнуть контракт с хостером B, перенесли все системы к хостеру A и организовали перенос домена от хостера B к хостеру A.
  4. Внедрение защиты на стороне сервера и ведение записей: После этого у нас было несколько дней бесперебойной работы, прежде чем началась следующая DDOS-атака (примерно в два раза превосходящая по масштабам первую). В основном атаке подверглись целевые страницы и Личный кабинет, сделав обе недоступными. Оценив масштаб второй атаки, мы внедрили дополнительные средства защиты на стороне сервера, которые вернули Личный кабинет и целевые страницы в онлайн-режим. Затем мы внедрили более масштабные меры по регистрации и защите всех сервисов (включая блог и api-серверы, которые не были затронуты второй атакой) и обсудили возможность использования внешнего сервиса защиты от DDOS-атак, но решили отказаться из-за последствий для конфиденциальности и более неудобного использования для людей, которые предпочитают просматривать сайты анонимно с помощью Tor или VPN.
  5. Реагирование на последующие атаки, включая смену серверного ПО с Apache на nginx: После этого у нас было около двух дней бесперебойной работы, прежде чем третья и самая крупная DDOS-атака обрушилась на наши целевые страницы и Личный кабинет (около 300 новых входящих адресов в минуту, около 100 новых попыток соединения с каждым адресом в секунду и более сложные методы атаки, специально адаптированные под серверное программное обеспечение, на котором мы работали). Поскольку наши серверы не справлялись со значительно возросшей нагрузкой даже при сработавшей защите, а список запрещенных IP-адресов рос с каждой секундой, мы решили перейти на более эффективное серверное ПО и внедрить заключительный уровень защиты от оптимизированных keep-alive атак (в основном перейдя с Apache на nginx).
  6. Активирован резервный сервер: Мы дополнительно сделали Личный кабинет доступным на резервном сервере, чтобы клиенты могли получить доступ к своим аккаунтам через серверы нашей основной компании (MEATEC).
  7. Окончательное завершение восстановительных работ достигнуто к 26 ноября 2023 года: По состоянию на субботу, 26 ноября 2023 г., все сервисы и системы восстановлены и работают, и, похоже, успешно справляются с продолжающимися попытками DDOS-атак.
  8. Добавление внешнего сервиса защиты от DDOS-атак: Поскольку многие клиенты пострадали от отсутствия доступа к Личному кабинету, а приглашенные рефералы не могли использовать целевые страницы, мы решили добавить внешнюю службу защиты от DDOS-атак, которая уже готова и будет активирована, как только хостер B закончит перенос наших доменов.

Итоги и Дальнейшие Шаги

Что удалось сделать:

  • Изоляция внутреннего интерфейса и ключевых систем обеспечила бесперебойное получение вознаграждений: Мы были очень рады, что наш внутренний сервер, где рассчитываются все вознаграждения, а также наши майнинговые фермы и системы выплат не были подключены к публичному интернету каким-либо общедоступным способом и работали на совершенно отдельных системах. Таким образом, фактическая генерация вознаграждений (майнинг Bitcoin), а также функционирование учетных записей пользователей (получение вознаграждений, автопополнение, разделение вознаграждений, балансы кошельков и т. д.) никак не пострадали от атак. Другими словами: Средства SAFU и прибыль не были упущены).
  • Перенос сервисов на выделенные серверы повысил надежность и время отклика: Перенос каждой службы на свой собственный сервер позволил повысить надежность, сократить время отклика, а также упростить и ускорить обнаружение и устранение атак и общих ошибок.
  • Собственная разработка обеспечивает мгновенное реагирование: Наличие собственной команды разработчиков оказалось очень ценным, поскольку мы можем реагировать на проблемы незамедлительно, а не ждать поддержки от третьей стороны или хостинг-провайдера.
  • Переход на nginx и внедрение DDOS-защиты оказались эффективными: Переход с Apache на nginx и внедрение DDOS-защиты также оказались эффективными и помощью нам поддерживать все в режиме онлайн и стабильно работать в качестве дополнительной меры к новому внешнему сервису DDOS-защиты, который будет активирован на следующей неделе.

Что не удалось сделать:

  • Недооценивание вероятности и масштабов DDOS-атаки: Мы недооценили вероятность и масштабы потенциальной DDOS-атаки на еще небольшой проект и с самого начала не сосредоточили ресурсы разработки на защитных мерах.
  • Длительное время простоя из-за различных проблем: Время простоя, вызванного DDOS, было слишком долгим из-за множества проблем, возникших одновременно (проблемы со вторым хостинг-провайдером и несколько переносов доменов в дополнение к атаке).

Меры по защите:

  1. Переход к единому надежному хостинг-провайдеру.
  2. Каждый ключевой сервис теперь размещается на специальных серверах..
  3. Мы добавили защиту от DDOS на уровне сервера для каждого сервиса.
  4. 10-кратное увеличение производительности серверного оборудования.
  5. Переход с Apache на nginx для повышения производительности.
  6. Внедрение резервных серверов.

Доработки, которые будут предприняты на следующей неделе:

  • Добавление прокси-системы для фильтрации трафика: Мы добавим дополнительную прокси-систему для фильтрации входящего трафика до того, как он попадет на реальные серверы (WAF и выделенный брандмауэр).
  • Интеграция внешнего сервиса защиты от DDOS: Мы добавим внешний сервис защиты от DDOS для всех критически важных сервисов.

Спасибо!

Мы искренне благодарим наших клиентов и всех участников сообщества за непоколебимое доверие и поддержку.

Похожие записи