VIRT - Сайт отключен для обслуживания 04-09-22

04-09-22 - Сайт virt5.com [VIRT] будет недоступен несколько часов.

А примерно когда будет работать?
2 дня уже наблюдаются проблемы со входом. При наборе логина пароля выбрасывает на главную. Вход не возможен

Произошла оказия

  • Вместо 1 часа сайт не работал больше 5 часов

Вообще, при работе с k8s при простом переносе ничего такого, что произошло, не ожидается. Так как копируются файлы в практически идентичное окружение. В этот раз всё пошло не так.

  • При запуске VIRT-а в новом кластере резко выросла нагрузка, и забились все сервера. Проблема…
  • Ну, до этого всё работало нормально - значит нужно просто добавить новый сервер
    • Это занимает около часа
  • Новый сервер ситуацию не спас, лишь отчасти. Ну кто знает, давайте ещё накинем
    • Это занимает около часа
  • При включении очередного сервера наконец то замечена аномалия :slight_smile:

Контейнер NGINX обычно потребляет минимум CPU и мало памяти. Подозревать его было последним в списке. Но проблема была в том, что лимит памяти был для него установлен давно, и неправильно. Раньше это никогда проблемы не составляло, но при переносе, оказия… Все NGINX контейнеры сожрали все ресурсы процессоров… Исправлено.

ERROR 500

И где теперь проблема? В логах никаких ошибок. Если коротко, проблема была в “новом” способе авторизации сервисов между собой. Ошибки на этом уровне вроде как не логируются и не отслеживаются нигде. Чуть нашел причину. Это заняло ещё часа полтора-два.

Все работает.

На вирте норм

Коротко о том, зачем нужны были переносы

  1. В прошлом году было принято решение переносить всё в Kubernetes, ибо тру и мэйнстрим
  2. Было сложно, переносил постепенно - в итоге получилось ДОРОГО, очень дорого.
  3. Одновременно пробовал собирать собственный кластер - свершилось…

И вот, просто чтобы экономить в 5-10 раз, пришлось забирать проекты из золотого кластера в обычный. И, так как это новый уровень сложности, стабильности далее гарантировать не могу.