04-09-22 - Сайт virt5.com [VIRT] будет недоступен несколько часов.
А примерно когда будет работать?
2 дня уже наблюдаются проблемы со входом. При наборе логина пароля выбрасывает на главную. Вход не возможен
Произошла оказия
- Вместо 1 часа сайт не работал больше 5 часов
Вообще, при работе с k8s при простом переносе ничего такого, что произошло, не ожидается. Так как копируются файлы в практически идентичное окружение. В этот раз всё пошло не так.
- При запуске VIRT-а в новом кластере резко выросла нагрузка, и забились все сервера. Проблема…
- Ну, до этого всё работало нормально - значит нужно просто добавить новый сервер
- Это занимает около часа
- Новый сервер ситуацию не спас, лишь отчасти. Ну кто знает, давайте ещё накинем
- Это занимает около часа
- При включении очередного сервера наконец то замечена аномалия
Контейнер NGINX обычно потребляет минимум CPU и мало памяти. Подозревать его было последним в списке. Но проблема была в том, что лимит памяти был для него установлен давно, и неправильно. Раньше это никогда проблемы не составляло, но при переносе, оказия… Все NGINX контейнеры сожрали все ресурсы процессоров… Исправлено.
ERROR 500
И где теперь проблема? В логах никаких ошибок. Если коротко, проблема была в “новом” способе авторизации сервисов между собой. Ошибки на этом уровне вроде как не логируются и не отслеживаются нигде. Чуть нашел причину. Это заняло ещё часа полтора-два.
Все работает.
На вирте норм
Коротко о том, зачем нужны были переносы
- В прошлом году было принято решение переносить всё в Kubernetes, ибо тру и мэйнстрим
- Было сложно, переносил постепенно - в итоге получилось ДОРОГО, очень дорого.
- Одновременно пробовал собирать собственный кластер - свершилось…
И вот, просто чтобы экономить в 5-10 раз, пришлось забирать проекты из золотого кластера в обычный. И, так как это новый уровень сложности, стабильности далее гарантировать не могу.