Что произошло с базами данных Telemetr Сегодня подробнее расс | Telemetr.me channel

Что произошло с базами данных Telemetr

Сегодня подробнее расскажем, что произошло и как мы решаем проблему. Постараемся описать ситуацию простыми словами.

Началось всё с того, что на основном сервере одна из баз данных начала выдавать очень много ошибок при работе. При перезагрузке и активации режима восстановления ситуация ухудшилась и все базы на этом сервере потеряли работоспособность.

Для подобных случаев у нас есть второй сервер, резервный. Мы переключили все запросы на него, когда стало понятно, что на основном не получится быстро восстановить данные.

Когда на резервный сервер выросла нагрузка, стало понятно, что он не выдерживает. Это было очень странно, так как его производительности должно быть достаточно.

В итоге мы решили запустить на резервном сервере парсеры и попытаться восстановить базу данных на основном сервере (нагрузку парсеров резервный сервер держал).

Параллельно занимались двумя задачами: восстановление баз, а также тестирование и поиск проблем на резервном сервере. На основном сервере база данных полностью развалилась, а на резервном она не могла запуститься.

На помощь пришли специалисты хостинга, где размещены наши сервера. В результате обнаружилось, что скорость передачи данных очень низкая из-за проблем с 2 жесткими дисками из 6 используемых. Хостер предложил физически заменить эти 2 диска. Замена потребовала еще несколько часов.

Сейчас диски заменены, идет процесс синхронизации данных. Данных очень много – в лучшем случае, мы запустим Telemetr только завтра утром. Если возникнут новые проблемы, то процесс может затянуться до воскресенья.

Сейчас мы вынуждены приостановить работу парсеров, чтобы была возможность запустить полноценную работу ближайшим утром. Данных за ночь с пятницы на субботу в базе, к сожалению, не будет.