2021-01-11 14:13:16
Сегодня ночью уменьшил расходы на серверы для @RoundDFBotНапомню, что бот состоит из воркеров (серверов с GPU, на которых крутятся нейронки) и главного сервера, на котором запущены бот, база данных, API и так далее. И если воркеры можно легко масштабировать, и оптимизация их стоимости — это отдельная задача, то главный сервер сейчас — это просто дроплет в DigitalOcean.
Вообще инфраструктура претерпела значительные изменения с момента запуска. Сначала и бот, и единственный воркер были запущены на домашнем компьютере (сначала у @datasas, потом у меня). Когда мощности стало не хватать, мы переехали на hostkey. Архитектурно всё осталось так же: один сервер с GPU, на котором запущены и бот, и воркер. Когда и этого стало не хватать, мы научились запускать воркеры отдельно от бота и стали арендовывать серверы на vast.ai. А когда срок оплаты hostkey подошёл к концу, мы решили переехать на обычный сервер в DigitalOcean.
Там тоже приключилась забавная история. Сначала я взял дроплет за $10. Запустил, и бот почти сразу слёг от нагрузки. Тогда я быстренько апгрейднул дроплет до $20. И опять та же история. Тогда я решил не мелочиться и взять сразу CPU-optimized дроплет за $80. И наконец оно заработало.
Кроме того, я создал отдельный volume на 120 гигабайт, на котором планировалось хранить базу данных и медиафайлы для обработки. Конечно, ни о каком долгосрочном хранении речи не шло, это было необходимо банально для того, чтобы сохранить 35 тысяч видео, ждущих своей очереди (35000 × ~2мб = ~70гб). Конечно, сейчас мы можем скачивать видео по мере необходимости, но тогда они скачивались сразу при добавлении в очередь.
В сумме сервер обходился нам в $92 в месяц: $80 за сам сервер и $12 за дополнительный диск.
Но вчера я всё-таки решил уменьшить затраты. Выключил самого бота, запустил на своём компьютере скрипт-заглушку, отвечающую, что бот временно недоступен. Выключил дроплет, ресайзнул его, включил. Создал новый volume (на этот раз на 20гб), подмонтировал его, перенёс все данные со старого на новый, переделал символические ссылки на директории с данными. Выключил заглушку, запустил бота. Быстренько починил пути в нескольких модулях, которые ходили по старому пути.
Готово! Расходы снизились с $92 в месяц до $22.
А ещё вчера @RoundDFBot достиг отметки в 6 миллионов созданных видео!
3.5K viewsedited 11:13
L
