MagLab / Кейсы / Платформа под нагрузкой
Десять микросервисов, терабайт в день и единый источник истины
Высоконагруженная платформа: консалтинг, оценка и внедрение
Платформа выросла из монолита в десять сервисов, и каждый работал по своему расписанию. Данные терялись, дублировались и доходили до отчётов через сутки-двое. Мы перестроили её в один конвейер: события круглосуточно текут в одну базу.
Проблема
Платформа теряла и дублировала данные, а отчёты опаздывали на двое суток.
- Каждый из десяти сервисов работал по своему расписанию.
- Данные терялись и дублировались между сервисами, копии одних и тех же данных занимали место.
- Отчёты ждали данные до двух суток.
Что сделали
Разобрали весь продукт, спроектировали новую архитектуру, провели её через архитектурный комитет и вместе с командой перестроили платформу.
- Зашли в работающую систему из десяти сервисов и изучили, как всё устроено.
- Нашли причину: консистентность данных и скорость обработки.
- Предложили архитектуру с одним источником правды: один поток событий и одна база.
- Внедрили её вместе с командами компании.
Что изменилось
- Один конвейер: события идут круглосуточно, без копий и потерь.
- Одна база, единый источник истины для всех данных.
- Данные доходят до отчётов за 1-2 часа вместо двух суток, при терабайте данных в день и тысяче запросов в секунду.
На чём сделано
- Apache Kafka
- Apache Spark
- Kubernetes
Ещё: Elasticsearch, Grafana и Docker.
Другие кейсы
01Сеть ресторанов
Весь бизнес на одном экране
Деньги жили в пяти системах. Теперь весь бизнес на одном экране каждое утро.
03Граф знаний
AI прочитал целую библиотеку и собрал из неё граф знаний
Ответы лежали в тысячах статей. Теперь вопрос - и сразу ответ с источником.
04Mosena
Mosena: закрыли всё сами, от начала до конца
Была идея приложения. Теперь работающий продукт с AI, сделанный от начала до конца.
Давайте расти вместе
Расскажите, что отнимает время и деньги. Ответим в течение рабочего дня и предложим время для звонка.
Первый разговор - 30 минут, бесплатно, и говорит с вами инженер, а не менеджер по продажам. Почта: hello@maglab.app
Кто ответит
Глеб Максимов, основатель MagLab. 8 лет в данных, ML и системах под нагрузкой: стартапы, исследовательские лаборатории, корпорации. LinkedIn