Рубрики
Uncategorized

Архитектура анализа данных микросервисов с трехлетним опытом работы и миллионами ежедневных действий

Автор оригинала: David Wong.

Знание языков в области архитектуры

В последние годы анализ данных быстро развивался, и мы также создали инструмент анализа микроданных. Продукт успешно работает уже три года, удовлетворяя потребности миллионов предприятий в повседневной жизни. Структура продукта очень проста, используется самый простой в мире язык PHP, самая распространенная база данных mysql , сервер может выбрать Apache или nginx , все зависит от ваших собственных предпочтений.

I. архитектура микросервиса

Блок-схема: 1. SDK загружает данные на сервер. Если вы установите redis для кэширования, данные будут самыми передовыми в redis, а затем данные будут регулярно извлекаться на сервер БД. С помощью redis возможность параллельной обработки данных может быть значительно улучшена. 2. База данных собирает исходные данные. Хранимая процедура подсчитывает данные в соответствии с различными измерениями и суммирует данные. 3. Отображение отчетов на стойке регистрации, отчет в режиме реального времени, часовой отчет и отображение данных дневного отчета. Лучше отделить чтение от письма.

II. Функциональная структура

Функциональная архитектура в основном состоит из трех частей: функции, роли и полномочий. Функция-это корпоративная услуга. Каждая функция, используемая пользователями, является корпоративной службой. Роли-это классификация пользовательских операций, соответствующие отношения между функциями и ролями и разрешения. Поймите текущую ситуацию с архитектурой системы, начиная с функциональной архитектуры.

III. архитектура приложения

Содержание архитектуры приложения включает в себя существующую архитектуру, текущую ситуацию веб-приложения и архитектуру интерфейса. Среди них интерфейс является ключом прикладного уровня, который является частью взаимодействия между программами. Он в основном включает данные клиента, используя интерфейсы журнала, журнала событий и журнала ошибок. SDK регулярно отправляет данные в фоновом режиме через интерфейс. Архитектура приложения содержит список интерфейсных и внутренних связей вызовов.

IV. проектирование данных

Две базы данных, около сотни таблиц. Дизайн базы данных зависит от бизнес-данных и классифицирует бизнес-данные, что приводит к созданию диаграммы E ﹐ R в дизайне данных, завершению проектирования данных и, наконец, разработке базы данных. Если база данных разработана на ранней стадии, ее можно легко масштабировать и разделять. Статистика в основном делится на статистические измерения, включая пользователей, оборудование, информацию об ошибках и т.д. 1. Производительность обработки данных Ежедневная жизнь составляет миллион, количество запусков-около двух миллионов, количество событий и посещений страниц-по крайней мере от трех до пяти миллионов, а средний объем данных в час составляет 500000. Во время операции * объем данных о клиентах концентрируется в утренний и вечерний пик. В соответствии с особой ситуацией клиента, мы организуем некоторые задачи в свободное время, такие как ежедневные задачи, еженедельные задачи, ежемесячные задачи и т.д. Рано утром. Хорошая конфигурация оборудования – это хорошо

V. физическая структура

Для физической архитектуры микросервисов требуется очень мало машин, и может работать одна машина. Анализ и статистика в основном обусловлены высокими требованиями к мощности обработки данных. Необходимы два сервера баз данных и один веб – сервер. В результате многолетней работы параллелизм и возможности обработки баз данных являются самыми большими узкими местами статистического анализа.

Vi. направление непрерывной оптимизации

1. Разделение чтения и записи данных, очистка данных. 2. Одновременное количество.

Семь. Клиенты

Данные, наиболее важные для клиентов: Каждый клиент больше всего обеспокоен таблицей пользователей, добавлением пользователей, активностью пользователей и сохранением пользователей. У разных клиентов разные требования к пользователям. Необходимо определить, является ли пользователь с компьютера, и сопоставить взаимосвязь между пользователем и номером устройства и идентификатором пользователя (номером пользователя). Данные о событиях также очень важны, коэффициент конверсии отношений. Доступ к странице так же важен, как и события. Данные об ошибках могут обнаруживать ошибки, существующие в приложении. Разные клиенты и разные сценарии использования предъявляют разные требования к показателям. Эта статья была первоначально опубликована в официальном блоге cobub razor, автором qhzhang. Пожалуйста, укажите источник для перепечатки!