Большие данные¶

NOC собирает большое количество данных, необходимых для принятия обоснованных решений в управлении сетью, включая планирование её мощности и устранение сбоев.

NOC разделяет оперативные (краткосрочные) и аналитические (долгосрочные) базы данных. В оперативной базе данных выполняются общие операции, оптимизированные для производительности. Аналитические данные извлекаются из оперативной базы данных, очищаются, обогащаются и загружаются в аналитическую базу данных.

Аналитическая база данных основана на базе данных ClickHouse и имеет следующие характеристики:

Столбцовое хранение (как у обычных BI-баз данных)
Высокая степень сжатия данных (снижение требований к системам хранения)
Разделение/репликация на несколько узлов
Распределенная обработка запросов
Низкая активность операций ввода/вывода (работает хорошо на обычных HDD)
Высокая пропускная способность для чтения и записи

Структура аналитической базы данных открыта и хорошо определена. См. Справочник по моделям BI для подробной информации.

Помимо аналитической базы данных, NOC предоставляет обширный набор инструментов для манипуляции и анализа данных:

Пользовательский интерфейс BI
ETL для заполнения аналитической базы данных
Пассивные коллекторы (Syslog, SNMP Trap, NetFlow)
Активные сборщики метрик во время обнаружения