Зигфрид

"Зигфрид" - это платформа создания высокопроизводительных систем накопления и обработки информации о цепочках связей между идентификаторами абонентов, формирования агрегирующих исторических баз данных о связанной информации с идентификаторами.

В зависимости от типа обрабатываемой информации о транзакциях выполняется конфигурирование и пуск системы. Для предметных областей "CDR" и "IPDR" сформировано семейство продуктов, решающих самые разнообразные задачи.

Назначение:

  • Создание высокопроизводительных графовых хранилищ реального времени для обработки экстремально больших социальных графов и другой информации о связях вида "идентификатор – идентификатор";
  • Создание агрегирующих баз данных реального времени для сжатого долгосрочного накопления информации, связанной с идентификаторами в транзакциях, в том числе за периоды, за которые накопление исходной информации экономически невозможно, а также когда формирование агрегирующей выборки по исходной информации занимает длительное время.

При формировании агрегирующих баз данных в автоматическом режиме записывается только уникальная, связанная с идентификатором информация за каждые сутки поступающих данных: ID пользователей с которым общался исходный пользователь, местоположения и т.д.

Функциональность:

  • Поиск в глубину по заданному идентификатору связанных на 1м, 2м, 3м, 4м уровне;
  • Поиск общих путей (связей через идентификаторы) группы идентификаторов через 1, 2, 3, 4, 5 промежуточных идентификаторов;
  • Управляемое отсечение при поисковых алгоритмах групповых идентификаторов (фрод-номера, IP-адреса популярных ресурсов и т.д.) для исключения незначимой информации из рассмотрения;
  • Поиск графов, не имеющих связей с другими;
  • Поиск информации по маске идентификатора о наличии идентификаторов в базе;
  • Поиск по спискам-идентификаторам и связанной с ними агрегированной по суткам информации.

Схема включения:

37_zigfrid_3_web

Технические характеристики:

  • Обработка 1…10 млрд транзакций в сутки и выше;
  • Поиск информации за 1 месяц накопления информации:
     - связей на 1м уровне – менее 1 сек;
     - связей на 2м уровне – не более 3 сек;
     - связей на 3м уровне – не более 10 сек.
  • Неограниченный срок накопления за счет эффективного сжатия накапливаемой информации (3-8 раз), для ведения архива связей пользователей большого социального графа достаточно несколько Тбайт информации за несколько лет хранения;
  • Сопоставимое время поиска в информации за месяц, за год, за весь период накопления;
  • Типовая комплектация на основе стоечного 19' сервера, монтажный размер 2U.

Достоинства:

  • Минимальные затраты на оборудование (в большинстве случаев достаточно 1 сервера, в то время как популярные open source решения требуют кластеров и множества серверов для разделения нагрузки);
  • Возможность интеграции дополнительных операций, требующих отклика в реальном времени, непосредственно в ядро системы.

Листовка "Зигфрид" (pdf)