Это высокопроизводительное расширение для СУБД. Оно может постоянно выполнять SQL-запросы с потоками информации и сохранять их результаты в таблицах. Встроенные механизмы агрегации существенно упрощают работу с временными рядами, моментально обрабатывая потоковые данные с высокой точностью и производительностью.
Назначение
Функциональность платформы позволяет сохранять результаты выполнения SQL-запросов на потоковых данных в обычных таблицах. Это открывает возможность обращаться к полученному результату как к любым другим объектам в базе. Постоянное обновление результатов в реальном времени дает возможность анализировать данные с учетом изменений.
Данные, не являющиеся результатом запросов, Tantor PipelineDB не сохраняет. Это позволяет системе эффективно управлять большими объемами информации без использования высокопроизводительного аппаратного обеспечения.
Возможности
- Агрегация данных. Непрерывные SQL-запросы фильтруют и преобразовывают потоковые данные в сводные. Результаты могут быть сохранены и обработаны в Tantor PipelineDB, что обеспечивает эффективное управление и анализ данных в реальном времени.
- Объединение потоковых и архивных данных. Аналитикам работы с потоковыми данными может не хватать контекста без получения информации из табличных данных. Система позволяет соединять потоковые данные с архивными, улучшая возможности для анализа.
- Запросы по расписанию. Есть возможность запуска операций через определенные временные промежутки с сохранением результатов в Tantor PipelineDB. Результаты, не попадающие в установленные временные интервалы, автоматически отсеиваются, что способствует оптимизации обработки информации и сокращению объема ненужных данных.
- Использование приближенных вычислений. В аналитике допустимы погрешности вычислений, если нужна скорость обработки данных. Использование вероятностных структур данных системы позволяет проводить приближенные вычисления на больших объемах информации, минимизируя затраты на вычисления и улучшая производительность аналитических систем.
Особенности работы
- Отсутствие прикладного кода. Пользователи могут управлять данными, формулируя запросы только на SQL. Для сложных вычислений на потоках используется планировщик выполнения непрерывных запросов.
- Устранение этапа ETL. Извлечение, преобразование и загрузка данных занимает много времени и ресурсов. Эффективность системы заключается в том, что сырые данные направляются прямо в эту систему, где они проходят процесс уточнения и очистки в реальном времени посредством определенных пользователем встроенных непрерывных запросов.
- Интеграция с СУБД Tantor и PostgreSQL. Система активно использует все возможности, предоставляемые этими базами данных. Разработчики могут использовать знакомый синтаксис SQL и все связанные с ним библиотеки, использовать набор функций и возможностей для работы с данными.