В конце прошлого года разработчики объявили о запуске в тестовом режиме некоторых сервисов, которые играют ключевую роль для промышленной аналитической платформы IoT. Сюда можно причислить масштабируемое хранилище временных рядов для отслеживания данных за десятилетия, поддержку семантических моделей для описания метаданных, характерных для предметной области, а также расширенные API-интерфейсы служб аналитики и UX. Мы опираемся на мощь этой аналитической платформы с рядом новых дополнительных возможностей, которые делают ее еще более удобной и гибкой, а также открываем новые сценарии для наших корпоративных клиентов IoT.
Сегодня мы анонсируем следующие нововведения:
- «Горячая» и «холодная» аналитическая поддержка, основанная на существующей системе предварительного просмотра и обеспечивающая маршрутизацию данных на основе хранения между «теплыми и холодными» хранилищами. Теперь клиенты могут выполнять интерактивную аналитику на основе «горячих» данных, а также получать аналитику подданных, хранящихся в собственном озере Azure, накопленных за десятилетия.
- Гибкая аналитическая платформа, позволяющая подключать пользовательское озеро данных Azure к Azure Time Series Insights для их архивирования, что дает возможность клиентам быть владельцами данных IoT. Пользователи могут подключаться и взаимодействовать в различных сценариях расширенной аналитики, таких как прогнозное обслуживание и машинное обучение, с использованием знакомых технологий, включая Apache Spark, Databricks, Jupyter и т. д.
- Богатый пользовательский опыт, а также API-запросы, используемые для поддержки интерполяции, новых скалярных и агрегатных функций, категориальных переменных, графиков рассеяния и сдвига во времени сигналов временных рядов для углубленного анализа.
- Значительные улучшения масштабируемости и производительности на всех уровнях, включая прием, хранение, запросы и метаданные/модель, что позволяет удовлетворить потребности клиентов IoT.
- Коннектор Azure Time Series Insights Power BI, который позволяет клиентам принимать запросы, что они делают в Azure Time Series Insights, непосредственно через Power BI, чтобы объединить свою аналитику BI и временные ряды на одной стеклянной панели.
Azure Time Series Insights продолжает предоставлять масштабируемую модель ценообразования с оплатой по факту, позволяющую клиентам выполнять настройку в соответствии со своими бизнес-требованиями, а также дает возможность аналитической платформе участвовать в масштабировании инфраструктуры для удовлетворения растущих потребностей.
Комплексная аналитическая платформа для промышленного IoT
Первая волна нововведений стала доступна в тестовом режиме в декабре прошлого года. С тех пор они получили большое признание клиентов и множество откликов, что привело к сегодняшнему обновлению.
Клиенты занимают все основные промышленные IoT-сегменты, включая производство, автомобилестроение, нефтегазовую отрасль, электроэнергетику и коммунальное хозяйство, строительство «умных» домов и IoT-консалтинг. Они сообщают, что аналитика временных рядов IoT – это больше, чем просто потенциал для достижения совершенства в выполнении поставленных задач. Данные временных рядов IoT вместе с богатой контекстуализацией помогают им контролировать динамические преобразования, благодаря чему их предприятия становятся более гибкими и эффективными, чем когда-либо прежде.
Чтобы максимально повысить ценность данных временных рядов и содействовать этой цифровой революции, разработчики обновляют предложение Azure Time Series Insights. Оно позволяет получить всестороннюю и обширную аналитику в многослойном хранилище. Среди других его достоинств – открытый формат файлов и высокая гибкость при работе с другими службам данных, хорошая масштабируемость и производительность корпоративного уровня, улучшенный пользовательский интерфейс и поддержка SDK, а также готовые коннекторы для служб данных, например Power BI.
Подробная информация о функциях в грядущем обновлении
Ниже указаны подробности о функциях.
Комплексная и богатая аналитика в многослойном хранилище
Большинство промышленных пользователей IoT работают с данными в различных сценариях доступа к ним. Чтобы соответствовать этому, Azure Time Series Insights предоставляет масштабируемое многослойное хранилище временных рядов для анализа «горячих» и «холодных» данных. Когда клиент выбирает ценовую опцию PAYG, он может сделать хранилище Azure «горячим» или «холодным» на свое усмотрение. Кроме того, пользователь может выбрать срок хранения (настраивается в любое время) для «горячего» варианта. Azure Time Series Insights автоматически направит загруженные данные на основе настроенного периода хранения в «горячий» уровень хранилища, например, если для хранения был установлен срок 30 дней.
Все данные по умолчанию направляются в пользовательское озеро данных Azure с целью архивирования и анализа. Запросы, выполненные в течение определенного периода, всегда обрабатываются из «горячего» уровня без дополнительной информации от пользователя. Запросы вне срока хранения всегда извлекаются из «холодного» уровня. Это позволяет клиентам выполнять интерактивную аналитику на основе активов в больших объемах, а не в сценариях мониторинга и устранения неполадок. Пользователи могут продолжать проводить аналитику на основе активов по данным их «холодного уровня» за десятилетия.
Гибкая аналитическая платформа для интеграции с первоочередными и сторонними сервисами обработки данных
Важной функцией, которая используется в нашем «холодном» хранилище, является возможность подключения данных к другим сервисам обработки данных для сквозного покрытия сценариев. Как упоминалось ранее, «холодное хранилище» ‒ это находящееся в собственности клиента озеро Azure Data, которое является источником правдивой информации обо всех данных и метаданных IoT. Данные хранятся в открытом доступе в формате Apache Parquet, что дает необходимое сжатие для экономии пространства и повышает эффективность запросов.
Azure Time Series Insights выпустит готовые коннекторы для популярных и знакомых служб, работающих с данными, которыми пользуются наши клиенты. Среди них, к примеру, Apache Spark или Databricks, предназначенные для машинного обучения и прогнозной аналитики. Эта работа еще не завершена, новскоре клиенты смогут оценить ее результаты.
В тестовом режиме выпущен коннектор Azure Time Series Insights Power BI. Эта функция доступна в пользовательском интерфейсе Azure Time Series Insights Explorer с помощью параметра «Экспорт». Она позволяет заказчикам экспортировать запросы временных рядов, которые они создают в пользовательском интерфейсе, непосредственно в рабочий стол Power BI, а также просматривать свои диаграммы временных рядов вместе с другими аналитиками BI. Это открывает дверь в новый класс сценариев для промышленных предприятий IoT, которые инвестировали в Power BI.
Расширенный API-интерфейс на основе активов и пользовательского опыта
С момента тестового запуска в декабре прошлого года разработчики сотрудничали с рядом важных корпоративных клиентов IoT, чтобы определить приоритетность требований, касающихся запросов и взаимодействия с пользователем. Результатом стали следующие нововведения, которые мы представляем в рамках сегодняшнего обзора:
- интерполяция для восстановления сигналов временных рядов из существующих данных;
- обработка дискретных сигналов с категориальными переменными;
- тригонометрические функции;
- точечные диаграммы;
- сдвиги сигналов по времени;
- улучшение API модели для «обхода дерева», поиска по временным рядам, автозаполнения, путей и фасетов;
- повышена эффективность поиска и навигации, а также маркер продолжения для поддержки запроса в масштабе;
- улучшенные возможности построения графиков, включая пошаговую интерполяцию;
- более удобное создание и редактирование моделей;
- увеличенный параллелизм запросов для поддержки до 30 одновременных запросов.
Разработчики создали ряд новых возможностей, которые появятся в этой сфере в ближайшие месяцы. Среди них: поддержка средневзвешенных по времени, дополнительные скалярные и агрегатные функции, информационные панелей и т. д.