ИИ научили самостоятельно обрабатывать большие массивы данных

В России представили один из первых автоматических сервисов, который поможет сэкономить десятки миллионов рублей и ускорить работу компаний. Он позволяет многократно ускорить и упростить работу с большими массивами данных. Перед многими компаниями это открывает совершенно новые перспективы для развития.

Счет пошел на минуты

Соответствующую технологию представила компания МТС Web Services. Она создала специального агента, который работает на основе искусственного интеллекта под названием MWS Data Scout. Программа способна анализировать большие базы данных, формируя краткое описание их содержимого, а также устанавливать то, как они связаны между собой. Продукт является частью платформы MWS Data.

«Это позволяет ускорить процесс описания данных в 10 раз и сэкономить десятки миллионов рублей на аналитиков для описания данных. Таким образом, MWS первой вышла на рынок автоматизации описания данных объемом более 3,5 миллиарда рублей», - пояснили представители разработчиков.

Универсальность на первом месте

Одна из основных особенностей системы – это широкая вариативность работы. Она может подключаться к базам данных клиента как из облака, так и устанавливаться внутри защищенного сетевого контура заказчика. При этом решение можно интегрировать с любыми крупными дата-каталогами, такими как DataHub или OpenMetadata.

ИИ-агент выполняет поставленные задачи в несколько этапов. Сначала программа анализирует общие данные, такие как названия таблиц и столбцов в них, а также подключается к Confluence компании, где также могут храниться дополнительные сведения о БД. Решение способно автоматически определять, в каких базах содержится критическая информация. Далее агент занимается уже непосредственным описанием таблиц и столбцов.

Конечным итогом работы сервиса является структурированный отчет с описанием обнаруженных таблиц, связей между ними. Все полученные результаты загружаются в дата-каталог.

Как и большинство наших коммерческих решений, MWS Data была разработана для нужд МТС. Как телеком-оператор компания исторически имеет крупнейшую в стране абонентскую базу, и трансформируясь в цифровую экосистему со множеством направлений, появилась необходимость в сервисе, который поможет всем компаниям получить дополнительный бизнес-эффект за счет использования точных и полных данных

Павел Воронин

генеральный директор ООО «МТС Веб Сервисы»

Будут и новые возможности

В будущем цифровой агент сможет обнаруживать аномалии, помогая распознавать резкие отклонения в данных, которые могут сигнализировать о неполадках или подозрительных событиях.

Потенциал применения нового сервиса практически безграничный. Сейчас в инвентаризации больших объемов данных нуждаются целые отрасли экономики страны: банки, промышленность, операторы связи и многие другие. MWS Data Scout помогает решить эту задачу без значительного роста производственных затрат и выполнить все в максимально сжатые сроки. Высокий спрос на внутреннем рынке гарантирован.

Долгая история

Важно отметить, что хоть MWS Data Scout пока и является первым в своем роде российским решением, работы по автоматизации обработки больших массивов данных в стране ведутся давно. Так, еще в 2019 году был представлен Yandex DataLens. Это облачный аналитический сервис, входящий в экосистему Yandex Cloud. Предназначен для визуализации, исследования и совместной работы с данными. Одной из его ключевых возможностей стало объединение данных из различных систем - облачных хранилищ, баз данных, API или локальных файлов. В 2023 году «Сбер» вывел на рынок сервис «Платформа BI» («Навигатор»). Решение объединяет данные о предприятии, ускоряет их обработку, повышает качество аналитики и позволяет создавать дашборды (интерактивные графические панели).

В том же 2023 году компания «ДатаКаталог» представила платформу Arenadata Catalog. Она предназначена для централизации и стандартизации работы с данными в корпоративной среде.

Потенциал на внешнем рынке

Несмотря на то, что новая разработка от МТС Web Services ориентирована в первую очередь на внутренний рынок, со временем она может быть востребована на международном уровне. Например, в странах СНГ и БРИКС, где проблема обработки больших объемов данных стоит особенно остро.

В конце не будет преувеличением сказать, что российские разработчики вновь показали, что они уверенно входят в число лидеров мировой IT-сферы. Не нужно забывать, что изыскания проводятся в условиях жесточайших санкций, когда доступ к зарубежным программа и оборудованию сильно ограничен. Несмотря на это, страна продолжает демонстрировать большие успехи, обеспечивая свой технологический суверенитет.