Как реализован импорт данных на платформах IBP? Обзор решений

Данные в системы IBP (Интегрированное Бизнес-Планирование) могут быть собраны тремя способами:

⋮

erid:2VtzqxXWPpZ
ООО «ФОРСАЙТ»
ИНН 7715841300
ОГРН 1107746991296

• введены вручную
• загружены из файлов JSON, XML, CSV, XLS
• получены через интеграцию с REST API внешних систем: CRM, ERP, SCM, PPM и других.

Ниже рассмотрены характеристики сбора и обработки данных и особенности реализации данного процесса на платформах Форсайт Аналитическая Платформа, Knowledge Space и Optimacros

Что такое импорт данных и когда он нужен

Сбор и подготовка данных – это процесс передачи и преобразования информации из одной системы в другую. Он может быть использован для загрузки данных из внешних источников, таких как файлы, базы данных или REST API, в систему для дальнейшей обработки, анализа или хранения.

Такой процесс необходим во многих ситуациях, в частности:

• Перенос данных из старой системы в новую
• Обновление информации в базе данных
• Интеграция различных приложений и сервисов
• Консолидация и унификация процессов сбора и подготовки данных

В случае IBP для планирования, моделирования, анализа и прогнозирования необходимы исторические и актуальные данные по следующим функциям: маркетинг, продажи, логистика, операционная деятельность, финансы, управление персоналом, управление активами, управление инвестициями которые хранятся в смежных ИТ-системах — CRM, ERP, SCM, PPM, HR, BI и других. Перенос данных из CRM, ERP, BI в ИБП осуществляется с помощью процесса сбора и подготовки.

Важные особенности

При использовании процесса сбора и подготовки данных необходимо учитывать несколько особенностей, таких как формат обмена данными, механизм, обмена, его регулярность, правила работы с изменениями данных, форматы кодировки символов, структура передаваемых данных, правила повышения качества данных (приведение к единому НСИ, устранение дубликатов и ошибок, согласование полей данных, преобразование данных в нужный формат и т.д.)

Также важно учитывать источник данных и его достоверность, чтобы исключить возможность введения ложных данных. При передаче большого объема данных рекомендуется провести предварительный анализ и очистку данных, чтобы минимизировать возможность ошибок и ускорить процесс передачи данных.

Прямой и обратный обмен данными со смежными корпоративными системами

Прямой и обратный обмен данными со смежными корпоративными системами играет ключевую роль в обеспечении эффективного функционирования бизнес-процессов и обмена информацией между различными отделами компании.

Прямой обмен позволяет передавать данные в реальном времени без задержек, что улучшает координацию действий и помогает принимать оперативные решения. Обратный обмен данными, в свою очередь, позволяет получать обратную связь от смежных систем, что помогает выявлять проблемы и улучшать процессы.

Импорт/экспорт данных через MS Excel

Импорт и экспорт данных через MS Excel является одним из наиболее популярных и удобных способов обмена информацией между различными программами и системами.

MS Excel позволяет легко импортировать данные из других источников, таких как базы данных, текстовые файлы или веб-страницы, а также экспортировать данные из таблиц MS Excel в другие форматы, такие как CSV, XML, JSON или даже в базы данных.

Поиск логических несоответствий

При сборе и подготовке данных, особенно в больших объемах, важно проводить поиск логических несоответствий для обеспечения правильности и достоверности информации.

Обычно он включает проверку соответствия формата данных, их целостности, соответствия ожидаемым значениям, наличия дубликатов и отсутствующих данных, а также других потенциальных ошибок, которые могут привести к недостоверным результатам анализа.

Low-code инструментарий

Low-code упрощает процесс сбора и подготовки данных из различных источников, поскольку нет необходимости писать сложные скрипты или использовать специализированные инструменты.

С помощью удобного визуального интерфейса и предварительно настроенных шаблонов пользователи могут быстро и эффективно загрузить данные в свои приложения, экономя ресурс программистов, а также упрощая и ускоряя процесс обработки информации.

Практическая реализация

В ходе обучения студенты ВШЭ изучали возможности по импорту данных в платформах Knowledge Space, Optimacros и Форсайт. Ниже представлены результаты этого исследования.

Optimacros

Система поддерживает импорт и экспорт данных через Excel, бесшовный импорт данных и ручной ввод данных через таблицы и формы в интерфейсе системы. В последнем варианте пользователи могут вводить данные вручную, а также выбирать значения, объекты и операции через таблицы, дашборды и другие интерфейсы, что повышает удобство работы и гибкость использования.

Все данные проходят проверку на соответствие установленным логическим правилам, что обеспечивает их достоверность и корректность.

Визуализация ошибок и несоответствия исходных данных логическим правилам в Optimacros реализована частично. Платформа предоставляет указатели на ошибки в операциях с данными, что помогает пользователям выявлять проблемы. Однако отсутствуют подсказки или идеи по исправлению ошибок, поэтому до начала работы в системе пользователь должен владеть определенными знаниями касательно возможных ошибок в импорте/экспорте и ручном вводе данных и знать пути их решения.

Добавление расчетных полей и аналитик без привлечения разработчиков возможна благодаря мультикубам. Пользователи могут самостоятельно добавлять новые расчетные поля.

Михаил Стаценко

Архитектор, тимлид команды скриптов и интеграций ГК «Оптимакрос»

Импорт данных — распространенная задача на проектах. Как правило, решение создается для целей переноса существующего процесса или как расширение функционала существующих систем. В обоих случаях у заказчика уже присутствует legaсy, от которого он не готов уходить. Важный параметр IBP системы — возможность интеграции с уже существующими у заказчика форматами и базами данных.

По своему опыту могу сказать, что платформа Optimacros предоставляет наиболее универсальное и простое решение задач интеграций. Особенность платформы — возможность настройки интеграций пользователем без необходимости изучения структуры данных источника. Optimacros поддерживает весь спектр интеграций:

• загрузка существующих файлов Excel: этот формат довольно часто встречается в проектах;
• подключение к различным базам данных (БД): поддерживается как импорт данных, так и выгрузка результатов из Optimacros в БД;
• интеграция с 1С: частая задача на проектах, где платформа «встраивается» в существующую инфраструктуру заказчика;
• получение данных по API: этот способ распространен при интеграции в
• существующую систему с микросервисной архитектурой;
• подключение к сетевым папкам и FTP хранилищам: Optimacros поддерживает автоматическую загрузку файлов из папки с учетом паттерна имени, а также выгрузку отчетов обработки каждого файла.

Важный параметр данных — их полнота и корректность. В ПО Optimacros возможно реализовать различные проверки данных, внесенных пользователями, а также импортированных из внешних источников. Встроенная проверка не даст пользователю ввести данные, не соответствующие заранее определенному формату, а при импорте из внешних источников — сообщит об ошибке несоответствия формата в отчете. Так же имеется возможность создать неограниченное количество дополнительных проверок полноты и корректности данных с помощью low-code инструментов Optimacros.

Optimacros предлагает low-code конструктор модели данных, совместимый с основными системами управления базами данных. Это делает систему универсальной, но для полноценного использования требуется знание устройства СУБД.

Low-code конструктор настройки интеграций позволяет настраивать кастомные интеграции через API. По соображениям безопасности интеграция API требует расширенной функциональности как на стороне клиента, так и на серверных сторонах.

Knowledge Space

Возможности интеграции платформы KS позволяют гибко управлять данными, как внутри KS, так и в сторонних системах, в которых находятся бизнес-данные, которые необходимы для построения бизнес-моделей. Интеграции KS позволяют реализовать как прямой, так и обратный обмен данными со смежными ИТ-системами.

Андрей Медников

Руководитель направления разработки внешних сервисов и интеграций KS

Интеграции с существующими ИТ-системами, безусловно, являются критически важными для любой системы, внедряемой в существующий ландшафт предприятия. Однако часто настройки и конфигурирование интеграций очень непросты. В новые версии платформы KS включен модульный интегратор. Он поддерживает разнообразные типы интеграций и большинство популярных стандартов.

Интегратор реализует объединение всех требуемых операций для манипуляции данными в одну общую цепочку, чем упрощает работу по настройке интеграции. Также он позволяет выполнять операции последовательно и параллельно, не дожидаясь выполнения предыдущей операции, что существенно улучшает быстродействие системы.

Интеграция данных на платформе KS поддерживается в трех типах:

1. Подключение к внешним базам данных, поддерживаются большинство популярных СУБД (MySQL, Oracle, Postgres, MSSQL, Clickhouse);
2. Получение данных через шины данных, поддерживаются шины данных на базе Kafka, RabbitMQ и IBMMQ;
3. Подключение к внешним системам через API и получение оттуда данных напрямую посредством JSON.

Кроме того, на платформе KS реализована возможность экспорта/импорта таблиц в/из Excel в том же стиле и с теми же настройками визуализации. Возможна настройка различных шаблонов для выгрузки данных и настройки полей для импорта.

Платформа KS также поддерживает ручной ввод и корректировку данных внутри интерфейса с последующей автоматической передачей данных в базу. Все изменения логируются с указанием времени и пользователя, который их внес. Данные можно проверять при интеграции, задавая правила обработки для исключения нежелательных данных. Некорректные и сомнительные данные можно подсвечивать с помощью инструмента условного форматирования, что облегчает их визуальное выявление, также существует возможность создания отчетов по ошибкам.

Форсайт

С помощью встроенного инструмента сбора и подготовки данных (ETL) решения «Форсайт Аналитическая платформа» бизнес-пользователи могут самостоятельно загружать данные из внешних источников, проводить их преобразование, производить обратную загрузку во внешние системы потребители. Схема загрузки и обработки данных строится на графическом интерфейсе с помощью механизмов «drag&drop» перетаскивания объектов. Инструмент позволяет проводить следующие операции: 

• Слияние, разделение;
• Удаление дубликатов;
• Группировку, фильтрацию, сортировку данных перед их загрузкой;
• Проверку исходных данных на соответствие правилам; 
• Настройку очередности выполнения операций;
• Протоколирование загрузки данных;
• Поддержку большого количества источников данных: OLE DB; баз данных Microsoft Access, Visual FoxPro, DBase; файлов: Excel, XML, HTML, TXT, CSV, JSON, REST;
• Добавление и создание пользовательских шаблонов загрузки и преобразования данных (новая функциональность).

Также пользователь может выполнить загрузку данных из MS Excel без подготовки, в несколько кликов, но с ограниченными возможностями их обработки.

Возможность визуализации ошибок и несоответствий в данных помогает пользователям идентифицировать и исправлять проблемы. Сервис автоматического заполнения полей позволяет пользователям самостоятельно добавлять расчётные поля и аналитику для ускорения процесс работы.

Альтернативой загрузки данных является ручной ввод через формы ввода. В формах ввода могут быть заданы правила контроля, которые в случае нарушения визуально подсветят ошибочные ячейки. Функционал может быть настроен индивидуально под каждого пользователя.

Также в формах ввода можно задать правила расчета, которые «на лету» выполняют расчет зависимых показателей.

Но нужно помнить, что инструмент сбора и подготовки данных (ETL) от компании «Форсайт» решает прикладные задачи загрузки данных в (из) репозитория и не может обладать такой же производительностью, как специализированные западные, не зарегистрированные в ЕРРП решения (Informatica, Oracle Data Integrator).

Михаил Федоров, ведущий продуктовый менеджер компании «Форсайт»:
Задачи интеграции с внешними системами успешно решаются во всех проектах на базе «Форсайт. Аналитическая платформа». В качестве примера можно привести настройку задач ETL в рамках создания прототипа для крупного заказчика из энергетической отрасли — загрузка данных по бюджетным показателям компаний для целей дальнейшей консолидации по группе компаний.

Заключение

Все решения предоставляют хороший функционал для импорта. Наиболее острой является задача поиска логических несоответствий в массиве данных.

Вопрос прямой интеграции актуален только с популярными системами, такими как 1С, Битрикс и другие. Ручной ввод полезен при точечных исправлениях данных, а для полноценного импорта в большинстве ситуаций крайне трудозатратен из-за огромных размеров современных баз данных.

Для настройки интеграции с произвольными ИТ-системами хорошо подходит API-интерфейс.