Данные в системы IBP (Интегрированное Бизнес-Планирование) могут быть собраны тремя способами:
- введены вручную
- загружены из файлов JSON, XML, CSV, XLS
- получены через интеграцию с REST API внешних систем: CRM, ERP, SCM, PPM и других.
Ниже рассмотрены характеристики сбора и обработки данных и особенности реализации данного процесса на платформах Форсайт Аналитическая Платформа, Knowledge Space и Optimacros
Что такое импорт данных и когда он нужен
Сбор и подготовка данных – это процесс передачи и преобразования информации из одной системы в другую. Он может быть использован для загрузки данных из внешних источников, таких как файлы, базы данных или REST API, в систему для дальнейшей обработки, анализа или хранения.
![Как реализован импорт данных на платформах IBP? Обзор решений](https://iaassaaspaas.ru/wp-content/uploads/2024/07/import_excel.jpg)
Такой процесс необходим во многих ситуациях, в частности:
- Перенос данных из старой системы в новую
- Обновление информации в базе данных
- Интеграция различных приложений и сервисов
- Консолидация и унификация процессов сбора и подготовки данных
В случае IBP для планирования, моделирования, анализа и прогнозирования необходимы исторические и актуальные данные по следующим функциям: маркетинг, продажи, логистика, операционная деятельность, финансы, управление персоналом, управление активами, управление инвестициями которые хранятся в смежных ИТ-системах — CRM, ERP, SCM, PPM, HR, BI и других. Перенос данных из CRM, ERP, BI в ИБП осуществляется с помощью процесса сбора и подготовки.
Важные особенности
При использовании процесса сбора и подготовки данных необходимо учитывать несколько особенностей, таких как формат обмена данными, механизм, обмена, его регулярность, правила работы с изменениями данных, форматы кодировки символов, структура передаваемых данных, правила повышения качества данных (приведение к единому НСИ, устранение дубликатов и ошибок, согласование полей данных, преобразование данных в нужный формат и т.д.)
Также важно учитывать источник данных и его достоверность, чтобы исключить возможность введения ложных данных. При передаче большого объема данных рекомендуется провести предварительный анализ и очистку данных, чтобы минимизировать возможность ошибок и ускорить процесс передачи данных.
Прямой и обратный обмен данными со смежными корпоративными системами
Прямой и обратный обмен данными со смежными корпоративными системами играет ключевую роль в обеспечении эффективного функционирования бизнес-процессов и обмена информацией между различными отделами компании.
Прямой обмен позволяет передавать данные в реальном времени без задержек, что улучшает координацию действий и помогает принимать оперативные решения. Обратный обмен данными, в свою очередь, позволяет получать обратную связь от смежных систем, что помогает выявлять проблемы и улучшать процессы.
Импорт/экспорт данных через MS Excel
Импорт и экспорт данных через MS Excel является одним из наиболее популярных и удобных способов обмена информацией между различными программами и системами.
MS Excel позволяет легко импортировать данные из других источников, таких как базы данных, текстовые файлы или веб-страницы, а также экспортировать данные из таблиц MS Excel в другие форматы, такие как CSV, XML, JSON или даже в базы данных.
Поиск логических несоответствий
При сборе и подготовке данных, особенно в больших объемах, важно проводить поиск логических несоответствий для обеспечения правильности и достоверности информации.
Обычно он включает проверку соответствия формата данных, их целостности, соответствия ожидаемым значениям, наличия дубликатов и отсутствующих данных, а также других потенциальных ошибок, которые могут привести к недостоверным результатам анализа.
Low-code инструментарий
Low-code упрощает процесс сбора и подготовки данных из различных источников, поскольку нет необходимости писать сложные скрипты или использовать специализированные инструменты.
С помощью удобного визуального интерфейса и предварительно настроенных шаблонов пользователи могут быстро и эффективно загрузить данные в свои приложения, экономя ресурс программистов, а также упрощая и ускоряя процесс обработки информации.
Практическая реализация
В ходе обучения студенты ВШЭ изучали возможности по импорту данных в платформах Knowledge Space, Optimacros и Форсайт. Ниже представлены результаты этого исследования.
Optimacros
Система поддерживает импорт и экспорт данных через Excel, бесшовный импорт данных и ручной ввод данных через таблицы и формы в интерфейсе системы. В последнем варианте пользователи могут вводить данные вручную, а также выбирать значения, объекты и операции через таблицы, дашборды и другие интерфейсы, что повышает удобство работы и гибкость использования.
Все данные проходят проверку на соответствие установленным логическим правилам, что обеспечивает их достоверность и корректность.
Визуализация ошибок и несоответствия исходных данных логическим правилам в Optimacros реализована частично. Платформа предоставляет указатели на ошибки в операциях с данными, что помогает пользователям выявлять проблемы. Однако отсутствуют подсказки или идеи по исправлению ошибок, поэтому до начала работы в системе пользователь должен владеть определенными знаниями касательно возможных ошибок в импорте/экспорте и ручном вводе данных и знать пути их решения.
Добавление расчетных полей и аналитик без привлечения разработчиков возможна благодаря мультикубам. Пользователи могут самостоятельно добавлять новые расчетные поля.
![Михаил Стаценко](https://iaassaaspaas.ru/wp-content/uploads/2024/07/mihail-statsenko-optimacros.jpeg)
По своему опыту могу сказать, что платформа Optimacros предоставляет наиболее универсальное и простое решение задач интеграций. Особенность платформы — возможность настройки интеграций пользователем без необходимости изучения структуры данных источника. Optimacros поддерживает весь спектр интеграций:
- загрузка существующих файлов Excel: этот формат довольно часто встречается в проектах;
- подключение к различным базам данных (БД): поддерживается как импорт данных, так и выгрузка результатов из Optimacros в БД;
- интеграция с 1С: частая задача на проектах, где платформа «встраивается» в существующую инфраструктуру заказчика;
- получение данных по API: этот способ распространен при интеграции в
- существующую систему с микросервисной архитектурой;
- подключение к сетевым папкам и FTP хранилищам: Optimacros поддерживает автоматическую загрузку файлов из папки с учетом паттерна имени, а также выгрузку отчетов обработки каждого файла.
Optimacros предлагает low-code конструктор модели данных, совместимый с основными системами управления базами данных. Это делает систему универсальной, но для полноценного использования требуется знание устройства СУБД.
Low-code конструктор настройки интеграций позволяет настраивать кастомные интеграции через API. По соображениям безопасности интеграция API требует расширенной функциональности как на стороне клиента, так и на серверных сторонах.
Knowledge Space
Возможности интеграции платформы KS позволяют гибко управлять данными, как внутри KS, так и в сторонних системах, в которых находятся бизнес-данные, которые необходимы для построения бизнес-моделей. Интеграции KS позволяют реализовать как прямой, так и обратный обмен данными со смежными ИТ-системами.
![Андрей Медников](https://iaassaaspaas.ru/wp-content/uploads/2024/07/mednikov-ks.jpg)
Интегратор реализует объединение всех требуемых операций для манипуляции данными в одну общую цепочку, чем упрощает работу по настройке интеграции. Также он позволяет выполнять операции последовательно и параллельно, не дожидаясь выполнения предыдущей операции, что существенно улучшает быстродействие системы.
Интеграция данных на платформе KS поддерживается в трех типах:
- Подключение к внешним базам данных, поддерживаются большинство популярных СУБД (MySQL, Oracle, Postgres, MSSQL, Clickhouse);
- Получение данных через шины данных, поддерживаются шины данных на базе Kafka, RabbitMQ и IBMMQ;
- Подключение к внешним системам через API и получение оттуда данных напрямую посредством JSON.
Кроме того, на платформе KS реализована возможность экспорта/импорта таблиц в/из Excel в том же стиле и с теми же настройками визуализации. Возможна настройка различных шаблонов для выгрузки данных и настройки полей для импорта.
![Пример интерфейса настройки интеграций на платформе KS](https://iaassaaspaas.ru/wp-content/uploads/2024/07/primer-interfeysa-nastroyki-integratsiy-na-platforme-ks-1024x520.png)
Платформа KS также поддерживает ручной ввод и корректировку данных внутри интерфейса с последующей автоматической передачей данных в базу. Все изменения логируются с указанием времени и пользователя, который их внес. Данные можно проверять при интеграции, задавая правила обработки для исключения нежелательных данных. Некорректные и сомнительные данные можно подсвечивать с помощью инструмента условного форматирования, что облегчает их визуальное выявление, также существует возможность создания отчетов по ошибкам.
Форсайт
С помощью встроенного инструмента сбора и подготовки данных (ETL) решения «Форсайт Аналитическая платформа» бизнес-пользователи могут самостоятельно загружать данные из внешних источников, проводить их преобразование, производить обратную загрузку во внешние системы потребители. Схема загрузки и обработки данных строится на графическом интерфейсе с помощью механизмов «drag&drop» перетаскивания объектов. Инструмент позволяет проводить следующие операции:
- Слияние, разделение;
- Удаление дубликатов;
- Группировку, фильтрацию, сортировку данных перед их загрузкой;
- Проверку исходных данных на соответствие правилам;
- Настройку очередности выполнения операций;
- Протоколирование загрузки данных;
- Поддержку большого количества источников данных: OLE DB; баз данных Microsoft Access, Visual FoxPro, DBase; файлов: Excel, XML, HTML, TXT, CSV, JSON, REST;
- Добавление и создание пользовательских шаблонов загрузки и преобразования данных (новая функциональность).
Также пользователь может выполнить загрузку данных из MS Excel без подготовки, в несколько кликов, но с ограниченными возможностями их обработки.
Возможность визуализации ошибок и несоответствий в данных помогает пользователям идентифицировать и исправлять проблемы. Сервис автоматического заполнения полей позволяет пользователям самостоятельно добавлять расчётные поля и аналитику для ускорения процесс работы.
Альтернативой загрузки данных является ручной ввод через формы ввода. В формах ввода могут быть заданы правила контроля, которые в случае нарушения визуально подсветят ошибочные ячейки. Функционал может быть настроен индивидуально под каждого пользователя.
Также в формах ввода можно задать правила расчета, которые «на лету» выполняют расчет зависимых показателей.
Но нужно помнить, что инструмент сбора и подготовки данных (ETL) от компании «Форсайт» решает прикладные задачи загрузки данных в (из) репозитория и не может обладать такой же производительностью, как специализированные западные, не зарегистрированные в ЕРРП решения (Informatica, Oracle Data Integrator).
Михаил Федоров, ведущий продуктовый менеджер компании «Форсайт»:
Задачи интеграции с внешними системами успешно решаются во всех проектах на базе «Форсайт. Аналитическая платформа». В качестве примера можно привести настройку задач ETL в рамках создания прототипа для крупного заказчика из энергетической отрасли — загрузка данных по бюджетным показателям компаний для целей дальнейшей консолидации по группе компаний.
![Настройка задач ETL для заказчика из энергетической отрасли. Реальный прототип на платформе Форсайт](https://iaassaaspaas.ru/wp-content/uploads/2024/07/zadacha-zagruzki-dannyh-po-byudzhetnym-pokazatelyam-iz-faylov-excel-1024x656.png)
Заключение
Все решения предоставляют хороший функционал для импорта. Наиболее острой является задача поиска логических несоответствий в массиве данных.
Вопрос прямой интеграции актуален только с популярными системами, такими как 1С, Битрикс и другие. Ручной ввод полезен при точечных исправлениях данных, а для полноценного импорта в большинстве ситуаций крайне трудозатратен из-за огромных размеров современных баз данных.
Для настройки интеграции с произвольными ИТ-системами хорошо подходит API-интерфейс.