Вступление
Обработка документов длительное время была рутинной задачей, выполнять которую приходилось вручную. С появлением сервисов на искусственном интеллекте в большинстве организаций, этот процесс в значительной мере был упрощен и автоматизирован. Компания Microsoft была одним из лидеров по внедрению и развитию ИИ, результатом чего стал продукт AI Builder. Это сервис без кода/с низким кодом, который помогает разработчикам быстро приступить к созданию моделей ИИ, позволяя им читать и понимать данные, предоставляемые для обработки. Одна из таких категорий включает модель обработки форм.
Она может использоваться для обучения различных форм, например те, которые вам необходимо отправить в налоговую, или же это могут быть сведения о сотруднике и т. д. Другим типом форм могут быть счета-фактуры и квитанции.
Чтобы ускорить и упростить процесс обучения пользователей, Microsoft разработала готовые шаблоны.
Используя эти шаблоны, вы можете создавать и обучать модели для чтения и обработки счетов-фактур и квитанций. После обучения модель может использоваться для извлечения информации из счетов, таких как имя клиента, сумма счета и т. д. После чего она использует эти данные для дальнейшей обработки.
Корпорация «Майкрософт» предлагает решение для автоматизации документов, которое можно назвать уверенным шагом вперед. Оно представляет собой приложение со сквозным шифрованием, которое можно просто загрузить и начать использовать без необходимости писать какой-либо код.
Продукт Document Automation в настоящее время находится на стадии тестовой версии и доступен только в определенных регионах.
Он устанавливается с собственным набором инструментов, включая приложение для поддержки Canvas, потоки и промежуточные объекты для хранения деталей извлеченной информации.
Решение было разработано для сценария, в котором вы получаете формы в виде вложений электронной почты, которые необходимо обрабатывать автоматически.
Используя приложение Canvas, вы можете выбрать модель для использования в приложении и просмотреть результаты обработки документа.
Предпосылка
Для настройки и использования функции автоматизации документов вам потребуются следующие лицензии:
-
Лицензия Power Automate — для запуска всех потоков, присутствующих в решении для автоматизации документов.
-
Лицензия Power Apps — для просмотра документа вручную и для пользователя, выполняющего настройку.
Установка и настройка
Процесс инсталляции и настройки выглядит таким образом:
1. Перейдите на страницу flow.microsoft.com и выберите свою рабочую среду.
2. На левой панели навигации разверните раздел AI Builder и нажмите «Автоматизация документа» (предварительный просмотр).
3. На сегодня доступно только приложение для обработки пользовательских документов. Нажмите «Выбрать», чтобы продолжить.
4. Теперь вам будет предложено установить решение Custom document, нажмите Install solution, как показано на изображении ниже.
5. После импорта решения нам необходимо настроить соединение для портов, используемых приложением. Выберите одно из существующих подключений, если оно у вас уже есть для этого типа соединителя, или нажмите «+», чтобы создать новое.
6. Нажмите «Создать», чтобы продолжить и создать новое соединение для каждого из портов.
7. После обновления всех подключений нажмите кнопку «Далее».
8. После завершения всех шагов настройки и успешной установки решения вы увидите кнопку «Открыть приложение», выделенную на скриншоте ниже.
9. И если вы перейдете в раздел APP, то найдете следующее доступное приложение:
Затем необходимо создать модель, которая была «обучена» распознавать документы, которые нам нужно обработать, прежде чем можно будет продолжить и запустить приложение.
Постройте свою модель
Для этого проделайте такие шаги:
1. Перейдите к моделям и нажмите кнопку «Построить модель ИИ».
2. Теперь выберите раздел «Обработка формы».
3. Введите подходящее имя для своей модели и нажмите кнопку «Создать».
4. Затем нужно предоставить поля или данные, которые следует извлечь для документов.
Так выглядит образец формы, которую нужно автоматизировать. Приведенный ниже документ будет получен в виде вложения, поэтому требуется создать модель, которая будет определять и извлекать имя, название компании и страну из документа.
5. Создайте поле для каждого из трех вышеуказанных пунктов.
6. Следующим шагом является предоставление образцов форматов документов и обучение модели распознаванию документа и извлечению данных для этих полей. Вам необходимо предоставить минимум 5 документов для обучения модели, но чем больше, тем лучше, поскольку это помогает лучше обучать модель и делает ее работу более точной.
Создайте по одному набору для каждого типа формы, которая будет отправлена в модель для обработки. Если у вас есть только один тип формы, который будет обрабатываться, вы можете добавить их все в один набор.
7. Щелкните по пункту «Набор 1» под надписью «Добавить документы», чтобы загрузить документы.
8. После загрузки всех документов нажмите кнопку «Анализировать».
9. На этом этапе происходит обучение модели, связываются данные в форме с полями, которые были созданы первоначально. Теперь нужно нажать кнопку «Показать обнаруженные слова вверху».
10. Для сопоставления сначала необходимо выбрать значение, а затем выбрать соответствующее поле, как показано на скриншоте ниже:
-
Если вы обнаружите, что AI Builder автоматически сопоставил значения, но они неверны, вы можете удалить тег и пометить его соответствующим полем.
-
Если вы обнаружите, что данные для некоторых полей отсутствуют в конкретных документах, вы можете использовать параметр «Недоступно» в документе, чтобы пропустить это поле
11. После сопоставления полей нажмите кнопку «Далее».
12. Теперь ваша модель готова к обучению.
Процесс обучения занимает несколько минут в зависимости от выбранных полей и предоставленных документов. После обучения модели мы можем провести быструю проверку, предоставив образец документа, и посмотреть, извлекает ли она информацию должным образом.
13. Опубликуйте модель, чтобы она была доступна для использования в ваших приложениях Flows и Canvas.
После публикации модели вы готовы настроить приложение с помощью Canvas.
Настройка приложения
Начать стоит с настройки. Для этого необходимо щелкнуть по вкладке «Конфигурация», а затем нажать кнопку «Добавить конфигурацию».
Здесь вы найдете созданную вами ранее модель. Выберите ее и нажмите «Далее».
Таким образом отображаются поля, определенные в модели. Вы можете просмотреть извлеченную информацию в таблице «Document Automation Data» в полях Data1, Data2, Data3. Сохраните эту конфигурацию.
Как работает приложение для автоматизации документов?
Чтобы протестировать процесс, вам необходимо отправить электронное письмо с формой в виде вложения.
Примечание. Модель обработки форм в настоящее время поддерживает только файлы PDF, JPEG и PNG.
После того, как электронное письмо будет получено и обработано, вы найдете документ, указанный на вкладке списка документов в приложении холста Document Automation Application.
Щелкните вкладку, чтобы просмотреть извлеченную информацию.
Если все в порядке, нажмите «Проверить», чтобы изменить статус документа на «Подтвержден».
Примечание. Чтобы просмотреть извлеченные данные, перейдите в меню «Данные Power Apps»> «Таблицы» и в таблицу «Данные автоматизации документов».
Приложение Document Automation демонстрирует автоматическую обработку форм для извлечения информации из них. Оно позволяет конечным пользователям проверять данные, извлеченные из отправленных форм, и сохранять их в таблице в Dataverse для дальнейшего использования.
Разработчики Citizen могут использовать его в качестве справочника, чтобы понять, как возможности построения искусственного интеллекта Power Platform могут быть использованы для разработки приложений автоматизации, ориентированных на их собственные потребности.