Human in the Loop: как контролировать ИИ-агентов и избежать ошибок в бизнес-процессах

ИИ-агенты способны самостоятельно обрабатывать документы, сопоставлять данные, формировать коммерческие предложения и выполнять действия в корпоративных системах. Но чем больше задач компания передаёт искусственному интеллекту, тем важнее становится вопрос: как контролировать работу ИИ-агентов и предотвратить ошибки, которые могут привести к финансовым потерям или нарушению бизнес-процессов?

Один из способов снизить такие риски – Human in the Loop (HITL), подход, при котором человек участвует в принятии определённых решений ИИ-системой.

Разберём, почему ИИ-агенты ошибаются, какие действия можно доверить им полностью, когда необходимо согласование с сотрудником и как организовать контроль без постоянной ручной проверки каждого результата.

В отличие от обычного чат-бота, корпоративный ИИ-агент не просто отвечает на вопросы. Он может обращаться к базам данных, использовать программные инструменты, анализировать документы и выполнять последовательность действий: от обработки входящего запроса до внесения информации в ERP или CRM.

Такая автономность открывает возможности для автоматизации, но одновременно увеличивает последствия ошибок.

Предположим, компания использует ИИ-агента для подготовки коммерческих предложений. Система получает запрос клиента, извлекает из него товарные позиции, сопоставляет их с каталогом поставщика и рассчитывает стоимость заказа.

В большинстве случаев агент может правильно выполнить задачу. Но что произойдёт, если он:

• подберёт товар с похожим названием, но неподходящими техническими характеристиками;
• неправильно интерпретирует единицы измерения или количество;
• использует устаревшую цену из базы данных;
• не заметит противоречие между письмом клиента и приложенной спецификацией;
• самостоятельно выберет аналог товара, который требует согласования с заказчиком?

Если результат без проверки попадёт в коммерческое предложение, компания рискует отправить некорректные условия поставки, потерять прибыль или принять на себя обязательства, которые не сможет выполнить.

Подобные риски использования ИИ в бизнесе возникают не только из-за ошибок языковой модели. Причиной могут стать неполные исходные данные, неправильные настройки интеграций, противоречивые

Полностью исключить ошибки ИИ практически невозможно. Но можно построить процесс таким образом, чтобы большинство ошибок обнаруживалось до того, как они повлияют на работу компании.

Для этого используется несколько взаимодополняющих механизмов.

Проверка результатов по бизнес-правилам

ИИ-агент может извлечь данные из документа, но прежде чем передать их в корпоративную систему, результат должен пройти проверку.

Например, при обработке инвойса система может автоматически проверить, что сумма позиций соответствует итоговой стоимости, валюта определена корректно, обязательные реквизиты присутствуют, а поставщик найден в справочнике контрагентов.

Такие проверки лучше выполнять программно, по заданным правилам, а не полагаться только на оценку языковой модели.

Сверка с корпоративными данными

Результаты работы ИИ необходимо сопоставлять с достоверными источниками: каталогами товаров, ERP, CRM, нормативно-справочной информацией и исходными документами.

Если агент распознал артикул, это ещё не означает, что позиция существует в товарной базе. Если он извлёк банковские реквизиты из счёта, их совпадение с данными поставщика также может требовать проверки.

Ограничение полномочий ИИ-агента

Не каждое действие, которое агент технически способен выполнить, должно быть ему разрешено.

Например, система может самостоятельно искать товары, сравнивать цены и формировать черновик коммерческого предложения, но не иметь права изменять утверждённые прайс-листы или отправлять клиенту предложение с нестандартной скидкой.

Полномочия определяются на уровне доступа к корпоративным системам и правил выполнения операций. Это позволяет предотвратить часть ошибок ещё до их возникновения.

Подтверждение критичных решений человеком

Когда автоматические проверки выявляют противоречие или действие связано с существенными рисками, агент передаёт задачу ответственному сотруднику.

Этот механизм называется Human in the Loop.

Он не заменяет технические проверки, но позволяет контролировать ситуации, в которых невозможно или нежелательно полностью доверить решение автоматике.

Human in the Loop (HITL) – это подход к построению ИИ-систем, при котором человек включается в автоматизированный процесс на заранее определённых этапах: проверяет неоднозначные результаты, принимает решения или подтверждает действия с повышенным уровнем риска.

HITL не означает, что сотрудник должен постоянно наблюдать за агентом или подтверждать каждый шаг.

Наоборот, одна из главных задач правильно организованной автоматизации – сократить количество ручных операций, сохранив участие человека там, где оно действительно необходимо.

Например, процесс обработки заявки может выглядеть следующим образом:

• ИИ-агент получает письмо клиента и приложенную спецификацию.
• Извлекает товарные позиции и сопоставляет их с каталогом поставщика.
• Проверяет артикулы, характеристики, количество, стоимость и другие параметры.
• Однозначные соответствия обрабатывает автоматически, а спорные позиции передаёт менеджеру.
• Менеджер выбирает правильный товар, подтверждает предложенный аналог или запрашивает уточнение.
• Агент использует согласованные данные для подготовки коммерческого предложения и передачи информации в ERP.

В результате сотрудник не разбирает всю заявку вручную, а работает только с позициями, которые требуют его экспертизы.

Такой подход называют exception-based Human in the Loop – контролем на основе исключений.

При разработке корпоративного ИИ-агента важно заранее определить границы его самостоятельности.

Универсального списка операций, которые обязательно требуют подтверждения, не существует. Требования зависят от специфики бизнеса, стоимости ошибки, возможности отменить действие и действующих регламентов.

Условно действия агента можно разделить на три категории.

1. Действия, которые можно выполнять автоматически

Это типовые, хорошо проверяемые операции с ограниченными последствиями ошибки.

Например:

• классификация входящих писем и документов;
• извлечение реквизитов из стандартных форм;
• поиск товаров по точному артикулу;
• проверка обязательных полей;
• подготовка черновиков документов;
• поиск информации в корпоративной базе знаний.

Если результат проходит установленные проверки, участие человека может не требоваться.

2. Действия, требующие согласования при определённых условиях

К этой категории относятся операции, которые обычно можно автоматизировать, но иногда они становятся неоднозначными или рискованными.

Например, агент самостоятельно сопоставляет товар из заявки с каталогом, если артикул и обязательные характеристики совпадают. Если точного соответствия нет, он может предложить несколько аналогов, но окончательный выбор передать менеджеру.

Аналогично при обработке документов: если сведения из нескольких источников совпадают, данные могут быть приняты автоматически. При обнаружении расхождений система отправляет их на проверку.

3. Действия, требующие обязательного подтверждения

Некоторые операции могут иметь значительные финансовые, юридические или операционные последствия.

Например:

• проведение платежей;
• изменение банковских реквизитов контрагента;
• утверждение нестандартных скидок и коммерческих условий;
• удаление критически важных данных;
• подписание или отправка юридически значимых документов;
• изменение прав доступа к корпоративным системам.

Для таких операций может требоваться обязательное согласование независимо от того, насколько агент уверен в результате.

Важно также учитывать, что подтверждение сотрудника – не единственный способ контроля. Определённые действия агенту можно полностью запретить на уровне системных разрешений.

Рассмотрим, как контроль действий ИИ-агентов может быть реализован в задачах, с которыми работают компании, использующие сложные документы, технические спецификации и корпоративные информационные системы.

Автоматизация подготовки коммерческих предложений

Компания регулярно получает запросы на поставку товаров в виде электронных писем, PDF-файлов или Excel-спецификаций. Менеджерам приходится вручную искать соответствия в каталогах поставщиков, сравнивать технические характеристики, уточнять наличие и формировать коммерческие предложения.

ИИ-агент может автоматизировать значительную часть этой работы: извлечь позиции, выполнить сопоставление с номенклатурой, подобрать варианты и подготовить данные для расчёта стоимости.

Но при работе со сложной номенклатурой не все соответствия однозначны.

Например, клиент запрашивает конкретную модель оборудования, которой нет в каталоге. Агент находит два похожих товара, один из которых отличается материалом корпуса, а другой – рабочим давлением.

Вместо самостоятельного выбора система показывает менеджеру найденные варианты, характеристики и причину, по которой требуется согласование.

После решения сотрудника агент продолжает обработку заказа.

Что получает бизнес: ускорение подготовки КП, сокращение ручного поиска по каталогам и снижение риска неверного подбора товаров.

Подробнее: ИИ-автоматизация подготовки коммерческих предложений.

Обработка и проверка документов ВЭД

Во внешнеэкономической деятельности сотрудники работают с инвойсами, упаковочными листами, контрактами, транспортными документами и другими источниками информации.

Данные в этих документах могут отличаться по формату, детализации и даже содержанию. Например, сведения о количестве или весе товара могут быть представлены по-разному.

ИИ-агент извлекает информацию, сопоставляет значения между документами и проверяет их по заданным правилам.

Если обнаружено расхождение, система фиксирует проблему и передаёт её специалисту. Например:

• в инвойсе и упаковочном листе не совпадает вес товара;
• для позиции отсутствует обязательная характеристика;
• данные контрагента не соответствуют сведениям в корпоративном справочнике;
• информация из нескольких документов допускает разные интерпретации.

Сотрудник получает не просто уведомление об ошибке, а конкретные значения, ссылки на исходные документы и объяснение причины проверки.

После уточнения данных агент продолжает подготовку информации для последующих операций.

Что получает бизнес: сокращение ручной сверки документов и возможность выявлять противоречия до переноса сведений в учётную или специализированную систему.

Подробнее: Автоматизация документов ВЭД.

Распознавание архитектурных и инженерных чертежей

При обработке технической документации системы компьютерного зрения могут распознавать элементы чертежей, извлекать размеры, обозначения и геометрические характеристики.

Однако результат зависит от качества изображения, сложности схемы и используемых обозначений.

Например, система распознала большинство элементов плана, но не смогла однозначно определить границу помещения или прочитать размер.

Вместо того чтобы передавать сомнительные данные в дальнейшие расчёты, она выделяет соответствующий участок чертежа для проверки специалистом.

Инженер уточняет результат, после чего обработка продолжается.

Что получает бизнес: автоматизацию трудоёмкого анализа чертежей с сохранением контроля над данными, от которых зависят расчёты и последующие операции.

Подробнее: ИИ-распознавание чертежей.

Часто бывает так, что формально компания использует ИИ, однако экономия рабочего времени оказывается небольшой: вместо ввода информации вручную сотрудники занимаются бесконечными проверками.

Чтобы избежать такой ситуации, контроль должен быть выборочным и учитывать характер операции.

Определить критерии передачи задачи человеку

Для каждого процесса необходимо описать условия, при которых агент может завершить операцию самостоятельно, а когда должен остановиться.

Например, автоматическая обработка допускается, если товар найден по точному артикулу, обязательные характеристики совпадают, а цена получена из актуальной базы данных.

Если хотя бы одно из условий не выполняется, агент направляет позицию на согласование.

Показывать сотруднику только проблемные данные

Хорошо организованный Human in the Loop не должен заставлять пользователя повторять всю работу системы.

Если в заявке из 100 товарных позиций только пять требуют уточнения, сотрудник должен получить на проверку эти пять, а не просматривать весь список заново.

При этом важно показывать исходную информацию, предложенное решение и причину возникновения исключения.

Разделять уверенность модели и результаты проверки

Высокая оценка уверенности со стороны ИИ не гарантирует правильности ответа.

Поэтому решение об автоматическом выполнении операции должно учитывать не только оценку модели, но и результаты независимых проверок: совпадение артикулов, обязательных характеристик, суммы, валюты и других бизнес-параметров.

Сохранять историю решений

Система должна фиксировать, какие действия выполнил агент, почему задача была передана сотруднику, какое решение принял человек и что произошло после согласования.

Это позволяет анализировать причины ошибок, совершенствовать правила обработки и разбирать спорные ситуации.

Таким образом, контроль ИИ-агентов становится частью автоматизированного бизнес-процесса, а не отдельной ручной процедурой.

Добавление ручного подтверждения не гарантирует, что автоматизация станет безопасной и эффективной.

Есть несколько ошибок проектирования, которые способны свести преимущества HITL к минимуму.

Первая ошибка – доверять агенту все действия, кроме финального подтверждения

Если агент получил избыточные права на изменение данных или выполнение внешних операций, формальная кнопка согласования в конце процесса не обеспечит полноценный контроль.

Ограничения доступа должны действовать на протяжении всего процесса.

Вторая ошибка – передавать человеку слишком много операций

Когда сотрудник вынужден подтверждать сотни типовых действий, проверки превращаются в формальность. Это увеличивает нагрузку и повышает риск того, что действительно важная ошибка останется незамеченной.

Третья ошибка – не объяснять причину согласования

Сотрудник не может эффективно проверить результат, если видит только предложение агента и кнопки подтверждения. Ему необходимы исходные данные, контекст, выявленные противоречия и доступные варианты решения.

Четвёртая ошибка – не предусмотреть обработку отказов и задержек

Что произойдёт, если менеджер отклонит предложенный товар? Если специалист не ответит на запрос согласования? Если документ содержит ошибку, которую нельзя исправить без обращения к клиенту?

Эти сценарии необходимо проектировать заранее, включая возможность остановки процесса, возврата задачи и передачи её другому ответственному сотруднику.

Пятая ошибка – не измерять качество автоматизации

Количество обработанных документов само по себе не показывает, насколько полезна система.

Нужно отслеживать долю полностью автоматических операций, частоту исключений, ошибки, пропущенные проверками, время работы сотрудников и стоимость обработки одной заявки или документа.

Без таких показателей сложно определить, действительно ли ИИ снижает трудозатраты и риски.

Полная автономность не обязательно должна быть целью с первого дня внедрения. Для многих компаний эффективнее поэтапный подход.

На начальном этапе ИИ-агент выполняет задачу и предлагает результат, а сотрудник проверяет большую часть решений. Это помогает оценить качество системы на реальных данных и выявить типичные ошибки.

По мере накопления статистики можно выделять категории операций, которые агент выполняет стабильно и правильно, и постепенно переводить их в автоматический режим.

Например, сначала менеджер проверяет каждое сопоставление товарной позиции с каталогом. После анализа результатов система получает право самостоятельно принимать точные соответствия, отвечающие заранее определённым правилам.

Ручное согласование сохраняется для новых товаров, неоднозначных аналогов и нестандартных коммерческих условий.

При этом расширение полномочий должно основываться на измеренном качестве обработки и оценке рисков, а не только на субъективной уверенности модели.

Исправления сотрудников также могут использоваться для улучшения справочников, правил проверки и логики сопоставления. Для этого не обязательно переобучать языковую модель.

В результате компания постепенно увеличивает долю автоматических операций, сохраняя контроль над критичными решениями.

Полная автономность ИИ-агента не должна быть целью с первого дня. Надёжнее внедрять автоматизацию постепенно: сначала сотрудники проверяют результаты работы системы, а по мере подтверждения её точности типовые операции переводятся в автоматический режим.

При этом критичные действия и неоднозначные ситуации остаются под контролем человека. Для этого ещё на этапе разработки необходимо предусмотреть проверку данных, ограничение полномочий агента, механизмы согласования и журналирование действий.

Главная задача Human in the Loop — не заставлять сотрудников контролировать каждое действие ИИ, а сокращать ручную работу, сохраняя контроль там, где цена ошибки высока.

«Технологика» разрабатывает ИИ-агентов с учётом этих требований: от автоматической обработки документов и сопоставления данных до интеграции с ERP, CRM и другими корпоративными системами.