Внедрение искусственного интеллекта в компаниях чаще всего выглядит как запуск чат-бота для поддержки или аналитического помощника. Его роль проста: подготовить информацию для человека, который примет решение. Но вскоре эта логика рухнет. ИИ перестанет «советовать» и начнет самостоятельно действовать: подписывать документы, выбирать подрядчиков, управлять закупками. Вместо инструмента бизнес получит виртуального сотрудника. И управлять им нужно будет не как программой, а как подчиненным – четким мандатом, зоной ответственности и системой контроля.
Два прорыва, которые изменили искусственный интеллект
- ИИ получил «руки». Model Context Protocol (MCP) – это универсальный стандарт, позволяющий ИИ напрямую подключаться к сайтам, CRM, банковским системам, другим сервисам. Теперь этот мозг не только думает, но и может нажимать кнопки, заполнять формы, отправлять платежи.
- ИИ-системы научились договариваться друг с другом. Благодаря технологии Agent2Agent (A2A). ИИ-закупщик, получив коммерческие предложения от ИИ-поставщика, может автономно согласовать условия, подготовить контракт и провести тендер. Автоматизация выходит за пределы компании – во внешнее B2B-пространство.
Новая экономика: платят не за действие, а за ответственность
Генерация текстов, кода или отчетов окончательно станет дешевым товаром массового потребления. Новой ценностью станут верифицированные действия – гарантированно правильные, законные и застрахованные. Бизнес будет платить не за то, что ИИ «что-то сделал», а за то, что это сделано:
- Законно (в рамках конкретной юрисдикции).
- Корректно (без ошибок, влияющих на результат).
- Ответственно (есть конкретный ответственный для претензии).
Это создаст новые рынки: цифровых гарантов, страховок для ИИ-агентов и систем независимого аудита их действий.
Геополитика: один интернет, три режима ответственности
Уже видно, что мир не раскалывается на несколько интернетов, а делится на несколько правовых режимов для ИИ. Условно говоря:
- В США и ЕС считают приоритетом в развитии ИИ ответственность и юридическую прозрачность.
- В Китае главное – скорость и масштабирование.
- Для России важным является приоритет контроля и автономности.
Для глобального бизнеса это означает обязательное появление комплаенс-шлюзов – архитектурных модулей, которые будут менять логику поведения одного и того же ИИ-агента при пересечении цифровых границ с разными юрисдикциями.
Управленческая архитектура агентского ИИ
Переход от «ИИ-инструмента» к «ИИ-агенту» потребует новой управленческой рамки. Технологию предварительно нужно будет встроить в систему ролей, прав и ограничений. Вследствие этого в компаниях начнут формироваться три новых уровня управления:
- Уровень мандата. Здесь будет формулироваться, что именно ИИ может делать самостоятельно, а где обязан запрашивать подтверждение человека. Это не технический, а управленческий вопрос, аналог доверенности с лимитами.
- Уровень трассируемости. Любое действие ИИ должно быть воспроизводимо, объяснимо и задокументировано: кто инициировал, по каким правилам, с какими входными данными. Иначе это «черный ящик», из которого вылетают «черные лебеди» юридической уязвимости.
- Уровень ответственности. Появится должность AI-owner – это ответственный человек за последствия принятия бизнес-решений агентским ИИ. Ровно так же, как есть владельцы продуктов, процессов и рисков.
Что меняется для компаний с приходом ИИ-агентов
- Фокус смещается с «интеллекта» на «ответственность». Никто больше не будет покупать «самое умное» ИИ. Бизнес будет покупать гарантию. Ключевым вопросом при выборе интеллектуальной системы станет: «Кто будет платить миллионы за ошибку ИИ?».
- ИИ больше не PR-элемент, а строка в отчете о прибылях и убытках. ИИ перестает быть статьей расходов на инновации и становится инструментом оптимизации издержек или генерации прибыли. Оценка эффективности технологии смещается к классическим бизнес-метрикам: ROI, снижение операционных рисков, экономия времени.
- Основной актив – это не возможность сказать: «Да», а право сказать: «Нет». В мире автономных решений самые эффективные системы – не те, что умеют что-то делать, а те, которые гарантированно не делают чего-то рискованного. «Refusal Engine» (двигатель отказа) – это страховка от катастрофических ошибок, которые агент может совершить за микросекунды.
Выводы
- ИИ – это инструмент управления рисками, а не IT-сервис. Задача менеджмента – прописать для него «должностную инструкцию» и рамки.
- Автономия без контроля опаснее, чем ее отсутствие. Чревато внедрять агентов раньше, чем выстраивать систему их аудита.
- Ключевым навыком становится грамотная постановка задачи. Четкость формулировок, критериев успеха и «красных линий» – это критично.
- Доверие становится инфраструктурой. Конкурировать будут не скорости ИИ, а надежность его решений и ясность ответственности.
Главный вопрос будущего – это не «Что может сделать ИИ?», а «Как оно будет использовать право говорить «нет» от имени компании?». Именно ответ на этот вопрос и определит, кто устоит в завтрашней реальности, где ИИ – больше не технологическая инновация, а стандартная бизнес-инвестиция.
Фото в анонсе: freepik.com
Также читайте:
добрый день, Николай,
ровно такой же вопрос возник.
насколько понимаю, в статье идет речь об уровне ANI, даже не AGI.
будет просто поразительно, если человек сможет контролировать систему, которая умеет думать на сверхскоростях, не устает и наделена автономной способностью действовать и генерировать ошибки с непредсказуемой скоростью. может за каждым таким «сотрудником» закрепят человека, и система будет иметь смысл за счет колоссальной производительности?
но если сам человек при этом будет погружен в вынужденное бездействие на какие-то периоды времени… а если на гипотетическом уровне ASI?..
сплошные «если», но уже сейчас HKS «аварийный выключатель» превращается в отдельный сектор IT, но все равно вопрос: а это можно назвать контролем?
Например, в Системах автоматики есть аварийно-предупредительная сигнализация.
Предупредительная сигнализация (ПС) - это когда Система действует сама, но выдает информацию об определенных событиях, на основании чего оператор может вмешаться в действие Системы.
Аварийная сигнализация (АО - аварийный останов) - это когда Система сама совершает противоаварийное действие, ну а далее работа возможна только после вмешательства опреатора.
Разрешительная сигнализация (например предпусковые условия ППУ) - это когда Система требует соблюдения определенных условий и разрешений для определенных действий, например, пуска агрегата.
Ну и дополнительно есть различные Системы диагностики, которые помогают разобраться с разными ситуациями, например, вибродиагностика.
Что-то похожее можно и в этом случае построить, со своими особенностями, разумеется.
Михаил, добрый день,
спасибо.
правильно ли понимаю, что эти системы проверены только на скриптах в достаточной мере и сложно спрогнозировать как этот опыт ляжет на AI уровнем выше ANI, или, например, вы, обладая профильным образованием и практическим опытом в инженерно-конструкторской сфере можете уверенно оценить качество применения приведенных вами методов контроля в рамках AGI и ASI?
мне кажется это априори невозможно, нет даже вводных, которые можно «скормить» мат.моделям, но это просто мнение «неинженера».
Добрый день, Елена!
С системами ИИ я дел не имел, поэтому конкретно как для таких систем решать проблемы контроля, я не знаю.
Я имел в виду чисто методологически, как контролировать Систему.
Что и в какой форме надо представить для информации и предупреждения.
Что требует обязательного вмешательства человека, а что не требует.
Ну и как надо расставить приоритеты.
совет, начале разберитесь с тем как они устроены, там куча проблем зашита в саму технологию. Сейчас это мыльный пузырь, который переливается разными красками.
кто то на это ведется, а кто то хочет денег срубить... я выше дал ссылку, если не будет лень, то там описаны системные проблемы, с которыми они стплкнулись на практике.
Николай, спасибо.
наличие "пузырей" естественно, ведь спрос рождает предложение.
дело не в лени. просто множество информационных источников сегодня для меня невалидны. но само их наличие и технологии использования + наличие AI хотя бы на уровне нейросетей дает множество возможностей, в т.ч. «пузырям». выстрою хотя бы такую цепочку:
1. повсеместное применение ИИ усиленно транслируют в массы как неизбежность.
2. параллельно ведутся исследования и разработки чипов и технической инфраструктуры для апгрейда человеческих возможностей.
3. нет необходимости реально доводить нейросети до масштабов AGI. достаточно просто громко, уверенно и многократно информировать максимальное количество людей, что это произошло и сделать пн.2 массово доступным.
в таком ключе не придется изобретать ни системы принуждения, ни сложнейшие системы контроля.
лучше иметь своё собственное мнение
Совершенно справедливо! Вообще, ИИ, как и многое другое - оружие обоюдоострое. И у исполнителей есть доступ к ИИ и у руководителей. Одни - генерируют и как-то фильтруют, другие просят найти в представленном противоречия, слабые места и т.д. Причем, столь любимые сейчас LLM не подозревают "кто спрашивает и с какой целью". Так что, как ни верти, а все опять сведется к личным профилям, т.е. "кто есть кто" на самом деле. А хайп пройдет. И останется "сияние личности", как говорят на Востоке (при наличии).
100% согласен, при этом ценность его заключается в том, что ИИ легко может сгенерить правдоподобную хрень, в которую кто то будет верить и ваш руководитель в том числе.
При этом лизоюлюдство у БЯМ мама не горюй...
Это банальный факт, о котором почему-то все забывают, его можно использовать как инструмент манипуляции в эпистолярном жанре, так и для предмента их анализа, как для для подготовки КП, так и его анализа.