1. Определите коммерческое решение
Первое решение заключается в том, следует ли приобретать инициативу AI как мощность, как результат, как измеряемый результат или как гибрид этих структур. В ценах на мощность учитывается доступ к программному обеспечению, моделям, инфраструктуре или людям. При установленной цене учитываются согласованные результаты реализации. Окончательное ценообразование частично связывает внимание с измеряемыми изменениями в бизнесе клиента. Гибрид может финансировать неизбежные затраты на доставку, сохраняя при этом переменное вознаграждение за независимо поддерживаемую ценность.
Коммерческий выбор должен зависеть от управляемости результата. Плата за результат наиболее оправдана, когда событие ценности доступно наблюдению, базовый уровень достаточно стабилен для измерения, поставщик может существенно влиять на производительность, а клиент может выполнять необходимые дополнительные действия. Фиксированная плата обычно проще, когда результаты сильно зависят от макроэкономических условий, усмотрения клиентов, наличия нескольких поставщиков или длинных и неопределенных причинно-следственных цепочек.
Команда подрядчика должна записать решение в одном предложении: организация рассматривает определенное изменение с поддержкой AI в пределах определенного периметра для улучшения определенного результата в течение определенного периода измерения, при условии соблюдения названных мер безопасности и максимального разрешенного экономического риска. Это предложение становится контрольной областью для экономического обоснования, технического задания и графика измерений.
NIST организует управление рисками AI вокруг управления, картирования, измерения и управления. В нем говорится, что результаты измерений должны служить основой для постоянного мониторинга рисков и реагирования на них. [1] Это поддерживает архитектуру контракта, в которой коммерческие выплаты зависят от доказательств, предоставленных системой оперативного контроля, а не от ретроспективных переговоров.
Инвестиционный комитет должен утвердить целевой результат, фиксированное и переменное вознаграждение, метод измерения, толерантность к риску, использование данных и условия остановки. Юридические условия должны соответствовать утвержденному экономическому плану. Если схема измерения остается нерешенной, сторонам следует избегать представления переменной комиссии как объективно определенной.
2. Постройте архитектуру ценностного контракта
Контракт должен быть составлен как набор связанных графиков. В генеральном соглашении рассматриваются общие юридические и коммерческие условия. График вариантов использования определяет рабочий процесс и утвержденную цель. График измерений определяет событие значения, базовый уровень, контрфактические данные и расчет. График данных регулирует доступ, обработку, хранение и удаление. График обслуживания определяет доступность, производительность и поддержку. В графике ответственности фиксируются действия поставщиков, клиентов и сотрудников. График обеспечения качества определяет тестирование, доказательства, аудит и отчеты об инцидентах. В коммерческом графике применяются водопад доли прибыли и ограничения.
В каждом расписании должны использоваться одни и те же определенные термины и идентификаторы версий. Одного названия модели недостаточно, поскольку предоставляемая услуга также может зависеть от извлекаемых данных, подсказок, политик, оркестрации программного обеспечения, человеческого анализа, инфраструктуры и последующих решений. Контрактная система должна быть идентифицирована как версионная конфигурация с владельцем и историей изменений.
Архитектура должна отличать обязательства от зависимостей. Поставщик может быть обязан поддерживать задержку ответа и доступность модели. Поставщик может рассчитывать на то, что клиент предоставит своевременные, законные и репрезентативные данные. Заказчик может быть обязан обучать авторизованных пользователей и осуществлять контроль со стороны человека. Измеряемый результат может зависеть от принятия клиентом, реорганизации процесса и управленческих решений. Регистрация этих зависимостей делает атрибуцию и средства правовой защиты более достоверными.
Оригинальный каркас. Юридическая структура, терминология и необходимые графики должны быть адаптированы к сделке и действующему законодательству.
| Расписание | Основной вопрос | Минимум доказательств | Первичное одобрение |
|---|---|---|---|
| Вариант использования | Какая система что может делать, для кого и где | Карта процесса, предполагаемые пользователи, запрещенное использование | Владелец бизнеса и рисков |
| Измерение | Какое изменение считается ценностью | Определение метрики, базовый уровень, метод сравнения | Финансы и операции |
| Данные | Какая информация может быть использована | Карта данных, правовые основания, разрешения, хранение | Владелец данных и руководитель отдела конфиденциальности |
| Услуга | Какую производительность необходимо обеспечить | Доступность, задержка, точность, записи поддержки | Владелец сервиса |
| Гарантия | Как проверяются и оспариваются претензии | Результаты испытаний, журналы, модели и версии управления | Независимый владелец гарантии |
| Коммерческий | Как распределяется подтвержденная стоимость | Водопад, ограничения, исключения, счета-фактуры | Финансы и уполномоченные лица с правом подписи |
Оригинальный каркас. Квалифицированный юрист должен определить структуру документа, подлежащую принудительному исполнению.
3. Определите событие значения
Ценностное событие — это наименьшее наблюдаемое событие, которое связывает использование системы с экономическим результатом. Примеры включают правильно решенный запрос клиента, предотвращение дублирования платежа, принятый инженерный проект, приемлемое предложение, преобразованное в продажу, отгрузка, оформленная без неизбежных задержек, или претензия, обработанная в соответствии с утвержденным стандартом. Общие описания, такие как повышение производительности или принятие более эффективных решений, недостаточно точны для оплаты.
В определении события должны быть указаны единица измерения, начальная точка, точка завершения, дата валютирования, источник данных, правило приемки и правило отмены. Если дело клиента будет возобновлено в течение тридцати дней, возможно, придется отменить первоначальное решение. Если за прогнозируемым событием технического обслуживания следует проверка, не обнаруживающая никаких дефектов, претензия о предотвращении затрат требует предварительно согласованного лечения. В контракте должно быть указано, как обрабатываются повторяющиеся, неполные, отмененные и исключительные события.
Экономическая ценность может находиться на несколько шагов дальше оперативного события. Более быстрое предложение не приносит автоматически доход. Более низкая ошибка прогноза не приводит к автоматическому уменьшению запасов. Успешная рекомендация не меняет автоматически поведение клиента. График измерений должен отображать причинно-следственную связь от результатов работы системы до действий сотрудников, операционных событий, финансовых последствий и денежных последствий. Оплата может быть назначена в тот момент, когда доказательства и контролируемость будут достаточно сильными.
Мероприятие также должно иметь границу качества. Сокращение времени обработки может привести к снижению ценности, если количество ошибок, жалоб или переделок увеличится. Поэтому основной показатель следует сочетать с такими показателями защиты, как точность, безопасность, результат работы клиента, рабочая нагрузка сотрудников, нарушения конфиденциальности и потери в дальнейшем. Событие ценности завершается неудачей, когда происходит существенное нарушение ограждения, даже если основной показатель улучшается.
4. Постройте базовое дерево
Базовый уровень – это ожидаемый результат без предусмотренного контрактом вмешательства. Его следует определить до реализации, используя иерархию доказательств. Наиболее качественным доступным методом может быть одновременная контрольная группа или рандомизированное внедрение. Другие методы включают поэтапное внедрение, сопоставление единиц, разницу в различиях, прогноз, построенный на основе факторов, предшествовавших периоду, или простое историческое среднее значение, скорректированное с учетом согласованных изменений.
В руководстве Всемирного банка эта контрфактическая проблема объясняется необходимостью оценить, что произошло бы с той же единицей без вмешательства. Он описывает экспериментальные и квазиэкспериментальные методы причинного вывода. [5] Коммерческие контракты редко воспроизводят полный исследовательский проект, но та же самая дисциплина помогает предотвратить зачисление всех улучшений после развертывания на систему AI.
Базовое дерево должно указывать предпочтительный метод и резервные варианты. Он должен определить популяцию, получающую лечение, популяцию для сравнения, предварительный период, период измерения, сезонность, существенные внешние переменные, исключения и минимальную выборку. В каждом филиале должно быть указано, кто может ее активировать и как рассчитывается эффект на оплату.
Исторические исходные данные требуют изменения правил. Объем, ассортимент продукции, ставки заработной платы, цены на ресурсы, регулирование, поведение клиентов, приобретения, закрытия и другие программы могут изменить ожидаемый результат. Стороны должны договориться, какие переменные нормализуются, а какие остаются частью обычного делового риска. Чрезмерная нормализация создает модель, которую невозможно проверить. Недостаточная нормализация может вознаградить поставщика за несвязанные улучшения или наказать его за внешний шок.
Оригинальный каркас. Выбор метода зависит от данных, эксплуатационной осуществимости, этики и варианта использования.
5. Заморозить определения показателей и исходную линию.
Каждая метрика платежа должна иметь словарь данных. В нем должно быть указано определение бизнеса, формула, система учета, метод извлечения, владелец, частота обновления, разрешенные корректировки, округление и обработка отсутствующих или просроченных данных. В определении также должно быть указано, представляет ли показатель операционное событие, учетную сумму или поступление денежных средств.
Происхождение имеет значение, поскольку служба AI может изменять данные, используемые для собственного измерения. Система, классифицирующая дела как разрешенные, может также записывать статус разрешения, от которого зависит вознаграждение за выполнение. План измерения должен сохранять независимые доказательства, такие как подтверждение клиента, завершение работ на последующих этапах, бухгалтерские записи или отдельную систему контроля. Самогенерированные доказательства могут подтверждать расчеты, но они не должны быть единственным определяющим фактором, когда манипуляция или дрейф правдоподобны.
Сторонам следует заморозить данные и версии расчетов для каждого периода измерения. Корректировки должны оставаться возможными посредством контролируемого процесса пересчета. В журналах должна быть указана модель, версия подсказки или политики, набор входных данных, человек-рецензент, выходные данные, окончательное действие и последующее экономическое событие. Доступ должен соответствовать требованиям конфиденциальности, конфиденциальности, безопасности и привилегий.
Система подотчетности GAO AI группирует методы управления, данных, производительности и мониторинга, а также предоставляет вопросы для руководства и оценщиков. [8] Пакет договорных доказательств может использовать ту же логику, состоящую из четырех частей: утвержденная цель, надежные данные, измеренные показатели и постоянный мониторинг.
6. Распределите права и обязанности в отношении данных
В расписании данных следует различать данные клиентов, данные поставщиков, данные лицензированных третьих сторон, данные сотрудников, отзывы клиентов, системные журналы, подсказки, выходные данные, производные функции и улучшения модели. Для каждого класса определите право собственности или разрешенное использование, доступ, безопасность, местоположение, хранение, удаление, переносимость, аудит и использование после прекращения действия.
Ярлыки контроллера и процессора должны отражать фактические решения о целях и средствах. Управление комиссара по информации Великобритании заявляет, что организации, определяющие цели и средства обработки персональных данных, являются контролерами независимо от того, какое обозначение используется в контракте. Он также рекомендует документировать роли в цепочке поставок AI и устанавливать письменные инструкции, меры безопасности, средства контроля субобработчика, обработку условий окончания контракта и права на аудит. [3] Применимые требования различаются в зависимости от юрисдикции и вида деятельности.
Права на обучение и повышение квалификации должны быть четко сформулированы. Разрешение на обработку данных для предоставления услуги не означает автоматически разрешение использовать те же данные для разработки отдельной модели поставщика. В графике должно быть указано, может ли информация быть агрегирована, деидентифицирована или использована для улучшения общей модели, а также должны быть определены доказательства, необходимые для выбранного лечения.
Права на измерение должны сохраняться достаточно долго, чтобы урегулировать окончательную сумму гонорара и решить споры, связанные с аудитом. Этот период должен быть ограниченным и соразмерным. Положение о сохранении данных, разработанное в связи с прекращением оказания услуг, может непреднамеренно удалить доказательства, необходимые для оплаты или реагирования регулирующих органов. Сторонам следует согласовать обязанности по удалению с юридическими удержаниями, периодами аудита и окончательным расчетом.
7. Свяжите уровни обслуживания с ценностью
Традиционные уровни обслуживания измеряют время безотказной работы, время ответа и поддержку. Контракты стоимости AI также требуют уровней производительности и контроля, связанных со сценарием использования. В зависимости от системы они могут охватывать точность, отзыв, стоимость ошибок, процент воздержания, качество эскалации, задержку, пропускную способность, надежность, безопасность, объяснимость, актуальность данных и соответствие требованиям проверки человеком.
Метрика уровня модели не должна заменять результат сквозного обслуживания. Высокая точность тестов может сосуществовать с низкой эффективностью бизнеса, если входные данные устарели, пользователи игнорируют выходные данные, происходит сбой в интеграции или меняются условия клиентов. В графике обслуживания должно быть указано, какие показатели контролируются поставщиком, клиентом или совместно.
Генеративный профиль AI NIST фокусируется на управлении, происхождении контента, тестировании перед развертыванием и раскрытии инцидентов. [2] Эти дисциплины могут быть преобразованы в приемочные тесты, журналы происхождения, этапы выпуска и обязательства по инцидентам. В контракте должны быть указаны существенные изменения модели или системы, которые требуют повторного тестирования, прежде чем пересмотренная версия сможет внести свой вклад в оплату за результат.
Сбой в обслуживании должен повлиять на оплату через согласованный механизм. Возможные методы лечения включают исключение затронутых событий, вычет качества, кредит на обслуживание, сокращение доли прибыли, период исправления или право на прекращение действия. Один и тот же сбой не должен приводить к непреднамеренному дублированному восстановлению, если это прямо не предусмотрено контрактом. Положения об ответственности, возмещении ущерба и кредитах на услуги должны быть согласованы с коммерческим водопадом.
| Метрический класс | Пример определения | Доказательство | Эффект контракта |
|---|---|---|---|
| Значение события | Соответствующее дело завершено и принято | Рабочий процесс и последующие системы | Вводит расчет валовой прибыли |
| Качество | Отмена или обоснованная доработка в пределах определенного окна | Аудит кейса и учет клиентов | Отменяет событие или применяет вычет |
| Безопасность | Материальный вред или запрещенное действие | Запись об инциденте и обзоре | Исключает период и вызывает эскалацию |
| Услуга | Доступность, задержка и емкость | Независимый мониторинг | Кредит на обслуживание или снижение комиссии |
| Принятие | Авторизованные пользователи после утвержденного процесса | Журналы доступа и рабочих процессов | Тестирует зависимость клиента |
| Контроль | Требуемая проверка человеком завершена | Обзор записи и выборочное тестирование | Условия получения выплаты |
Оригинальный каркас. Пороговые значения должны подкрепляться доказательствами вариантов использования и утвержденной толерантностью к риску.
8. Определите человеческие и организационные зависимости
Результаты AI обычно требуют изменений в работе. Сотрудникам может потребоваться просмотреть результаты, исправить данные, изменить структуру очередей, изменить разговоры с клиентами или принять новые показатели эффективности. Менеджерам, возможно, придется устранить дублирующий контроль, пересмотреть права принятия решений и профинансировать интеграцию. Эти действия следует идентифицировать как зависимости от клиента, а не предполагать.
В графике ответственности должны быть указаны ответственная роль, срок выполнения, доказательства и последствия для каждой зависимости. Последствия должны быть соразмерными. Пропущенный срок обучения может продлить период измерения. Невозможность предоставить согласованные данные может привести к приостановке работы затронутой метрики. Преднамеренный обход необходимых мер безопасности может сделать событие неприемлемым и вызвать управление инцидентами.
Стимулы сотрудников должны соответствовать договорным результатам и ограничениям. Плата только за пропускную способность может способствовать поверхностному завершению работы. Наказание за переопределение может подавить необходимое человеческое суждение. Операционная структура должна вознаграждать правильную эскалацию, качество доказательств и устойчивое внедрение. Требования к трудоустройству, консультациям, мониторингу и дискриминации требуют пересмотра с учетом специфики юрисдикции.
Клиенты также формируют ценность. Система, которая ускоряет принятие решений по кредитам, может увеличить количество заявок, но создать путаницу, если объяснения и способы апелляции являются слабыми. Агент по обслуживанию клиентов может решать дела быстрее, а клиенты снова откроют их позже. График измерений должен включать отложенные или последующие показатели, если они существенны.
9. Постройте мост атрибуции
Атрибуция начинается с наблюдаемого изменения и удаляет суммы, не подтвержденные контрактом. Мост должен определять объем, цену, структуру, инфляцию, сезонность, политику, кадровое обеспечение, другие технологии, перепроектирование процессов, вклад поставщиков, вклад клиентов, недостатки качества и дополнительные затраты. Для каждой корректировки требуется владелец, источник данных и правило утверждения.
Сторонам следует избегать превращения любой неопределенности в дискреционное решение комитета. Предварительно согласованные формулы полезны там, где входные данные можно наблюдать. Ограниченное экспертное заключение может рассматривать специализированные споры. Совместный орган управления может утвердить документально оформленные исключительные корректировки в пределах денежного лимита. Существенные изменения, выходящие за этот предел, должны требовать авторизованных поправок.
Атрибуция должна признавать взаимодействие. Модель поставщика может не принести никакой пользы без перепроектирования клиентского процесса, в то время как перепроектирование может иметь ограниченную ценность без модели. Согласованный коэффициент распределения может отражать общий вклад, когда причинное разделение непрактично. Коэффициент должен быть фиксированным или получен на основе прозрачного правила до того, как станут известны результаты.
Маркетинговые заявления должны соответствовать фактическим данным. Комиссия по ценным бумагам и биржам США приняла принудительные меры в отношении ложных или вводящих в заблуждение заявлений об использовании AI инвестиционными консультантами. [7] В стоимостном контракте должно сохраняться четкое различие между подтвержденной внутренней выгодой, заявлениями, передаваемыми извне, и регулируемым раскрытием информации.
10. Спроектируйте водопад доли прибыли
Водопад должен начинаться с согласованного показателя валовой выгоды и вычитать статьи в фиксированном порядке. Типичная последовательность — это внешние эффекты, неподдерживаемая атрибуция, отмены и проблемы с качеством, дополнительные эксплуатационные расходы клиентов, необходимые затраты третьих сторон, уже уплаченные фиксированные сборы поставщика, пороговая выгода, доля прибыли и ограничения. Налоги и бухгалтерские записи должны соответствовать применимым рекомендациям.
Контракт должен предотвратить двойной учет показателей. Сокращение времени обработки и снижение затрат на персонал могут описывать одну и ту же выгоду. Увеличение выручки и маржа вклада не должны учитываться без сверки. Высвобождение оборотного капитала отличается от повторяющейся прибыли и должно иметь свой собственный подход.
Уровни Gainshare могут поощрять исключительную производительность, сохраняя при этом экономику клиентов. Минимальный порог может гарантировать, что клиент сначала возместит затраты на внедрение и сбой. Снижение доли поставщиков с более высокими уровнями льгот может признать, что более широкие организационные действия способствуют масштабированию. Ограничение может ограничить переменное вознаграждение, когда неопределенность измерений остается существенной.
Срок оплаты должен соответствовать сроку погашения доказательств. Операционные события могут измеряться ежемесячно, тогда как отмены, претензии клиентов или сбор денежных средств возникают позже. Стороны могут использовать предварительные заявления, отсрочки и ежегодные сверки. Период аудита должен быть достаточно продолжительным, чтобы можно было наблюдать согласованные отмены без создания неопределенной неопределенности.
Оригинальная иллюстративная модель. Все суммы представляют собой миллионы USD и полностью гипотетические.
| Шаг | USD миллионов | Расчет или лечение |
|---|---|---|
| Заявленная валовая выгода | 4.20 | Замеченное изменение до проверки атрибуции |
| Меньше внешних эффектов | 0.55 | Объем, цена и изменения рынка |
| Меньше неподдерживаемой атрибуции | 0.42 | Польза без достаточных причинно-следственных доказательств |
| Меньше отчислений за качество | 0.25 | Развороты, доработки и отказы ограждений |
| Меньше дополнительных эксплуатационных затрат | 0.60 | Интеграция, проверка, инфраструктура и поддержка |
| Подтвержденная чистая выгода | 2.38 | Сумма, входящая в коммерческий водопад |
| Рассмотрение результатов поставщика | 0.43 | Гипотетическая многоуровневая доля прибыли после порогового значения |
| Сохраняемая выгода клиента | 1.95 | Подтвержденная чистая выгода за вычетом вознаграждения за результаты поставщика |
Оригинальная иллюстративная модель. Ценности не описывают никакую организацию и не подходят в качестве ориентиров.
11. Проверьте гипотетическую экономику
На рисунке предполагается, что годовая адресная база затрат равна USD 20.0 million. Базовый уровень замораживается перед развертыванием и корректируется с учетом согласованных изменений объема и ставок заработной платы. Период измерения сообщает USD 4.20 million о значительном улучшении. Это соответствует 21,0 процента адресуемой базы, но этот процент не считается проверенным значением до тех пор, пока мост атрибуции не будет завершен.
Внешние эффекты составляют USD 0.55 million. Неподдерживаемые учетные записи атрибуции для USD 0.42 million. Отмены и сбои качества удаляют USD 0.25 million. Стоимость дополнительной инфраструктуры, интеграции, обеспечения качества и проверки человеком составляет USD 0.60 million. Таким образом, подтвержденная чистая выгода равна USD 2.38 million.
Гипотетическая доля прибыли дает клиенту первую подтвержденную чистую выгоду в размере USD 0.50 million. Поставщик получает 25 процентов от следующего USD 1.50 million и 15 процентов от прибыли выше USD 2.00 million. Итоговое значение для поставщика после округления равно USD 0.43 million. Оставшаяся выгода клиента составляет USD 1.95 million. Фиксированная плата за внедрение и подписку будет рассматриваться отдельно и должна быть включена в оценку инвестиционным комитетом общей экономики.
Иллюстрацию следует рассматривать как расчетную схему. Действующий контракт может использовать различные уровни, фиксированные комиссии, ограничения, валюты и периоды измерения. Его вклад должен быть подкреплен проверенными оперативными и финансовыми данными. В таблице стоимости должно быть указано, указаны ли цифры до или после уплаты налогов, а также измеряются ли денежные средства, бухгалтерская прибыль или расходы, которых удалось избежать.
12. Запустите анализ чувствительности и точек останова.
Экономический комитет должен проверить переменные, которые могут изменить коммерческий вывод. К ним обычно относятся базовая тенденция, достоверность группы сравнения, внедрение, недостатки качества, атрибуция поставщиков, дополнительные эксплуатационные расходы, сохранение выгод и ограничение платы. Единая центральная оценка скрывает риск споров, связанный с этими предположениями.
В гипотетической модели более низкая достоверность доказательств увеличивает вывод о неподтвержденной атрибуции. Таким образом, метод слабого сравнения может снизить подтвержденную выгоду, даже если наблюдаемое улучшение не изменится. Более высокое качество также снижает приемлемую стоимость. Взаимодействие имеет значение, поскольку плохие доказательства и низкое качество могут влиять на одни и те же события; в контракте должен быть определен порядок вычетов и исключены дублирующие корректировки.
Ограничение платежей должно быть проверено на основе нераспределенной выгоды клиента. Если поставщик может заработать полную сумму, в то время как клиент не возмещает затраты на внедрение и эксплуатацию, структура может вознаграждать техническую продукцию без экономической выгоды. В контракте эта проблема может быть решена с помощью порогового значения «клиент в первую очередь», минимального коэффициента нераспределенной выгоды или кумулятивной сверки.
Оригинальная иллюстративная чувствительность. Все значения равны USD миллионам и используют указанный гипотетический каскад.
13. Распределите ответственность и средства правовой защиты
Ответственность должна следовать за контролем, информацией и способностью предотвратить вред. Поставщик может контролировать разработку модели, безопасность услуг и раскрываемые ограничения. Клиент может контролировать цель, контекст развертывания, доступ пользователей и окончательные решения. Сторонняя модель или поставщик данных могут контролировать важный восходящий компонент. Матрица ответственности должна содержать информацию о гарантиях, возмещениях, исключениях, ограничениях и страховых требованиях.
Закон ЕС об искусственном интеллекте устанавливает обязательства, основанные на рисках, для поставщиков, развертывающих организаций и других субъектов, входящих в его сферу действия. Его требования включают управление, техническую документацию, ведение журналов, прозрачность, человеческий контроль, точность, надежность и кибербезопасность для соответствующих систем. [4] Соответствующая роль и обязательства требуют юридического анализа с учетом специфики системы. Контрактные этикетки не могут снять установленную законом ответственность.
Средства правовой защиты должны учитывать характер неисправности. Неправильные счета-фактуры требуют исправления и правил расчета процентов. Сбой в обслуживании может потребовать кредита и лечения. Неправомерное использование данных может потребовать удаления, уведомления и возмещения ущерба. Повторяющийся сбой в работе модели может потребовать переобучения, отката или прекращения работы. Вредное решение может потребовать исправления ситуации со стороны клиента и реагирования регулирующих органов. В контракте должны быть предусмотрены срочные защитные меры с последующим распределением затрат.
Плата за результат может создать риск поведения. У поставщика, которому заплатили за снижение затрат, может быть стимул рекомендовать меньшее количество отзывов. Команда, оплачиваемая клиентом, может пресекать инциденты, которые уменьшают пул комиссий. Структура управления должна защищать независимые функции управления рисками, соблюдением требований, безопасности и аудита от коммерческого давления.
14. Изменение и дрейф модели управления
Системы AI меняются благодаря новым версиям моделей, подсказкам, поисковым наборам, политикам, интеграции, распределению данных и поведению пользователей. Контракт, фиксирующий плату за производительность и допускающий неконтролируемые изменения в системе, создает нестабильный объект измерения. График изменений должен классифицировать модификации по существенности.
Незначительные изменения могут быть зарегистрированы и включены после плановых испытаний. Существенные изменения должны требовать оценки воздействия, регрессионного тестирования, анализа исходных данных и санкционированного выпуска. Изменение, которое меняет рабочий процесс или соответствующую группу населения, может потребовать нового периода измерения. Чрезвычайные изменения безопасности могут осуществляться в ускоренном порядке с последующим рассмотрением.
Принципы ОЭСР AI призывают к отслеживанию наборов данных, процессов и решений, а также к непрерывному управлению рисками на протяжении всего жизненного цикла AI. [6] Контракт может реализовать это посредством записей версий, мониторинга, пороговых значений инцидентов и прав на переопределение, ремонт или вывод системы из эксплуатации.
Мониторинг дрейфа должен связать технические индикаторы с экономическими и потребительскими результатами. Падение точности может привести к увеличению объемов доработок еще до того, как они появятся в общей стоимости. Изменение состава клиентов может снизить эффективность модели и сделать базовые показатели недействительными. Орган управления должен определить уровни предупреждения, уровни остановки, владельцев и основания для перезапуска.
15. Установить гарантии и аудит
В рамках гарантии следует проверить расчеты, данные, систему и средства контроля. Финансы могут соединить мост ценностей. Внутренний аудит или согласованный независимый рецензент могут проверить происхождение и контролировать работу. Технические специалисты могут оценить производительность и безопасность модели. Специалисты по конфиденциальности, праву, трудоустройству и отрасли могут оценить обязательства в рамках своей компетенции.
Права на аудит должны быть соразмерными и защищать интеллектуальную собственность, конфиденциальность, безопасность и личные данные. Клиенту могут потребоваться достаточные доказательства для подтверждения оплаты без получения весов моделей или несвязанной информации о поставщике. Возможные механизмы включают согласованные отчеты, безопасную проверку, заверение третьей стороной, отбор проб, проверку «чистых помещений» и заключение экспертов.
Совместное руководство CISA и Национального центра кибербезопасности Великобритании по безопасности AI рассматривает безопасное проектирование, разработку, развертывание и эксплуатацию и подчеркивает ответственность за результаты безопасности клиентов. [9] В стоимостном контракте обеспечение должно рассматриваться как продолжающееся обязательство по оказанию услуг и условие приемлемой стоимости, когда нарушение влияет на период оценки.
Пакет доказательств должен быть создан во время работы. Ретроспективная реконструкция обходится дорого и вызывает споры. Ежемесячный пакет может включать журналы версий, сверку совокупности, базовые входные данные, файлы событий, результаты ограждений, производительность зависимостей, корректировки, инциденты, утверждения и расчеты предварительных сборов.
| Доказательство | Владелец | Контрольный тест | Триггер удержания |
|---|---|---|---|
| Приемлемое количество участников мероприятия | Операции | Согласовать источник с расчетом | Окончательный расчет плюс период аудита |
| Базовый уровень и корректировки | Финансы | Повторить формулу и утвердить | Договорная и учетная политика |
| Версии модели и системы | Технология | Сопоставьте производственные журналы с утвержденным выпуском | Требования к системе и инцидентам |
| Результаты ограждения | Владелец рисков и услуг | Примеры неудач и разворотов | Жалобы и нормативные требования |
| Зависимости клиентов | Владелец программы | Подтвердить дату исполнения или исключения | Период измерения и спора |
| Предварительная ведомость о гонорарах | Финансы | Независимая проверка и подписание | Правила выставления счетов и законодательства |
Оригинальный каркас. Доступ к доказательствам и их хранение требуют конфиденциальности, безопасности и юридической проверки.
16. Создайте лестницу споров
Механизм разрешения споров должен начинаться с доказательств и развиваться в зависимости от типа проблемы. Различия в операционных данных могут быть устранены назначенными аналитиками. Классификации бухгалтерского учета можно отнести к специалистам по финансам. Вопросы о производительности модели могут потребовать участия технического эксперта. Толкование договора относится к согласованному юридическому процессу. Единому генеральному комитету может не хватать компетентности или независимости для всех четырех.
В графике должны быть указаны сроки уведомления, бесспорные обязательства по оплате, доступ к доказательствам, назначение эксперта, стандарты рассмотрения, распределение затрат и окончательность. Вопрос эксперта должен быть узким. Например, определите, применяется ли при расчете согласованная базовая формула, а не решите, что является коммерчески справедливым.
Пороги существенности могут предотвратить формальную эскалацию несущественных разногласий. Повторяющиеся небольшие различия могут все же указывать на проблему с контролем, и их следует агрегировать. Срочные вопросы безопасности, конфиденциальности и безопасности должны обходить коммерческую лестницу и следовать процедурам в случае инцидентов.
Стороны должны сохранять полную запись решений. Мировое соглашение может изменить будущие расчеты, отменить предыдущие суммы или закрыть разовое исключение. Эффект должен быть четко указан, чтобы та же проблема не повторилась в более поздний период измерения.
17. Отдельная экономика, учет и раскрытие информации
Подтвержденная операционная выгода, договорное вознаграждение, бухгалтерское признание и оплата наличными — это разные понятия. В контракте должны быть определены коммерческие расчеты без утверждения результатов бухгалтерского учета. Финансовому отделу следует оценить применимые стандарты, факты о компании и условия контракта.
МСФО (IFRS) 15 рассматривает переменное возмещение и ограничения, применяемые в случаях, когда возмещение может быть отменено. [10] МСФО (IAS) 38 отличает расходы на исследования от расходов на разработки, которые соответствуют установленным критериям признания. [11] Эти требования могут повлиять на сроки и представление доходов и затрат, связанных с AI, но они не определяют, создала ли операционная инициатива ценность.
Экономическое обоснование должно отражать валовую прибыль, дополнительные эксплуатационные расходы, фиксированные и переменные расходы поставщиков, инвестиции в реализацию, оборотный капитал, налоги и сроки получения денежных средств. Это не позволяет получить большую операционную выгоду, скрывающую слабую денежную прибыль. Он также поддерживает сверку между одобрением инвестиций и реализованным результатом.
Внешнее раскрытие должно использовать доказательства, соответствующие заявлению. Компания может раскрыть инициативу AI, операционные показатели или финансовый эффект. Для каждого утверждения требуется определенная основа, период и контроль. Также применяются ограничения на конфиденциальность контракта и данные клиентов. Орган управления должен утвердить, кто может использовать данные о результатах в маркетинге, сборе средств или коммуникации с инвесторами.
18. Выполнить через 30, 90 и 180-дневные ворота
Первые тридцать дней должны утвердить коммерческую гипотезу. Стороны определяют вариант использования, ценностное событие, ограничения, базовые варианты, совокупность данных, обязанности, границы фиксированной и переменной платы, а также юридический периметр. Комитету следует прекратить или пересмотреть предлагаемую плату за результат, если атрибуция не может быть сделана достаточно объективной.
К девяностому дню стороны должны иметь подписанный план измерений, проверенную линию передачи данных, утвержденную версию системы, результаты приемки, эксплуатационные обязанности, маршрут инцидента и пакет предварительных отчетов. Пилот с ограниченными возможностями может проверить, наблюдаемы ли события и изменения. Успех пилотного проекта должен быть определен до того, как станут известны результаты.
К 180-му дню организация должна была завершить как минимум один цикл контролируемых измерений, согласовать базовый уровень, протестировать защитные ограждения, выпустить предварительный отчет о стоимости и устранить исключения. Затем комитет может утвердить шкалу, пересмотреть контракт или прекратить действие механизма результатов. Решение должно учитывать сохраняемую выгоду клиента, эффективность контроля и качество доказательств вместе.
Конечным рабочим состоянием является повторяемая система контроля стоимости. Каждый отчет о гонорарах можно проследить до утвержденных определений, версионных данных, наблюдаемых событий, согласованных корректировок и авторизованных утверждений. Каждое существенное изменение осуществляется через контроль изменений. У каждого инцидента есть владелец и средство правовой защиты. Каждое утверждение о внешней ценности имеет доказательства.
Эта структура может улучшить согласованность, поскольку она делает вклад, зависимость и неопределенность видимыми до того, как будут выделены деньги. Оно не может устранить причинно-следственную неопределенность или заменить профессиональное суждение. Его цель — внести неопределенность в управляемый коммерческий процесс, который могут изучить советы директоров, поставщики, сотрудники, клиенты, аудиторы и консультанты.
19. Адаптируйте контракт к варианту использования
Общая архитектура должна быть адаптирована к экономике и риску каждого варианта использования. Система обслуживания клиентов может создавать большое количество событий, короткие циклы обратной связи и наблюдаемые изменения. Ассистент-исследователь может влиять на решения посредством более длинной цепочки и требовать качественного анализа. Система прогнозируемого обслуживания может генерировать претензии по предотвращению затрат, противоречащие реальности которых невозможно наблюдать напрямую. Система ценообразования может одновременно влиять на доходы, справедливость для клиентов и нормативные обязательства.
Для обслуживания клиентов важным событием может быть принятое решение, которое остается закрытым в течение определенного окна. Базовый уровень позволяет сравнивать подходящие типы обращений, каналы и сегменты клиентов. Ограждения могут включать в себя жалобы, эскалацию, последствия для уязвимых клиентов и действия агентов. В расчетах следует отличать отклонение от оставления и учитывать стоимость проверки человеком, обеспечения качества и восстановления.
Для разработки программного обеспечения строки кода или сгенерированные предложения являются слабыми показателями ценности. К лучшим событиям относятся принятые изменения, устраненные дефекты, время выполнения заказа, сервисный инцидент и доработка. Базовый уровень должен учитывать сложность проекта и состав команды. Безопасность, лицензирование, происхождение и соответствие требованиям проверок являются важными гарантиями. Заявления о производительности должны определять, становится ли сэкономленное время более низким, более быстрым выпуском, дополнительным объемом или неиспользованной мощностью.
Для продаж и маркетинга лиды или сообщения, созданные с помощью AI, удалены от денежных средств. Цепочка мероприятий должна проходить через соответствие требованиям, принятую возможность, подписание контракта, предоставление услуг и сбор денежных средств. Атрибуция должна учитывать кампанию, усилия по продажам, цены, продукт и рыночные условия. Согласие клиента, закон о маркетинге, дискриминация и поведение бренда могут ограничивать использование системы.
Для финансовых операций предотвращение дублирования платежей, согласованная обработка счетов и определение приоритетов сборов могут создавать наблюдаемые события. Структура контроля должна защищать разделение обязанностей, полномочия на утверждение и сохранение доказательств. Для предотвращения убытков требуется доказательство того, что платеж или ошибка, вероятно, произошли бы при использовании согласованного метода сравнения. Улучшение оборотного капитала должно быть отделено от периодических доходов.
Для промышленных и инфраструктурных приложений стоимость может зависеть от физической надежности, безопасности и состояния активов. Прогнозируемый сбой, требующий технического обслуживания, может предотвратить сбой, но обратное неясно. Стороны могут использовать инженерные доказательства, исторические показатели отказов и ограниченные экспертные заключения. Меры безопасности и нормативные меры должны оставаться за пределами коммерческого контроля.
В графике вариантов использования должно быть указано, почему выбранный метод измерения является подходящим. Это позволяет избежать копирования стандартной формулы распределения прибыли в контекст, где события, причинно-следственные связи или меры защиты существенно различаются. Таким образом, один и тот же поставщик может работать по разным графикам измерений для разных функций, используя при этом общие данные, принципы обеспечения гарантий и разрешения споров.
20. Интегрируйте закупки, финансы и операции.
Контракт с эффективной стоимостью вступает в силу до того, как будет опубликован запрос предложений. При закупках следует попросить участников торгов описать стоимостное событие, зависимости, доказательства, ограничения, использование данных, тесты производительности, процесс внесения изменений и коммерческую модель. Сопоставимые цены требуют общего сценария и рабочей нагрузки. Низкая цена за единицу продукции может вводить в заблуждение, когда затраты на интеграцию, человеческий анализ, инфраструктуру, обеспечение качества и выход находятся в другом месте.
Финансы должны сами определять и сверять выгоды. Операции должны владеть событием процесса и свидетельством внедрения. Технология должна владеть конфигурацией системы, ее интеграцией и производительностью. Функции по управлению рисками и юридические функции должны утверждать гарантии и обязательства. Закупки должны сохранять конкурентную напряженность и договорную последовательность. Исполнительный спонсор должен принимать компромиссные решения и нести ответственность за бизнес-результат.
В экономическом обосновании должна использоваться проверяемая таксономия затрат. Первоначальные затраты могут включать исследование, подготовку данных, интеграцию, безопасность, тестирование, проектирование процессов, обучение и изменения. Постоянные расходы могут включать лицензии, использование моделей, хостинг, мониторинг, проверку человеком, гарантию, поддержку и исправления. Затраты на выход могут включать возврат данных, миграцию, замену, параллельную работу и расчет по контракту.
Коммерческое сравнение должно проверять как минимум три структуры: фиксированная подписка, фиксированная плюс этап и фиксированная плюс оценка результата. Анализ должен показать ожидаемые и отрицательные затраты клиента, стимулы поставщиков, нагрузку на измерение, гибкость прекращения и сохраняемую стоимость. Выбранная структура должна отражать способность организации осуществлять контроль за измерением, а не только кажущуюся согласованность основных сборов.
При закупках следует проверять субподрядчиков и зависимости от вышестоящих компаний. Услуга может полагаться на поставщика базовой модели, облачную платформу, специализированный набор данных и поставщика, проверенного человеком. Изменения в этих зависимостях могут повлиять на цену, права, безопасность и производительность. Соглашение должно требовать соответствующего уведомления, обязательств по потоку и утвержденного маршрута замены материалов.
Продление должно зависеть от совокупных доказательств. Поставщик может достичь цели на первый год благодаря необычным условиям или отложенным затратам. При проверке продления необходимо изучить сохранение преимуществ, сохраняемую ценность для клиентов, эффективность контроля, инциденты, изменения модели, неразрешенные зависимости и общую стоимость. Опция расширения не должна автоматически переносить устаревшую базовую версию.
21. Используйте реестр ценностей на уровне совета директоров
Совету директоров или инвестиционному комитету необходима компактная запись, связывающая утвержденные инвестиции AI с измеренными результатами и остаточным риском. В реестре стоимости могут быть указаны вариант использования, владелец, утвержденная стоимость, целевое событие, базовый метод, период измерения, подтвержденная выгода, денежный эффект, соображения поставщика, остаточная стоимость клиента, статус ограждения, существенные инциденты и следующее решение.
В реестре должны сохраняться расчеты каждого сводного показателя. Оценки руководства следует идентифицировать как оценки и отделить от проверенных результатов. Прогнозируемая выгода не должна сочетаться с реализованной выгодой. Операционные улучшения должны быть сверены с финансовой отчетностью или кассовыми записями, если такая связь заявлена.
Отчетность по портфелю может выявить концентрацию. Несколько вариантов использования могут зависеть от одного и того же поставщика модели, платформы данных, команды интеграции или процесса клиента. Их преимущества могут пересекаться. Совместное сокращение штата службы поддержки не может быть полностью распределено между несколькими системами. В книге портфеля необходимо согласовать общие затраты и выгоды и выявить общие точки сбоя.
Реестр также может поддерживать распределение капитала. Инициативы с убедительными доказательствами и положительной остаточной ценностью могут претендовать на масштаб. Инициативы с техническими характеристиками, но слабым внедрением, возможно, потребуют перепроектирования процесса. Инициативы с неопределенной атрибуцией могут перейти к фиксированным ценам. Инициативы с повторяющимися отказами ограждений могут потребовать приостановки или закрытия.
Отчеты Совета директоров должны включать отрицательные результаты. Прозрачный учет неудавшихся гипотез, остановленных пилотных проектов и отмененных выгод улучшает будущий выбор и разработку базовой линии. Это также снижает стимулы к поддержанию работы неэкономичных систем для защиты публичного успеха. Конфиденциальность и привилегии должны соблюдаться в соответствии с руководством организации и юридическими рекомендациями.
Реестр стоимости не заменяет обязательные счета, операционные панели или реестры рисков. Это связывает их для принятия конкретного решения: следует ли организации продолжать выделять капитал и внимание руководства на контрактную систему AI. Его сила проистекает из устойчивой цепочки между одобренной целью, измеряемым событием, доказательствами, экономикой, гарантиями и действиями.
Руководство должно сверять бухгалтерскую книгу с фиксированной периодичностью. Действующий владелец подтверждает совокупность событий и исключения. Финансовый отдел проверяет расчеты, себестоимость и денежный учет. Технология подтверждает производственную конфигурацию и показатели производительности. Функции управления рисками сообщают о нарушениях ограждений и открытых мерах по устранению нарушений. В ходе закупок подтверждаются расходы и основные этапы контракта. Ответственный руководитель подписывает принятое решение и фиксирует любое несогласие.
В реестре также должна быть отражена остающаяся неопределенность. Выгода может быть проверена в соответствии с договорным расчетом, но при этом все еще зависит от короткого периода наблюдения или узкой группы клиентов. Таким образом, комитет может отличить завершение измерения от зрелости доказательств. Он может сохранять сдерживание, расширять мониторинг или ограничивать масштабы до тех пор, пока не будет продемонстрирована настойчивость.
По завершении окончательный реестр становится частью пакета закрытия. Он согласовывает предварительные и окончательные сборы, неурегулированные претензии, возврат или удаление данных, доступ к системе, поддержку перехода и продолжающиеся обязательства. Это дает сторонам общий отчет об экономических результатах и снижает зависимость от отдельных коммерческих, технических и юридических изложений.
Источники
- Национальный институт стандартов и технологий. Система управления рисками в области искусственного интеллекта 1.0. 26 , январь 2023 г. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Национальный институт стандартов и технологий. Структура управления рисками искусственного интеллекта: профиль генеративного искусственного интеллекта, NIST AI 600-1. Июль 2024 г. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Офис комиссара по информации Великобритании. Контракты и третьи стороны: система аудита искусственного интеллекта. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Евросоюз. Регламент (ЕС) 2024/1689, устанавливающий гармонизированные правила в отношении искусственного интеллекта. 13 июня 2024 г. Текущая консолидированная версия по состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Всемирный банк и Межамериканский банк развития. Оценка воздействия на практике, второе издание. 2016. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- ОЭСР. ОЭСР AI Принципы. Обновлено в 2024 г. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Комиссия по ценным бумагам и биржам США. SEC обвиняет двух консультантов по инвестициям в предоставлении ложных и вводящих в заблуждение заявлений об использовании ими искусственного интеллекта. 18 марта 2024 г. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Счетная палата правительства США. Искусственный интеллект: система подотчетности федеральных агентств и других организаций, GAO-21-519SP. 30 июня 2021 г. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Агентство кибербезопасности и безопасности инфраструктуры США и Национальный центр кибербезопасности Великобритании. Рекомендации по разработке безопасной системы AI. 26 ноября 2023 г. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Фонд МСФО. МСФО (IFRS) 15 «Выручка по договорам с покупателями». Изданы стандарты и вспомогательные материалы. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- Фонд МСФО. МСФО (IAS) 38 «Нематериальные активы». Выпущенные стандарты. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
- ОЭСР. Управление с помощью искусственного интеллекта: состояние дел и дальнейшие шаги в реализации основных функций правительства. 18 сентября 2025 г. По состоянию на 14 сентября 2026 г. Прочтите первоисточник
