AI и передовые технологии · Финансовое управление

AI Управление и модельный риск в регулируемом финансовом секторе

Основанная на доказательствах структура для управления моделями, генеративным AI и агентными системами в семейных офисах и у институциональных аллокаторов.

Концентрические стеклянные кольца управления, защищающие ядро искусственного интеллекта, пока инвестиционный комитет наблюдает за границей контроля
Краткий ответ

Контролируемое внедрение AI в регулируемом финансовом секторе начинается с единого полного реестра, существенности, определяемой последствиями, явных полномочий, оценки на уровне системы, независимой критической проверки, контроля третьих сторон, текущего мониторинга и проверенного выхода.

Аннотация

Контекст. AI проникает в рабочие процессы исследований, рисков, комплаенса, операций и инвестиций, при этом правовые, надзорные источники и источники стандартов сохраняют различные сферы действия и авторитетность.

Цель. В этой работе разрабатывается основанная на доказательствах структура управления AI и модельными рисками для инвестиционных директоров семейных офисов и международных институциональных аллокаторов.

Подход. В анализе рассматриваются 40 первичных законов, регуляторов, органов по стандартизации и признанных стандартов, доступных по состоянию на 1 августа 2026 года.

Результаты. Полный реестр, существенность, определяемая последствиями, явные полномочия, оценка на уровне системы, независимая критическая проверка, контроль третьих сторон, мониторинг и проверенный выход образуют одну целостную операционную модель.

Последствия. Институты могут адаптировать управление к масштабу, сохраняя цели контроля, юрисдикционный статус и доказательства для принятия решений. Все использованные входные данные являются гипотетическими модельными допущениями; выручка, приписываемая Matchpoint или клиентам, сокращение денежных затрат и сокращение убытков остаются USD 0 до появления утверждённых наблюдаемых доказательств.

Классификация JEL: C53, C58, G20, G23, G28, G38, M15, O33

Ключевые слова: искусственный интеллект, управление AI, модельный риск, регулируемый финансовый сектор, семейный офис, институциональный аллокатор, валидация, генеративный AI, агентный AI, риск третьих сторон, операционная устойчивость, управление данными

Этот инсайт Matchpoint представляет веб-версию исследования Matchpoint Partners. Сопроводительный документ содержит регуляторную карту, архитектуру управления, жизненный цикл, структуру оценки, контроль третьих сторон, проработанные операционные кейсы, пакет для совета директоров, дорожную карту и реестр источников.

Зарегистрируйтесь перед скачиванием   Узнайте о AI и технологическом консалтинге

Введение

Искусственный интеллект перешёл от изолированных экспериментов в инвестиционные исследования, обслуживание клиентов, комплаенс, операционную деятельность, анализ рисков и технологическое обеспечение. В регулируемом финансовом секторе центральный управленческий вопрос состоит в том, можно ли управлять каждым использованием соразмерно его последствиям. Ответ требует реестра, обоснованной классификации, подотчётных прав принятия решений, независимой критической проверки, надёжной оценки, прослеживаемого функционирования и достоверного выхода. Одно заявление о политике само по себе не может обеспечить такие доказательства.

Регуляторная база существенно изменилась в 2026 году. Федеральные банковские регуляторы США 17 апреля 2026 года выпустили пересмотренное руководство по управлению рисками моделей. Руководство заменяет SR 11-7, подчёркивает риск-ориентированный и адаптированный подход и, как ожидается, будет наиболее актуальным для банковских организаций, регулируемых Федеральной резервной системой, с совокупными активами более USD 30 billion [1]. OCC также заявил, что генеративные AI и агентные AI находятся вне сферы действия этого пересмотренного руководства, поскольку они являются новыми и быстро развивающимися [2]. Эта граница сферы действия важна. Она означает, что учреждение не может исходить из того, что только традиционное управление рисками моделей отвечает на все вопросы, связанные с генеративными или агентными AI.

В Великобритании апрельская версия 2026 года Надзорного заявления PRA SS1/23 применяет принципы управления рисками моделей ко всем моделям, используемым для обоснования бизнес-решений, включая модели поставщиков и искусственный интеллект, когда эти принципы применимы [4]. Банк Англии, FCA и HM Treasury отдельно призвали в мае 2026 года к пониманию на уровне совета директоров и активному снижению киберрисков и рисков операционной устойчивости, связанных с передовым AI [9]. В июне 2026 года Совет по финансовой стабильности предложил 12 надлежащих практик, охватывающих управление на уровне всей организации, контроль жизненного цикла, киберриски, информационно-коммуникационные технологии и риски третьих сторон [10]. Этот документ FSB на дату окончания сбора доказательств 1 августа 2026 года оставался консультацией; его итоговый отчёт был запланирован на октябрь 2026 года [10].

Позиция UAE также стала более конкретной. Центральный банк UAE в феврале 2026 года выпустил руководство по защите потребителей для ответственного использования AI и машинного обучения лицензированными финансовыми учреждениями [16]. DFSA опубликовал в июне 2026 года регуляторные ожидания в отношении управления рисками AI в DIFC [18]. Эти материалы дополняют руководящие указания регуляторов UAE 2021 года по обеспечивающим технологиям, режим UAE по персональным данным и правила DIFC в отношении персональных данных, обрабатываемых автономными и полуавтономными системами [17,22,23].

В этой работе эти пересекающиеся источники преобразуются в операционную основу для CIO семейных офисов, руководителей направлений альтернативных инвестиций и международных институциональных распределителей капитала. Основа предназначена для инвестиционных институтов, которые могут регулироваться напрямую, могут размещать средства у регулируемых фирм, могут закупать услуги с поддержкой AI или могут нуждаться в управлении институционального уровня из-за фидуциарных, договорных или репутационных рисков. В ней различаются закон, обязательные правила, надзорные руководства, консультационные материалы, стандарты и добровольная практика. Применимость должны подтвердить квалифицированные специалисты по правовым вопросам и комплаенсу для конкретного юридического лица, деятельности и юрисдикции.

Вклад носит практический характер. Он определяет общий реестр, охватывающий модели, системы AI, ассистентов, агентов и встроенные возможности поставщиков; метод оценки существенности, который отделяет последствия решений от технической новизны; жизненный цикл с контрольными точками доказательств; требования к оценке для детерминированных, прогнозных, генеративных и агентных систем; контроль третьих сторон и концентрации; а также информацию для совета директоров, которая позволяет обеспечить реальную проверку. Включены два проработанных операционных кейса. Каждый числовой вход в этих кейсах явно неверифицирован и приведён в качестве иллюстрации. Атрибутируемая Matchpoint или клиентская выручка, сокращение денежных затрат и сокращение убытков остаются USD 0 до тех пор, пока не появится утверждённое подтверждённое доказательство.

В статье формулируются пять тезисов.

ТезисВывод для принятия решений
P1. Полнота реестра предшествует классификации рисков.Неучтённое использование нельзя регулировать, отслеживать или выводить из эксплуатации.
P2. Существенность зависит от последствий, полномочий и обратимости.У знакомой модели могут быть серьёзные последствия; у новой — незначительные.
P3. Валидация должна соответствовать поведению системы.Генеративные и агентные системы требуют оценки, выходящей за рамки традиционной точности точечных оценок.
P4. AI третьей стороны остаётся проблемой управления для учреждения.Доказательства закупки, договорные права, мониторинг и выход — это требования к контролю.
P5. Надзор со стороны совета директоров требует документального подтверждения решений.Количественные показатели, инциденты, исключения, остаточный риск и готовность к выходу полезнее, чем нарративы о внедрении.
Рисунок 1. Уровни регулирования и проблема принятия решений по управлению AI
Рисунок 1. Уровни регулирования и проблема принятия решений по управлению AI Открыть рисунок в полном размере

Сфера применения, определения и границы доказательной базы

Область применения

Тема — управление и модельный риск для AI, используемого в регулируемых финансах и инвестиционной деятельности под институциональным управлением. Охватываемые виды использования включают исследования, скрининг, портфельную аналитику, поддержку оценки, прогнозирование, меры контроля в сфере финансовых преступлений, коммуникации с клиентами, поддержку оценки пригодности, операционную деятельность, программирование, анализ документов и агентов рабочих процессов. В статье рассматриваются системы собственной разработки, сконфигурированные сторонние системы, встроенные функции AI и результаты моделей, предоставляемые извне.

Статья не определяет правовой статус, регуляторный периметр, соблюдение фидуциарных обязанностей, пригодность, соответствие законодательству о данных или порядок бухгалтерского учёта для конкретного учреждения. Она не сертифицирует модель, поставщика или систему AI. Каждое учреждение должно установить применимые требования через своих уполномоченных руководителей юридического направления, комплаенса, рисков, информационной безопасности, конфиденциальности и бизнеса.

Рабочие определения

Определения различаются в разных правилах и стандартах. Учреждению следует сохранять применимое юридическое определение в реестре обязанностей и поддерживать более широкий операционный периметр для управления.

СрокОперационное определение, используемое в этой статье
МодельКоличественный, статистический, экономический или математический метод, который преобразует входные данные в оценки, решения или информацию, используемые при принятии бизнес-решений.
Система AIМашинная система, которая для явных или неявных целей на основе входных данных выводит такие результаты, как прогнозы, контент, рекомендации или решения.
Генеративный AIAI, который создаёт контент, включая текст, код, изображения, аудио или структурированные данные.
Фундаментальная модельМодель, обученная на широком наборе данных и способная адаптироваться к множеству последующих задач.
Агентная системаСистема, функционирующая на основе AI, которая планирует или выбирает действия, обращается к инструментам или сервисам и может выполнять несколько последовательных шагов.
Поддержка принятия решенийВыходные данные информируют решение человека, при этом задокументированные полномочия остаются у человека.
Автоматизированное решениеСистема определяет или исполняет результат в пределах делегированных полномочий.
Модельный рискПотенциальные неблагоприятные последствия ошибочных или ненадлежащим образом использованных выходных данных модели и решений [1].
Риск AIРиск, возникающий в результате проектирования, разработки, закупки, развертывания, эксплуатации, взаимодействия, ненадлежащего использования или вывода из эксплуатации системы AI.
СущественностьЗначимость варианта использования с учётом последствий, подверженности риску, масштаба, полномочий, влияния на права, обратимости и взаимосвязанности.

Операционный периметр намеренно широк. Формула в электронной таблице, оценка поставщика, ассистент поиска информации или агент рабочего процесса могут не соответствовать всем юридическим определениям модели. Это всё равно может создавать зависимость с существенными последствиями. Регистрация направляет объект надлежащему владельцу в системе управления; она не предопределяет регуляторную классификацию.

Классы доказательств

Доказательства имеют разную силу. Смешение этих классов создаёт ложную уверенность.

КлассПримерыРазрешённое использование
Закон и обязательное регулированиеЗакон ЕС об AI, DORA, GDPR, законы UAE о данныхОпределите обязательства после подтверждения применимости.
Надзорное правило или заявлениеPRA SS1/23, руководство CBUAE по своду правил, правила DFSAИнтерпретируйте надзорные ожидания в пределах установленной сферы применения.
Надзорное руководствоПересмотренное межведомственное руководство США по MRM, руководство FINMAРазрабатывайте практики на основе риска, сохраняя при этом необязательный статус там, где это указано.
КонсультацияНадлежащие практики FSB, июнь 2026 г.Предвидьте направление; помечайте как предложенное и отслеживайте окончательное утверждение.
Консенсусный стандартISO/IEC 42001 и 23894Структурируйте системы управления и процессы управления рисками; подтверждайте заявления о сертификации отдельно.
Добровольная системаNIST AI RMF, принципы OECD AIСоздайте единую терминологию и операционные результаты.
Рыночные данныеОбзоры регуляторовФормируйте априорные представления; сохраняйте выборку, дату и генеральную совокупность.
Локальные доказательстваИнвентаризация, тесты, инциденты, журналы, согласованияПодкрепляйте собственное решение организации.

Дата отсечения доказательств и ограничения текущего состояния

Источники были рассмотрены по состоянию на 1 августа 2026 года. График внедрения в ЕС изменился в июле 2026 года, включая продлённые сроки для высокорисковых обязательств AI [25]. Обязательства по прозрачности согласно статье 50 должны были применяться с 2 августа 2026 года, через день после даты отсечения доказательств [26]. Надлежащие практики FSB оставались консультационным документом [10]. NIST заявил, что AI RMF 1.0 пересматривается [29]. Поэтому реестр обязательств должен фиксировать дату источника, текущий статус, дату следующего пересмотра и ответственного юридического владельца.

Метод исследования

В статье приоритет отдаётся первичному законодательству, регуляторам, органам, устанавливающим стандарты, и признанным органам по стандартизации. В ней перекрёстно проверяются модельный риск, управление AI, операционная устойчивость, кибербезопасность, защита данных и риск третьих сторон. Процент из опроса не рассматривается как универсальный уровень внедрения. Добровольный стандарт не рассматривается как закон. Формулировки консультации не интерпретируются как окончательная политика.

И карта решений

директора по инвестициям семейных офисов и руководители направлений альтернативных инвестиций

решениеВопрос существенного рискаМинимальные доказательства
Используйте AI для исследования управляющихМожет ли неподтверждённый контент влиять на отбор или отклонение?Контролируемый корпус, охват цитирования, протокол проверяющего, журнал исключений.
Резюмируйте документы фондов и сделокМогут ли пропущенные или изменённые условия повлиять на обязательство?Прослеживаемость на уровне пунктов, чек-лист существенных условий, границы юридической проверки.
Формировать материалы для инвестиционного комитетаМогут ли сгенерированные утверждения попасть в утверждённую запись?Карта источников, подготовитель с указанием имени, проверяющий, версия и доказательство утверждения.
Анализировать данные портфеляДостаточны ли права на данные, происхождение и сверка?Реестр данных, цель, происхождение, полнота и тесты сверки.
Автоматизировать инструкции или коммуникацииМожет ли система создавать обязательства, раскрывать или передавать стоимость?Лимиты полномочий, двойной контроль, инструменты из разрешённого списка, журнал аудита и восстановление.
Использовать встроенного поставщика AIВидна ли данная возможность и регулируется ли она договором?Реестр поставщиков, уведомление об изменениях, условия обработки данных, доказательства безопасности и план выхода.

Институтам следует избегать копирования организационного масштаба банка. Принцип пропорциональности позволяет сохранять те же цели контроля при меньшем числе комитетов. Назначенный ответственный руководитель, независимый оппонент и полный пакет доказательств могут быть эффективнее множества площадок с неясной ответственностью.

международные институциональные аллокаторы

решениеВопрос существенного рискаМинимальные доказательства
Скрининг управляющих или возможностейИзменяет ли AI доступ, скоринг или эскалацию?Обоснование признаков, анализ предвзятости при необходимости, процесс переопределения и апелляции.
Формировать вопросы для дью-дилидженсаСохраняются ли пробелы и неблагоприятные факты?Охват совокупности, сохранение источников, утверждение проверяющим и выборка.
Мониторинг фондов и портфелейМогут ли дрейф модели или задержка данных изменить сигналы риска?Своевременность данных, бенчмарк, пределы дрейфа, правила инцидентов и эскалации.
Поддерживать оценку стоимости или оценки рискаВходит ли метод в периметр модельного риска?Классификация, доказательства разработки, независимая валидация и ограничения.
Передать на аутсорсинг обработку на базе AIМожет ли аллокатор провести аудит, осуществить переход и продолжить обслуживание?Договор, карта субподрядчиков, уровни обслуживания, тестирование, переносимость и выход.
Использовать AI в регулируемой отчётностиМогут ли доказательства происхождения и контроля выдержать проверку?Сверка, прослеживаемость данных, утверждение по принципу «создатель — проверяющий», хранение и воспроизводимость.

Общий результат управления

Обеим аудиториям нужен компактный контракт принятия решений.

ВопросТребуемый ответ
Что это за система?Зарегистрированные область применения, версия, владелец, поставщик, данные и интерфейсы.
На какое решение это влияет?Сценарий использования, пользователь, бенефициар, процесс и последствия.
Какими полномочиями она обладает?Читать, готовить проект, рекомендовать, утверждать, исполнять, сообщать или передавать.
Что может не сработать?Ошибка, предвзятость, неподкреплённый вывод, ненадлежащее использование, безопасность, конфиденциальность, концентрация и устойчивость.
Как это тестируется?Репрезентативная оценка, пороговые значения, независимая проверка и запись решения.
Как осуществляется эксплуатация?Мониторинг, исключения, изменения, инциденты и компетентность пользователей.
Как это останавливается?Аварийный выключатель, резервный механизм, экспорт данных, доказательства перехода и вывода из эксплуатации.
Таблица исследований: ВВЕДЕНИЕ
ТезисВывод для принятия решений
P1. Полнота реестра предшествует классификации рисков.Неучтённое использование нельзя регулировать, отслеживать или выводить из эксплуатации.
P2. Существенность зависит от последствий, полномочий и обратимости.У знакомой модели могут быть серьёзные последствия; у новой — незначительные.
P3. Валидация должна соответствовать поведению системы.Генеративные и агентные системы требуют оценки, выходящей за рамки традиционной точности точечных оценок.
P4. AI третьей стороны остаётся проблемой управления для учреждения.Доказательства закупки, договорные права, мониторинг и выход — это требования к контролю.
P5. Надзор со стороны совета директоров требует документального подтверждения решений.Количественные показатели, инциденты, исключения, остаточный риск и готовность к выходу полезнее, чем нарративы о внедрении.

Регуляторный и надзорный ландшафт

Руководство США по модельному риску в банковском секторе

Межведомственное руководство от апреля 2026 года описывает модельный риск как потенциальную возможность неблагоприятных последствий от решений, основанных на некорректных или неправильно использованных выходных данных моделей. Оно подчёркивает важность эффективной разработки и использования, валидации, а также управления и контроля [1]. Оно предполагает адаптацию к профилю модельного риска, размеру и сложности банковской организации. Применимость требований Федеральной резервной системы описана как наиболее актуальная для организаций с совокупными активами выше USD 30 billion [1]. OCC заявил, что руководство не является обязательным стандартом и что генеративные и агентные AI модели находятся вне сферы его действия [2].

Это создаёт двухкомпонентную задачу управления. Традиционные модели следует сопоставлять с пересмотренным руководством там, где это применимо. Генеративным и агентным системам нужен смежный метод управления AI-рисками, который сохраняет полезные дисциплины модельного риска, добавляя при этом контроль контента, взаимодействия, использования инструментов, безопасности, прав на данные и автономности. Учреждениям следует фиксировать, какой режим или политика отвечает за каждую цель контроля.

Пункт руководства СШАОперационная интерпретация
Адаптация с учётом рискаОпределяйте глубину и периодичность валидации исходя из существенности и уровня подверженности риску.
Разработка и использованиеФиксируйте цель, дизайн, данные, допущения, ограничения и предполагаемых пользователей.
ВалидацияПрименяйте независимую и эффективную критическую оценку в масштабе, соответствующем риску.
Управление и контрольОбеспечивайте надзор со стороны совета директоров или высшего руководства, а также наличие политик, реестра, управления проблемами и аудита.
Продукты вендоровПолучайте достаточно информации и проводите достаточно тестирования, чтобы понимать зависимость и управлять ею.
Исключение генеративного ИИ и агентных системИспользуйте документированную смежную структуру AI; не подразумевайте, что она охватывается руководством MRM.

Великобритания

PRA SS1/23 устанавливает пять принципов: идентификация и классификация моделей; управление; разработка, внедрение и использование; независимая валидация; и меры по снижению риска моделей [4]. Это применяется к моделям вендоров, а также к моделям собственной разработки и учитывает AI в методах моделирования там, где применяются общие принципы [4]. Материалы Банка Англии и FCA также подчёркивают управление, подотчётность, данные, риски моделей и третьих сторон [5,6].

Совместное заявление Великобритании от мая 2026 года добавляет отдельную проблему киберустойчивости передового AI. В нём содержатся призывы к пониманию со стороны совета директоров и высшего руководства, инвестициям и выделению ресурсов, управлению доступом, сетевой безопасности, защите данных, возможностям защиты и обнаружения, сдерживанию угроз и реагированию [9]. Июльский отчёт о финансовой стабильности 2026 года описал четыре канала: принятие основных финансовых решений, финансовые рынки, операционный риск поставщиков услуг и меняющаяся внешняя киберугроза [8].

Из этого следует для управления, что риск AI не может находиться только в рамках валидации моделей. Необходима координация между владельцами бизнес-подразделений, риском моделей, операционным риском, информационной безопасностью, конфиденциальностью, комплаенсом, закупками и устойчивостью.

UAE и DIFC

Руководство CBUAE от февраля 2026 года сосредоточено на защите потребителей и рыночном поведении для лицензированных финансовых учреждений, использующих AI и машинное обучение. В нём рассматриваются прозрачность, предвзятость, этика, подотчётность, объяснимость и конфиденциальность данных [16]. Совместные руководства UAE по обеспечивающим технологиям охватывают AI, аналитику больших данных, облачные технологии, программные интерфейсы приложений, биометрию и технологию распределённого реестра [17].

Письмо DFSA по SEO от июня 2026 года фиксирует регуляторные ожидания в отношении управления риском AI в DIFC [18]. Его опрос 2025 года охватил 661 авторизованную фирму при участии 88 процентов. DFSA сообщила, что 52 процента использовали AI, 60 процентов имели некоторую структуру управления AI, а 21 процент не имели чёткой подотчётности или надзора даже там, где использование было критически важным [19]. Эти цифры описывают указанную совокупность респондентов и дату опроса; они не являются универсальными оценками распространения.

Регламент DIFC о защите данных 10 регулирует персональные данные, обрабатываемые с помощью автономных и полуавтономных систем [22]. Федеральный декрет-закон UAE № 45 от 2021 года устанавливает федеральную основу регулирования персональных данных [23]. В реестре обязательств учреждения следует определять применимый режим защиты данных, роли контролёра и обработчика, правовое основание, ограничения для чувствительных данных, требования к передаче, права субъектов данных, хранение и обязательства по инцидентам.

Европейский союз

Регламент (ЕС) 2024/1689 устанавливает основанную на риске структуру AI [24]. Июльский омнибус AI 2026 года изменил элементы внедрения и перенёс начало применения правил для AI высокого риска на 2 декабря 2027 года, при этом правила для AI, встроенного в регулируемые физические продукты, запланированы на 2 августа 2028 года [25]. Обязательства по прозрачности для определённых взаимодействий с AI и сгенерированного или манипулированного контента планировалось применять с 2 августа 2026 года [26].

DORA требует, чтобы финансовые организации в сфере действия выявляли и документировали ИКТ-активы, зависимости и критически важные взаимосвязи; управляли ИКТ-риском; обеспечивали управление договорённостями с третьими сторонами; тестировали устойчивость; и поддерживали договорные возможности и возможности выхода [27]. GDPR продолжает регулировать обработку персональных данных и вопросы автоматизированного принятия решений, где это применимо [28]. Поэтому классификацию AI следует увязывать с существующими реестрами ИКТ, аутсорсинга, конфиденциальности, поведения и устойчивости.

Международная координация и стандарты

Консультация FSB от июня 2026 года предлагает 12 надлежащих практик. Первые четыре касаются управления на уровне всей организации, следующие шесть — управления рисками на протяжении жизненного цикла, а последние две — киберрисков, рисков ИКТ и рисков третьих сторон [10]. В документе указано, что практики не предназначены для создания международного стандарта или предписания того, следует ли учреждениям внедрять AI [10].

Материалы Базельского комитета связывают цифровизацию с управлением, риском моделей, зависимостью от третьих сторон, операционным риском и устойчивостью [12-14]. Исследование BIS FSI отметило, что большинство финансовых органов рассматривают AI в рамках существующих технологически нейтральных режимов, одновременно выявляя пробелы в области управления, навыков, риска моделей, данных, третьих сторон и новых бизнес-моделей [15].

NIST AI RMF организует результаты в рамках функций Govern, Map, Measure и Manage [29]. Профиль генеративного AI определяет риски и рекомендуемые действия, характерные для генеративного AI или усиленные им [30]. ISO/IEC 42001 устанавливает стандарт системы менеджмента AI [33]. ISO/IEC 23894 содержит руководство по управлению рисками AI [34]. Это полезные справочные материалы для проектирования средств контроля. Их использование не устанавливает юридического соответствия.

Матрица применимости

ИсточникСтатус на 1 августа 2026 годаПримерная актуальностьТребуемое действие владельца
Закон ЕС об AI и OmnibusПраво ЕС, имеющее обязательную силу; поэтапное применениеПоставщики, развертывающие субъекты или затрагиваемая деятельность в ЕСОценка юридической применимости и роли.
DORAОбязательное регулирование ЕС для финансовых организаций, подпадающих под сферу действияЗависимость от услуг ИКТ и AIВключить услуги AI в реестры ИКТ и третьих сторон.
Руководство CBUAE по AIНормативное руководство для финансовых учреждений, имеющих лицензию UAEОриентированный на потребителей или связанный с рыночным поведением AIОтразить меры контроля прозрачности, предвзятости, подотчётности и конфиденциальности.
Ожидания DFSAНадзорное сообщение для фирм, авторизованных в DIFCИспользование AI в DIFCДокументируйте управление рисками и подотчётный надзор.
PRA SS1/23Надзорное заявление для банков, входящих в сферу действияМодели, используемые при принятии решенийОтразить реестр, управление, разработку, валидацию и меры снижения рисков.
Межведомственное управление рисками моделей в СШАНадзорное руководство с указанной сферой примененияБанковские модели в сфере действияАдаптируйте практики управления рисками моделей; сохраните исключение генеративного и агентного ИИ.
Надлежащие практики FSBКонсультацияОриентировочная трансграничная практикаОтслеживайте финализацию; используйте только как предлагаемую практику.
NIST и ISOДобровольные рамки и стандартыАрхитектура контроляВнедряйте выбранные результаты с картой доказательств.
Рисунок 2 и права принятия решений на протяжении жизненного цикла AI
Рисунок 2 и права принятия решений на протяжении жизненного цикла AI Открыть рисунок в полном размере

Инвентаризация и классификация

Один периметр, несколько таксономий

Организации следует вести единый доступный для обнаружения реестр AI и моделей со связанными классификациями. Отдельные несвязанные инвентаризации моделей, SaaS, вычислений конечных пользователей, конфиденциальности, поставщиков и операционных процессов создают пробелы. Мастер-запись должна ссылаться на специализированные реестры, а не дублировать каждое поле.

Поле реестраНазначение
Уникальный идентификатор и версияПредотвращайте неоднозначность при развёртываниях и изменениях.
Бизнес-цель и бизнес-процессСвяжите технологию с результатом, за который назначен ответственный.
Владелец, оператор и пользователиУстановите ответственность и компетенции.
Поставщик и хостингВыявите внутренние и сторонние зависимости.
Компоненты модели или сервисаРаскройте фундаментальные модели, инструменты, средства извлечения данных и детерминированные сервисы.
Источники данных и праваУстановите происхождение, цель, чувствительность и передачу.
Выходные данные и затронутые стороныВыявите риски в отношении решений, поведения и прав.
Уровень полномочийЗафиксируйте, считывает ли система данные, готовит черновики, рекомендует, утверждает или действует.
Юрисдикции и юридические лицаОценка применимости канала.
Уровень существенностиОпределить глубину контроля и порядок эскалации.
Оценка и утверждениеУвязать доказательства, пороговые значения, условия и срок действия.
Мониторинг и инцидентыПоддерживать актуальность операционного риска.
История измененийИнициировать соразмерную переоценку.
Выход и резервный сценарийДоказать восстанавливаемость и переносимость.

Каналы выявления

Для полноты инвентаризации требуется несколько каналов обнаружения. Самостоятельное декларирование само по себе слабо, поскольку встроенные функции и тенев��ое использование могут быть невидимы для центральных команд.

Канал выявленияПримерыПодтверждающие материалы
ЗакупкиДоговоры, продления, анкеты поставщиковУсловия по продукту, функциям, поставщику и данным.
Идентификация и доступКаталог приложений, единый вход, привилегированный доступПользователи, роли и доступ к сервисам.
Сеть и облачные сервисыДомены, интерфейсы прикладного программирования, облачные сервисыВзаимодействие сервисов и поток данных.
Расходы и картыИндивидуальные подпискиПотенциальные нерегламентированные закупки
Платформы для кода и моделейРепозитории, реестры, конечные точкиКомпоненты, созданные и настроенные внутри компании.
Анализ бизнес-процессовИсследования, инвестиции, риски, комплаенс и операционная деятельностьВстроенное использование и принятие решений.
Декларация пользователяПериодическая аттестация и кампанияНеконтролируемое использование с подотчётностью.
Уведомление об изменениях поставщикаПримечания к выпуску и переключатели функцийНедавно встроенная функциональность AI.
Данные об инцидентах и поддержкеСервисные заявки, события данных и исключения по контролюРанее незарегистрированное использование.

Модель существенности

Существенность следует оценивать до выбора средств контроля. Предлагаемая оценка использует восемь измерений, каждое оценивается от нуля до четырёх. Оценка поддерживает суждение; она не заменяет его.

АспектНижняя границаВерхняя граница
Последствия решенияУдобство или форматированиеПоследствия для капитала, клиентов, законодательства, регулирования или прав
ПолномочияТолько для чтения или черновикИсполнять, сообщать, передавать или создавать обязательства
Охват и масштабНесколько внутренних пользователейБольшая группа лиц или внешняя затронутая аудитория
Чувствительность данныхПубличные или синтетическиеПерсональные, конфиденциальные, рыночно чувствительные или ограниченного доступа
ОбратимостьНемедленное исправлениеНеобратимое или дорогостоящее устранение последствий
Потребность в объяснимостиОтсутствие существенной зависимостиРешение должно поддаваться реконструкции или объяснению
ЗависимостьПростая заменаКонцентрация на одном поставщике или критическая интеграция
Скорость измененийФиксированный и контролируемыйПоведение, задаваемое поставщиком, или адаптивное поведение

Предлагаемые первоначальные диапазоны: 0–7 для уровня 1, 8–15 для уровня 2, 16–23 для уровня 3 и 24–32 для уровня 4. Эти диапазоны являются параметрами управленческого дизайна, а не регуляторными порогами. Обязательное переопределение должно повышать категорию случаев использования, связанных с юридическими правами, существенными коммуникациями с клиентами, автономным движением стоимости, регуляторной отчётностью, безопасностью, кредитными решениями или решениями о пригодности, либо с критическими зависимостями от сервисов.

Классификация полномочий

Полномочия зачастую влияют на риск более непосредственно, чем тип модели.

УровеньКомпетенцииПозиция контроля по умолчанию
Поиск или получение утверждённой информацииКонтроль источников и журналирование доступа.
Подготовка черновиков или резюмированиеПроверка человеком перед внешним использованием или использованием для принятия решений.
Рекомендация или ранжированиеОпределённый владелец решения, запись обоснования и механизм переопределения.
Подготовить операцию или инструкцию.Разделение, лимит и независимое проведение.
Исполнять в рамках ограниченного мандата.Явное делегирование, список разрешённых действий, двойной контроль для существенных операций, мониторинг и аварийный выключатель.
Самостоятельное планирование с использованием нескольких инструментов.Исключительное утверждение, изолированная песочница, минимальные привилегии, лимиты по операциям, непрерывный мониторинг и проверенное ограничение распространения.

Результат классификации.

В записи классификации факты, выводы и неопределённость должны быть указаны отдельно.

Компонент записиПример формата.
Факты.Система X обобщает инвестиционные документы с помощью провайдера Y; данные размещены в регионе Z.
Правовая классификация.Вывод о юридическом владельце, источник, дата и сфера действия.
Классификация модельного риска.Заключение владельца MRM и основание в политике.
AI — уровень рискаОценка, переопределения и обоснование.
УсловияПроверка человеком, утверждённый корпус данных, запрещённые данные и ограничение полномочий.
Остаточная неопределённостьСведения об обучающих данных поставщика недоступны; применено компенсирующее ограничение.

Управление и права на принятие решений

Подотчётность владения

Для каждого зарегистрированного сценария использования нужен бизнес-владелец, который отвечает за результат и остаточный риск. Владение технологией не заменяет подотчётность бизнеса. Владельцы модельного риска, комплаенса, конфиденциальности и безопасности обеспечивают независимую или специализированную проверку в пределах своих мандатов.

ДолжностьКлючевая подотчётность
Совет директоров или руководящий органАппетит к риску, надзор, значительные риски и критическая проверка.
Старший ответственный руководительОбщеорганизационная система, ресурсы и эскалация.
Владелец бизнес-процессаНазначение, результат, пользователи, меры контроля, остаточный риск и ценность.
Владелец системыТехническое проектирование, конфигурация, доступ, эксплуатация и изменения.
Владелец модельного рискаКлассификация, стандарты валидации, проблемные вопросы и агрегация.
Комплаенс и юридические вопросыПрименимость, деловое поведение, регуляторные обязательства и юридический риск.
Конфиденциальность и данныеЦель, права, минимизация, передача, хранение и управление данными.
Информационная безопасностьМодель угроз, тестирование, доступ, логирование и реагирование на инциденты.
Закупки и риски третьих сторонДью-дилидженс, договор, концентрация, мониторинг и выход.
Внутренний аудитНезависимое заверение в отношении дизайна и эффективности функционирования.

Пропорциональный дизайн органа управления

Организации могут использовать существующий инвестиционный комитет, комитет по рискам или операционный комитет с постоянной повесткой AI. Организации могут использовать центральный AI комитет по рискам с утверждениями на уровне бизнеса. Требуемый результат — четкие полномочия и документально зафиксированная критическая оценка.

РешениеМинимальный орган управленияОбязательная запись
Регистрация и классификацияВладелец бизнес-процесса и координатор по рискамЗапись в реестре и обоснование уровня.
Утверждение низкорискового внутреннего использованияДелегированный владелецУсловия, срок действия и мониторинг.
Утверждение существенного использованияКросс-функциональный форум по рискамПакет доказательств, критическая оценка, решение и остаточный риск.
Принятие существенного исключенияСтарший ответственный руководительИсключение, компенсирующие контроли, срок действия и устранение.
Утверждение автономных полномочийРуководящий или прямо делегированный органГраницы полномочий, лимиты, сдерживание и подотчётность.
Вывод из эксплуатации или приостановкаВладельцы бизнес-процессов и систем; уведомление о рискахТриггер, план обслуживания, сохранение доказательств и переход.

Архитектура политики

Организации следует избегать обособленной политики AI, которая противоречит установленным обязательствам. Краткая политика AI должна определять границы применения, принципы, роли, запрещённые виды использования, утверждение, мониторинг, инциденты и исключения. Вспомогательные стандарты должны быть увязаны с риском моделей, данными, конфиденциальностью, кибербезопасностью, аутсорсингом, операционной устойчивостью, деловым поведением, документацией, изменениями и аудитом.

Аппетит к риску

Аппетит к риску должен определять запрещённые виды деятельности, количественные или категориальные лимиты, полномочия по утверждению и эскалацию. Примеры включают:

Заявление об аппетите к рискуПоказатель подтверждения
Неутверждённые конфиденциальные данные не попадают в публичные сервисы AI.Инциденты потери данных, заблокированные попытки и утверждённые исключения.
Ни одно существенное инвестиционное решение не должно опираться исключительно на сгенерированный результат.Записи о решениях с указанием имени ответственного человека и подтверждающих источников.
Ни одна автономная система не должна перемещать стоимость за пределы утверждённых лимитов.Разрешения на инструменты, лимиты транзакций, журналы релизов и инциденты.
Системы уровня 4 работают только в рамках действующего утверждения.Срок действия утверждения, просроченные условия и статус развёртывания.
Критическая зависимость от поставщика имеет проверенный резервный вариант.Дата теста на выход, время восстановления и нерешённые пробелы.

Компетентность и способность оспаривать

Обучение должно соответствовать роли. Обычным пользователям нужна осведомлённость о данных, источниках, галлюцинациях, фишинге, промпт-инъекциях и эскалации. Владельцам нужны классификация, доказательства и обязанности по инцидентам. Валидаторам нужна техническая и предметная компетентность. Советам директоров нужно достаточно понимания, чтобы оспаривать концентрацию рисков, автономность, ограничения и ресурсное обеспечение [9,10]. Завершение обучения само по себе является слабым доказательством; сценарное тестирование и наблюдаемое поведение дают более сильные доказательства.

Рисунок 3. Иерархия полномочий и матрица применимости
Рисунок 3. Иерархия полномочий и матрица применимости Открыть рисунок в полном размере

Жизненный цикл и контрольные точки доказательств

Жизненный цикл

Предлагаемый жизненный цикл содержит десять этапов: идея, регистрация, классификация, проектирование, разработка или закупка, оценка, утверждение, контролируемое развёртывание, мониторинг и вывод из эксплуатации. При итерации происходит возврат к соответствующей более ранней контрольной точке, когда меняются модель, промпт, данные, инструмент, цель, популяция или поставщик.

Контрольная точкаВопрос для принятия решенияМинимальные доказательства
G0 ПриёмДопустимо ли изучать данное использование?Цель, владелец, класс данных и условия песочницы.
G1 КлассификацияЧто регулирует использование?Инвентаризация, полномочия, существенность и применимость.
G2 ПроектированиеВстроены ли контроли в рабочий процесс?Архитектура, потоки данных, модель угроз и роль человека.
G3 Разработать или купитьДостаточно ли хорошо понятен компонент?Документация по разработке или дью-дилидженс поставщика.
G4 ОценкаСоответствует ли компонент установленным пороговым значениям?Репрезентативные тесты, ограничения и независимая проверка.
G5 УтверждениеПринят ли остаточный риск уполномоченным органом?Пакет решения, условия, срок действия и подпись ответственного лица.
G6 РазвёртываниеМожно ли контролировать и откатывать релиз?Доступ, изменения, резервный сценарий, журналирование и регламент эксплуатации.
G7 ЭксплуатацияОстаются ли актуальные доказательства в пределах аппетита к риску?Мониторинг, инциденты, исключения, дрейф и обратная связь пользователей.
G8 ИзменениеТребует ли изменение повторной оценки?Классификация изменений, регрессионное тестирование и утверждение.
G9 Вывод из эксплуатацииМожно ли безопасно завершить зависимость?Экспорт, архивирование, отзыв доступа, расторжение договора с поставщиком и извлечённые уроки.

Доказательства проектирования

Пакет проектирования должен показывать полную систему, включая задачу пользователя, данные, модель, поиск и извлечение, детерминированные средства контроля, инструменты, интерфейсы, проверку человеком и последующие действия. Карточка модели без контекста рабочего процесса неполна для существенного использования AI.

Артефакт проектированияТребуемое содержание
Формулировка целиПредполагаемый результат, пользователь, группа населения, исключения и запрещённое использование.
Модель финансированияКомпоненты, поставщики, версии, потоки данных, инструменты и границы.
Карта правВладельцы данных, правовое основание, лицензии, конфиденциальность и передача данных.
Карта решенийПолномочия по рекомендациям, утверждению, исполнению и коммуникациям.
Анализ отказовОпасности, причины, меры контроля, обнаружение, последствия и восстановление.
Модель угрозАктивы, субъекты, пути атак, меры контроля и остаточный риск.
План оценкиПопуляция, метрики, пороговые значения, выборки и альтернативная модель.
Операционная модельВладельцы, мониторинг, изменения, инциденты, резервные варианты и поддержка.
План выходаПереносимость, замена, удаление данных, непрерывность и затраты.

Пакет материалов для утверждения

Пакет материалов для утверждения должен отвечать на один вопрос: поддерживают ли имеющиеся доказательства предлагаемое использование в установленных границах? Он должен выявлять пробелы, а не превращать отсутствие доказательств в положительный вывод.

РазделСостав материалов для утверждения
Решение руководстваОдобрить, одобрить с условиями, запустить пилот, переработать, приостановить или отклонить.
ПрименимостьЮридическое лицо, юрисдикция, деятельность и авторитетные источники.
КлассификацияМодель, AI, полномочия, существенность и критичность.
Подтверждающие материалыПроектирование, данные, оценка, безопасность, конфиденциальность и результаты проверки поставщиков.
ОграниченияИзвестные пробелы, неподдерживаемые группы пользователей и запрещённое использование.
Остаточный рискСерьёзность, вероятность, владелец и полномочия по принятию риска.
УсловияДействие, владелец, срок, доказательства и последствия нарушения.
МониторингМетрики, лимиты, частота и эскалация.
Срок действияДата или триггер изменения, являющиеся основанием для продления.

Управление изменениями

Сервисы AI могут меняться за счёт версий моделей, промптов, системных инструкций, содержимого, получаемого при поиске, инструментов, политик, фильтров безопасности, поставщиков, данных, групп пользователей и хостинга. Стандарт управления изменениями должен классифицировать каждое изменение и определять необходимое регрессионное тестирование.

Класс измененияПримерДействие по умолчанию
ОбычноеНесущественная корректировка интерфейсаЗафиксировать и протестировать затронутую функцию.
УмеренноеОбновление промпта или механизма извлеченияЦелевое регрессионное тестирование и одобрение владельца.
СущественноеИзменение модели, поставщика, назначения, полномочий или состава затрагиваемых лицПереклассификация, независимая оценка и утверждение.
ЭкстренноеСнижение рисков безопасности или вывод сервисаЛокализовать, задокументировать, утвердить временное состояние и провести полный ретроспективный анализ.

Вывод из эксплуатации

Вывод из эксплуатации должен устранить доступ и зависимости, сохраняя при этом требуемые записи. Для критически важных систем организация должна протестировать экспорт данных, работу заменяющей системы и восстановление, прежде чем утверждать ввод в промышленную эксплуатацию. Права на расторжение договора с поставщиком без плана операционного перехода являются слабым доказательством.

Валидация и оценка

Цель валидации

Валидация обеспечивает эффективную критическую проверку концептуальной обоснованности, внедрения, эффективности, использования и ограничений. Глубина зависит от существенности, сложности и экспозиции [1,4]. Валидатор должен быть достаточно независимым, чтобы критически оценивать работу владельца, и компетентным в соответствующей предметной области, данных, модели и рабочем процессе.

Оценка по типу системы

Тип системыОсновная оценка
Детерминированные правилаПокрытие требований, граничные случаи, сверка и тесты на изменения.
Прогнозная модельРазличительная способность, калибровка, стабильность, чувствительность, смещение (где применимо) и бенчмарк.
Генеративный ассистентФактическая обоснованность, полнота, вредоносный контент, устойчивость, конфиденциальность, использование источников и приемлемость для человека.
Система с дополнением поискомПолнота поиска, точность, права доступа, актуальность, достоверность цитирования и обоснованность ответа.
Генератор кодаКорректность, безопасность, зависимости, лицензия, покрытие тестами и компетентность проверяющего.
Агентный рабочий процессСоответствие целям, выбор инструментов, полномочия, состояние, восстановление, устойчивость к атакам и накопленная ошибка.
Черный ящик поставщикаТестирование результатов, ограничения, контроль изменений, мониторинг и компенсирующие ограничения.

Репрезентативный набор для оценки

Совокупность для оценки должна отражать нормальные, сложные, неблагоприятные и запрещённые случаи. Она должна включать значимые подгруппы и периоды, известные виды отказов, граничные условия и примеры вне распределения. Управление тестовым набором должно предотвращать загрязнение и неотслеживаемые изменения.

Страта оценкиНазначение
ОбычноеОпределить нормальные показатели работы и юнит-экономику.
СложныеТестировать длинные, неоднозначные, междокументные случаи и случаи с большим количеством исключений.
Неблагоприятные случаиТестировать вводные данные, вводящие в заблуждение, противоречивые или вредоносные.
ЧувствительныеТестировать конфиденциальность, персональные данные и информацию с ограниченным доступом.
Граница полномочийТестировать попытки запрещённых действий или эскалации.
ВременныеПроверяйте текущие и прежние режимы, условия или рыночные состояния.
ПодгруппаПроверяйте юридически или операционно значимые группы.
ВосстановлениеПроверяйте тайм-ауты, сбои инструментов, повреждённое состояние и отказ провайдера.

Метрики

Одного показателя точности недостаточно для большинства существенных вариантов использования AI.

ПоказательОпределение
Доля существенных утверждений с фактическим подтверждениемДоля результатов, в которых каждое существенное утверждение подтверждено утверждённым источником, среди проверенных результатов.
Доля существенных пропусковДоля результатов, в которых пропущен хотя бы один обязательный существенный элемент, среди проверенных результатов.
Доля действий без надлежащих основанийДоля попыток действовать за пределами делегированных полномочий среди соответствующих проверок.
Принятие с первого проходаДоля результатов, принятых без существенной корректировки, среди проверенных результатов.
Доля серьёзных дефектовДоля результатов с дефектом, соответствующим определению серьёзности, среди проверенных результатов.
Точность эскалацииДоля корректных эскалаций среди всех эскалаций.
Полнота эскалацииДоля корректных эскалаций среди всех случаев, требующих эскалации.
Точность цитированияДоля цитат, подтверждающих соответствующее утверждение, среди проверенных цитат.
Успешность восстановленияДоля сценариев сбоя, восстановленных в установленных пределах, среди протестированных сценариев.
Частота ручного переопределенияДоля решений, изменённых уполномоченными проверяющими, среди решений, принятых с поддержкой AI.

Пороговые значения должны быть привязаны к последствиям. Ассистент по подготовке документов и автоматизированное клиентское поручение не должны иметь одинаковый допуск. Для типов событий с нулевой толерантностью цель оценки должна состоять в отсутствии таких событий в протестированной совокупности наряду с сильными превентивными и выявляющими мерами контроля; это не следует описывать как доказательство того, что событие не может произойти.

Оценка генеративного AI

Профиль NIST для генеративного AI определяет риски, включая конфабуляцию, конфиденциальность данных, вредную предвзятость, конфигурацию взаимодействия человека с AI, целостность информации, информационную безопасность, интеллектуальную собственность и зависимость от цепочки создания ценности [30]. Оценка должна охватывать систему в её настроенной конфигурации, включая промпты, поиск и извлечение данных, инструменты, средства контроля безопасности и рабочий процесс. Оценки провайдера по бенчмаркам не могут подтвердить пригодность для локального инвестирования или использования в регулируемых финансах.

Оценка агентных систем

Агентные системы добавляют риск последовательности, состояния, инструментов и полномочий. Отдельный шаг может быть допустим сам по себе, тогда как последовательность приводит к несанкционированному результату. Оценка должна фиксировать каждое действие, входные данные инструмента, выходные данные инструмента, решение о разрешении, вмешательство человека и конечное состояние.

Тест агентаВопрос
Следование целиОстаётся ли система в рамках утверждённой цели?
Список разрешённых инструментовВыбирает ли система только утверждённые инструменты для выполнения задачи?
Ограничения параметровОграничены ли суммы, получатели, назначения и данные?
Инъекция промптаМожет ли внешний контент переопределять политику системы или выводить данные за её пределы?
Накопленная ошибкаМогут ли небольшие промежуточные ошибки приводить к существенному итоговому результату?
Целостность состоянияМожет ли устаревшее или повреждённое состояние изменить действие?
Контрольная точка с участием человекаЗапрашивается ли утверждение на правильном этапе с полной информацией?
Аварийная остановка и восстановлениеМожет ли операция безопасно остановиться и возобновиться из известного состояния?

Запись о независимой проверке

Отчёт о валидации должен указывать область охвата, методы, доказательства, ограничения, результаты проверки, степень серьёзности, условия и заключение. Заключение с оговоркой может обосновать ограниченный пилотный проект. Отсутствующие доказательства должны оставаться ограничением или проблемой. Акцепт руководства должен содержать имя ответственного владельца и его полномочия.

Таблица исследований: подотчётное владение
ДолжностьКлючевая подотчётность
Совет директоров или руководящий органАппетит к риску, надзор, значительные риски и критическая проверка.
Старший ответственный руководительОбщеорганизационная система, ресурсы и эскалация.
Владелец бизнес-процессаНазначение, результат, пользователи, меры контроля, остаточный риск и ценность.
Владелец системыТехническое проектирование, конфигурация, доступ, эксплуатация и изменения.
Владелец модельного рискаКлассификация, стандарты валидации, проблемные вопросы и агрегация.
Комплаенс и юридические вопросыПрименимость, деловое поведение, регуляторные обязательства и юридический риск.
Конфиденциальность и данныеЦель, права, минимизация, передача, хранение и управление данными.
Информационная безопасностьМодель угроз, тестирование, доступ, логирование и реагирование на инциденты.
Закупки и риски третьих сторонДью-дилидженс, договор, концентрация, мониторинг и выход.
Внутренний аудитНезависимое заверение в отношении дизайна и эффективности функционирования.

Данные, конфиденциальность, безопасность и третьи стороны

Управление данными

Меры контроля AI наследуются из жизненного цикла данных. Для каждого существенного использования следует устанавливать происхождение, принадлежность, разрешение, цель, качество, прослеживаемость, минимизацию, хранение, передачу, удаление и реагирование на инциденты.

Вопрос по даннымПодтверждающие материалы
Может ли организация использовать данные для этой цели?Договор, правовое основание, согласие или иное разрешённое основание.
Может ли поставщик обрабатывать или хранить данные?Условия обработки данных, конфигурация и подтверждённое поведение сервиса.
Полон ли корпус и актуален ли он?Реестр источников, сверка, обновление и журналы исключений.
Могут ли пользователи получать доступ только к разрешённым материалам?Идентификация, разрешения, фильтры поиска и состязательные тесты.
Может ли выходной результат раскрывать конфиденциальные входные данные?Тестирование конфиденциальности, ведение журналов, редактирование и процесс реагирования на инциденты.
Можно ли экспортировать и удалить данные?Проверка переносимости, доказательства удаления и договор.

Безопасная разработка и эксплуатация

NIST CSF 2.0 и руководство NCSC secure-AI служат справочными материалами по управлению и безопасности на протяжении жизненного цикла [31,32]. Работа OWASP LLM по рискам приложений предоставляет технический каталог угроз [36]. Организации следует выбрать меры контроля из применимого для неё фреймворка безопасности и документировать их внедрение.

УгрозаПримеры целей контроля
Инъекция промптаРассматривайте внешний контент как недоверенный; изолируйте инструкции; ограничивайте инструменты и данные.
Раскрытие конфиденциальной информацииМинимизируйте данные, обеспечивайте контроль доступа, фильтруйте выходные данные, отслеживайте и реагируйте.
Компрометация цепочки поставокПроверяйте компоненты, происхождение, зависимости, обновления и меры контроля поставщиков.
Отравление данных или моделиКонтролируйте вклад, проверяйте источники, выявляйте аномалии и сохраняйте возможность отката.
Чрезмерные полномочия агентаНаименьшие привилегии, лимиты транзакций, согласования, списки разрешений и аварийный выключатель.
Небезопасное использование выходных данныхПроверяйте перед выполнением, безопасно кодируйте и разделяйте обязанности.
Кража или извлечение моделиКонтроль доступа, ограничение частоты запросов, мониторинг и реагирование.
Отказ в обслуживании или сбой провайдераПлан мощностей, резервный сценарий, восстановление и альтернативный процесс.

AI третьей стороны

Финансовые учреждения остаются ответственными за риски, создаваемые услугами, которые они закупают или на которые полагаются. Материалы DORA, Базеля, наработки FSB, руководство FINMA и материалы регулятора UAE подчёркивают важность зависимости от третьих сторон, управления и устойчивости [10,12,15-17,27,37].

Область дью-дилидженсаЗапрос доказательств
Определение услугиКомпоненты, версии, хостинг, субпроцессоры и поддержка.
ДанныеСбор, использование, хранение, обучение, местоположение, передача и удаление.
Управление модельюРазработка, оценка, ограничения, мониторинг и изменение.
ОбеспечениеПодтверждение эффективности контролей, история инцидентов, тестирование и уведомление.
УстойчивостьДоступность, восстановление, мощность, непрерывность и карта зависимостей.
АудируемостьЖурналы, доступ к доказательствам, аудит и взаимодействие с надзорными органами.
Правовые аспекты и праваЛицензия, интеллектуальная собственность, конфиденциальность и запрещённое использование.
ИзмененияУведомление, контроль версий, доказательства регрессии и варианты для клиентов.
ВыходЭкспорт, содействие, удаление, время перехода и сборы.

Концентрация и четвёртые стороны

Базовые модели, облачная инфраструктура, сервисы данных и специализированные инструменты могут создавать общие зависимости между внешне разными приложениями. Реестр должен определять конечных поставщиков и существенных субпроцессоров. Сценарный анализ должен рассматривать одновременный сбой, деградацию сервиса, одностороннее изменение условий, региональный сбой, отзыв модели и утрату доступа к аудиту.

График договорного контроля

Договор должен определять объём услуг, одобренное использование данных, конфиденциальность, безопасность, уведомление об инцидентах, непрерывность бизнеса, аудит, доступ регулятора там, где применимо, субподряд, изменения моделей, эксплуатационные показатели, интеллектуальную собственность, хранение записей, удаление, содействие при выходе и распределение ответственности. Формулировки договора должны проверяться квалифицированным юристом. Право без проверки в эксплуатации остаётся неполным доказательством.

Рисунок 5. Пирамида оценки: от компонентных тестов до доказательств работающего контроля. Источник: методология оценки Matchpoint; контекст модельного риска и риска AI [1,4,29-32,36].
Рисунок 5. Пирамида оценки: от компонентных тестов до доказательств работающего контроля. Источник: методология оценки Matchpoint; контекст модельного риска и риска AI [1,4,29-32,36]. Открыть рисунок в полном размере

Человеческий надзор, поведение и подотчётность

Содержательный надзор со стороны человека

Проверка человеком является содержательной, когда у проверяющего есть компетентность, время, полномочия, информация и действенная возможность оспорить или остановить результат. Обязательное нажатие без подтверждающих доказательств является слабым контролем.

Условие проверкиПодтверждающие материалы
КомпетентностьОбучение, опыт и оценка с учётом конкретной роли.
ИнформацияИсходные материалы, выходные данные системы, ограничения и неопределённость.
ВремяПропускная способность рабочих процессов и проектирование уровня обслуживания.
ПолномочияСпособность отклонить, изменить, эскалировать или остановить.
НезависимостьРазделение там, где этого требуют последствия.
ПрослеживаемостьУказанный проверяющий, время, действие, причина и окончательный результат.
Обратная связьКорректировки направляются в мониторинг и улучшение.

Склонность доверять автоматизации и рабочая нагрузка

Надзор может давать сбои, когда пользователи полагаются на отшлифованные выходные данные, проверяют слишком много позиций или не имеют доступа к исходным доказательствам. Мониторинг должен измерять паттерны исправлений, переопределений, времени проверки, исключений и разногласий. Очень низкая частота переопределений может указывать на высокое качество; она также может указывать на слабую проверку. Расследование требует выборочных доказательств.

Справедливость и затронутые стороны

Если AI влияет на доступ, ценообразование, соответствие требованиям, трудоустройство, кредитование, страхование или иное существенное обращение, учреждению следует выявлять юридически и операционно значимые группы, оценивать различия в результатах, документировать законные цели, предоставлять надлежащие объяснения и поддерживать каналы оспаривания или эскалации. Конкретные обязательства определяются применимым законодательством. Принципы ОЭСР, результаты NIST, руководство CBUAE и ожидания FINMA служат вспомогательными ориентирами по управлению [16,29,35,37].

Записи и объяснения

Запись должна сохранять входные данные, соответствующую версию источника, конфигурацию системы, выходные данные, действие проверяющего, окончательное решение и обоснование в объёме, необходимом для воспроизведения. Объяснение должно соответствовать аудитории и решению. Техническая интерпретируемость не означает автоматического выполнения требований к объяснению, предъявляемых клиентом или законодательством.

Запрещённые и ограниченные виды использования

Каждому учреждению следует определять запрещённые виды использования на основе права, мандата и аппетита к риску. Ограниченные виды использования могут применяться только при установленных условиях. Примеры для рассмотрения руководством включают несанкционированный ввод конфиденциальных данных, юридические или инвестиционные консультации без надзора, автономную передачу стоимости сверх лимитов, сфабрикованное указание источника, скрытое взаимодействие с клиентом и использование персональных данных вне утверждённой цели. Это предлагаемые примеры политики; ответственные юридические подразделения должны установить фактические запреты.

Мониторинг, инциденты и обеспечение гарантий

Дизайн мониторинга

Мониторинг должен связывать поведение системы с аппетитом к риску и условиями одобрения.

Область мониторингаПример показателяТриггер эскалации
ЭффективностьДоля случаев существенной поддержки, бездействия и серьёзных дефектовНарушение порогового значения или неблагоприятная тенденция.
ИспользованиеОбъём, пользователи, процессы и попытки выйти за пределы области примененияНеутверждённая совокупность или цель.
ПолномочияВызовы инструментов, лимиты, одобрения и заблокированные действияЛюбое несанкционированное или необъяснённое действие.
ДанныеАктуальность, полнота, права доступа и чувствительные событияУстаревший критический источник или сбой доступа.
ИзмененияИзменения поставщика, модели, промпта, механизма поиска и конфигурацииСущественное изменение без одобрения.
ОбеспечениеИнъекции, эксфильтрация, уязвимости и аномальный доступСобытие с определённым уровнем серьёзности.
ПоведениеЖалобы, переопределения, затронутые результаты и объясненияСущественное влияние на клиента или на права.
УстойчивостьДоступность, задержка, восстановление и резервный режимНарушение лимита критически важного сервиса.
ПоставщикСервис, гарантии, инциденты и концентрацияПробел в доказательствах или ухудшение контроля.

Таксономия инцидентов

Инцидент AI может быть событием, связанным с моделью, данными, безопасностью, конфиденциальностью, нарушением правил поведения, операционной деятельностью, правовыми вопросами или третьими сторонами. Процесс обработки инцидентов не должен предусматривать передачу всех случаев специализированной команде AI. Оценка серьёзности должна учитывать фактические и вероятные последствия, масштаб воздействия, сдерживание, уведомление регулирующих органов, затронутые стороны и повторяемость.

Этап инцидентаТребуемое действие
ОбнаружениеСохраняйте оповещение, выходные данные, входные данные, журналы, версии и контекст.
СдерживаниеОстановите или ограничьте использование и работу инструментов, доступ или поток данных.
ОценкаОпределите последствия, охват затронутых лиц, обязательства и первопричины.
УведомлениеСоблюдайте порядок эскалации в соответствии с требованиями законодательства, регуляторов, договоров и внутренними правилами.
УстранениеИсправьте результат, систему, механизм контроля и затронутые записи.
ВосстановлениеВосстановите в рамках утверждённых условий и подтвердите стабильность.
ОбучениеОбновляйте оценку, мониторинг, обучение, управление рисками и управление поставщиками.

Подтверждение эффективности контролей

Тестирование первой линии должно подтверждать, что контроли функционируют. Мониторинг второй линии должен критически оценивать классификацию, утверждение, проблемы и совокупный риск. Внутренний аудит должен оценивать структуру методики и эффективность её функционирования на основе риск-ориентированного плана. Внешнее подтверждение может подкреплять доказательства от поставщика или технические доказательства, но организация должна оценивать охват, период, исключения и релевантность.

Совокупный риск

Отчётность по портфелю должна выявлять концентрацию по поставщику, модели, облаку, источнику данных, бизнес-процессу, географии и уровню полномочий. Отдельные ассистенты низкого уровня могут стать существенными, если они используют одного поставщика, обрабатывают большой объём или закладывают общую ошибку в множество решений.

Таблица исследования: безопасная разработка и эксплуатация
УгрозаПримеры целей контроля
Инъекция промптаРассматривайте внешний контент как недоверенный; изолируйте инструкции; ограничивайте инструменты и данные.
Раскрытие конфиденциальной информацииМинимизируйте данные, обеспечивайте контроль доступа, фильтруйте выходные данные, отслеживайте и реагируйте.
Компрометация цепочки поставокПроверяйте компоненты, происхождение, зависимости, обновления и меры контроля поставщиков.
Отравление данных или моделиКонтролируйте вклад, проверяйте источники, выявляйте аномалии и сохраняйте возможность отката.
Чрезмерные полномочия агентаНаименьшие привилегии, лимиты транзакций, согласования, списки разрешений и аварийный выключатель.
Небезопасное использование выходных данныхПроверяйте перед выполнением, безопасно кодируйте и разделяйте обязанности.
Кража или извлечение моделиКонтроль доступа, ограничение частоты запросов, мониторинг и реагирование.
Отказ в обслуживании или сбой провайдераПлан мощностей, резервный сценарий, восстановление и альтернативный процесс.

Иллюстративный операционный кейс

Определение кейса

Иллюстративное допущение: предполагается, что инвестиционная команда семейного офиса использует ассистента с расширенным поиском для резюмирования документов фондов частных рынков, сравнения существенных условий и подготовки вопросов для инвестиционного комитета. Система не имеет полномочий утверждать инвестиции, общаться с управляющими или передавать инструкции. Все числовые значения и операционные допущения в этом разделе являются непроверенными иллюстрациями.

ПоказательИллюстративное допущение: иллюстративное допущение
Пользователи12 специалистов по инвестициям и операциям
Годовые комплекты документов180
Типичная длина источника120-450 страниц
РезультатСводка со ссылками на источники, таблица условий и черновик вопросов
Полномочия только черновик
ДанныеКонфиденциальные документы управляющего и фонда
ПровайдерБазовая модель на хостинге и контролируемый поиск
РешениеИнвестиционная команда в составе людей и инвестиционный комитет сохраняют полномочия

Классификация

Предлагаемая оценка существенности относится к уровню 3, поскольку сценарий использования обрабатывает конфиденциальные данные и может влиять на инвестиционный анализ, при этом результат остаётся черновиком и может быть отменён. Обязательное переопределение применяется, если результат попадёт в материалы комитета без проверки, будет содержать юридические выводы или инициирует внешние коммуникации.

Дизайн оценки

Тестовый наборИллюстративное допущение — иллюстративный размерФокус приёмки
Стандартные документы фонда120Поддержка по существенным условиям и полнота
Сложные структуры40Водопады распределения, сайд-леттеры, конфликты и исключения
Противоречивые источники25Иерархия источников и эскалация
Кейсы контроля доступа25Изоляция поиска данных между юрлицами и сделками
Кейсы промпт-инъекций30Разделение инструкций и защита данных
Исторические документы20Обработка версий и дат вступления в силу

Иллюстративное допущение. Иллюстративные предлагаемые пороги: 100% подтверждения определённых существенных условий в тестируемом наборе, ноль сбоев доступа между сделками, ноль автономных действий, не менее 98% точности цитирования и документированная эскалация для каждого неразрешённого конфликта источников. Эти значения являются предлагаемыми допущениями руководства и требуют утверждения.

Дизайн контроля

Цель контроляПредлагаемый контроль
Полнота источниковСверить загруженный корпус с утверждённым манифестом комнаты сделки.
Корректный доступОбеспечить соблюдение разрешений на уровне дела перед извлечением данных.
Прослеживаемый результатТребовать ссылку на пункт для существенных условий.
Полномочия человекаБлокировать внешние коммуникации и фиксировать проверку с указанием имени.
Правовая границаПередавать вопросы юридической интерпретации и нерешённые условия уполномоченному юристу.
ИзмененияПроводить регрессионное тестирование после изменения модели, механизма извлечения, промпта или провайдера.
ИнцидентСохранять входные данные, корпус, версию, выходные данные, сведения о проверяющем и последующее использование.
ВыходЭкспортировать метаданные корпуса, набор для оценки, журналы и утверждённые выходные данные.

Экономическая граница

Иллюстративное допущение. Использование может высвободить ресурс аналитиков. Высвобожденное время не является экономией денежных средств, если не зафиксировано утверждённое финансовое последствие. Отнесённые Matchpoint или выручка клиента, сокращение денежных затрат и сокращение убытков остаются USD 0.. Реестр стоимости может фиксировать принятые результаты, время проверки, доработку и полные операционные затраты, не превращая теоретические часы в реализованную выгоду.

Иллюстративный операционный кейс

Определение кейса

Иллюстративное допущение. Предполагается, что институциональный аллокатор капитала использует прогнозную и генеративную систему для мониторинга внешних управляющих, выявления аномалий в отчётности и подготовки черновиков последующих вопросов для дью-дилидженса. Модель может приоритизировать проверку; она не может изменять аллокацию, направлять уведомление о нарушении или осуществлять внешние коммуникации. Все числовые входные данные и пороги в этом разделе являются непроверенными иллюстрациями.

ПоказательИллюстративное допущение: иллюстративное допущение
Внешние управляющие85
Фонды и мандаты140
Частота отчётностиЕжемесячно или ежеквартально по мандату
Входные данныеОтчёты управляющих, данные администратора и внутренние записи об экспозиции
РезультатФлаги рисков, подтверждающие доказательства и черновые вопросы
Полномочия рекомендовать или ранжировать
Существенное последствиеПриоритет проверки и потенциальная эскалация

Граница модели и рабочего процесса

Предиктивный компонент выявляет аномалии относительно утверждённых признаков и бенчмарков. Генеративный компонент объясняет сигнал с использованием контролируемых записей и готовит проекты вопросов. Детерминированный слой правил обеспечивает соблюдение лимитов экспозиции и обязательных эскалаций. Владелец инвестиционного риска решает, следует ли эскалировать. Такое разделение позволяет применять разные методы оценки и снижает полномочия, приписываемые вероятностному результату.

Оценка

УровеньПредлагаемые доказательства
ДанныеСверка с администратором и внутренними книгами учёта; история задержек и исправлений.
ПредиктивныйБэктестинг, стабильность, чувствительность, бенчмарк, проверка ложноположительных срабатываний и пропущенных событий.
ГенеративныйПроверки обоснованности утверждений, пропусков, конфликтов источников, объяснений и запрещённого контента.
Рабочий процессКорректная маршрутизация, решение владельца, переопределение, уровни обслуживания и хранение записей.
УстойчивостьОтказ поставщика, устаревшие данные, резервный отчёт и проверка восстановления.
ПоставщикУведомление об изменениях, зависимость модели, аудиторские доказательства, субпроцессоры и выход.

Иллюстративное допущение. Иллюстративный пилот использует 18 месяцев исторических записей, 60 событий с вынесенным решением и трёхмесячный период теневого тестирования. Эти значения являются допущениями руководства. Учреждению необходимо оценить, поддерживает ли выборка заявленные утверждения и существенные подгруппы.

Принятие решений и эскалация

Выходные данные системыРешение человекаЗапрещённое действие системы
Аномалия с низкой уверенностьюЗапросить проверку аналитикомПодавить или закрыть без проверки
Подтверждённая существенная аномалияЭскалировать в подразделение инвестиционных рисковУведомить руководителя через внешний канал
Противоречивые данные источниковНаправить на сверкуВыбрать один источник без уведомления
Нарушение лимитного правилаНемедленная обязательная эскалацияИзменить порог или запись об экспозиции
Смена поставщика или моделиПриостановить использование затронутых результатов до регрессионного тестированияПродолжать работу при устаревшем одобрении

Агрегация портфельных данных и данных третьих сторон

Аллокатор должен агрегировать общих поставщиков по инструментам мониторинга управляющих, исследований, отчётности и обслуживания клиентов. Единая зависимость от базовой модели или облачного провайдера может поддерживать несколько номинальных вендоров. Пакет для совета директоров должен показывать такую сквозную концентрацию и проверенный путь восстановления.

Экономическая граница

Иллюстративное допущение. В иллюстративном сценарии никакая финансовая выгода не приписывается. Последующая оценка может измерять пропускную способность проверок, принятые сигналы, существенные пропуски, ложное эскалирование, время до устранения и операционные затраты. Утверждения о выручке, денежных затратах и убытках требуют утверждённых наблюдаемых доказательств и обоснованного контрфактического сценария.

Рисунок 6. Иллюстративный пакет доказательств и контрольная точка принятия решения
Рисунок 6. Иллюстративный пакет доказательств и контрольная точка принятия решения Открыть рисунок в полном размере

Пакет для совета директоров, дорожная карта и внедрение

Информация для совета директоров

Отчётность для совета директоров должна способствовать определению направления и конструктивному вызову. Она должна отделять подверженность риску от деятельности и ясно сообщать об исключениях.

Представление для совета директоровДоказательства решений
ПортфельИспользование по уровню, полномочиям, направлению бизнеса, поставщику и статусу
ПоследствиеПодверженность риску по клиентам, капиталу, регуляторным требованиям, правам и критически важным услугам
ЗаверениеОценка текущего состояния, просроченная валидация, аудит и открытые замечания.
Аппетит к рискуНарушения, исключения, условия и устранение.
ИнцидентыКритичность, затронутые группы, причина, локализация и повторяемость.
ИзмененияСущественные изменения поставщика, модели, цели и полномочий.
КонцентрацияЗависимость от фундаментальной модели, облачной инфраструктуры, данных и четвёртых сторон.
УстойчивостьПокрытие резервными вариантами, тесты выхода, пробелы в восстановлении и критически важные сервисы.
ЛюдиКомпетентность, ресурсные возможности, критическая оценка и зависимость от ключевых лиц.
СтоимостьУтверждённые наблюдаемые выгоды, полная стоимость и отдельно непроверенные гипотезы.

Дорожная карта на двенадцать месяцев

ПериодКлючевые результатыКонтрольная точка
Дни 0–30Финансовый спонсор, периметр, временные запрещённые виды использования, обнаружение и маршрут инцидентовУстав фреймворка утверждён.
Дни 31–60Инвентаризация, карта полномочий, метод определения существенности и реестр обязательствВысокорисковые неопределённости эскалированы.
Дни 61–90Жизненный цикл, шаблоны подтверждающих документов, контроль поставщиков и минимальные требования к мониторингуУправление пилотным проектом утверждено.
Месяцы 4–6Оценить существенные виды использования; устранить недостатки в доступах, журналировании, данных и договорахРешения по уровням 3 и 4 актуальны.
Месяцы 7–9Анализ концентрации, тесты на устойчивость и выход, отчётность для совета директоровКритические зависимости протестированы.
Месяцы 10–12Независимое заверение, извлечённые уроки, обновление политики и план на следующий годОстаточные риски приняты или устранены.

Первые 30 дней

В первый месяц следует закрепить полномочия и обеспечить прозрачность. Назначьте ответственного руководителя, выпустите временные ограничения по данным и полномочиям, создайте единый канал приёма заявок, сверьте известные приложения и подписки и подключите события AI к существующему управлению инцидентами. Приоритизируйте варианты использования, которые могут повлиять на клиентов, капитал, отчётность, права, конфиденциальные данные или движение стоимости.

Дни 31–90

Сформируйте реестр обязательств на основе применимых правовых и надзорных источников. Завершите классификацию для существенных вариантов использования. Создайте шаблоны оценки, утверждения, мониторинга, изменений и вывода из эксплуатации. Проверьте критических поставщиков и встроенные функции AI. Установите процесс исключений с указанием срока действия и компенсирующих контролей.

Месяцы с четвёртого по двенадцатый

Оценивайте и утверждайте или приостанавливайте существенные варианты использования. Проверьте изоляцию доступа, восстановление после сбоев и выход от поставщика. Сверьте концентрацию поставщиков. Внедрите метрики для совета директоров и независимое заверение. Обновляйте рамочную структуру, когда консультация FSB будет завершена, NIST обновит AI RMF или изменятся правила юрисдикций.

Модель зрелости контроля

УровеньОписаниеПодтверждающие материалы
0 НеконтролируемыйВарианты использования неизвестны или не управляютсяИнциденты и разовые декларации.
1 НаблюдаемыйИмеются реестр и временные ограниченияЗарегистрированное использование и ответственный владелец.
2 ОпределённыйКлассификация, жизненный цикл и стандарты имеютсяУтверждённая политика, шаблоны и роли.
3 ОперационныйСущественные меры контроля внедрены и находятся под мониторингом.Тесты, согласования, журналы и выявленные проблемы.
4 ПодтверждённыйНезависимый контроль и доказательная база по портфелю функционируют.Валидация, аудит, проверка со стороны совета директоров и устранение недостатков.
5 АдаптивныйИзменения, инциденты и внешние события обеспечивают своевременное обновление мер контроля.Измеряемое обучение, своевременное обновление и проверенная устойчивость.
Рисунок 7. Двенадцатимесячная дорожная карта управления AI с поэтапными контрольными точками
Рисунок 7. Двенадцатимесячная дорожная карта управления AI с поэтапными контрольными точками Открыть рисунок в полном размере

Ограничения, программа исследований и заключение

В настоящей работе обобщаются материалы из разных юрисдикций; она не устанавливает применимость к конкретному юридическому лицу. Требования могут пересекаться и изменяться. Надлежащие практики FSB на момент окончания сбора доказательств носили консультативный характер. График ЕС изменился незадолго до публикации. Пересмотренное руководство США по рискам моделей прямо исключает генеративный и агентный AI из сферы применения. Стандарты и добровольные рамки не устанавливают юридическое соответствие.

Операционная модель требует эмпирической проверки. Будущим исследованиям следует сравнивать согласованность классификации между учреждениями; измерять надёжность валидации для генеративных и агентных рабочих процессов; оценивать, снижают ли меры контроля цитирования и человеческой проверки существенные ошибки; оценивать концентрацию риска четвёртых сторон; и проверять планы выхода при уходе провайдера, изменении модели и киберсбое. Учреждениям следует публиковать или обмениваться таксономиями инцидентов и методами оценки, когда это позволяет конфиденциальность.

Главный вывод состоит в том, что контролируемое внедрение AI является проблемой доказательств. Полная инвентаризация показывает подверженность риску. Существенность и полномочия определяют пропорциональный контроль. Оценка устанавливает пригодность в установленных пределах. Управление закрепляет принятие решения. Мониторинг обеспечивает актуальность одобрения. Возможности по инцидентам и выходу ограничивают последствия сбоев. Для семейных офисов и институциональных аллокаторов эта структура поддерживает инновации, сохраняя инвестиционные полномочия, конфиденциальность, прослеживаемость и устойчивость.

Отнесённая к Matchpoint или клиентская выручка, сокращение денежных затрат и сокращение убытков остаются USD 0, пока утверждённые наблюдаемые доказательства не подтвердят такое отнесение.

Реестр источников

Полная статья фиксирует классификацию доказательств, область применения и ограничения, применённые к этим источникам.

  1. [1] Совет управляющих Федеральной резервной системы, Федеральная корпорация по страхованию депозитов и Управление контролёра денежного обращения (2026). *SR 26-2: Пересмотренное руководство по управлению модельным риском*. Открытый исходный код
  2. [2] Управление контролёра денежного обращения (2026). *OCC выпускает обновлённое руководство по управлению модельным риском*. Открытый исходный код
  3. [3] Федеральная корпорация по страхованию депозитов (2026). *FIL-16-2026: Агентства пересматривают межведомственное руководство по управлению модельным риском*. Открытый исходный код
  4. [4] Управление пруденциального регулирования (2026). *SS1/23: Принципы управления модельным риском для банков, апрель 2026 г.* Открытый исходный код
  5. [5] Банк Англии и Управление по финансовому поведению (2023). *FS2/23: Искусственный интеллект и машинное обучение*. Открытый исходный код
  6. [6] Банк Англии и Управление по финансовому поведению (2024). *Искусственный интеллект в финансовых услугах Великобритании, 2024*. Открытый исходный код
  7. [7] Банк Англии и Управление по финансовому поведению (2026). *Обзор AI Банка Англии и FCA за 2026 год*. Открытый исходный код
  8. [8] Банк Англии (2026). *Отчёт о финансовой стабильности, июль 2026 г.* Открытый исходный код
  9. [9] Банк Англии, Управление по финансовому поведению и Казначейство Его Величества (2026). *Совместное заявление о передовых моделях AI и киберустойчивости*. Открытый исходный код
  10. [10] Совет по финансовой стабильности (2026). *Надлежащие практики ответственного внедрения AI финансовыми учреждениями: консультационный отчёт*. Открытый исходный код
  11. [11] Совет по финансовой стабильности (2024). *Последствия искусственного интеллекта для финансовой стабильности*. Открытый исходный код
  12. [12] Базельский комитет по банковскому надзору (2024). *Цифровизация финансов*. Открытый исходный код
  13. [13] Базельский комитет по банковскому надзору (2021). *Принципы операционной устойчивости*. Открытый исходный код
  14. [14] Базельский комитет по банковскому надзору (2013). *Принципы эффективной агрегации данных о рисках и отчётности о рисках*. Открытый исходный код
  15. [15] Институт финансовой стабильности (2024). *Регулирование AI в финансовом секторе: последние события и основные проблемы*. Открытый исходный код
  16. [16] Центральный банк Объединённых Арабских Эмиратов (2026). *Руководящее указание о защите потребителей и ответственном внедрении и использовании искусственного интеллекта и машинного обучения лицензированными финансовыми учреждениями в ОАЭ*. Открытый исходный код
  17. [17] Центральный банк UAE, Управление по ценным бумагам и товарам, DFSA и FSRA (2021). *Руководство для финансовых учреждений по внедрению вспомогательных технологий*. Открытый исходный код
  18. [18] Управление по финансовым услугам Дубая (2026). *Регуляторные ожидания DFSA в отношении управления рисками искусственного интеллекта в DIFC*. Открытый исходный код
  19. [19] Управление по финансовым услугам Дубая (2025). *Обзор искусственного интеллекта 2025*. Открытый исходный код
  20. [20] Управление по финансовым услугам Дубая (2025). *Киберриски и риски искусственного интеллекта в финансовых услугах: усиление надзора посредством международного диалога*. Открытый исходный код
  21. [21] Управление по регулированию финансовых услуг Abu Dhabi Global Market (по состоянию на 2026 год). *Дополнительное руководство: цифровое управление инвестициями*. Открытый исходный код
  22. [22] Dubai International Financial Centre (по состоянию на 2026 год). *Правила защиты данных; Регламент 10: персональные данные, обрабатываемые с помощью автономных и полуавтономных систем*. Открытый исходный код
  23. [23] Правительство Объединённых Арабских Эмиратов (2021). *Федеральный декрет-закон № 45 от 2021 года о защите персональных данных*. Открытый исходный код
  24. [24] Европейский союз (2024). *Регламент (ЕС) 2024/1689, устанавливающий гармонизированные правила в отношении искусственного интеллекта*. Открытый исходный код
  25. [25] Европейская комиссия (2026). *Омнибус по AI вступает в силу*. Открытый исходный код
  26. [26] Европейская комиссия (2026). *Руководящие принципы в отношении обязательств по прозрачности для поставщиков и эксплуатирующих организаций определённых систем AI*. Открытый исходный код
  27. [27] Европейский союз (2022). *Регламент (ЕС) 2022/2554 о цифровой операционной устойчивости финансового сектора*. Открытый исходный код
  28. [28] Европейский союз (2016). *Регламент (ЕС) 2016/679, Общий регламент по защите данных*. Открытый исходный код
  29. [29] Национальный институт стандартов и технологий (2023). *Рамочная основа управления рисками искусственного интеллекта 1.0*. Открытый исходный код
  30. [30] Национальный институт стандартов и технологий (2024). *Структура управления рисками искусственного интеллекта: профиль генеративного искусственного интеллекта, NIST AI 600-1*. Открытый исходный код
  31. [31] Национальный институт стандартов и технологий (2024). *Рамочная основа кибербезопасности 2.0*. Открытый исходный код
  32. [32] Национальный центр кибербезопасности Великобритании и партнёры (2023). *Руководство по безопасной разработке систем AI*. Открытый исходный код
  33. [33] Международная организация по стандартизации (2023). *ISO/IEC 42001:2023, Системы менеджмента искусственного интеллекта*. Открытый исходный код
  34. [34] Международная организация по стандартизации (2023). *ISO/IEC 23894:2023, Искусственный интеллект: руководство по управлению рисками*. Открытый исходный код
  35. [35] Организация экономического сотрудничества и развития (2024). *Принципы ОЭСР по AI*. Открытый исходный код
  36. [36] Фонд OWASP (2025). *OWASP Top 10 для приложений LLM v2.0*. Открытый исходный код
  37. [37] Швейцарское управление по надзору за финансовыми рынками (2024). *Руководство FINMA 08/2024: корпоративное управление и управление рисками при использовании искусственного интеллекта*. Открытый исходный код
  38. [38] Швейцарское управление по надзору за финансовыми рынками (2025). *Обзор FINMA: искусственный интеллект набирает популярность в швейцарских финансовых учреждениях*. Открытый исходный код
  39. [39] Валютное управление Гонконга (2024). *Научная статья о генеративном искусственном интеллекте в секторе финансовых услуг*. Открытый исходный код
  40. [40] Международная организация комиссий по ценным бумагам (2025). *Сценарии использования AI на рынках капитала*. Открытый исходный код
Таблица исследования: модель зрелости контроля
УровеньОписаниеПодтверждающие материалы
0 НеконтролируемыйВарианты использования неизвестны или не управляютсяИнциденты и разовые декларации.
1 НаблюдаемыйИмеются реестр и временные ограниченияЗарегистрированное использование и ответственный владелец.
2 ОпределённыйКлассификация, жизненный цикл и стандарты имеютсяУтверждённая политика, шаблоны и роли.
3 ОперационныйСущественные меры контроля внедрены и находятся под мониторингом.Тесты, согласования, журналы и выявленные проблемы.
4 ПодтверждённыйНезависимый контроль и доказательная база по портфелю функционируют.Валидация, аудит, проверка со стороны совета директоров и устранение недостатков.
5 АдаптивныйИзменения, инциденты и внешние события обеспечивают своевременное обновление мер контроля.Измеряемое обучение, своевременное обновление и проверенная устойчивость.
Ответы на вопросы

Управление AI и модельный риск: часто задаваемые вопросы

Периметр должен охватывать модели, системы AI, ассистентов, агентов и встроенные возможности поставщиков, которые могут влиять на решения, записи, клиентов, капитал, права, операции или устойчивость. Каждый зарегистрированный сценарий использования должен быть привязан к применимым мерам контроля в области права, модельного риска, данных, безопасности, делового поведения, аутсорсинга и операционной устойчивости.

Управление контролёра денежного обращения (OCC) заявило, что генеративный и агентный AI находится вне сферы действия пересмотренного руководства, поскольку является новым и быстро развивающимся. Учреждениям следует зафиксировать границу сферы действия и применять смежную структуру управления рисками AI, которая сохраняет полезные практики модельного риска там, где это применимо.

Полная запись должна определять назначение, владельца, пользователей, поставщика, модель и компоненты услуг, данные и права, выходные данные, затронутые стороны, уровень полномочий, юрисдикции, существенность, оценку, утверждение, мониторинг, инциденты, изменения, резервный вариант и выход.

Существенность должна определяться последствиями решений, полномочиями, охватом и масштабом, чувствительностью данных, обратимостью, потребностью в объяснении, зависимостью и скоростью изменений. Диапазоны, установленные руководством, могут поддерживать суждение, тогда как юридические права, автономное движение стоимости и другие виды использования с высокими последствиями требуют обязательной эскалации.

Семейный офис может использовать действующий инвестиционный комитет, комитет по рискам или операционный комитет с постоянной повесткой по AI, назначенным ответственным руководителем, независимым критическим рассмотрением и полным пакетом подтверждающих материалов. Цели контроля должны оставаться неизменными, а состав коллегиальных органов и документация должны масштабироваться под учреждение.

Оценка должна охватывать настроенную систему и рабочий процесс, включая промпты, извлечение информации, инструменты, разрешения, данные, контрольные точки с участием человека и восстановление. Репрезентативные тесты должны включать нормальные, сложные, неблагоприятные, чувствительные, граничные по полномочиям, временные случаи, случаи для отдельных подгрупп и случаи восстановления после сбоя.

Учреждение должно документально подтверждать компоненты услуг, условия в отношении данных, оценку, безопасность, устойчивость, возможность аудита, юридические права, уведомление об изменениях, субподрядчиков и проверенный план выхода. Заверения поставщика поддерживают решение, но не переносят институциональную ответственность.

Информация для совета должна показывать использование по уровням и полномочиям, существенные последствия, текущую оценку, открытые вопросы, исключения из аппетита к риску, инциденты, существенные изменения, концентрацию поставщиков, устойчивость, компетентность и наблюдаемую ценность, утверждённую финансовой функцией.

В указанных и проработанных кейсах используются гипотетические допущения моделирования. Атрибутированная Matchpoint или выручка клиента, сокращение денежных затрат и сокращение убытков остаются USD 0, поскольку утверждённые наблюдаемые доказательства атрибуции не были предоставлены.

Эта публикация представляет собой общее исследование для профессиональной аудитории. Она не является инвестиционной, юридической, регуляторной, бухгалтерской, аудиторской, налоговой консультацией, консультацией по конфиденциальности, кибербезопасности, трудовым вопросам, технологиям или оценке, а также не является предложением, приглашением, рекомендацией или обещанием результатов. Читателям следует проверять актуальные требования и решения с квалифицированными консультантами.

Постройте операционную модель управления AI, основанную на обязательном подтверждении доказательствами

Обсудите вопросы инвентаризации, существенности, полномочий, оценки, контроля третьих сторон, мониторинга, гарантий и внедрения с партнёром Matchpoint.

WhatsApp