Право на объяснение
Право на объяснение алгоритма

В регулировании алгоритмов , в частности искусственного интеллекта и его подотрасли машинного обучения , право на объяснение (или право на объяснение ) — это право получить объяснение для выходных данных алгоритма. Такие права в первую очередь относятся к индивидуальным правам на получение объяснения для решений, которые существенно влияют на человека, особенно в юридическом или финансовом отношении. Например, человек, который подает заявку на кредит и получает отказ, может попросить объяснения, которое может быть следующим: « Кредитное бюро X сообщает, что вы объявили о банкротстве в прошлом году; это основной фактор, который считает вас слишком склонным к дефолту, и поэтому мы не выдадим вам кредит, на который вы подали заявку».

Некоторые из таких юридических прав уже существуют, в то время как сфера действия общего «права на объяснение» является предметом продолжающихся дебатов. Выдвигались аргументы в пользу того, что «социальное право на объяснение» является важнейшей основой информационного общества, особенно потому, что институтам этого общества необходимо будет использовать цифровые технологии, искусственный интеллект, машинное обучение. [1] Другими словами, что соответствующие автоматизированные системы принятия решений , использующие объяснимость, будут более надежными и прозрачными. Без этого права, которое может быть установлено как юридически, так и посредством профессиональных стандартов , общественность останется без особых средств для оспаривания решений автоматизированных систем.

Примеры

Кредитный скоринг в Соединенных Штатах

Согласно Закону о равных возможностях получения кредита (Положение B Свода федеральных правил ), Раздел 12, Глава X, Часть 1002, §1002.9, кредиторы обязаны уведомлять заявителей, которым отказано в кредите, с указанием конкретных причин для подробностей. Как подробно описано в §1002.9(b)(2): [2]

(2) Изложение конкретных причин. Изложение причин неблагоприятных действий, требуемое пунктом (a)(2)(i) настоящего раздела, должно быть конкретным и указывать основную(ые) причину(ы) неблагоприятных действий. Заявления о том, что неблагоприятные действия были основаны на внутренних стандартах или политике кредитора или что заявитель, совместный заявитель или аналогичная сторона не смогли получить квалификационный балл в системе оценки кредитоспособности кредитора, недостаточны.

Официальное толкование этого раздела подробно описывает, какие типы заявлений являются приемлемыми. Кредиторы соблюдают это положение, предоставляя список причин (обычно не более 4, согласно толкованию положений), состоящий из числовогоКод причины (как идентификатор) и связанное с ним объяснение, определяющее основные факторы, влияющие на кредитный рейтинг.[3]Примером может быть:[4]

32: Остатки на банковских картах или возобновляемых счетах слишком велики по сравнению с кредитными лимитами

Евросоюз

Общий регламент Европейского союза по защите данных (принят в 2016 году, вступает в силу в 2018 году) расширяет права на автоматизированное принятие решений, предусмотренные в Директиве о защите данных 1995 года , чтобы обеспечить юридически оспариваемую форму права на разъяснение, как указано в пункте 71 Преамбулы: «[субъект данных должен иметь] право... получить разъяснение принятого решения». Полностью:

Субъект данных должен иметь право не подчиняться решению, которое может включать меру оценки личных аспектов, касающихся его или ее, которая основана исключительно на автоматизированной обработке и которая влечет за собой правовые последствия в отношении него или нее или аналогичным образом существенно влияет на него или нее, например, автоматический отказ в предоставлении онлайн-заявки на кредит или в применении методов электронного рекрутинга без какого-либо вмешательства человека.

...

В любом случае такая обработка должна осуществляться с соблюдением соответствующих гарантий, которые должны включать предоставление субъекту данных конкретной информации и право на вмешательство человека, выражение своей точки зрения, получение разъяснений по решению, принятому после такой оценки, и право оспорить это решение.

Однако степень, в которой сами правила предоставляют «право на объяснение», является предметом активных споров. [5] [6] [7] Существует два основных направления критики. Существуют существенные правовые проблемы с правом, изложенным в статье 22, — поскольку изложения не являются обязательными, а право на объяснение не упоминается в обязательных статьях текста, будучи удаленным в ходе законодательного процесса. [6] Кроме того, существуют существенные ограничения на типы автоматизированных решений , которые охватываются — которые должны быть как «исключительно» основаны на автоматизированной обработке, так и иметь юридические или аналогичные существенные последствия — что существенно ограничивает круг автоматизированных систем и решений, к которым будет применяться это право. [6] В частности, это право вряд ли будет применяться во многих случаях алгоритмических споров, которые были подхвачены в СМИ. [8]

Второй потенциальный источник такого права был указан в статье 15, «право доступа субъекта данных». Это повторяет аналогичное положение из Директивы о защите данных 1995 года, разрешающее субъекту данных доступ к «значимой информации о логике, задействованной» в том же важном, исключительно автоматизированном принятии решений, которое содержится в статье 22. Однако это также страдает от предполагаемых проблем, связанных со сроками, когда это право может быть использовано, а также практических проблем, которые означают, что оно может не быть обязательным во многих случаях, представляющих общественный интерес. [6]

Франция

Во Франции Закон о цифровой республике (Loi pour une République numérique ) 2016 года вносит поправки в административный кодекс страны, чтобы ввести новое положение для объяснения решений, принимаемых органами государственного сектора в отношении отдельных лиц. [9] В нем отмечается, что в случаях, когда «решение принимается на основе алгоритмического обращения», правила, определяющие это обращение и его «основные характеристики», должны быть доведены до сведения гражданина по его запросу, если нет исключения (например, для национальной безопасности или обороны). Они должны включать следующее:

  1. степень и способ вклада алгоритмической обработки в принятие решений;
  2. обрабатываемые данные и их источник;
  3. параметры лечения и, при необходимости, их вес, применяемые к ситуации соответствующего лица;
  4. операции, проводимые при лечении.

Ученые отметили, что это право, хотя и ограничено административными решениями, выходит за рамки права GDPR и явно применяется к поддержке принятия решений, а не к решениям, «исключительно» основанным на автоматизированной обработке, а также обеспечивает основу для объяснения конкретных решений. [9] Действительно, права GDPR на автоматизированное принятие решений в Европейском Союзе, одно из мест, где искали «право на объяснение», берут свое начало во французском законодательстве конца 1970-х годов. [10]

Критика

Некоторые утверждают, что «право на объяснение» в лучшем случае не нужно, в худшем — вредно и грозит задушить инновации. Конкретные критические замечания включают: предпочтение человеческих решений машинным, избыточность существующих законов и сосредоточенность на процессе, а не на результате. [11]

Авторы исследования «Раб алгоритма? Почему «право на объяснение» — это, вероятно, не то средство, которое вы ищете» Лилиан Эдвардс и Майкл Вил утверждают, что право на объяснение не является решением проблемы вреда, причиненного заинтересованным сторонам алгоритмическими решениями. Они также заявляют, что право на объяснение в GDPR узко определено и несовместимо с тем, как разрабатываются современные технологии машинного обучения. С этими ограничениями определение прозрачности в контексте алгоритмической ответственности остается проблемой. Например, предоставление исходного кода алгоритмов может быть недостаточным и может создать другие проблемы с точки зрения раскрытия конфиденциальности и игры с техническими системами. Чтобы смягчить эту проблему, Эдвардс и Вил утверждают, что система аудита могла бы быть более эффективной, позволяя аудиторам просматривать входы и выходы процесса принятия решений из внешней оболочки, другими словами, «объясняя черные ящики, не открывая их». [8]

Аналогичным образом, ученые из Оксфорда Брайс Гудман и Сет Флаксман утверждают, что GDPR создает «право на объяснение», но не развивают ничего дальше этого, указывая на ограничения в текущем GDPR. Что касается этого спора, ученые Эндрю Д. Селбст и Джулия Поулз утверждают, что спор должен переключиться на обсуждение того, использовать ли фразу «право на объяснение» или нет, больше внимания следует уделять явным требованиям GDPR и тому, как они соотносятся с его фоновыми целями, и больше внимания следует уделять определению того, что на самом деле означает законодательный текст. [12]

Что еще более важно, многие алгоритмы, используемые в машинном обучении, нелегко объяснить. Например, вывод глубокой нейронной сети зависит от многих слоев вычислений, связанных сложным образом, и ни один вход или вычисление не может быть доминирующим фактором. Область объяснимого ИИ стремится предоставить лучшие объяснения из существующих алгоритмов и алгоритмов, которые легче объяснить, но это молодая и активная область. [13] [14]

Другие утверждают, что трудности с объяснимостью обусловлены ее слишком узкой направленностью на технические решения, а не связью проблемы с более широкими вопросами, поднимаемыми «социальным правом на объяснение». [1]

Предложения

Эдвардс и Вил рассматривают право на объяснение как предоставление некоторых оснований для объяснений конкретных решений. Они обсуждают два типа алгоритмических объяснений: объяснения, основанные на моделях, и объяснения, основанные на субъектах (SCE), которые в целом соответствуют объяснениям систем или решений. [8]

SCE рассматриваются как лучший способ обеспечить некоторое исправление, хотя и с некоторыми серьезными ограничениями, если данные просто слишком сложны. Их предложение заключается в том, чтобы разбить полную модель и сосредоточиться на конкретных вопросах посредством педагогических объяснений к конкретному запросу, «который может быть реальным или может быть вымышленным или исследовательским». Эти объяснения обязательно будут включать компромиссы с точностью для уменьшения сложности.

С ростом интереса к объяснению технических систем принятия решений в области проектирования взаимодействия человека и компьютера исследователи и проектировщики прилагают усилия, чтобы открыть черный ящик в терминах математически интерпретируемых моделей, удаленных от когнитивной науки и реальных потребностей людей. Альтернативные подходы заключаются в том, чтобы позволить пользователям свободно исследовать поведение системы с помощью интерактивных объяснений.

Одно из предложений Эдвардса и Вейла — частично убрать прозрачность как необходимый ключевой шаг к ответственности и возмещению ущерба. Они утверждают, что люди, пытающиеся решить проблемы защиты данных, хотят действий, а не объяснений. Реальная ценность объяснений будет заключаться не в облегчении или возмещении нанесенного эмоционального или экономического ущерба, а в понимании того, почему что-то произошло, и в содействии обеспечению того, чтобы ошибка не повторилась. [8]

В более широком масштабе, в исследовании Explainable machine learning in deployment авторы рекомендуют создать объяснимую структуру, четко устанавливающую желаемые результаты путем определения заинтересованных сторон, взаимодействия с ними и понимания цели объяснения. Наряду с этим, в системе должны быть рассмотрены такие вопросы объяснимости, как вопросы причинности, конфиденциальности и улучшения производительности. [15]

Смотрите также

Ссылки

  1. ^ ab M. Berry, David (2021). «Объяснительная публика: объяснимость и демократическая мысль». Фабрикация публики: распространение культуры в эпоху постправды . arXiv : 2304.02108 .
  2. ^ Бюро по защите прав потребителей в сфере финансов , §1002.9(b)(2)
  3. ^ Коды причин оценки кредитного риска США FICO: основополагающий документ FICO, в котором перечислены все причины оценки кредитного риска FICO, по которым оценка не выше, 31 марта 2010 г., Грег Фишер
  4. ^ "ReasonCode.org | Решения VantageScore". www.reasoncode.org .
  5. ^ Гудман, Брайс; Флаксман, Сет (2017). «Регламент Европейского Союза об алгоритмическом принятии решений и «право на объяснение»". Журнал AI . 38 (3): 50–57. arXiv : 1606.08813 . doi : 10.1609/aimag.v38i3.2741. S2CID  7373959.
  6. ^ abcd Вахтер, Сандра; Миттельштадт, Брент; Флориди, Лучано (28 декабря 2016 г.). «Почему право на объяснение автоматизированного принятия решений не существует в Общем регламенте по защите данных». Международный закон о конфиденциальности данных . SSRN  2903469.
  7. ^ Существует ли «право на объяснение» для машинного обучения в GDPR?, 1 июня 2017 г., Эндрю Берт
  8. ^ abcd Эдвардс, Лилиан; Вил, Майкл (2017). «Раб алгоритма? Почему «право на объяснение» — это, вероятно, не то средство, которое вы ищете». Duke Law and Technology Review . SSRN  2972855.
  9. ^ ab Эдвардс, Лилиан; Вил, Майкл (2018). «Порабощение алгоритма: от «права на объяснение» к «праву на лучшие решения»?» (PDF) . Безопасность и конфиденциальность IEEE . 16 (3): 46–54. doi :10.1109/MSP.2018.2701152. S2CID  4049746. SSRN  3052831.
  10. ^ Байгрейв, LA (2001). «Забота о машинах: статья 15 Директивы ЕС о защите данных и автоматизированное профилирование» (PDF) . Computer Law & Security Review . 17 (1). doi :10.1016/S0267-3649(01)00104-2.
  11. ^ Право ЕС на объяснение: пагубное ограничение искусственного интеллекта, Ник Уоллес, Центр инноваций в области данных, 25 января 2017 г.
  12. ^ Селбст, Эндрю Д.; Поулз, Джулия (01.11.2017). «Значимая информация и право на объяснение». Международный закон о конфиденциальности данных . 7 (4): 233–242. doi : 10.1093/idpl/ipx022 . ISSN  2044-3994.
  13. ^ Миллер, Тим (2017-06-22). «Объяснение в искусственном интеллекте: идеи из социальных наук». arXiv : 1706.07269 [cs.AI].
  14. ^ Миттельштадт, Брент; Рассел, Крис; Вахтер, Сандра (2019). «Объяснение объяснений в ИИ» (PDF) . Труды конференции по справедливости, подотчетности и прозрачности. Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 279–288. doi :10.1145/3287560.3287574. ISBN 978-1-4503-6125-5. S2CID  53214940.
  15. ^ Бхатт, Уманг; Сян, Элис; Шарма, Шубхам; Веллер, Адриан; Тали, Анкур; Цзя, Юньхан; Гош, Джойдип; Пури, Ручир; Моура, Хосе МФ; Экерсли, Питер (2020-01-27). «Объясняемое машинное обучение в развертывании». Труды конференции 2020 года по справедливости, подотчетности и прозрачности . FAT* '20. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 648–657. doi : 10.1145/3351095.3375624 . ISBN 978-1-4503-6936-7. S2CID  202572724.
Взято с "https://en.wikipedia.org/w/index.php?title=Право_на_объяснение&oldid=1251870536"