Британская полиция создала Мощную Машину для прогнозирования преступности. Некоторым Результатам нельзя доверять

В базе данных Think Family хранятся данные о почти полумиллионе человек, живущих в городе Бристоль, Англия. В течение многих лет мало кто из них что-либо знал об этом.Созданная в 2016 году городским советом Бристоля и региональной полицией Эйвона и Сомерсета, база данных хранит всевозможную конфиденциальную информацию — отчеты полицейских разведслужб, жилищный статус, данные о психическом здоровье, подростковой беременности, записи на курсы воспитания детей, бесплатное школьное питание. На основе этих конфиденциальных данных чиновники создали модели машинного обучения, чтобы присвоить оценки тысячам взрослых и детей. Они надеялись создать то, что они назвали “картиной угрозы, вреда и риска” в регионе. На мероприятии в начале 2022 года, посвященном оказанию помощи чиновникам в борьбе с преступлениями, связанными с эксплуатацией детей, один специалист по обработке данных из полиции так описал часть этого подхода: “По сути, я складываю все эти данные в большое ведро и перемешиваю их лопаткой для обработки данных, и в результате мы получаем отличную оценку риска для всех”.Оценка рисков в базе данных Think Family была лишь частью масштабной программы прогнозной аналитики Avon и полиции Сомерсета. Среди по меньшей мере 23 отдельных моделей, созданных полицией, были алгоритмы для определения риска того, что люди совершат кражу со взломом, не явятся в суд, пропадут без вести или станут жертвами домашнего насилия. Один из старших офицеров рассказал о создании “рейтинговой таблицы” самых опасных преступников региона — очевидная отсылка к приложению для управления правонарушителями, которое было разработано для хранения данных примерно о 300 000 человек в регионе.Джон Пеграм говорит, что хочет, чтобы полиция отказалась от приложения для управления правонарушителями.
То, как полиция разрабатывает и использует свои инструменты прогнозирования, не всегда было понятно общественности. Джон Пеграм, руководитель группы по подотчетности местной полиции в Бристоле, говорит, что он не слышал о приложении для борьбы с правонарушителями до 2023 года, спустя годы после его создания. Когда он узнал об этом, он начал подозревать, что его могут привлечь. “Я думаю, я знал, что нахожусь в приложении”, - говорит Пеграм.В начале 2024 года Пеграм подал запрос, чтобы выяснить, как полиция использует его данные. Полиция отказалась сообщить об этом. Несколько месяцев спустя, после того как Пеграм нанял адвокатов для работы над своим делом, полиция подтвердила, что он был в приложении, но отказалась вдаваться в подробности. Как и другие люди в Бристоле, Великобритания, и, все чаще, по всему миру, Пеграм не знал, был ли он оценен каким-либо алгоритмом, каким может быть этот результат и как он может повлиять на его взаимодействие с властями.Компания WIRED, работающая в партнерстве с некоммерческим отделом новостей Liberty Investigates, а также изданиями Bristol Cable и Lighthouse Reports, получила сотни страниц документации из открытых архивов, чтобы составить наиболее полную на сегодняшний день картину регионального эксперимента Avon и Сомерсета по сбору данных и прогнозной аналитике. (Liberty, головная организация Liberty Investigates, ранее участвовала в потенциальном судебном разбирательстве по программе и продолжает поддерживать судебный процесс Pegram.)Расследование показало, что по меньшей мере от двух из этих моделей оценки рисков тихо отказались после того, как сотрудники городского совета Бристоля сочли, что больше не могут им доверять. Ранее не публиковавшиеся документы свидетельствуют о том, что правительственные инспекторы и независимые эксперты подчеркивают поразительное отсутствие прозрачности в отношении некоторых элементов программы и предупреждают, что системы могут подорвать доверие общественности. По словам независимого аналитика, который проанализировал данные для WIRED, предоставленные WIRED данные полиции, содержащие более 36 000 показателей эффективности моделей, в некоторых случаях демонстрируют “действительно низкую эффективность прогнозирования”.Эти выводы сделаны в связи с тем, что Великобритания, похоже, готова внедрить прогностическую аналитику и искусственный интеллект в систему уголовного правосудия. Руководить операцией помогает знакомое лицо: бывший главный констебль Эйвона и Сомерсета Энди Марш, который сейчас возглавляет национальный орган по установлению стандартов для вооруженных сил Англии и Уэльса. Как генеральный директор Колледжа полиции, Марш заявил, что эффективный искусственный интеллект следует “вводить как героин”, чтобы ускорить работу британской полиции. В недавнем интервью Марш сказал, что его организация изучает около 100 используемых в настоящее время инструментов искусственного интеллекта, в том числе для прогнозирования полицейской деятельности. “Наша работа заключается в том, чтобы протестировать те из них, которые работают должным образом, подвергнуть их тщательной оценке, а затем распространить их, как лесной пожар, с помощью полицейских служб”. В 2014 году полиция Эйвона и Сомерсета испытывала давление по нескольким направлениям. Бюджет полиции, как и других подразделений по всей Великобритании, был сокращен. Начальник полиции был отстранен от должности. В официальном отчете подчеркивалось, что полиция не соблюдала процедуры защиты некоторых жертв домашнего насилия. После публикации этого отчета начальник отдела служебной деятельности полиции заявил: “Мы считаем, что прогнозная аналитика - это решение”.Гэри Дэвис, бывший старший суперинтендант полиции, который двумя годами ранее перешел на работу в городской совет Бристоля, придерживался аналогичных взглядов. Дэвис возглавлял команду в совете по поддержке детей и семей. Когда семьи переживали кризис, “это было совершенно очевидно”, - говорит он. Было гораздо труднее обнаружить тех, кто находился на вершине нисходящей спирали. Дэвис полагал, что ответ кроется в данных. В школе, где учится ребенок, может быть зафиксирован рост числа случаев пропусков занятий, в то время как полиция может знать, не стал ли ребенок недавно свидетелем домашнего насилия в первый раз. Сами по себе этого может быть недостаточно, чтобы вызвать вмешательство социальных служб. Но вместе взятые? “Если бы вы могли увидеть картину в целом, вы бы поняли, что траектория, по которой они двигались, была неправильной”, - говорит он.Начиная с 2015 года, небольшая группа сотрудников городского совета Бристоля и полиции Эйвона и Сомерсета переехала в один из полицейских участков города, чтобы совместно работать над решением этой проблемы. Команда Insight Bristol, возглавляемая Дэвисом, начала собирать данные по всему государственному сектору, чтобы предоставить передовым работникам всю необходимую информацию о детях и семьях.Команда Insight Bristol не запрашивала согласия жителей на использование их данных в базе данных Think Family. Вместо этого, объясняет Дэвис, команда полагалась на “юридические шлюзы” — термин, который описывает случаи, когда обмен данными считается необходимым для выполнения юридических обязательств агентства, таких как необходимость защиты детей. “Если вы хотите создать впечатление, что у людей есть согласие, то это создает ложную иллюзию, потому что на самом деле, как местные власти, полиция или кто-то еще, мы должны хранить эти записи”. Первоначально жители не могли отказаться от использования базы данных; позже совет включил возможность отказа в свои налоговые письма для жителей.Дэвис, который недавно вышел на пенсию, считает, что проект действительно помог защитить детей. “Это улучшило понимание рисков и уязвимости детей и семей”, - говорит он. “Это давало гораздо более эффективную информацию”. Когда дело дошло до доведения этой информации до общественности, - говорит Дэвис, - “было довольно сложно вызвать какой-либо энтузиазм или заинтересованность у групп людей”. Те, кто все-таки обратился к нам, сказали, что понимают необходимость использования персональных данных, вспоминает он, резюмируя отзывы так: “Мы не возражаем, чтобы вы использовали их для поддержки нас, но мы не хотим, чтобы вы использовали их против нас”. В то время как команда Insight в Бристоле была занята созданием базы данных Think Family, Avon и полиция Сомерсета начала изучать потенциал прогностической аналитики. В марте 2016 года комитет по этике полиции провел заседание, на котором обсуждался дальнейший ход работы. Члены комиссии сообщили, что “необходимо тщательно продумать, какие данные используются” и “какие переменные используются в процессе”, и заключили: “К использованию системы следует относиться с некоторой осторожностью и необходимо обеспечить отсутствие предвзятости”. Комитет сообщил, что для продолжения работы по прогнозной аналитике полиции “общественность должна быть проинформирована о том, почему и как вы проводите такие процессы”.Как только работа по созданию базы данных Think Family была завершена, специалист по обработке данных из полиции возглавил разработку моделей прогнозирования рисков для проекта. Одна из этих моделей была направлена на выявление детей, подверженных риску сексуальной эксплуатации. Модель CSE, как ее называли, опиралась на широкий спектр данных, имеющихся в распоряжении полиции, муниципалитета и других государственных учреждений. Благотворительная организация Barnardos, занимающаяся защитой детей, предоставила анонимные данные о 1000 детях, которые, как известно, подверглись сексуальному насилию. Модель была разработана для выявления детей с похожими характеристиками. Система проанализировала социальные связи детей, чтобы определить, были ли они связаны с кем-либо еще, кто считается уязвимым для эксплуатации или вероятным виновником эксплуатации. В документах говорится, что если человек будет отмечен как “нуждающийся”, “постоянно” не посещающий школу или имеющий проблемы с психическим здоровьем, это повысит баллы, полученные в рамках модели CSE.Усилия полиции по привлечению такого широкого спектра данных вызвали первоначальные опасения. В 2018 году исследователи из Лаборатории Data Justice Lab Кардиффского университета проанализировали несколько программ оценки граждан Великобритании, включая работу в Бристоле,