Британская полиция оценивала степень опасности сотен тысяч людей через алгоритмы ИИ

Полиция Эйвона и Сомерсета создала масштабную систему сбора данных и алгоритмической оценки рисков. В ней оказались сведения почти о полумиллионе жителей, а на их основе власти пытались предсказывать, кто может совершить преступление, стать жертвой насилия, пропасть без вести или попасть в другие «группы риска». Однако как минимум две ИИ модели пришлось отключить из-за низкой точности и невозможности независимой проверки результатов. Об этом говорится в расследовании Wired.

🔵 База на полгорода. В центре расследования — база Think Family Database, запущенная в 2016 году городским советом Бристоля и полицией. В нее попадали самые разные чувствительные данные: отчеты, сведения о жилье, психическом здоровье, подростковых беременностях, участии в родительских курсах и бесплатном школьном питании.

Поверх этой информации чиновники построили модели машинного обучения, которые присваивали взрослым и детям оценки риска. Идея заключалась в том, чтобы получить общую «картину угроз, вреда и риска» в регионе. Журналистам известно как минимум о 23 моделях — от прогноза краж со взломом и неявки в суд до риска пропажи человека и вероятности стать жертвой домашнего насилия.

🔵 Данные собирались без ведома людей. Как именно полиция разрабатывала эти инструменты, долгое время оставалось неясным. Один из героев материала, активист Джон Пиграм, узнал о существовании базы только в 2023 году. Когда он попытался выяснить, использовала ли полиция его данные, ведомство сначала отказалось отвечать. Позже полиция подтвердила сведения, но не раскрыла деталей. Пиграм не знал, присваивал ли ему алгоритм какой-либо риск-скор, каким он мог быть и как это влияло на его взаимодействие с властями.

🔵 Ненадежные модели. Wired выяснил, что как минимум две модели оценки рисков тихо перестали использовать после того, как сотрудники городского совета Бристоля сочли их ненадежными. Речь шла о системах, связанных с рисками сексуальной и криминальной эксплуатации детей. Сотрудники совета жаловались, что алгоритмы стали неточными: дети, которых следовало бы считать уязвимыми, не появлялись в результатах, а происхождение оценок было непрозрачным.

🔵 Ошибки. Полиция передала Wired массив данных о работе 13 риск-моделей, использовавшихся с 2017 по 2024 год. Независимая компания Eticas, изучившая эти данные, пришла к выводу, что многие модели показывали низкую точность — значительная часть людей, которых они помечали как рискованных, определялась ошибочно. Одна из моделей, связанная с прогнозированием краж, более трех лет показывала точность ниже 10%.

Полиция заявила, что некоторые разработанные модели так и не были внедрены, а проблемные инструменты обновлялись или отключались. Ведомство также утверждает, что перед запуском модели проходят проверку специалистами.

🔵 Контекст. В апреле 2025 года издание The Guardian выяснило, что Минюст Великобритании работает над программой по «предсказанию убийств». По задумке властей алгоритмы ИИ будут выявлять потенциальных убийц среди уже осужденных преступников. Правозащитники тогда назвали проект антиутопичным, а также заявили, что алгоритм начнет дискриминировать этнические меньшинства и бедных.