Смещение ИИ (bias)

Смещение ИИ (AI bias) — тенденция обученных моделей воспроизводить, усиливать или привносить систематические предубеждения в отношении пола, расы, возраста, национальности и других признаков. Проблема не сводится к «плохим данным»: смещение возникает также из-за нерепрезентативной выборки, ошибочного выбора прокси-переменных, асимметричной разметки и неправильной постановки задачи оптимизации.

Если в обучающей выборке определённая демографическая группа представлена меньше или её члены чаще ассоциируются с негативными исходами (например, исторически — с отказами в кредите), модель усваивает эти корреляции как закономерности. В NLP-системах смещение проявляется в ассоциации профессий с гендером; в системах компьютерного зрения — в ухудшении качества распознавания тёмных оттенков кожи, задокументированном в исследовании Gender Shades (Buolamwini & Gebru, 2018).

Развёртывание смещённых моделей в найме, кредитовании, медицине или правоохранительной деятельности имеет прямые последствия для людей. Широкую огласку получила система COMPAS, используемая в судах ряда штатов США для оценки риска рецидивизма: расследование ProPublica (2016) показало, что она непропорционально высоко оценивала этот риск для афроамериканцев.

К 2026 году EU AI Act обязывает разработчиков систем высокого риска проводить оценку смещения до развёртывания. Сообщество создало инструменты — Fairlearn (Microsoft), AI Fairness 360 (IBM), What-If Tool (Google) — для измерения и снижения bias. Тем не менее единого определения «справедливости» не существует: различные метрики справедливости математически несовместимы между собой.

Пример

“Внутренняя система найма Amazon, обученная на резюме успешных сотрудников за десятилетие, стала систематически занижать рейтинг кандидаток, поскольку исторически мужчины доминировали в технических ролях; в 2018 году проект был свёрнут.