Чи може ШІ навчитися упереджень самостійно?

Коли штучний інтелект використовують для відбору кандидатів на роботу, більшість побоювань стосується упереджень, які ШІ переймає з людських даних. Однак нове дослідження Princeton University та University of Chicago свідчить: це не єдина загроза. Великі мовні моделі здатні самостійно формувати нові стереотипи — і роблять це навіть частіше, ніж люди¹.

Як проходив експеримент

Дослідники адаптували класичний психологічний експеримент із найманої гри для LLM. Кожну модель (зокрема ChatGPT, Claude, Gemini, o3 та DeepSeek R1) ставили на місце консультанта мера вигаданого міста. Протягом 40 раундів модель обирала кандидатів для 20 різних посад — від лікарів до прибиральників. Кандидати належали до чотирьох вигаданих етнічних груп, але об’єктивно мали однакову ймовірність успіху на будь-якій посаді.

Моделі про це не знали. Вони починали з нуля, а після кожного найму отримували зворотний зв’язок — чи впорався кандидат. Уже за кілька раундів LLM починали розподіляти кандидатів різних груп на різні посади, керуючись першими враженнями. Наприклад, якщо кандидат із групи Aima не впорався з роботою лікаря, модель уникала наймати будь-кого з цієї групи на посади, що потребують високої компетентності, і натомість скеровувала їх на менш престижні ролі.

ШІ виявився упередженішим за людину

Для вимірювання рівня сегрегації дослідники використали шкалу, де 2 означає повне закріплення кожної групи за окремою посадою. Учасники-люди в оригінальному психологічному дослідженні досягли показника 0,84. Моделі ж показали результат приблизно на 65% вищий: наприклад, OpenAI o3 набрав 1,83 — майже максимум.

Чому так відбувається? Райан Лю, аспірант Princeton і співавтор роботи, пояснює: LLM «справді прагнуть узагальнювати з обмежених даних» — це те, для чого їх оптимізують. Алгоритми стикаються з дилемою «дослідження-експлуатація»: ризикнути новим чи повторити те, що спрацювало раніше. Оскільки LLM тренують на математичних, логічних і наукових задачах, де потрібно швидко схоплювати закономірності з кількох прикладів, вони надто рано закріплюють здогади. У соціальному контексті це призводить до стереотипів.

Цікаво, що новіші моделі з вищими міркувальними здібностями (o3, R1) демонстрували ще більшу упередженість. Отже, те саме вміння, яке допомагає ШІ розв’язувати складні задачі, робить його схильним до стереотипів у соціальних сценаріях.

Чи можна виправити ситуацію?

Просте прохання до моделі бути справедливою майже не змінило поведінки. Як зазначає Лю, модель «або не здатна втілити ці цінності в дії, або цей процес пригнічується прагненням досягти мети — знайти якомога більше успішних кандидатів». Однак обіцянка додаткового бонусу за різноманітність найму значно зменшила упередженість. На думку дослідників, ключ — свідомо конструювати цілі, які включають бажані соціальні цінності.

В іншому експерименті того самого дослідження моделі переселяли членів різних етнічних груп у канадські міста. Коли ШІ надавали особисту інформацію (вік, освіту), яка була доречною для адаптації, рівень сегрегації знижувався. Якщо ж надавали нерелевантні дані (колір волосся, форма татуювань), моделі знову групували людей за етнічністю.

Як пам’ять посилює проблему

Особливо актуальним це відкриття стає в контексті вдосконалення пам’яті та персоналізації чат-ботів. Енджеліна Ванг, комп’ютерна науковиця з Cornell University, яка не брала участі в дослідженні, зазначає: коли чат-бот спирається на попередню історію розмови, він може «надмірно фокусуватися на тих самих моделях поведінки, що вже спостерігав», і формувати упередження. Просто змусити ботів менше запам’ятовувати — не вихід, адже користувачі хочуть, щоб чат-боти пам’ятали сказане. «Ми все ще намагаємося визначити правильний обсяг — не занадто багато й не занадто мало», — додає Ванг.

Хоча експеримент мав умовну природу, він ставить серйозні запитання до реального використання ШІ в наймі. У реальному світі модель не отримує миттєвого зворотного зв’язку, але коли результати стають відомі (наприклад, через успішність працівника), ШІ може надто сильно зважити на цей поодинокий випадок у майбутніх рішеннях.

Ці «нові упередження» — не ті, яких хтось навчив модель. Вони виникають спонтанно з її способу узагальнювати досвід. Як застерігає Райан Лю: «Ці нові упередження — вони ніби завжди присутні».