Bias w danych treningowych

Modele uczą się z danych. A dane są ludzkie — pełne uprzedzeń, stereotypów i nierówności. To, co ludzie napisali, model powtarza. Czasem wiernie, czasem mocniej, niż było w oryginale. I to jest problem biasu w danych treningowych.

Słowo „bias” ma w uczeniu maszynowym kilka znaczeń. Tutaj chodzi o jedno: model systematycznie traktuje ludzi inaczej ze względu na płeć, pochodzenie, kolor skóry, dialekt czy wiek, choć nikt go tego celowo nie uczył. Ta różnica przychodzi razem z danymi.

Skąd się bierze

Dane treningowe to tekst z internetu, książek, artykułów. A internet odzwierciedla społeczeństwo — z jego nierównościami, stereotypami i historycznymi uprzedzeniami. Model nie filtruje tego. On uczy się wzorców, w tym tych szkodliwych.

Tyle że „dane odzwierciedlają społeczeństwo” to uproszczenie. Odzwierciedlają tę część społeczeństwa, która pisze, publikuje i zostawia ślady w systemach. Źródeł biasu jest kilka i każde działa trochę inaczej.

Kto pisze. Emily Bender, Timnit Gebru i współautorki w głośnym artykule o „stochastycznych papugach” (2021) zwracają uwagę, że wielkie korpusy tekstu nadreprezentują młodszych użytkowników z bogatych krajów, piszących po angielsku. Duży zbiór nie oznacza różnorodnego zbioru. Oznacza tylko, że tych samych głosów jest więcej.

Co zapisano w przeszłości. Dane historyczne utrwalają historyczne decyzje. Jeśli przez dziesięć lat firma zatrudniała i awansowała głównie mężczyzn, dane o zatrudnieniu „uczą”, że dobry kandydat to mężczyzna. Model nie wie, że to skutek dyskryminacji. Widzi korelację.

Co mierzymy zamiast tego, co nas interesuje. Często nie da się zmierzyć rzeczy, na której nam zależy, więc używa się zastępczego wskaźnika. Zespół Ziada Obermeyera opisał w 2019 roku w „Science” algorytm stosowany w amerykańskiej opiece zdrowotnej, który miał wskazywać pacjentów potrzebujących dodatkowej opieki. Jako miarę potrzeb przyjęto przyszłe koszty leczenia. Czarnoskórzy pacjenci przy tym samym stanie zdrowia generowali niższe koszty, bo mieli gorszy dostęp do leczenia. Algorytm uznawał ich więc za zdrowszych. Rasy nikt do modelu nie wpisał.

Kto etykietuje i filtruje. Część danych oznaczają ludzie: co jest obraźliwe, co jest dobrą odpowiedzią, co jest „wysokiej jakości” tekstem. Ich oceny też niosą uprzedzenia. Podobnie filtry automatyczne, o czym niżej.

Do tego dochodzi wzmocnienie. Model nie zawsze tylko kopiuje proporcje z danych, czasem je przerysowuje. Bloomberg w 2023 roku przeanalizował kilka tysięcy obrazów wygenerowanych przez Stable Diffusion: w dobrze płatnych zawodach model pokazywał głównie mężczyzn o jasnej karnacji, wyraźniej niż wynikałoby to z amerykańskich statystyk zatrudnienia.

Przykłady

Klasyczny przypadek to system rekrutacyjny, który faworyzował mężczyzn, bo dane treningowe pochodziły z firm, gdzie historycznie zatrudniano głównie mężczyzn. Chodzi o narzędzie Amazona, opisane przez Reutersa w 2018 roku. Model uczył się na CV nadsyłanych przez dziesięć lat, w większości przez mężczyzn. Obniżał ocenę życiorysów, w których pojawiało się słowo „women’s” (np. „kapitan kobiecego klubu szachowego”), i gorzej oceniał absolwentki dwóch uczelni dla kobiet. Inżynierowie poprawili model tak, by ignorował te konkretne słowa, ale nie mieli pewności, że nie znalazł innych sposobów na to samo. Projekt porzucono. Amazon podkreślał, że rekruterzy nigdy nie opierali się wyłącznie na jego ocenach.

Inny to model, który kojarzył imiona afroamerykańskie z negatywnymi słowami, bo tak wyglądały dane z korpusów tekstowych. Aylin Caliskan, Joanna Bryson i Arvind Narayanan pokazali w 2017 roku w „Science”, że reprezentacje słów wytrenowane na zwykłym tekście z internetu odtwarzają te same skojarzenia, które psychologowie mierzą u ludzi testem utajonych postaw (IAT). Imiona typowe dla białych Amerykanów leżały bliżej słów przyjemnych, imiona typowe dla Afroamerykanów bliżej nieprzyjemnych. Imiona kobiece łączyły się z rodziną, męskie z karierą.

Rok wcześniej zespół Tolgi Bolukbasiego pokazał to samo na analogiach. Zapytany „mężczyzna ma się do programisty jak kobieta do…?”, model odpowiadał: „gospodyni domowej”. Tak brzmi zresztą tytuł ich pracy.

Bias nie dotyczy tylko tekstu. W projekcie Gender Shades (2018) Joy Buolamwini i Timnit Gebru sprawdziły komercyjne systemy rozpoznające płeć na zdjęciach twarzy. Dla jasnoskórych mężczyzn błąd wynosił najwyżej 0,8%. Dla ciemnoskórych kobiet sięgał 34,7%. Powód był prozaiczny: w danych treningowych było mało zdjęć ciemnoskórych kobiet.

Dlaczego to trudne do naprawienia

Bo bias jest subtelny. Nie da się go usunąć prostym filtrowaniem — usunie się oczywiste przypadki, ale zostaną subtelne. I model może nauczyć się ukrywać bias, nie eliminując go. Na przykład model może przestać używać pewnych słów, ale nadal kojarzyć pewne cechy z pewnymi grupami.

To nie jest hipoteza. Hila Gonen i Yoav Goldberg w pracy z 2019 roku, zatytułowanej wymownie „Lipstick on a Pig”, wzięli reprezentacje słów po zabiegu usuwania biasu płciowego. Standardowe testy wychodziły czysto. Ale słowa stereotypowo „kobiece” i „męskie” nadal skupiały się w osobnych grupach, a prosty klasyfikator bez trudu odgadywał, do której należą. Bias przestał być widoczny w miejscu, gdzie go mierzono. Z modelu nie zniknął.

Jeszcze mocniejszy przykład dotyczy dużych modeli językowych. Valentin Hofmann i współpracownicy opisali w 2024 roku w „Nature”, jak modele oceniają ludzi piszących w afroamerykańskim dialekcie angielskiego (AAE). Zapytane wprost o Afroamerykanów, modele odpowiadały raczej pozytywnie. Ale gdy dostawały ten sam tekst w dialekcie i w standardowym angielskim, autorom wersji w AAE przypisywały mniej prestiżowe zawody, a w hipotetycznych sprawach sądowych częściej ich skazywały, także na karę śmierci. Trening na ludzkich ocenach (ten sam, który uczy model grzeczności) ograniczał jawne stereotypy, ale nie usuwał ukrytych.

Drugi powód: usunięcie wrażliwej cechy nic nie daje, jeśli zostają jej zamienniki. Amazon nie podawał modelowi płci kandydatów. Model znalazł ją w nazwie klubu i uczelni. Kod pocztowy, imię, hobby, sposób pisania, wszystko to może zdradzać grupę, do której ktoś należy.

Próby rozwiązania

Są trzy główne kierunki.

Pierwszy to czyszczenie danych — filtrowanie i równoważenie zbiorów treningowych. Usuwa się treści obraźliwe, dobiera dane tak, by grupy były reprezentowane w podobnych proporcjach, albo dopisuje przykłady z zamienionymi cechami (to samo zdanie z „on” i z „ona”). Coraz częściej też dokumentuje się same zbiory: skąd pochodzą, kto je zbierał, kogo w nich brakuje. Taki format zaproponowała m.in. Timnit Gebru z zespołem jako „datasheets for datasets”.

Drugi to debiasing — techniki, które próbują usunąć uprzedzenia z modelu po treningu. W prostszych modelach oznacza to np. matematyczne „wyzerowanie” kierunku płci w przestrzeni słów (tak zrobił zespół Bolukbasiego). W dużych modelach językowych rolę tę pełni głównie dostrajanie: dodatkowy trening na starannie dobranych przykładach i na ocenach ludzi, a do tego instrukcje systemowe.

Trzeci to audyt — regularne testowanie modelu pod kątem biasu na różnych grupach. Służą do tego zestawy testów, np. BBQ (Bias Benchmark for QA), które sprawdzają, czy model w niejednoznacznych sytuacjach sięga po stereotyp. Do tego „karty modelu”, czyli opis tego, jak model wypada dla różnych grup, oraz red teaming: ludzie celowo szukają sytuacji, w których model zawodzi. Audyt przestaje być dobrowolny. Unijny AI Act w art. 10 wymaga, by dane treningowe systemów wysokiego ryzyka zbadać pod kątem możliwych uprzedzeń.

Granice

Żadne z tych podejść nie rozwiązuje problemu w pełni.

Czyszczenie danych jest kosztowne i niepełne. Bywa też, że samo tworzy nowy bias. Jesse Dodge i współautorzy (2021) przyjrzeli się korpusowi C4, na którym trenowano wiele modeli. Filtr oparty na liście „zakazanych słów” nieproporcjonalnie często wycinał teksty napisane w afroamerykańskim i latynoskim wariancie angielskiego oraz zupełnie neutralne teksty o osobach LGBT. Dane stały się „czystsze” i jednocześnie mniej reprezentatywne.

Debiasing może zaszkodzić innym właściwościom modelu. A jak pokazują Gonen i Goldberg oraz zespół Hofmanna, często maskuje problem zamiast go usuwać.

Audyt łapie oczywiste przypadki, ale nie subtelne. Test znajdzie tylko to, czego szuka. Modele z badania Hofmanna przechodziły testy na jawne stereotypy.

Jest też kłopot głębszy: nie ma jednej definicji sprawiedliwości. Jon Kleinberg, Sendhil Mullainathan i Manish Raghavan udowodnili (2016), że gdy grupy różnią się w danych bazowymi wskaźnikami, kilku intuicyjnych warunków sprawiedliwości nie da się spełnić jednocześnie, poza szczególnymi przypadkami. Trzeba wybrać, którą niesprawiedliwość uznajemy za mniejsze zło. To decyzja etyczna, nie techniczna.

I nikt nie wie, czy da się wytrenować model bez biasu, bo bias jest częścią danych, z których się uczy.

Podsumowanie

Bias w danych to nie problem techniczny, który da się naprawić. To odbicie społeczeństwa, które dane tworzy. Pytanie nie brzmi, jak usunąć bias, ale jak z nim żyć i minimalizować szkody.

W praktyce oznacza to kilka pytań, które warto zadać przed wdrożeniem każdego systemu, który ocenia ludzi. Na czyich danych go wytrenowano i kogo w nich brakuje? Co naprawdę mierzy wskaźnik, na którym się uczył? Jak wypada dla różnych grup, a nie tylko średnio? I kto ponosi koszt, gdy się pomyli?

Bibliografia

Bender, E. M., Gebru, T., McMillan-Major, A., Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT ’21. https://doi.org/10.1145/3442188.3445922
Bolukbasi, T., Chang, K.-W., Zou, J., Saligrama, V., Kalai, A. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. NeurIPS 2016. https://arxiv.org/abs/1607.06520
Buolamwini, J., Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. PMLR 81. https://proceedings.mlr.press/v81/buolamwini18a.html
Dastin, J. (2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters, 10.10.2018. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
Dodge, J. i in. (2021). Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. EMNLP 2021. https://arxiv.org/abs/2104.08758
Gebru, T. i in. (2021). Datasheets for Datasets. Communications of the ACM, 64(12). https://arxiv.org/abs/1803.09010
Gonen, H., Goldberg, Y. (2019). Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them. NAACL 2019. https://arxiv.org/abs/1903.03862
Hofmann, V., Kalluri, P. R., Jurafsky, D., King, S. (2024). AI generates covertly racist decisions about people based on their dialect. Nature, 633, 147–154. https://doi.org/10.1038/s41586-024-07856-5
Mitchell, M. i in. (2019). Model Cards for Model Reporting. FAT ’19*. https://arxiv.org/abs/1810.03993
Nicoletti, L., Bass, D. (2023). Humans Are Biased. Generative AI Is Even Worse. Bloomberg. https://www.bloomberg.com/graphics/2023-generative-ai-bias/
Obermeyer, Z., Powers, B., Vogeli, C., Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342
Parrish, A. i in. (2022). BBQ: A Hand-Built Bias Benchmark for Question Answering. Findings of ACL 2022. https://arxiv.org/abs/2110.08193
Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 (AI Act), art. 10. https://eur-lex.europa.eu/eli/reg/2024/1689/oj