W grudniu 2020 roku Google ogłosił, że przyjął rezygnację współkierowniczki zespołu Ethical AI. Timnit Gebru powiedziała co innego: że została zwolniona.

Spór dotyczył artykułu o dużych modelach językowych. Firma twierdziła, że tekst ominął wewnętrzną recenzję i pominął istotną literaturę. Gebru twierdziła, że laboratorium nie chciało, by jej nazwisko — i nazwiska ludzi z Google — stało przy listą kosztów, których korporacja wolałaby nie słyszeć.

Ta różnica nie jest drobiazgiem kadrowym. Pokazuje, gdzie kończy się badanie biasu jako właściwości danych, a zaczyna jako konflikt o to, kto w firmie budującej modele ma prawo ten bias nazwać.

Addis Abeba, ucieczka, Stanford

Timnit W. Gebru urodziła się w Addis Abebie, w 1982 albo 1983 roku. Rodzice byli Erytrejczykami. Ojciec, inżynier elektryk, zmarł, gdy miała pięć lat. Wychowywała ją matka, ekonomistka.

Wojna etiopsko-erytrejska zmieniła ten dom w miejsce, z którego trzeba było zniknąć. Jako nastolatka wyjechała z Etiopii. Po postoju w Irlandii dostała azyl polityczny w Stanach. Szkołę średnią kończyła w Massachusetts. W 2001 roku dostała się na Stanford.

Tam zrobiła licencjat i magistra z elektrotechniki. Jeszcze na studiach pracowała w Apple: najpierw przy układach audio, potem przy algorytmach przetwarzania sygnału do pierwszego iPada. Potem wróciła do laboratorium. Doktorat z widzenia komputerowego obroniła w 2017 roku pod kierunkiem Fei-Fei Li. Tytuł rozprawy brzmiał Visual computational sociology: computer vision methods and challenges.

To nie była jeszcze etyka AI w dzisiejszym sensie. Gebru brała publicznie dostępne zdjęcia — między innymi z Google Street View — i próbowała z nich czytać społeczeństwo. W jednej z prac zespół pokazywał, że po typie samochodu na ulicy da się z pewną wiarygodnością zgadywać, jak głosuje okolica. Widzenie maszynowe okazywało się narzędziem socjologii. I od razu narzędziem władzy: kto ma zdjęcia, ten ma portret ludności tańszy niż spis.

W tym samym okresie, jeszcze jako doktorantka, współzałożyła z Rediet Abebe organizację Black in AI. Chodziło o coś prostszego i twardszego niż „różnorodność” w slajdzie korporacyjnym: żeby czarni badacze w ogóle byli w sali, w której ustala się, czym jest pole.

Gender Shades i karty danych

Po doktoracie Gebru poszła na staż podoktorski do Microsoft Research w Nowym Jorku, do grupy FATE: fairness, accountability, transparency, ethics. Tam, razem z Joy Buolamwini, opublikowała w 2018 roku Gender Shades.

Buolamwini była pierwszą autorką. Gebru — współautorką, która pomogła zamienić osobiste doświadczenie „kamera mnie nie widzi” w pomiar. Komercyjne systemy rozpoznające płeć na zdjęciu twarzy myliły się rzadko przy jasnoskórych mężczyznach i często przy ciemnoskórych kobietach. W najgorszym zestawieniu błąd sięgał ponad 30 procent.

Wniosek nie wymagał filozofii. W danych treningowych było mało twarzy, które system potem miał obsługiwać. Bias nie był opinią modelu. Był dziurą w zbiorze, którą dało się zmierzyć.

Równolegle Gebru pracowała nad czymś mniej widowiskowym i równie trwałym. Datasheets for Datasets to propozycja, by każdy zbiór danych dostał kartę jak urządzenie elektryczne: skąd pochodzi, kto go zbierał, kogo w nim brak, do czego nie powinien być używany. Model Cards, z Margaret Mitchell jako pierwszą autorką, robiły to samo dla gotowego modelu.

To była próba przeniesienia sporu o bias z moralnego oburzenia do dokumentacji. Jeśli nie da się mieć zbioru bez wartości, to przynajmniej te wartości mają być wypisane.

Google i zespół, który miał pilnować firmy od środka

W 2018 roku Gebru przeszła do Google. Razem z Margaret Mitchell objęła współkierownictwo zespołu Ethical AI. Zadanie brzmiało elegancko: badać ryzyka systemów, które ta sama firma buduje i sprzedaje.

Takie zespoły żyją w sprzeczności. Potrzebują dostępu do modeli i danych. Jednocześnie ich praca ma sens tylko wtedy, gdy wolno im napisać, że model jest za duży, za drogi, za słabo udokumentowany albo zbyt pewny siebie.

Przez dwa lata dało się tę sprzeczność utrzymywać. Potem pojawiły się modele językowe, które żarły korpusy w skali internetu. I artykuł, który nie chciał zostać wewnętrzną notatką.

Cztery tezy, nie mem

Pod koniec 2020 roku Gebru, Emily M. Bender, Angelina McMillan-Major i Margaret Mitchell (w tekście podpisana jako Shmargaret Shmitchell) złożyły pracę On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. Ukazała się w 2021 roku na konferencji FAccT.

Tytuł zrobił karierę. „Stochastyczna papuga” weszła do języka krytyków AI jako obraza modeli. Sam artykuł jest suchy i wąski. Nie twierdzi, że modele „niczego nie umieją”. Twierdzi, że skalowanie korpusu i parametrów nie znosi czterech konkretnych problemów.

Koszt. Trening wielkiego modelu zjada energię i pieniądze. Ten koszt ponoszą nie tylko laboratoria. Ponoszą go też miejsca, w których stawia się serwerownie, i ci, którzy nie mają budżetu, żeby taki model powtórzyć. Im większy model uznaje się za normę, tym ciaśniejsze staje się pole.

Nieudokumentowany korpus. Nikt nie przeczytał internetu, z którego model się uczy. Wiadomo natomiast, kogo w tym internecie jest za dużo, a kogo za mało. Młodzi, bogatsi, anglojęzyczni użytkownicy są nadreprezentowani. Historyczne uprzedzenia wchodzą do wag nie jako opinia, tylko jako częstość.

Brak rozumienia. Model składa formy językowe, które wyglądają jak znaczenie. To nie to samo, co posiadanie modelu świata. Papuga powtarza — stochastycznie, z dużym zasobem wzorców. Łatwo wziąć płynność za wiedzę.

Użycie. System, który brzmi pewnie, nadaje się do dezinformacji, do udawania eksperta, do zamykania rozmowy pozorowanym autorytetem. Im bardziej model wydaje się mówić jak człowiek, tym łatwiej zapomnieć, że nie ponosi odpowiedzialności za zdanie.

Żadna z tych tez nie wymagała wiary w bunt maszyn. Wymagała czegoś gorzej przyjmowanego w laboratorium: że „więcej parametrów” nie jest odpowiedzią na każde pytanie.

Grudzień 2020

Google poprosiło o wycofanie tekstu albo o zdjęcie z niego nazwisk pracowników firmy. Z czworga autorów poza Google była wtedy tylko Bender.

Gebru odmówiła. Zamiast tego zażądała jasnych zasad recenzji: kto czyta, jakim kryterium, w jakim terminie. Wysłała też list do współpracowników. Firma uznała to za rezygnację i rezygnację przyjęła. Gebru powiedziała, że została zwolniona.

Jeff Dean, szef Google AI, pisał, że artykuł nie poczekał na wewnętrzną ścieżkę i że nie oddaje stanu badań. Gebru odpowiadała, że ścieżka recenzji była nieprzejrzysta, a problemem nie była jakość tekstu, tylko jego polityczna niewygoda: ślad węglowy, zawężenie pola do kilku laboratoriów, bias w korpusie, z którego Google też korzysta.

Po odejściu tysiące pracowników i badaczy podpisało listy. Kilkoro członków Kongresu USA żądało wyjaśnień. W lutym 2021 roku Google zakończyło współpracę z Margaret Mitchell. Zespół, który miał pilnować etyki od środka, w praktyce się rozpadł.

Nie trzeba wybierać jednej wersji zdarzeń, żeby zobaczyć strukturę. Firma, która finansuje badania nad własnymi systemami, zostaje recenzentem tych badań. Dopóki wniosek jest „da się poprawić danymi”, recenzja przechodzi. Gdy wniosek brzmi „może nie należy budować większego modelu”, recenzja staje się konfliktem interesów.

DAIR, czyli próba wyjścia z laboratorium

W grudniu 2021 roku, rok po odejściu z Google, Gebru uruchomiła Distributed Artificial Intelligence Research Institute. DAIR ma być instytutem poza dużym labem i poza zależnością od jednej korporacji. Siedziba jest rozproszona. W zespole są informatycy, badacze społeczni, ludzie z Afryki i z diaspory.

Program jest świadomie węższy niż „naprawić AI”. Dokumentować skutki systemów dla grup, które zwykle są w danych słabo widoczne. Pytać, kto jest nadzorowany, a kto tylko obsługiwany. Nie zakładać, że internet jest reprezentatywny, bo „wszyscy tam są”.

Gebru zasiada też w radzie AddisCoder, programu uczącego algorytmów licealistów w Etiopii i na Jamajce. Black in AI działa nadal. Nature wpisało ją na listę dziesięciu osób, które ukształtowały naukę w 2021 roku. TIME — na listę najbardziej wpływowych ludzi.

Pisze książkę Deep Unlearning: The Rise of AI and the Radicalization of a Tech Idealist. Sam podtytuł zdradza łuk: od wiary, że laboratorium naprawi siebie od środka, do wniosku, że niektórych rzeczy laboratorium nie chce umieć.

Czego ta biografia uczy o biasie

Gebru nie jest jedyną osobą, która mierzyła stronniczość modeli. Gender Shades dało się opowiedzieć jako historię zbioru: za mało ciemnych twarzy, za duży błąd. Datasheets dało się opowiedzieć jako procedurę: opisz dane, zanim ich użyjesz.

Stochastic Parrots i odejście z Google pokazują warstwę dalej. Bias nie żyje tylko w korpusie. Żyje też w decyzji, które badania wolno opublikować z afiliacją firmy, a które mają zostać wewnątrz.

Można nie zgadzać się z tonem Gebru. Można uważać, że duże modele językowe od 2020 roku zyskały zastosowania, których artykuł nie przewidział. To nie kasuje pytania, które postawiła laboratorium.

Jeśli jedynym miejscem badania ryzyka jest firma, która to ryzyko sprzedaje, to audyt ma wbudowany konflikt. Karty modelu i czyszczenie zbiorów tego konfliktu nie znoszą. Mogą go tylko opisać — o ile ktoś pozwoli opisowi wyjść na zewnątrz.

Dlatego w serii o stronniczości AI ta biografia nie jest ozdobnikiem. Jest brakującym zdaniem: problem nie kończy się na danych. Zaczyna się też tam, gdzie dane, model i interes laboratorium stają się jednym zdaniem.

Źródła i dalsza lektura

• Bender E.M., Gebru T., McMillan-Major A., Shmitchell S., On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, FAccT 2021.
• Buolamwini J., Gebru T., Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, PMLR 2018.
• Gebru T. i in., Datasheets for Datasets, Communications of the ACM, 2021.
• Mitchell M. i in., Model Cards for Model Reporting, FAT* 2019.
• Gebru T., Visual computational sociology: computer vision methods and challenges, rozprawa doktorska, Stanford 2017.
• DAIR, profil Timnit Gebru oraz opis instytutu: dair-institute.org
• Relacje z odejścia z Google: wypowiedzi Gebru oraz list Jeffa Deana z grudnia 2020 — dwie sprzeczne wersje tego samego tygodnia.
• The Guardian, wywiad z Gebru, 2023.

---

Powiązane szkice: Bias w danych treningowych; Stronniczość AI — trzy różne problemy pod jednym słowem; Joy Buolamwini — kobieta, która zmierzyła ślepotę kamer.