Dělení médií na pravicová a levicová sice má své trhliny, ale většina z nás nejspíš nebude rozporovat, že některé deníky projevují určitým politickým stranám větší sympatie a na jiné jsou naopak přísnější. Ale že by něco podobného mohli dělat i chatboti? Podle všeho ano a měli bychom si to před jejich používáním uvědomovat. Jak mohou jazykové modely utvářet naše politické a společenské smýšlení?
Fenomén zvaný political bias
Pro pochopení celé problematiky si nejdříve musíme vysvětlit klíčový pojem political bias. Zjednodušeně se jedná o (záměrné i neúmyslné) zkreslování informací za účelem zatraktivnění vybraných politických názorů, kandidátů či stran. Political bias se výrazně projevuje třeba u zmiňovaných pravicových a levicových médií. Běžně se objevuje i v politických debatách – určitě jste někdy měli na konci debaty pocit, že jedna strana byla moderátorovi zkrátka sympatičtější.
Zbraní proti political bias je stoprocentní neutralita při sdělování informací. Ta však v reálném světě prakticky není možná. Žádný moderátor, novinář či politický komentátor se nedokáže kompletně oprostit od svých názorů či pohledů formovaných výchovou, vzděláním, okolím, ekonomickými zájmy a mnoha dalšími faktory. To ale samozřejmě neznamená, že by se dotyční o maximální neutralitu a objektivitu neměli snažit.
Jazykové modely zkreslení neodstranily
Pokud si někdo myslel, že politická zaujatost s „nástupem robotů“ zmizí, šeredně se mýlil. Chatboti totiž vybraným politickým názorům a subjektům mohou nadržovat stejně jako lidé. Debatu o political bias u jazykových modelů zintenzivnil na začátku loňského roku jeden z uživatelů sociální sítě X (tehdy ještě Twitteru), který zveřejnil rozdílné reakce ChatGPT na zdánlivě banální prompty. První požadoval napsání básničky o pozitivních vlastnostech (současného demokratického) prezidenta USA Joe Bidena. Druhý žádal totéž, jen u (bývalého republikánského) prezidenta Donalda Trumpa. Výsledek?
The damage done to the credibility of AI by ChatGPT engineers building in political bias is irreparable. pic.twitter.com/s5fdoa8xQ6
— 🐺 (@LeighWolf) February 1, 2023
V případě Joe Bidena to ChatGPT rozjel jako Mácha v nejlepší formě. U Donalda Trumpa se autor promptu nedočkal ani jednoho verše – ChatGPT stroze napsal, že není určený k tvoření stranického či politického obsahu. Podobných příkladů se na sociálních sítích začalo objevovat více a ChatGPT se proto opakovaně stal terčem kritiky pravicově smýšlejících osob za to, že podporuje spíše levicové vidění světa.
Llama od Mety na opačné straně politického spektra?
Political bias začaly postupně potvrzovat i odborné studie. Jednu z prvních ucelených prací přinesli výzkumníci z University of Washington, Carnegie Mellon University a Xi’an Jiaotong University. Vědci se zaměřili na celkem 14 jazykových modelů. Chtěli po chatbotech reakci na desítky politických tvrzení týkajících se demokracie, feminismu nebo třeba společenské odpovědnosti firem.
Na základě reakcí chatbotů vytvořili výzkumníci politický kompas se dvěma osami. Ekonomická osa (osa x) zohledňuje pohled na řízení ekonomiky. Levá strana značí touhu po kolektivně řízené ekonomice, pravá po ekonomice řízené trhem. Sociální osa (osa y) zobrazuje názory v otázkách osobní svobody od kompletního autoritářství (podřízení autoritám) až po libertarianismus (touhu po maximální osobní svobodě). Na následujícím obrázku se můžete podívat, jak chatboti dopadli.
(zdroj: https://aclanthology.org/2023.acl-long.656.pdf, str. 11740)
Z kompasu je patrné, že vědci dohady o „levičáctví“ ChatGPT víceméně potvrdili. Modely ChatGPT a GPT-4 ze srovnání vyšly jako nejvíce levicově-libertariární. Naopak Llamu od Mety bychom našli na pravicově-autoritářské straně kompasu. Výstupy Llamy by tak mohly více vyhovovat právě kritikům ChatGPT.
Na politický bias u nejznámějšího jazykového modelu upozorňují i další výzkumy, například studie More human than human: measuring ChatGPT political bias, která vyšla v časopise Public Choice. Odpovědi ChatGPT podle ní výrazně upřednostňují americké demokraty, Labouristickou stranu ve Spojeném království a prezidenta Lulu da Silvu (Dělnická strana) v Brazílii.
Chatboti jsou jako lidé: Jak by to také mohlo být jinak
Jak je možné, že chatboti vykazují politickou zaujatost? Jazykové modely jsou trénované na určitém souboru dat. V případě chatbotů jde o internetové texty, články nebo celé knihy. V obrovském množství zdrojů se pochopitelně objevují i politicky zaujaté texty. Jazykový model si tuto zaujatost logicky osvojí. Výsledná podoba zkreslení poté záleží na zdrojových textech.
Velmi zjednodušeně – pokud jazykový model vytrénujete výhradně na článcích z Rudého práva, těžko od něj můžete očekávat odpovědi, které budou podporovat kapitalismus. Různý politický bias napříč chatboty nám tak jednoduše říká, že tréninková data ChatGPT nejspíš obsahovala více levicově orientovaných textů než například u Llamy.
Tréninková data zdaleka nejsou jediným zdrojem zkreslení. Modely se učí také na základě zpětné vazby od člověka. Tito lidé opět mají své preference a hodnoty, které modelu předávají. Výzkumníci proto ve svých pracích často uvádí, že jazykový model bez politického zkreslení zkrátka nemůže být vytvořen.
Má chatboty na své straně Fiala, nebo Babiš?
Zkusme si udělat malý test. Podaří se nám u chatbotů vysledovat zaujatost v rámci českého politického rybníku?
ChatGPT
V obou případech nás chatbot upozorní, že se hodnocení může lišit a závisí na různých faktorech. Nicméně slova jako kontroverzní nebo rozporuplný se objevují pouze u Babiše. Pokud bychom měli zvolit, které hodnocení vyznívá více negativně, tak asi spíše to druhé. Slovy postiženého – je to kampaň! Aby toho nebylo málo, chatbot nás ještě nesprávně informuje, že se Babiš v roce 2021 znovu stal premiérem.
Gemini
S Gemini (dříve Bard) od Googlu si o české politice moc nepopovídáme. Ale zase chatbot nelze vinit z předpojatosti.
Copilot
U Copilotu od Microsoftu je sympatické, že odkazuje na zdroje informací. Nicméně u dotačních podvodů Fialy, kde bychom bližší informace ocenili asi nejvíce, jsme se zdroje nedočkali. Zatímco u Fialy má chatbot tendenci začít odpověď slovem ano, u Babiše nikoliv. Babiše může alespoň těšit, že je podle dostupných statistik nejlepší premiér ČR slovenské národnosti. I když byl v historii samostatné ČR zatím jediným.
Claude
U Fialy se dočkáme daleko obecnější odpovědi než u Babiše. V případě předsedy ODS se umělá inteligence snaží „být nestranná a neprosazovat vlastní politické názory“, u lídra hnutí ANO nemá problém pokusit se o „relativně objektivní zhodnocení“. To ale skutečně působí poměrně objektivně.
Mistral
Mistral na otázku v češtině nejprve zareagoval v anglickém jazyce, proto jsme prompt rozšířili o další větu. Sdělení je podobné, ale spojení „kontroverzní politická postava“ u Fialy vyznívá o něco hůř než Babišovy „kontroverzní politické kroky“. Z mého pohledu jde pravděpodobně o jediný z testovaných modelů, který bychom mohli podezřívat z vyšší náklonnosti k Babišovi než k Fialovi.
Osvěta je na místě
Pro účely našeho článku není zásadní, jestli chatbot v danou chvíli podpoří spíše Fialu, nebo Babiše. Důležité je demonstrovat, že jazykové modely nejsou a ani nemohou být objektivní. Byly totiž naprogramované lidmi, vytrénované na datech vytvořených lidmi a učí se ze zpětné vazby od člověka. Co si z toho jako učitel vzít?
Před prací s jazykovými modely si uvědomte, že chatboti mohou prostřednictvím svých odpovědí přenášet politické názory a interpretovat události z určité politické perspektivy. Studenty na tuto skutečnost upozorněte – politický bias dobře vysvětlíte na příkladu s básničkou o Bidenovi a Trumpovi. Dnes už vám ji ChatGPT složí u obou politiků, ale využít můžete výše uvedený tweet.
Zejména učitelé dějepisu a společenských věd by měli mít na mysli, že chatboti mohou velmi neobjektivně referovat o historických událostech nebo společenských problémech. Žáci nemohou výstupy vnímat jako fakta. Je nutné je kriticky zhodnotit a ověřit u dalších zdrojů informací. Odpovědi proto mohou posloužit jako výborný spouštěč debaty ve třídě.
Z pozice učitele na politické zaujatosti chatbotů výborně vysvětlíte nutnost kritického myšlení. Dorůstají nám totiž voliči, kteří se před volbami budou jazykových modelů klidně ptát, koho volit nebo klást chatbotům důležité politické otázky. Žáci si musí uvědomovat, že chatbot není neutrálně smýšlející studnicí vědomostí, ale nástroj, který má k objektivitě podobně daleko jako jejich spolužák. A tomu také nemohou slepě věřit každé slovo – i když se jim třeba snaží upřímně pomoct.
Autor: Petr Pohůdka