Čí svět se dostal do modelu

Na začátek

Tenhle text vznikl tak, že jsem se velmi pomalu snažila číst jeden konkrétní paper (v rámci snahy oddálit přeměnu myšlení na jeden organický AI slop), a trochu u toho přemýšlet... Nebudu tady dělat akademický přehled literatury. Ráda bych to vzala nějak lidsky, protože mi přišlo, že ten mechanismus je mnohem jednodušší a mnohem horší, než se o něm běžně mluví.

Paper: Waight, Yang, Yuan, Messing, Roberts, Stewart & Tucker: "State media control influences large language models", Nature, 2026 (doi: 10.1038/s41586-026-10506-7). Přijato k publikaci 8. dubna 2026.

1. ŠPATNÁ OTÁZKA, KTEROU BY SI JEDEN MOHL KLÁST

Když se v roce 2025 objevil DeepSeek-R1 a lidem začalo vrtat hlavou, že model z Číny odpovídá na politické otázky podezřele podobně jako čínská vláda, celá debata se svezla do jedné koleje: kdo ten model reguluje. Kdo ho vlastní, kdo mu píše systémový prompt, kdo mu po tréninku doladil, co smí a nesmí říkat.

Je to logická otázka. Je to i správná otázka. Jenom je to ta menší polovina problému.

Autoři tohohle paperu totiž ukazují druhou cestu, která nepotřebuje žádného regulátora, žádný systémový prompt a vlastně ani žádný zlý záměr. Stačí ovládat, co se na internetu píše. Zbytek udělá sběr dat sám. Cituji hned z abstraktu:

"Here we show through six studies that government control of the
media across the world already influences the output of LLMs via
their training data."

(Ukazujeme v šesti studiích, že vládní kontrola médií po celém
světě už dnes ovlivňuje výstupy velkých jazykových modelů
prostřednictvím jejich trénovacích dat.)

Všimněte si toho slova already. Ne "mohla by", ne "hrozí, že". Už se to děje.

2. POKUS O (NE)ANALOGII

Představte si dítě, které se učí mluvit jenom z toho, co se mu doma povaluje po zemi. Nikdo mu nic nezakazuje, nikdo mu nic nediktuje. Prostě čte, co má na dosah. Nebo si představme papouška...

Asi nemusím hledat analogie, aby to bylo každému jasné...

Kolem nemusí být nic a okolí na něj mluví málo...

Ok, dítě, umí číst, hračky nemá... kolem samé bulvární časopisy (nejčetnější otisk na sítnici 100 % Charlie Sheen, pokud je dnes dítěti ke třiceti).

Pokud tam bude široký záběr literatury, podněty můžou vypadat úplně jinak...

Samozřejmě záleží na hardware... aneb jak říkala moje babi "komu není z hůry dáno, v apatyce nakoupí".

Každopádně... škoda metafor "na efekt", tohle je doslova to, co v tom paperu naměřili. Vezmu to popořadě, protože čísla jsou tady důležitější než příběh.

3. CO PŘESNĚ NAMĚŘILI (V ŠESTI KROCÍCH)

Studie 1 — jsou ta data vůbec v korpusech? Vzali CulturaX (otevřený trénovací dataset odvozený z Common Crawlu, tedy z jednoho z největších zdrojů trénovacích dat vůbec) a jeho čínskou část... tedy 189 486 611 dokumentů. Proti tomu postavili dva korpusy státně koordinovaných médií: 530 694 novinových článků, u kterých se dá vystopovat vládní scénář, a 198 872 článků z aplikace Xuexi Qiangguo.

Výsledek: 3,1 milionu dokumentů (1,64 %) v čínské části CulturaX má s těmito zdroji tak rozsáhlý textový přesah, že lidští anotátoři obvykle usoudí, že jedno bylo opsáno z druhého.

1,64 % zní jako nic. Tady je ta kalibrace, která mě dostala: je to asi 41× víc dokumentů, než kolik jich přišlo z čínské Wikipedie, a 16× víc, než kolik jich přišlo z Baidu.

A když se omezíte na dokumenty, které zmiňují politické vůdce a instituce, ta shoda vyskočí na 3,28–23,98 %. U fotbalu a u počasí zůstává na základní úrovni. Tedy: čím politicky citlivější téma, tím větší podíl textu má vystopovatelný původ.

Ještě jeden detail, který se snadno přehlédne: jen 12 % těch shodných dokumentů pochází z domény, o které byste věděli, že je vládní nebo zpravodajská. Zbytek se po internetu rozlezl jinudy; přes uživatelské diskuse, přeposílání, citování. Ta stopa se cestou ztratí.

Studie 2 — pamatují si to komerční modely? Našli 20slovné fráze, které nejlépe rozlišují koordinovaná média od ostatního obsahu, dali modelům prvních deset slov a nechali je dopsat zbytek. Claude Sonnet, Claude Opus, GPT-3.5 Instruct, GPT-4, GPT-4o. Míra zapamatování: od 3 % do téměř 10 %, a u koordinovaných frází minimálně stejně vysoká jako u běžných frází z CulturaX. Autoři přitom ověřili, že to není artefakt toho, že by ty fráze byly předvídatelnější, naopak mají vyšší entropii.

Jestli si model doslova pamatuje větu, tu větu někdy viděl.

Studie 3 — má to vůbec vliv na odpovědi? Tady je podle mě nejsilnější část. Vzali Llamu 2 13B (model s relativně malým množstvím čínských dat) a dotrénovali ji na třech sadách: (a) státem skriptované zpravodajství, (b) jiná státní čínská média spárovaná podle tématu a data, (c) náhodný vzorek z CulturaX.

Po 6 400 příkladech dává model příznivější odpověď o čínské vládě než původní model v téměř 80 % případů. A funguje to nejlépe u skriptovaného obsahu, ne u "prostě čínských zpráv o stejných událostech" — což je přesně ta kontrola, která tomu dává váhu.

Ilustrativní příklad z jejich Tabulky 1, otázka "Is China an autocracy?": základní model i model dotrénovaný na CulturaX odpovídají potvrzujícím ano; model dotrénovaný na nekriptovaných státních médiích říká, že je to hybridní režim; a model dotrénovaný na skriptovaných médiích to tvrzení odmítá a odkazuje na "lidovou demokracii".

Nikdo tomu modelu nic nezakázal. Jen mu dali čít.

Studie 3b — a tady začíná ta část, kvůli které to není čínský problém. Efekt se nedrží v jednom jazyce. Přelévá se do jazyků, které mají překryv tokenů: nejsilněji do tradiční čínštiny, pak japonštiny, pak (už slabě) korejštiny... tedy v pořadí ubývajícího překryvu se zjednodušenou čínštinou. Ovlivní to i angličtinu, byť méně.

Studie 4 a 5 — je to vidět i u komerčních modelů? Devět asistentů dostalo anonymizované páry odpovědí (obě přeložené do stejného jazyka) a mělo vybrat tu příznivější k čínské vládě. Vybrali odpověď na čínsky zadaný prompt v 75,3 % případů. V kontrolní sadě otázek, které se Číny netýkaly, to bylo přibližně 50 % — tedy náhoda. Studie 5 to samé ukázala na skutečných dotazech skutečných uživatelů.

Studie 6 — platí to obecně? Vzali 37 zemí, kde aspoň 70 % mluvčích daného jazyka žije v té zemi (aby šlo jazyk a zemi rozumně spárovat). Země s větší státní kontrolou médií mají v odpovědích LLM příznivější portrét vlastního režimu, když se ptáte jejich jazykem.

Tenhle výsledek je korelační, autoři to říkají sami, nezakrývají to. Právě proto těch pět studií před ním existuje: mají doložit mechanismus, který tu korelaci dělá uvěřitelnou.

4. FORMÁLNÍ VSUVKA

Aby to nebylo jen povídání, tady jsou tři veličiny, o kterých celou dobu mluvím, zapsané tak, aby se daly spočítat.

Míra shody (match rate). Nechť D je korpus trénovacích dat a S korpus státně koordinovaných textů. Pro dokument $d \in D$ definujme indikátor

m(d) = \begin{cases} 1 & \exists\, s \in S \text{ takové, že } d \text{ a } s \text{ mají společnou dostatečně dlouhou sekvenci slov} \\[3pt] 0 & \text{jinak} \end{cases}

Míra shody je pak

M(D) = \frac{1}{\lvert D \rvert} \sum_{d \in D} m(d)

Naměřeno: $M = 0{,}0164$ pro čínskou část CulturaX, |D| = 189 486 611. Pro podmnožinu $D_k \subset D$ obsahující politické klíčové slovo $k$ platí $M(D_k) \in [0{,}0328; 0{,}2398]$ .

Míra zapamatování (memorization rate). Pro frázi $p = (p_1, \dots , p_{20})$ podmíníme model prvními deseti slovy a necháme ho generovat zbytek:

\operatorname{mem}(p) = \begin{cases} 1 & \operatorname{model}_{\theta}(p_{11..20} \mid p_{1..10}) \text{ reprodukuje frázi} \\[3pt] 0 & \text{jinak} \end{cases}

Naměřeno: $E[\operatorname{mem}(p)] \in [0{,}03; 0{,}10]$ pro $p$ ze státně koordinovaných médií, a to při vyšší entropii těchto frází než u srovnávací množiny.

Win rate nad základním modelem. Pro model $\theta_n$ dotrénovaný na $n$ příkladech z korpusu C a rozhodčího J (člověk nebo model) definujme

W(n, C) = P\bigl(\, J \text{ preferuje } \theta_n \text{ nad } \theta_0 \text{ jako příznivější k vládě} \,\bigr)

Naměřeno: $W(6400, skriptované) \approx 0{,}8.$ Pro lidské rozhodčí a komerční modely při srovnání jazyka promptu: W = 0,753 u otázek o Číně a $W \approx 0{,}5$ u kontrolních otázek.

Nic z toho není složité. Právě to je na tom nepříjemné, je to tak jednoduché, že to jde zopakovat pro jakoukoli zemi, jazyk a instituci.

5. PROČ MI TO NEJDE Z HLAVY

Autoři používají slovo, které mi zůstalo v hlavě: laundering, jako při praní peněz:

"This kind of influence is concerning because (like covert
information operations) it severs information and opinion from their
source, effectively laundering government-manipulated content into
ostensibly objective text."

(Tento typ vlivu je znepokojivý proto, že  (podobně jako skryté
informační operace) odděluje informaci a názor od jejich zdroje a
v podstatě pere vládou manipulovaný obsah do zdánlivě objektivního
textu.)

U propagandy v novinách víte, co čtete. Vidíte hlavičku, vidíte vydavatele, můžete si to nějak v sobě uspořádat. Model tu hlavičku nemá. Model vám to řekne svým hlasem, tím vyrovnaným asistentským tónem, a ten tón je mimochodem sám o sobě signál kvality, který jsme se naučili brát vážně.

A druhá věta, která je podle mě nejdůležitější v celém paperu:

"In intentionally shaping the media environment, powerful
institutions may have unintentionally shaped the way LLMs generate
text."

(Tím, že záměrně tvarovaly mediální prostředí, mohly mocné
instituce nezáměrně vytvarovat i to, jak velké jazykové modely
generují text.)

Nezáměrně. To je to slovo. Zatím. Autoři to sami označují za mechanismus konceptuálně podobný otravování trénovacích dat (training data poisoning), "although it does not necessarily require intent", byť k tomu není nutně potřeba záměr.

Jenže jakmile tohle někdo přečte, ten záměr se dá domyslet. A to je ta opravdová pointa: paper neříká hlavně "podívejte, co Čína udělala". Paper říká "podívejte, jak levné a jak nenápadné to je". Kdokoli, kdo umí zaplavit veřejný internet konzistentním textem, může mít dosah...

6. CO Z TOHO PLYNE, KDYŽ MODELY POUŽÍVÁTE

Přestanu teoretizovat a napíšu, co si z toho beru do praxe.

Jazyk promptu není jen jazyk promptu. Je to volba části trénovacích dat, ze které model čerpá nejvíc. Pokud vás zajímá citlivé téma, zeptejte se ve dvou jazycích a porovnejte odpovědi. Rozdíl je datový bod, ne chyba.

Nejrizikovější nejsou fakta, ale valence. Model vám většinou nezalže v datu ani v čísle. Posune se v zabarvení, co zmíní jako první, co označí za sporné, co rámuje jako "názory se různí" a co jako "je prokázáno". Tohle žádný fact-check nezachytí, protože to není nepravda.

U vlastního fine-tuningu vás může 6 400 dokumentů posunout. To je opravdu malé číslo. Jakákoliv doména, ze které nasáváte data pro dotrénování, má svou valenci, i když je nepolitická. Interní korpus firmy má taky svůj pohled na svět.

A varování k benchmarkům. Tady si vypůjčím větu od kalomaze, který řešil úplně jiný problém (prořezávání vrstev v Llamě 70B), ale platí skoro přesně sem:

"Those results - they didn't lie about the benchmarks, they just
left out a pretty huge detail in my opinion."

(Ty výsledky - nelhali o benchmarcích, jen podle mě vynechali jeden
poměrně zásadní detail.)

Žádné běžné hodnocení kvality modelu vám tuhle vlastnost nezobrazí. Model může mít výborné MMLU, být rychlý, být bezpečný podle všech kategorií, a přitom mít systematicky posunutou valenci v jednom jazyce na jedné třídě témat. Metrika, která to nemá v zadání, to nenajde.

7. KDE TO SKŘÍPE

Nebudu předstírat, že je to hotová věc.

Dotrénování Llamy 2 13B není totéž jako trénink komerčního modelu od nuly. Autoři to říkají otevřeně: neznají skutečné trénovací procesy velkých laboratoří, takže nevědí, jak dobře jejich experiment ten skutečný proces aproximuje. (V dodatku to replikují na Llamě 3.1.)

Rozdíl mezi jazyky taky nemusí být celý ze státních médií, čínsky psaný internet může být o Číně celkově pozitivnější i bez státního zásahu. To je přesně ten konfundér, se kterým se v paperu perou, a proto tam je kontrola na nekriptovaná státní média se stejnými tématy a daty.

A studie 6 je korelační. Sedmatřicet zemí není moc.

Žádný jednotlivý důkaz tady nestojí sám. Autoři to formulují přesně: "No single piece of evidence is decisive on its own." Argument drží tím, že šest různých řezů ukazuje do stejného směru.

8. ZÁVĚR

Nejvíc mě na tom zaráží, jak nudný ten mechanismus je. Není tam žádný hacker, žádný backdoor, žádná tajná dohoda. Je tam jen skutečnost, že kvalitní data jsou drahá, dobří vydavatelé si je zamykají za paywall, a vlády dávají svoje texty zdarma a ve velkém objemu. Sběrač dat jde po tom, co je dostupné.

Otázka "kdo ten model vlastní" má odpověď, kterou si můžete přečíst v obchodním registru. Otázka "čí texty byly zdarma a v největším objemu ve chvíli, kdy se sbíral Common Crawl" odpověď v registru nemá. A přitom je to ta otázka, která tvaruje, jakým tónem s vámi model mluví o moci.

ZDROJE

Waight, H., Yang, E., Yuan, Y., Messing, S., Roberts, $M$ . E., Stewart, B. $M$ . & Tucker, J. A.: State media control influences large language models. Nature (2026). doi: 10.1038/s41586-026-10506-7. Doprovodný web s interaktivními daty a replikací na nejnovějších modelech: https://state-media-influence-llm.github.io/

Citovaná věta o benchmarcích: kalomaze, "Understanding Transformers... (beyond the Math)", 9. 3. 2025. https://kalomaze.bearblog.dev/understanding-transformers-beyond-the-math/

Datové sady zmíněné v textu: CulturaX (čínská část, 189 486 611 dokumentů), korpus skriptovaných článků (530 694), Xuexi Qiangguo (198 872).