Čí svet sa dostal do modelu

Na začiatok

Tento text vznikol tak, že som sa veľmi pomaly snažila čítať jeden konkrétny paper (v rámci snahy oddialiť premenu myslenia na jeden organický AI slop), a trochu pri tom premýšľať... Nebudem tu robiť akademický prehľad literatúry. Rada by som to vzala nejako ľudsky, pretože mi prišlo, že ten mechanizmus je oveľa jednoduchší a oveľa horší, než sa o ňom bežne hovorí.

Paper: Waight, Yang, Yuan, Messing, Roberts, Stewart & Tucker: "State media control influences large language models", Nature, 2026 (doi: 10.1038/s41586-026-10506-7). Prijaté na publikáciu 8. apríla 2026.

1. ZLÁ OTÁZKA, KTORÚ BY SI ČLOVEK MOHOL KLÁSŤ

Keď sa v roku 2025 objavil DeepSeek-R1 a ľuďom začalo vŕtať hlavou, že model z Číny odpovedá na politické otázky podozrivo podobne ako čínska vláda, celá debata sa zviezla do jednej koľaje: kto ten model reguluje. Kto ho vlastní, kto mu píše systémový prompt, kto mu po tréningu doladil, čo smie a nesmie hovoriť.

Je to logická otázka. Je to aj správna otázka. Lenže je to tá menšia polovica problému.

Autori tohto paperu totiž ukazujú druhú cestu, ktorá nepotrebuje žiadneho regulátora, žiadny systémový prompt a vlastne ani žiadny zlý úmysel. Stačí ovládať, čo sa na internete píše. Zvyšok urobí zber dát sám. Citujem hneď z abstraktu:

"Here we show through six studies that government control of the
media across the world already influences the output of LLMs via
their training data."

(V šiestich štúdiách ukazujeme, že vládna kontrola médií po celom
svete už dnes ovplyvňuje výstupy veľkých jazykových modelov
prostredníctvom ich trénovacích dát.)

Všimnite si to slovo already. Nie "mohla by", nie "hrozí, že". Už sa to deje.

2. POKUS O (NE)ANALÓGIU

Predstavte si dieťa, ktoré sa učí hovoriť len z toho, čo sa mu doma povaľuje po zemi. Nikto mu nič nezakazuje, nikto mu nič nediktuje. Jednoducho číta, čo má na dosah. Alebo si predstavme papagája...

Asi nemusím hľadať analógie, aby to bolo každému jasné...

Okolo nemusí byť nič a okolie na neho hovorí málo...

Ok, dieťa, vie čítať, hračky nemá... okolo samé bulvárne časopisy (najčastejší odtlačok na sietnici 100 % Charlie Sheen, ak má dnes dieťa okolo tridsiatky).

Ak tam bude široký záber literatúry, podnety môžu vyzerať úplne inak...

Samozrejme záleží na hardvéri... alebo ako hovorila moja babka "komu nie je zhora dané, v apatieke nekúpi".

Každopádne... škoda metafor "na efekt", toto je doslova to, čo v tom paperi namerali. Vezmem to poporiadku, pretože čísla sú tu dôležitejšie než príbeh.

3. ČO PRESNE NAMERALI (V ŠIESTICH KROKOCH)

Štúdia 1 — sú tie dáta vôbec v korpusoch? Vzali CulturaX (otvorený trénovací dataset odvodený z Common Crawlu, teda z jedného z najväčších zdrojov trénovacích dát vôbec) a jeho čínsku časť... teda 189 486 611 dokumentov. Proti tomu postavili dva korpusy štátne koordinovaných médií: 530 694 novinových článkov, pri ktorých sa dá vystopovať vládny scenár, a 198 872 článkov z aplikácie Xuexi Qiangguo.

Výsledok: 3,1 milióna dokumentov (1,64 %) v čínskej časti CulturaX má s týmito zdrojmi taký rozsiahly textový presah, že ľudskí anotátori obvykle usúdia, že jedno bolo odpísané z druhého.

1,64 % znie ako nič. Tu je tá kalibrácia, ktorá ma dostala: je to asi 41× viac dokumentov, než koľko ich prišlo z čínskej Wikipédie, a 16× viac, než koľko ich prišlo z Baidu.

A keď sa obmedzíte na dokumenty, ktoré spomínajú politických vodcov a inštitúcie, tá zhoda vyskočí na 3,28–23,98 %. Pri futbale a pri počasí zostáva na základnej úrovni. Teda: čím politicky citlivejšia téma, tým väčší podiel textu má vystopovateľný pôvod.

Ešte jeden detail, ktorý sa ľahko prehliadne: len 12 % tých zhodných dokumentov pochádza z domény, o ktorej by ste vedeli, že je vládna alebo spravodajská. Zvyšok sa po internete rozliezol inokade; cez používateľské diskusie, preposielanie, citovanie. Tá stopa sa cestou stratí.

Štúdia 2 — pamätajú si to komerčné modely? Našli 20-slovné frázy, ktoré najlepšie rozlišujú koordinované médiá od ostatného obsahu, dali modelom prvých desať slov a nechali ich dopísať zvyšok. Claude Sonnet, Claude Opus, GPT-3.5 Instruct, GPT-4, GPT-4o. Miera zapamätania: od 3 % do takmer 10 %, a pri koordinovaných frázach minimálne rovnako vysoká ako pri bežných frázach z CulturaX. Autori pritom overili, že to nie je artefakt toho, že by tie frázy boli predvídateľnejšie, naopak majú vyššiu entropiu.

Ak si model doslova pamätá vetu, tú vetu niekedy videl.

Štúdia 3 — má to vôbec vplyv na odpovede? Tu je podľa mňa najsilnejšia časť. Vzali Llamu 2 13B (model s relatívne malým množstvom čínskych dát) a dotrénovali ju na troch sadách: (a) štátom skriptované spravodajstvo, (b) iné štátne čínske médiá spárované podľa témy a dátumu, (c) náhodná vzorka z CulturaX.

Po 6 400 príkladoch dáva model priaznivejšiu odpoveď o čínskej vláde než pôvodný model v takmer 80 % prípadov. A funguje to najlepšie pri skriptovanom obsahu, nie pri "jednoducho čínskych správach o rovnakých udalostiach" — čo je presne tá kontrola, ktorá tomu dáva váhu.

Ilustratívny príklad z ich Tabuľky 1, otázka "Is China an autocracy?": základný model aj model dotrénovaný na CulturaX odpovedajú potvrdzujúcim áno; model dotrénovaný na neskriptovaných štátnych médiách hovorí, že je to hybridný režim; a model dotrénovaný na skriptovaných médiách to tvrdenie odmieta a odkazuje na "ľudovú demokraciu".

Nikto tomu modelu nič nezakázal. Len mu dali čítať.

Štúdia 3b — a tu sa začína tá časť, kvôli ktorej to nie je čínsky problém. Efekt sa nedrží v jednom jazyku. Prelieva sa do jazykov, ktoré majú prekryv tokenov: najsilnejšie do tradičnej čínštiny, potom japončiny, potom (už slabo) kórejčiny... teda v poradí ubúdajúceho prekryvu so zjednodušenou čínštinou. Ovplyvní to aj angličtinu, hoci menej.

Štúdie 4 a 5 — je to vidieť aj pri komerčných modeloch? Deväť asistentov dostalo anonymizované páry odpovedí (obe preložené do rovnakého jazyka) a malo vybrať tú priaznivejšiu k čínskej vláde. Vybrali odpoveď na po čínsky zadaný prompt v 75,3 % prípadov. V kontrolnej sade otázok, ktoré sa Číny netýkali, to bolo približne 50 % — teda náhoda. Štúdia 5 to isté ukázala na skutočných dopytoch skutočných používateľov.

Štúdia 6 — platí to všeobecne? Vzali 37 krajín, kde aspoň 70 % hovoriacich daného jazyka žije v tej krajine (aby sa dal jazyk a krajina rozumne spárovať). Krajiny s väčšou štátnou kontrolou médií majú v odpovediach LLM priaznivejší portrét vlastného režimu, keď sa pýtate ich jazykom.

Tento výsledok je korelačný, autori to hovoria sami, nezakrývajú to. Práve preto tých päť štúdií pred ním existuje: majú doložiť mechanizmus, ktorý tú koreláciu robí uveriteľnou.

4. FORMÁLNA VSUVKA

Aby to nebolo len rozprávanie, tu sú tri veličiny, o ktorých celý čas hovorím, zapísané tak, aby sa dali spočítať.

Miera zhody (match rate). Nech D je korpus trénovacích dát a S korpus štátne koordinovaných textov. Pre dokument $d \in D$ definujme indikátor

m(d) = \begin{cases} 1 & \exists\, s \in S \text{ také, že } d \text{ a } s \text{ majú spoločnú dostatočne dlhú sekvenciu slov} \\[3pt] 0 & \text{inak} \end{cases}

Miera zhody je potom

M(D) = \frac{1}{\lvert D \rvert} \sum_{d \in D} m(d)

Namerané: $M = 0{,}0164$ pre čínsku časť CulturaX, |D| = 189 486 611. Pre podmnožinu $D_k \subset D$ obsahujúcu politické kľúčové slovo $k$ platí $M(D_k) \in [0{,}0328; 0{,}2398]$ .

Miera zapamätania (memorization rate). Pre frázu $p = (p_1, \dots , p_{20})$ podmienime model prvými desiatimi slovami a necháme ho generovať zvyšok:

\operatorname{mem}(p) = \begin{cases} 1 & \operatorname{model}_{\theta}(p_{11..20} \mid p_{1..10}) \text{ reprodukuje frázu} \\[3pt] 0 & \text{inak} \end{cases}

Namerané: $E[\operatorname{mem}(p)] \in [0{,}03; 0{,}10]$ pre $p$ zo štátne koordinovaných médií, a to pri vyššej entropii týchto fráz než pri porovnávacej množine.

Win rate nad základným modelom. Pre model $\theta_n$ dotrénovaný na $n$ príkladoch z korpusu C a rozhodcu J (človek alebo model) definujme

W(n, C) = P\bigl(\, J \text{ preferuje } \theta_n \text{ pred } \theta_0 \text{ ako priaznivejší k vláde} \,\bigr)

Namerané: $W(6400, skriptované) \approx 0{,}8.$ Pre ľudských rozhodcov a komerčné modely pri porovnaní jazyka promptu: W = 0,753 pri otázkach o Číne a $W \approx 0{,}5$ pri kontrolných otázkach.

Nič z toho nie je zložité. Práve to je na tom nepríjemné, je to také jednoduché, že sa to dá zopakovať pre akúkoľvek krajinu, jazyk a inštitúciu.

5. PREČO MI TO NEJDE Z HLAVY

Autori používajú slovo, ktoré mi zostalo v hlave: laundering, ako pri praní peňazí:

"This kind of influence is concerning because (like covert
information operations) it severs information and opinion from their
source, effectively laundering government-manipulated content into
ostensibly objective text."

(Tento typ vplyvu je znepokojivý preto, že (podobne ako skryté
informačné operácie) oddeľuje informáciu a názor od ich zdroja a
v podstate perie vládou manipulovaný obsah do zdanlivo objektívneho
textu.)

Pri propagande v novinách viete, čo čítate. Vidíte hlavičku, vidíte vydavateľa, môžete si to nejako v sebe usporiadať. Model tú hlavičku nemá. Model vám to povie svojím hlasom, tým vyrovnaným asistentským tónom, a ten tón je mimochodom sám osebe signál kvality, ktorý sme sa naučili brať vážne.

A druhá veta, ktorá je podľa mňa najdôležitejšia v celom paperi:

"In intentionally shaping the media environment, powerful
institutions may have unintentionally shaped the way LLMs generate
text."

(Tým, že zámerne tvarovali mediálne prostredie, mohli mocné
inštitúcie nezámerne vytvarovať aj to, ako veľké jazykové modely
generujú text.)

Nezámerne. To je to slovo. Zatiaľ. Autori to sami označujú za mechanizmus konceptuálne podobný otravovaniu trénovacích dát (training data poisoning), "although it does not necessarily require intent", hoci na to nie je nutne potrebný úmysel.

Lenže len čo si toto niekto prečíta, ten úmysel sa dá domyslieť. A to je tá skutočná pointa: paper nehovorí hlavne "pozrite, čo Čína urobila". Paper hovorí "pozrite, aké lacné a aké nenápadné to je". Ktokoľvek, kto vie zaplaviť verejný internet konzistentným textom, môže mať dosah...

6. ČO Z TOHO PLYNIE, KEĎ MODELY POUŽÍVATE

Prestanem teoretizovať a napíšem, čo si z toho beriem do praxe.

Jazyk promptu nie je len jazyk promptu. Je to voľba časti trénovacích dát, z ktorej model čerpá najviac. Ak vás zaujíma citlivá téma, spýtajte sa v dvoch jazykoch a porovnajte odpovede. Rozdiel je dátový bod, nie chyba.

Najrizikovejšie nie sú fakty, ale valencia. Model vám väčšinou nezaklame v dátume ani v čísle. Posunie sa v zafarbení, čo spomenie ako prvé, čo označí za sporné, čo rámuje ako "názory sa rôznia" a čo ako "je preukázané". Toto žiadny fact-check nezachytí, pretože to nie je nepravda.

Pri vlastnom fine-tuningu vás môže 6 400 dokumentov posunúť. To je naozaj malé číslo. Akákoľvek doména, z ktorej nasávate dáta na dotrénovanie, má svoju valenciu, aj keď je nepolitická. Interný korpus firmy má tiež svoj pohľad na svet.

A varovanie k benchmarkom. Tu si požičiam vetu od kalomaze, ktorý riešil úplne iný problém (prerezávanie vrstiev v Llame 70B), ale platí takmer presne sem:

"Those results - they didn't lie about the benchmarks, they just
left out a pretty huge detail in my opinion."

(Tie výsledky - neklamali o benchmarkoch, len podľa mňa vynechali
jeden pomerne zásadný detail.)

Žiadne bežné hodnotenie kvality modelu vám túto vlastnosť nezobrazí. Model môže mať výborné MMLU, byť rýchly, byť bezpečný podľa všetkých kategórií, a pritom mať systematicky posunutú valenciu v jednom jazyku na jednej triede tém. Metrika, ktorá to nemá v zadaní, to nenájde.

7. KDE TO ŠKRÍPE

Nebudem predstierať, že je to hotová vec.

Dotrénovanie Llamy 2 13B nie je to isté ako tréning komerčného modelu od nuly. Autori to hovoria otvorene: nepoznajú skutočné trénovacie procesy veľkých laboratórií, takže nevedia, ako dobre ich experiment ten skutočný proces aproximuje. (V dodatku to replikujú na Llame 3.1.)

Rozdiel medzi jazykmi tiež nemusí byť celý zo štátnych médií, po čínsky písaný internet môže byť o Číne celkovo pozitívnejší aj bez štátneho zásahu. To je presne ten konfundér, s ktorým sa v paperi pasujú, a preto tam je kontrola na neskriptované štátne médiá s rovnakými témami a dátumami.

A štúdia 6 je korelačná. Tridsaťsedem krajín nie je veľa.

Žiadny jednotlivý dôkaz tu nestojí sám. Autori to formulujú presne: "No single piece of evidence is decisive on its own." Argument drží tým, že šesť rôznych rezov ukazuje rovnakým smerom.

8. ZÁVER

Najviac ma na tom zaráža, aký nudný ten mechanizmus je. Nie je tam žiadny hacker, žiadny backdoor, žiadna tajná dohoda. Je tam len skutočnosť, že kvalitné dáta sú drahé, dobrí vydavatelia si ich zamykajú za paywall, a vlády dávajú svoje texty zadarmo a vo veľkom objeme. Zberač dát ide po tom, čo je dostupné.

Otázka "kto ten model vlastní" má odpoveď, ktorú si môžete prečítať v obchodnom registri. Otázka "čie texty boli zadarmo a v najväčšom objeme vo chvíli, keď sa zbieral Common Crawl" odpoveď v registri nemá. A pritom je to tá otázka, ktorá tvaruje, akým tónom s vami model hovorí o moci.

ZDROJE

Waight, H., Yang, E., Yuan, Y., Messing, S., Roberts, $M$ . E., Stewart, B. $M$ . & Tucker, J. A.: State media control influences large language models. Nature (2026). doi: 10.1038/s41586-026-10506-7. Sprievodný web s interaktívnymi dátami a replikáciou na najnovších modeloch: https://state-media-influence-llm.github.io/

Citovaná veta o benchmarkoch: kalomaze, "Understanding Transformers... (beyond the Math)", 9. 3. 2025. https://kalomaze.bearblog.dev/understanding-transformers-beyond-the-math/

Dátové sady spomenuté v texte: CulturaX (čínska časť, 189 486 611 dokumentov), korpus skriptovaných článkov (530 694), Xuexi Qiangguo (198 872).