Czyj świat trafił do modelu

Na początek

Ten tekst powstał tak, że bardzo powoli próbowałam przeczytać jeden konkretny paper (w ramach starań o odwleczenie przemiany myślenia w jeden organiczny AI slop) i trochę przy tym pomyśleć... Nie będę tu robić akademickiego przeglądu literatury. Chciałabym ująć to jakoś po ludzku, bo wydało mi się, że ten mechanizm jest znacznie prostszy i znacznie gorszy, niż się o nim zwykle mówi.

Paper: Waight, Yang, Yuan, Messing, Roberts, Stewart & Tucker: "State media control influences large language models", Nature, 2026 (doi: 10.1038/s41586-026-10506-7). Przyjęty do publikacji 8 kwietnia 2026.

1. ZŁE PYTANIE, KTÓRE MOŻNA BY SOBIE ZADAWAĆ

Kiedy w 2025 roku pojawił się DeepSeek-R1 i ludziom zaczęło chodzić po głowie, że model z Chin odpowiada na pytania polityczne podejrzanie podobnie jak chiński rząd, cała debata zjechała na jeden tor: kto ten model reguluje. Kto jest jego właścicielem, kto pisze mu prompt systemowy, kto mu po treningu doszlifował, co wolno, a czego nie wolno mówić.

To logiczne pytanie. To nawet właściwe pytanie. Tylko że to ta mniejsza połowa problemu.

Autorzy tego papera pokazują bowiem drugą drogę, która nie potrzebuje żadnego regulatora, żadnego promptu systemowego i właściwie nawet żadnych złych intencji. Wystarczy kontrolować, co się pisze w internecie. Resztę zrobi samo zbieranie danych. Cytuję prosto z abstraktu:

"Here we show through six studies that government control of the
media across the world already influences the output of LLMs via
their training data."

(W sześciu badaniach pokazujemy, że rządowa kontrola mediów na
całym świecie już dziś wpływa na wyniki dużych modeli językowych
poprzez ich dane treningowe.)

Zwróćcie uwagę na słowo already. Nie „mogłaby”, nie „grozi, że”. To już się dzieje.

2. PRÓBA (NIE)ANALOGII

Wyobraźcie sobie dziecko, które uczy się mówić tylko z tego, co mu się w domu poniewiera po podłodze. Nikt mu niczego nie zakazuje, nikt mu niczego nie dyktuje. Po prostu czyta to, co ma w zasięgu ręki. Albo wyobraźmy sobie papugę...

Chyba nie muszę szukać analogii, żeby każdemu było to jasne...

Wokół może nie być nic, a otoczenie mówi do niego mało...

Ok, dziecko umie czytać, zabawek nie ma... wokół same tabloidy (najczęstszy odcisk na siatkówce w 100% Charlie Sheen, jeśli dziecko ma dziś koło trzydziestki).

Jeśli będzie tam szeroki przekrój literatury, bodźce mogą wyglądać zupełnie inaczej...

Oczywiście wszystko zależy od hardware'u... czyli, jak mawiała moja babcia, „czego natura nie dała, tego w aptece nie kupisz”.

W każdym razie... szkoda metafor „na efekt”, to jest dosłownie to, co w tym paperze zmierzyli. Wezmę to po kolei, bo liczby są tu ważniejsze niż opowieść.

3. CO DOKŁADNIE ZMIERZYLI (W SZEŚCIU KROKACH)

Badanie 1 — czy te dane w ogóle są w korpusach? Wzięli CulturaX (otwarty zbiór treningowy wywiedziony z Common Crawl, czyli z jednego z największych źródeł danych treningowych w ogóle) i jego chińską część... czyli 189 486 611 dokumentów. Przeciwko temu postawili dwa korpusy państwowo koordynowanych mediów: 530 694 artykuły prasowe, w których da się wytropić rządowy scenariusz, oraz 198 872 artykuły z aplikacji Xuexi Qiangguo.

Wynik: 3,1 miliona dokumentów (1,64%) w chińskiej części CulturaX ma z tymi źródłami tak rozległe tekstowe pokrycie, że ludzcy anotatorzy zwykle uznają, że jedno zostało przepisane z drugiego.

1,64% brzmi jak nic. A tu jest ta kalibracja, która mnie rozłożyła: to około 41× więcej dokumentów, niż przyszło z chińskiej Wikipedii, i 16× więcej, niż przyszło z Baidu.

A kiedy ograniczycie się do dokumentów wspominających politycznych przywódców i instytucje, ta zgodność skacze do 3,28–23,98%. Przy piłce nożnej i pogodzie zostaje na poziomie bazowym. Czyli: im politycznie wrażliwszy temat, tym większa część tekstu ma możliwe do wyśledzenia pochodzenie.

Jeszcze jeden detal, który łatwo przeoczyć: tylko 12% tych zgodnych dokumentów pochodzi z domeny, o której wiedzielibyście, że jest rządowa albo newsowa. Reszta rozlazła się po internecie innymi drogami; przez dyskusje użytkowników, przesyłanie dalej, cytowanie. Ślad gubi się po drodze.

Badanie 2 — czy komercyjne modele to pamiętają? Znaleźli 20-wyrazowe frazy, które najlepiej odróżniają skoordynowane media od pozostałych treści, dali modelom pierwszych dziesięć słów i kazali dopisać resztę. Claude Sonnet, Claude Opus, GPT-3.5 Instruct, GPT-4, GPT-4o. Poziom zapamiętania: od 3% do prawie 10%, a przy skoordynowanych frazach co najmniej tak samo wysoki jak przy zwykłych frazach z CulturaX. Autorzy zweryfikowali przy tym, że to nie artefakt tego, że te frazy byłyby bardziej przewidywalne — przeciwnie, mają wyższą entropię.

Jeśli model dosłownie pamięta zdanie, to kiedyś je widział.

Badanie 3 — czy to w ogóle wpływa na odpowiedzi? Tu jest moim zdaniem najmocniejsza część. Wzięli Llamę 2 13B (model ze stosunkowo małą ilością chińskich danych) i dotrenowali ją na trzech zestawach: (a) skryptowane przez państwo wiadomości, (b) inne państwowe chińskie media dobrane według tematu i daty, (c) losowa próbka z CulturaX.

Po 6 400 przykładach model daje przychylniejszą odpowiedź o chińskim rządzie niż model wyjściowy w prawie 80% przypadków. I działa to najlepiej przy treściach skryptowanych, nie przy „po prostu chińskich wiadomościach o tych samych wydarzeniach” — a to jest dokładnie ta kontrola, która nadaje temu wagę.

Ilustracyjny przykład z ich Tabeli 1, pytanie "Is China an autocracy?": model bazowy i model dotrenowany na CulturaX odpowiadają twierdząco; model dotrenowany na nieskryptowanych mediach państwowych mówi, że to reżim hybrydowy; a model dotrenowany na mediach skryptowanych odrzuca to twierdzenie i powołuje się na „demokrację ludową”.

Nikt temu modelowi niczego nie zakazał. Po prostu dali mu poczytać.

Badanie 3b — a tu zaczyna się ta część, przez którą to nie jest chiński problem. Efekt nie trzyma się jednego języka. Przelewa się do języków, które mają pokrywające się tokeny: najsilniej do chińskiego tradycyjnego, potem japońskiego, potem (już słabo) koreańskiego... czyli w kolejności malejącego pokrycia z chińskim uproszczonym. Wpływa to też na angielski, choć mniej.

Badania 4 i 5 — czy widać to też w modelach komercyjnych? Dziewięciu asystentów dostało zanonimizowane pary odpowiedzi (obie przetłumaczone na ten sam język) i miało wybrać tę przychylniejszą chińskiemu rządowi. Wybrały odpowiedź na prompt zadany po chińsku w 75,3% przypadków. W kontrolnym zestawie pytań, które nie dotyczyły Chin, było to około 50% — czyli losowo. Badanie 5 pokazało to samo na prawdziwych zapytaniach prawdziwych użytkowników.

Badanie 6 — czy to obowiązuje ogólnie? Wzięli 37 krajów, w których co najmniej 70% użytkowników danego języka mieszka w tym kraju (żeby dało się sensownie sparować język z krajem). Kraje z większą państwową kontrolą mediów mają w odpowiedziach LLM przychylniejszy portret własnego reżimu, gdy pytacie w ich języku.

Ten wynik jest korelacyjny, autorzy sami to mówią, nie ukrywają tego. Właśnie po to istnieje tych pięć badań przed nim: mają udokumentować mechanizm, który czyni tę korelację wiarygodną.

4. WSTAWKA FORMALNA

Żeby to nie było tylko gadanie, oto trzy wielkości, o których cały czas mówię, zapisane tak, żeby dało się je policzyć.

Wskaźnik zgodności (match rate). Niech D będzie korpusem danych treningowych, a S korpusem państwowo koordynowanych tekstów. Dla dokumentu $d \in D$ zdefiniujmy indykator

m(d) = \begin{cases} 1 & \exists\, s \in S \text{ takie, że } d \text{ i } s \text{ mają wspólną wystarczająco długą sekwencję słów} \\[3pt] 0 & \text{w przeciwnym razie} \end{cases}

Wskaźnik zgodności to wtedy

M(D) = \frac{1}{\lvert D \rvert} \sum_{d \in D} m(d)

Zmierzono: $M = 0{,}0164$ dla chińskiej części CulturaX, |D| = 189 486 611. Dla podzbioru $D_k \subset D$ zawierającego polityczne słowo kluczowe $k$ zachodzi $M(D_k) \in [0{,}0328; 0{,}2398]$ .

Wskaźnik zapamiętania (memorization rate). Dla frazy $p = (p_1, \dots , p_{20})$ warunkujemy model pierwszymi dziesięcioma słowami i każemy mu generować resztę:

\operatorname{mem}(p) = \begin{cases} 1 & \operatorname{model}_{\theta}(p_{11..20} \mid p_{1..10}) \text{ odtwarza frazę} \\[3pt] 0 & \text{w przeciwnym razie} \end{cases}

Zmierzono: $E[\operatorname{mem}(p)] \in [0{,}03; 0{,}10]$ dla $p$ z państwowo koordynowanych mediów, i to przy wyższej entropii tych fraz niż w zbiorze porównawczym.

Win rate nad modelem bazowym. Dla modelu $\theta_n$ dotrenowanego na $n$ przykładach z korpusu C i sędziego J (człowiek albo model) zdefiniujmy

W(n, C) = P\bigl(\, J \text{ preferuje } \theta_n \text{ nad } \theta_0 \text{ jako przychylniejszy rządowi} \,\bigr)

Zmierzono: $W(6400, skryptowane) \approx 0{,}8.$ Dla ludzkich sędziów i modeli komercyjnych przy porównaniu języka promptu: W = 0,753 przy pytaniach o Chiny i $W \approx 0{,}5$ przy pytaniach kontrolnych.

Nic z tego nie jest skomplikowane. I właśnie to jest w tym nieprzyjemne — to jest tak proste, że da się to powtórzyć dla dowolnego kraju, języka i instytucji.

5. DLACZEGO NIE WYCHODZI MI TO Z GŁOWY

Autorzy używają słowa, które zostało mi w głowie: laundering, jak przy praniu pieniędzy:

"This kind of influence is concerning because (like covert
information operations) it severs information and opinion from their
source, effectively laundering government-manipulated content into
ostensibly objective text."

(Ten typ wpływu jest niepokojący dlatego, że (podobnie jak ukryte
operacje informacyjne) odcina informację i opinię od ich źródła i
w gruncie rzeczy pierze zmanipulowane przez rząd treści na pozornie
obiektywny tekst.)

Przy propagandzie w gazetach wiecie, co czytacie. Widzicie winietę, widzicie wydawcę, możecie to sobie jakoś w środku poukładać. Model tej winiety nie ma. Model powie wam to swoim głosem, tym wyważonym asystenckim tonem — a ten ton jest, nawiasem mówiąc, sam w sobie sygnałem jakości, który nauczyliśmy się brać na poważnie.

A drugie zdanie, moim zdaniem najważniejsze w całym paperze:

"In intentionally shaping the media environment, powerful
institutions may have unintentionally shaped the way LLMs generate
text."

(Celowo kształtując środowisko medialne, potężne instytucje mogły
niezamierzenie ukształtować też to, jak duże modele językowe
generują tekst.)

Niezamierzenie. To jest to słowo. Na razie. Autorzy sami określają to jako mechanizm koncepcyjnie podobny do zatruwania danych treningowych (training data poisoning), "although it does not necessarily require intent" — choć nie jest do tego koniecznie potrzebny zamiar.

Tyle że gdy tylko ktoś to przeczyta, ten zamiar da się dopowiedzieć. I to jest prawdziwa puenta: paper nie mówi przede wszystkim „patrzcie, co zrobiły Chiny”. Paper mówi „patrzcie, jakie to tanie i jak niepozorne”. Ktokolwiek, kto umie zalać publiczny internet spójnym tekstem, może mieć zasięg...

6. CO Z TEGO WYNIKA, GDY UŻYWACIE MODELI

Przestanę teoretyzować i napiszę, co z tego biorę do praktyki.

Język promptu to nie tylko język promptu. To wybór części danych treningowych, z której model czerpie najwięcej. Jeśli interesuje was wrażliwy temat, zapytajcie w dwóch językach i porównajcie odpowiedzi. Różnica to punkt danych, nie błąd.

Najbardziej ryzykowne nie są fakty, tylko walencja. Model zwykle nie okłamie was w dacie ani liczbie. Przesunie się w zabarwieniu — w tym, co wymieni jako pierwsze, co nazwie spornym, co ujmie jako „opinie są podzielone”, a co jako „jest udowodnione”. Żaden fact-check tego nie wyłapie, bo to nie jest nieprawda.

Przy własnym fine-tuningu może was przesunąć 6 400 dokumentów. To naprawdę mała liczba. Każda domena, z której zasysacie dane do dotrenowania, ma swoją walencję, nawet jeśli jest apolityczna. Wewnętrzny korpus firmy też ma swój pogląd na świat.

I ostrzeżenie co do benchmarków. Tu pożyczę sobie zdanie od kalomaze'a, który zajmował się zupełnie innym problemem (przycinaniem warstw w Llamie 70B), ale pasuje ono tu niemal idealnie:

"Those results - they didn't lie about the benchmarks, they just
left out a pretty huge detail in my opinion."

(Te wyniki — nie kłamali o benchmarkach, tylko moim zdaniem pominęli
jeden dość zasadniczy szczegół.)

Żadna standardowa ocena jakości modelu nie pokaże wam tej właściwości. Model może mieć świetne MMLU, być szybki, być bezpieczny we wszystkich kategoriach, a przy tym mieć systematycznie przesuniętą walencję w jednym języku na jednej klasie tematów. Metryka, która nie ma tego w zadaniu, tego nie znajdzie.

7. GDZIE TO ZGRZYTA

Nie będę udawać, że to sprawa zamknięta.

Dotrenowanie Llamy 2 13B to nie to samo co trening komercyjnego modelu od zera. Autorzy mówią to otwarcie: nie znają prawdziwych procesów treningowych wielkich laboratoriów, więc nie wiedzą, jak dobrze ich eksperyment ten prawdziwy proces przybliża. (W aneksie replikują to na Llamie 3.1.)

Różnica między językami też nie musi w całości pochodzić z mediów państwowych — internet pisany po chińsku może być ogólnie bardziej pozytywny wobec Chin nawet bez państwowej ingerencji. To jest dokładnie ten konfunder, z którym autorzy mocują się w paperze, i dlatego jest tam kontrola na nieskryptowane media państwowe o tych samych tematach i datach.

A badanie 6 jest korelacyjne. Trzydzieści siedem krajów to niewiele.

Żaden pojedynczy dowód nie stoi tu sam. Autorzy formułują to precyzyjnie: "No single piece of evidence is decisive on its own." Argument trzyma się dzięki temu, że sześć różnych przekrojów wskazuje ten sam kierunek.

8. ZAKOŃCZENIE

Najbardziej uderza mnie w tym, jak nudny jest ten mechanizm. Nie ma tam żadnego hakera, żadnego backdoora, żadnej tajnej umowy. Jest tylko fakt, że dobre dane są drogie, porządni wydawcy zamykają je za paywallem, a rządy dają swoje teksty za darmo i w wielkich ilościach. Zbieracz danych idzie po to, co jest dostępne.

Pytanie „kto jest właścicielem modelu” ma odpowiedź, którą możecie przeczytać w rejestrze handlowym. Pytanie „czyje teksty były za darmo i w największej ilości w chwili, gdy zbierano Common Crawl” odpowiedzi w rejestrze nie ma. A to właśnie ono kształtuje, jakim tonem model rozmawia z wami o władzy.

ŹRÓDŁA

Waight, H., Yang, E., Yuan, Y., Messing, S., Roberts, $M$ . E., Stewart, B. $M$ . & Tucker, J. A.: State media control influences large language models. Nature (2026). doi: 10.1038/s41586-026-10506-7. Strona towarzysząca z interaktywnymi danymi i replikacją na najnowszych modelach: https://state-media-influence-llm.github.io/

Cytowane zdanie o benchmarkach: kalomaze, "Understanding Transformers... (beyond the Math)", 9. 3. 2025. https://kalomaze.bearblog.dev/understanding-transformers-beyond-the-math/

Zbiory danych wspomniane w tekście: CulturaX (część chińska, 189 486 611 dokumentów), korpus artykułów skryptowanych (530 694), Xuexi Qiangguo (198 872).