Som kjent over hele verden, håndhever den kinesiske regjeringen streng sensur på internett . Det kinesiske sensursystemet, kjent som den store brannmuren i Kina, drives av departementet for offentlig sikkerhet og blir offisielt kalt Golden Shield-prosjekt . Systemet har vært i drift siden 2003.

Internasjonale nyhetssider som vanligvis inneholder politisk sensitivt innhold, for eksempel New York Times , eller sosiale medier som ikke overholder sensurregler, som f.eks Facebook og Twitter , er vanligvis blokkert og utilgjengelig for kinesiske brukere. Dette oppnås ved hjelp av en en rekke sofistikerte metoder .

For kinesiske nyheter og sosiale medier er praktisk talt alt under myndighetens overvåking. For å få lov til å operere, har Internett-leverandører og internettinnholdsleverandører i Kina vanligvis sine egen filtreringsmekanisme for innhold for å blokkere eller fjerne publisert innhold av brukerne, eller til og med slette brukernes konto direkte hvis de antas å være ulovlige i henhold til myndighetens policy. Disse selskapene har sin egen sensurprogramvare på serverne sine, samt spesielle team eller avdelinger som manuelt håndterer sensuroppgavene som automatisert sensurprogramvare ikke kan håndtere. Disse teamene samarbeider med de lokale avdelingene i departementet for offentlig sikkerhet, mottar nye ordrer og retningslinjer, og jobber vanligvis sammen med hverandre.

For vårt hjemlige webutviklere sensurerer det kinesiske internett ikke bare vår ytringsfrihet, men også verdifulle profesjonelle ressurser fra hele verden. I mitt daglige arbeid må jeg omgå sensur på internett for å koble til via VPN for å bruke Gmail, Dropbox og mange andre viktige nettsteder. Jeg husker fortsatt hvor vanskelig det var i 2010, da Googles tjenester ble ustabile eller utilgjengelige i Kina etter Google nektet å fortsette å overholde sensurregler . Dette ville være utrolig for utviklere i andre land.

Sensur på Sina Weibo

Sina Weibo er det største nettstedet for microblogging sosiale nettverk i Kina. Siden Twitter ikke overholder Kinas regler, trenger ikke Weibo å konkurrere med det om brukerne. Nyheter sprer seg raskere og direkte på Weibo enn noe annet medieuttak i Kina. Medlemmer av de yngre generasjonene, som meg selv, liker å bruke den til å dele nyheter og diskutere offentlige arrangementer. Men selvfølgelig, under kinesisk internett-sensur, blir mange varme eller interessante innlegg slettet umiddelbart etter at de er lagt ut. Innlegg fra politiske og offentlige hendelser blir mest sannsynlig slettet, mens underholdningsnyheter er minst sannsynlig slettet. EN 2013-studien av datavitenskapsmenn Jed Crandall og Dan Wallach fant at rundt 12% av kinesiske mikroblogger blir slettet hver dag.

På politisk følsomme dager som 4. juni Det forventes at et høyere antall sensurerte Microblog-innlegg blir slettet. I disse dager kan brukere vanligvis ikke engang legge inn bestemte sensitive ord når de prøver å skrive en mikroblogg.

Hvordan ser det ut når et innlegg blir sensurert? Når du oppdaterer en ny mikroblogg på nettstedet, vil du ofte se noe sånt som dette:

Dette tilsvarer en retweet, der den originale meldingen vanligvis vises i den grå boksen. Ruten viser nå ”Beklager. Microbloggen er slettet. Vennligst se ... ”Det opprinnelige innlegget var en bønn om rettferdighet fra en mor for kidnappingen, voldtekten og tvungen prostitusjon av datteren hennes på 11 år i 2013.

2013 er et år som mange politiske skandaler ble avslørt gjennom microblog-plattformen. Populariteten til Sina Weibo steg i løpet av denne tiden. Som svar ble regjeringen nervøs og begynte å styrke sensuren på den sosiale medieplattformen.

Før mikrobloggen måtte unge mennesker som meg som var interessert i politikk, vanligvis bruke proxy-servere eller tunneltjenester for å jakte på sensitive nyheter fra internasjonale nettsteder. Plutselig hadde vi en relativt åpen kinesisk plattform for sosiale nettverk. Men regjeringen gikk raskt inn, og det viste seg å være bare et glimt i pannen. Dette gjorde meg veldig rasende. Jeg snakket med venner, og vi var alle sinte for å styrke sensuren på plattformen. Mine venner spurte: 'Hvorfor kan vi ikke gjøre noe med dette?' Jeg bestemte meg for at jeg ville prøve. Så jeg bygde et nettsted for å omgå internett sensur for å se hva som ble blokkert eller slettet fra Sina Weibo.

Teknisk diskusjon

I utgangspunktet trengte jeg å sette opp en server som kontinuerlig søkte etter blokkerte eller slettede kinesiske mikroblogger og viste dem på et nytt nettsted. Jeg hadde planlagt å bruke en innenlandsk skytjeneste som Aliyun , men det viser seg at det er mange begrensninger på plattformen, for eksempel omdirigering av domene, og prisene er ikke billigere enn andre skytjenester. Selvfølgelig var min ekstra bekymring at selve serveren ville være under overvåking hvis jeg distribuerte den innenlands. Så jeg endte opp med å kjøpe en server på Linode , og lokaliserte serveren i Japan. Jeg kjøpte også domenet freeweibo.me å begynne å omgå sensuren til Sina Weibo.

Grafen nedenfor viser systemets samlede arkitektur: MongoDB, en webserver og en crawler. Jeg valgte Node.js for utviklingsmiljøet, da det er mer effektivt og skalerbart for nettverksapplikasjoner, og personlig har jeg mer erfaring med det. Webserveren ble utviklet ved hjelp av Express.js-rammeverket, og brukte Weibo API for å fange opp data. Opprinnelig ble crawleren designet for å være en egen prosess, men senere fant jeg ut at det å være samlet i en modul i webserverprosessen var tilstrekkelig for det tidlige stadiet.

Innholdet i en mikroblogg har to hoveddeler av interesse. Den ene er tekstdata og dens relevante attributter. Den andre er bildene tilknyttet innlegget. For å lagre et innlegg, vil vi også laste ned bildene og lagre dem som filer på disken. For blokkerte eller slettede blogger er disse bildene veldig viktige. I Kina er det veldig vanlig og populært å bruke bilder til å legge ut tekstinnhold, da dette innholdet er mye vanskeligere å fange med automatisert tekstbasert filtrering og sensurering på serverne til internettbedriftene.

Den grunnleggende ideen med å oppdage blokkerte eller slettede innlegg er å kontinuerlig skanne etter nye innlegg, fra en kjent liste over brukere, og deretter sjekke innleggets tilgjengelighet på et senere tidspunkt. En mikroblogg kan slettes eller blokkeres i løpet av flere minutter eller flere dager. Dermed består søkeroboten av to hovedoppgaver: hentingsoppgaven, å hente nylig postet innhold, og kontrolloppgaven, for å sjekke om tidligere postet innhold er sensurert.

Først konfigurerte jeg crawleren til å gjennomsøke mikroblogger fra de 100 beste kjente brukerne på Weibo. Men det viste seg at det nesten ikke ble oppdaget slettede blogger hver dag. Årsaken er at de fleste av de beste brukerne ikke har interesse for politiske eller offentlig følsomme emner - de legger ikke ut eller videresender slike mikroblogger. For eksempel, denne bloggeren , som er skuespillerinne med mer enn 10 millioner følgere, er en av de mest populære brukerne, men hun legger aldri ut sensitive blogger.

Etter litt eksperimentering og tenkning kom jeg opp med en teknikk for å tilpasse meg brukere som konsekvent blir sensurert. Sosiale medienettverk er sammenkoblet mellom temaer og brukere har en tendens til å samles i grupper etter interesse. Hvis en bruker har interesse av offentlige eller politiske emner, er det mer sannsynlig at han legger ut eller videresender andre lignende brukeres blogger. Disse videresendte innleggene gir en god måte å identifisere nye brukere å skanne.

La oss for eksempel si at bruker A allerede er i databasen, og søkeroboten oppdager at en blogg, som ble lagt ut av bruker A, blir slettet. Hvis bruker B, den opprinnelige forfatteren av bloggen, ikke er i databasen, vil søkeroboten lagre bruker B. Neste gang, når søkeroboten skanner nye blogger, vil den også skanne nye blogger fra bruker B. Dermed vil mengden skannbare brukere vil automatisk vokse ved å utnytte denne typen tilknytning til sosial interesse.

Etter å ha innstilt crawleralgoritmen for å dra nytte av denne metoden, trengte jeg bare å frø flere nøkkelbrukere som hadde sterke interesser i å legge ut sensitive blogger, og crawleren oppdaget automatisk nye brukere å skanne. Den daglige totale sensurerte bloggene som ble oppdaget steg jevnt og trutt hver dag. Følgende er et øyeblikksbilde av arkiverte slettede blogger i postkassen min.

• En historisk dialog av Mao Zedong som irettesetter en lokal tjenestemann for ikke å ha trukket ned den gamle bymuren i Chengdu.
• Et innlegg om Xu Zhiyong, som er en aktiv rettighetsadvokat. Han har hjulpet mange underprivilegerte mennesker og startet New Citizen’s Movement i Kina. Han ble dømt til fengsel i januar 2014.
• Kritikk av regjeringens avis People’s Daily
• Kommenter arrestasjonen og rettssaken mot Wang Gongquan, en milliardær i Kina og leder for New Citizen’s Movement.
• En referanse til arrestasjonen av aktivister som deltar i sosiale bevegelser.

Resultater

Etter to uker med koding og feilsøking av det kinesiske mikrobloggen min-systemet, distribuerte jeg nettstedet til freeweibo.me . Men etter flere ukers løp oppdaget serveren ikke flere nye blogger. Med litt etterforskning fant jeg to problemer. Den ene var at Weibo-plattformen hadde endret sitt opprinnelige API-grensesnitt. Den andre var at crawlerens API-forespørsler overskred hastighetsgrensen (1000 per minutt) på grunn av økningen av blogger og brukere i databasen. Så jeg innstilte koden min for å ta i bruk det nye grensesnittet og også for å redusere antall API-forespørsler per minutt. Båndet var stabilt fra da av.

Jeg møtte et dilemma om hvorvidt jeg skulle la mange få vite om nettstedet. Jeg visste at jo flere folk som besøkte nettstedet, jo raskere ville det bli snuset ut av regjeringen og bli blokkert. Så jeg delte bare nettstedet med noen av vennene mine . Opprinnelig var det bare rundt 10 til 20 besøk per dag. Men en måned senere slo besøkene 80 eller mer på noen dager, og jeg hadde titalls e-postabonnenter.

Og så, som jeg hadde forventet, kom morgenen da jeg fant siden min var blokkert i Kina. Det hadde vart i omtrent tre måneder. For å nå nettstedet etter det, måtte brukerne bruke VPN-tunneltjenester for å besøke nettstedet. Dette er upraktisk for de fleste kinesiske internettbrukere.

Den samme dagen var jeg imidlertid lettet og glad for å finne at et annet nettsted, freeweibo.com , gir nøyaktig den samme tjenesten, og er mer sofistikert enn det jeg bygde. Freeweibo.com-prosjektet er veldig ressurssterkt. Den er aktiv på sosiale medier, og gir forskjellige måter å få tilgang til innholdet, som RSS-feeder, e-postabonnement og speilnettsteder for innenlandske brukere. Den har til og med en mobilapp! Jeg vet ikke hvem som bygde nettstedet, men jeg er glad vi deler den samme visjonen.

Konklusjon

Basert på omstendighetene var det åpenbart at nettstedet mitt ikke var veldig nyttig lenger, og jeg lukket det flere måneder senere.

Til tross for resultatet føler jeg ikke at prosjektet var forgjeves. Tvert imot, det var en fantastisk opplevelse, selv om den bare overlevde i noen få måneder. Det hjalp meg til å sette stor pris på virkeligheten i landet mitt.

I Kina, for å drive en internettvirksomhet, må du være veldig forsiktig med sensur, ellers vil du komme i trøbbel før eller senere. Det er knapt noen måte for sosiale medier å lykkes hvis de ikke overholder streng sensur og går på akkord med brukernes privatliv.

---

Oppdater

De freeweibo.me kildekoden er nå tilgjengelig på GitHub her . Som nevnt ovenfor, er denne kildekoden ikke relatert til lignende nettsted freeweibo.com .