Dlouhodobější čtenáři tohoto projektu si jistě všimli, že zde vychází články velmi kritické k dopadům některých moderních technologií, zejména heuristiky a AI, umělé inteligence. Důvod je jednoduchý: už když jsem se poprvé podrobněji setkal s Big Data”, správně jsem předpověděl, že výstupy této sady technologií budou používány ke kádrování, posuzování a „preventivnímu trestání” lidí – a AI tuto vlastnost posouvá ještě o světelná léta dál.

Z toho ovšem plyne jeden fundamentální problém: je to naprostým popřením základního lidského práva na spravedlivý proces.

A jako by tomu nebylo dost, „umělá inteligence” typu „strojové učení” navrch k tomu všemu jednak probouzí z mrtvých zvrácené totalitářské teorie o lidstvu a podstatě svobody, a jednak technicky umožňují totalitu, jaká ještě nikdy v historii nemohla existovat.

Franz Kafka ve svém slavném románu „Proces” popisuje frustrující bezmoc jistého pana „K.”, který se jednoho dne vzbudí jen aby zjistil, že je proti němu vedeno jakési řízení, jakýsi proces. Nevede jej ovšem policie. Vede jej – K. vlastně ani neví kdo. A neví, z čeho je vlastně obviněn. Pouze to, že obviněn je, a kde se koná veřejné slyšení.

K. tedy na slyšení sebevědomě vystoupí a pronese ohnivý projev, v němž se snaží hájit. Jenže když ani nevíte, co je vám kladeno za vinu, nemůžete se obhájit. Boj K. s jeho neviditelnými soudci je tedy předem odsouzen k neúspěchu. K. pochopí nesmyslnost obrany a tak se pokouší celý Proces, který je zjevně nelegitimní, alespoň ignorovat. Jenže Proces mu stále znova vstupuje do života a škodí mu, až je nakonec K. odsouzen k smrti a, jsa zcela vyčerpán marností své obrany, již ani nemá sílu vzdorovat a stoicky se nechává odvést svými katy.

Literární kritici mají za to, že Kafkův „Proces” je obžalobou diskriminace vůči Židům v dobové společnosti: nevyřčeného odsouzení za nic konkrétního, jen za povrchní příslušnost k nějaké skupině.

A vskutku: když se podíváte na velké totalitní diktatury 20. století, každá z nich stála na stejném principu. Kolektivně odsuzovala a pronásledovala či likvidovala celé skupiny lidí nikoli na základě jejich skutků, nýbrž na základě jejich příslušnosti k nějaké skupině a tím zdůvodněné preventivní, prediktivní „obraně” proti jejich fiktivním budoucím zločinům.

Vždy přitom byla vytvořena nějaká „věda”, která přinášela zdánlivě „nevyvratitelné” důkazy ospravedlňující „preventivní” zásah vůči těm příslušníkům cílové skupiny, kteří se „provinili” nikoli svými činy, nýbrž jen vnější podobností s někým jiným.

Nacisté byli průkopníky pavědy jménem fyziognomie, podle které prý zločinci a škůdci lidstva měli být charakterizováni určitými rysy obličeje a tedy kdo má špatný tvar lebky, je zločinec a měl by být odstraněn z genofondu. Říkají to vědci, musí to být pravda – a kdo jsi ty abys to zpochybňoval!

Marxisté se naopak uchýlili k „vědeckému marxismu-leninismu”, podle něhož příslušnost k určité třídě, dané mj. ne-manuální profesí, deformovala charakter a každého člověka předurčovala k vykořisťování a zlovolnosti, pokud nebude „napraven v pracovních táborech”. Ondřej Sekora na toto téma namaloval i komiks.

Stěžejní v tom všem byl determinismus: všechny tyto teorie tvrdily, že člověk nemá svobodnou vůli, nemá svobodu volby, je fixně a nezvratně předurčen k tomu chovat se zle – a proto je oprávněné, ba dokonce žádoucí, jej „zneškodnit”, zlikvidovat předtím, než ono zlo stihne napáchat. Protože nezabránit zlu, o kterém víte že se stane i kdo jej spáchá, to je přeci bezohledné a samo o sobě zlé, no ne? To vám odsouhlasí 11 z 10 respondentů průzkumu veřejného mínění.

Celý princip posuzování lidí skrze „Big Data” je však založen na přesně stejném principu jako fyziognomie, „rasová čistota” a „vykořisťující třídy”. Na odsuzování lidí protože se povrchně, statisticky, podobají někomu jinému. Býval to nejhorší neduh a největší profesionální sehnání jakéhokoli vědce: zaměnit korelaci za kauzalitu.

Koho zajímá skutečná kauzalita, když samotná korelace znamená dolary?

Pak ovšem přišla určitá sorta lidí s názorem, že taková vědeckost prý není zapotřebí. Není prý vůbec potřeba prokázat příčinnou souvislost. Bohatě stačí určitý statistický průnik, protože i souvislosti pouze zdánlivé, statistické, stačí k tomu, aby se někde dala zmenšit rizika a tedy vydělat peníze.

Začalo to v pojišťovnictví. Pokud auta s větším obsahem motoru častěji bourají, je přeci jedno, zda je pojištěnec nebezpečný řidič nebo ne. Prostě zaplatí více, protože pokud se statistika rozdělí podle obsahu motoru, ti s vyšším obsahem mají větší náklady na obsluhu pojistných událostí a je jenom fair to spravedlivě rozdělit, ne? Ukázkový příklad principu kolektivní viny. Ale to byla ještě primitivní „manuální heuristika”, na základě malého množství parametrů. Proto bylo snadné se jí ubránit: chtěli-li jste ušetřit na pojistce, koupili jste si auto s menším objemem motoru a bylo po problému.

Bankovní aplikace pro hodnocení úvěryhodnosti klienta to dovedly dále: aby banky minimalizovaly riziko, jejich aplikace začaly agregovat první „big data” ze záznamů o platbách debetními kartami, které určovaly v jakých obchodech kdo nakupuje. V tom už by člověk nedokázal najít statistické vzorce, ale počítač ano – a tak byli preventivně označeni za „nespolehlivé” mj. lidé, kteří nakupovali v „příliš levných” obchodech.

Americké zdravotní pojišťovny si zase nechaly napsat Big Data systém, který predikoval nemocnost pojištěnce a kohokoli „rizikového”, kdo by mohl potřebovat pojistné plnění, se zbavily brutální přirážkou.

V tomto okamžiku rázem přestalo platit, že máte svobodu volby. „Big Data” systémy totiž nacházejí korelace i tam, kde žádná kauzalita neplatí. Z toho plyne, že už není žádná konkrétní akce kterou byste mohli ovlivnit svůj osud. Ať uděláte cokoli, pořád vám hrozí, že budete nespravedlivě vyhodnoceni jako „rizikoví” a patřičně „potrestáni”. Stačí, když se pouze čirou náhodou vzdáleně podobáte někomu „statisticky nežádoucímu” – a už v tom lítáte až po uši.

I „Big Data” systémy ovšem nebyly až tak samospasitelné. Pořád vyžadovaly „data scientists”, aby data nějak předzpracovali. Jinak se na surové jedničky a nuly sice mohly vrhnout Big Data heuristické algoritmy, jenže zpravidla vygenerovaly bezcenný balast – resp. predikce s přesností v řádu nižších desítek procent.

Zhruba loni či předloni však nastala revoluce. Do masového, stále levnějšího použití se dostaly heuristické AI algoritmy strojového učení, které už žádné předzpracování dat nepotřebovaly. Samy si totiž dokázaly data očistit a najít v nich to, co potřebují. Samy si adaptivně upravit dlouhý řetězec „IF a AND b AND c AND NOT d AND (NOT e OR f) ….. THEN”, kterým hodnotí cokoli jim kdo zadá. A tady nastává problém, který zatím jen málokdo dokáže docenit v celé jeho šíři.

Strojově-učící se AI: vyšinutý žalobce, jemuž nikdo nevidí do hlavy

Najednou můžete být označeni za Nežádoucí Grázly jen proto, že ačkoli byste neublížili ani mouše, rádi si kupujete víno, okurky, nosíte bílé pohorky a k tomu posloucháte obskurní italský popík – a tím se povrchně podobáte zavrženíhodnému zločinci, který má rád stejně obskurní kombinaci.

Logika „strojově učící se AI” je totiž neúprosná. Na malém zkušebním vzorku našla AI korelaci právě třeba osobních preferencí pití, jídla, oblečení a hudby, která odpovídá pouze žádoucímu výsledku za který byl algoritmus „odměněn” svým trenérem (tedy onomu zločinci), ale zároveň neodpovídá žádnému nežádoucímu výsledku (tedy nevinným), za jehož křivé obvinění by „učící se” algoritmus AI byl potrestán. „Dostatečná obskurnost” vyhledávací korelace by tedy prý měla zaručit, že další takový neexistuje.

Jenže ouha! K výslednému řetězci korelací dospěl algoritmus jen proto, že jste v malé „učící sadě dat” nebyli vy, onálepkovaní jako nevinní. Kdybyste tam byli, algoritmus by řetězec korelací ještě nějak poupravil, aby vás vyloučil. Jenže z principu platí, že pokud se AI učí na malé hromadě dat a podle toho potom soudí velkou hromadu dat, statisticky téměř vždy bude existovat nějaký nebožák, o němž AI neví že by jej měla vyloučit – a tak jej křivě označí za nežádoucího.

A tady vstupuje na scénu další kritický problém. „Strojově učící se” AI totiž navenek funguje jako „černá skříňka”. Jsou jí zadány vstupy a pomocí stimulů „odměn” a „trestů” začne podávat žádoucí výstupy. Co je ale mezi vstupem a výstupem, tedy jak konkrétně vypadá ta korelace, na jejímž základě AI soudí zda jste grázl nebo nevinný? To nikdo neví. To je totiž schované v neuronové síti, a do té nikdo nevidí.

Takže pokud „v neuronovce” vznikne úplná blbost, jako výše zmíněný konstrukt že kdo má rád okurky, italský popík, pohorky a víno, to je vrah? Žádný člověk to nikdy nebude moci napravit, protože se o tom žádný člověk ani nedozví. Není žádná možnost odvolání, nemůže zaznít žádné „Námitka! Tato konstrukce je zvrácená a nic nedokazuje!” Zato se všichni dozví, že „vědecká”, prý „dokonale racionální” AI vás vyhodnotila jako potenciální hrozbu.

Slepá důvěra v AI vzniká z toho, že je „vytrénovaná” AI vypuštěna na kontrolní vzorek dat. Pokud však jako na potvoru člověk s tak nenormální, ale zároveň neškodnou a naprosto legální kombinací preferencí nebo chování, jako máte vy, chybí nejen v učícím se, nýbrž i v kontrolním vzorku? Potom „vědecké testování” prokáže, že algoritmus dokáže chytat grázly s pravděpodobností 100% a chybou 0%, jupí! A už se jde prodávat prediktivní prevence.

Je to jako z filmu Minority Report: trestání konkrétních lidí za zločiny, které nespáchali, ale AI o nich tvrdí, že by je v budoucnosti určitě spáchali. Například americká Policie takto kádruje své zaměstnance AI, která rozhoduje, kdo by se prý v budoucnu zachoval jako rasista a proto má již dnes dostat preventivního padáka. Bez možnosti odvolání.

Americké tajné služby pak byly asi první, kdo použil kádrové posudky generované počítačem k tomu nejhoršímu: aktivnímu zatýkání a vraždění lidí. Se kterým člověkem bude zacházeno jako s teroristickým kurýrem určovala AI „Skynet”, která pravděpodobně křivně obvinila z podpory terorismu až 100,000 nevinných lidí. A ředitel NSA se následně v interview pro časopis Wired nechal slyšet, že „zabíjí lidi na základě meta-dat” – tzn. na základě toho, koho obviní AI algoritmus který „big data” meta-dat prochází.

Vy přitom vůbec nevíte, že vás nějaký AI algoritmus odsuzuje. Ale i kdybyste to věděli, neměli byste žádnou možnost se bránit, protože „důkazy”, na nichž je postaveno vaše odsouzení, jsou schované někde v neuronové síti a nikdo je neumí najít, natož zpochybnit či vyvrátit.

Díky „strojovému učení” a „Big Data” tak přestalo existovat právo na spravedlivý proces. Naopak: AI každému garantuje nespravedlivý proces, ve kterém je rozhodnutí o jeho vině či nevině pouhým dílem náhody a statistické podobnosti.

Co je větší bezpráví, než když jste potrestáni bez ohledu na to co děláte a zda něčemu či někomu ubližujete? Jenže destrukce práva na spravedlivý proces je jen špičkou ledovce. Další důsledky rozmachu nekritické víry v AI jsou ještě horší.

AI v praxi ospravedlňuje totalitní ideologie a decimaci populace

„Tech” (ve skutečnosti Big-Data-IT) firmy zaplavily trh produkty „zdarma”, za které jim zákazníci na oplátku prodávají sebe sama jako zboží. Díky tomu získaly obrovské pokladnice „Big Data” ve smyslu neutříděných dat, na které mohou vypustit strojově učící se AI, aby se trénovaly. Zásluhou nepřetržité interakce se „zákazníky”- pardon, zbožím – se totiž každý, kdo přijme nebo odmítne „doporučení”nějaké AI, stává jejím trenérem.

Logickým výsledkem je AI tak dobře vytrénovaná, že v komunitě určitých zákazníků nakonec dělá jen téměř nepostřehnutelné množství chyb. Tím spíše, že lidský mozek má silnou tendenci odpouštět chyby a pamatovat si jen úspěchy (proto lidé věří horoskopům a sází na Sportku). Co více, taková AI dokáže rozpoznat a natrénovat i preference, které teprve vznikají na základě nějakého společného jmenovatele (například příslušnosti k určité subkultuře).

Z pohledu uživatele se tak může zdát, že AI algoritmus zná uživatele lépe, než on sám sebe.

Aby však AI dokázala dobře predikovat preference, neřkuli chování člověka, nesmí člověk být unikátní. AI nemá kreativitu: dokáže pouze vyhledávat vzorce, které se staly v minulosti, a aplikací na současná data je protáhnout do budoucnosti. Kreativní člověk; skutečné individuum; unikátní lidská bytost – to vše představuje oříšek, který žádná AI nedokáže skousnout. Protože čin, který ještě nikdy nebyl zaznamenán v historii, nemůže být analyzován AI a ta jej nedokáže ani predikovat.

Jenže tato logika funguje i naopak. Každý uživatel „doporučovacích služeb” vidí, že AI jeho samotného predikovat dokáže. Lidé jako Patrik Zandl, kteří přesahují z IT do úvah o lidstvu, proto dochází k závěrům, že AI zná člověka lépe než on sám. Protože pokud člověk slepě, otrocky, poslouchá AI prý je šťastnější. Z toho rzní podobní myslitelé divoce extrapolují, opět zaměňují korelaci (byť statisticky významnou) s kauzalitou…

…a docházejí k závěru, že nic jako unikátní lidský jedinec prý vlastně neexistuje.

Že představa, že každý člověk je unikátní, je falešná. „Strojově-učící se AI” ji prý vyvrátila.

To by ale znamenalo, že ty nejohavnější totalitní režimy historie měly pravdu. Souboj mezi totalitami a svobodnou se totiž nesl po linii jedné zásadní otázky: co je jedinec?

Jedna strana tvrdila, že jakýkoli jedinec je pouze nahraditelné kolečko soukolí, jehož jediným smyslem je pohánět „velký stroj společnosti” a který může být kdykoli bez mrknutí oka obětován pro „vyšší dobro”. V tomto pojetí je život jakéhokoli člověka bezcenný, protože kdokoli je nahraditelný. Důležitý je přeci jen Celek, totalitní stát, protože ten nahraditelný není a dokáže „Velké a úžasné věci”.

Oproti tomu druhá strana tvrdila, že každý jedinec je unikátní a jeho život má inherentně cenu sám o sobě. Že jedinec si sám může dobrovolně vybrat sebeobětování pro něco vyššího, ale nesmí k tomu být nucen. Že nesmí být proti své vůli obětován, nesmí být zabit, nesmí být zotročen. Jedině na základě této premisy měla objektivní cenu lidská svoboda.

Strojově učící se AI však vytváří svou zdánlivou dokonalostí iluzi, že lidé jsou reálně neunikátní a tedy obětovatelní a zotročitelní.

Začarovaný kruh: aby vás AI křivě neobvinila, musíte jí potvrdit že je neomylná

Řekli jsme si, že důsledek strojově-učící se AI je dvojí. Jednak křivě obviňuje lidi z toho, že v budoucnosti spáchají nějaký zločin, aniž by se mohli obhajovat. A jednak resuscituje totalitářský, genocidální princip, že lidský život nemá žádnou cenu, protože každý jedinec je redukován na nahraditelné kolečko v soukolí, na pouhý „resource”.

Je ovšem ještě třetí ďábelský princip, který „Machine-Learning AI” zavádí – a který je přímým důsledkem prvních dvou.

Totiž, abyste nebyli křivě obviněni AI, nesmíte se podobat zločinci. Abyste se nepodobali zločinci, musíte se vyskytnout v té správné skupině lidí v malé „výukové” nebo alespoň „kontrolní” hromádce dat, používané k výcviku AI. Z čehož plyne, že abyste měli jistotu, že se do takto malých vzorků dat dostanete, musíte být dokonale průměrným občanem. Raději neriskovat a nebýt křivě obviněn, než naopak. A tím potvrzujete, že AI říká pravdu, protože všichni slušní lidé se nakonec chovají přesně tak, jak AI předvídá že mají.

Chápete? Dám vám extrémní příklad. Pokud teroristé kritizují AI a běžní lidé moc ne, AI se na takovéto sadě dat naučí, že kritizovat AI znamená být potenciální terorista třeba s pravděpodobností 60 % – protože zaměňuje korelaci za kauzalitu. Jenže čím více lidí raději „zapadne do řady”a než aby mělo problémy a muselo u výslechů dokazovat, že teroristé nejsou, kritiku AI si odpustí… Tím větší nepoměr mezi počtem kritiků AI z řad slušných lidí a teroristů bude, až bude nakonec kritika AI indikátorem „potenciálního teroristy” s pravděpodobností 99,999 %.

Totéž platí i u neškodných aplikací jako doporučování hudby: když si lidé zvyknou slepě poslouchat doporučení AI a nevyhledávat hudbu sami za sebe, statisticky bude mít AI 100% úspěšnost. Ne ovšem proto, že by AI skutečně tak niterně znala lidi – nýbrž proto, že lidé se již neobtěžují vyhledávat cokoli nad rámec AI a tím je statistika postavená na hlavu. AI je tak „sebepotvrzujícím proroctvím”, protože se z principu vždy zbaví kohokoli, kdo by se jí nehodil do jejích predikcí. Po dobrém či po zlém.

Před totálním dohledem není úniku – jen do šedi dokonalé Normalizované konformity

Lidé milující svobodu si občas povzdychnou: „Orwellův 1984 nebyl návod, bylo to varování!” V Orwellově románu bylo na občany dohlíženo všudypřítomnými štěnicemi-prostorovými odposlechy, a v jejich bytech na ně dohlížela „Obrazovka” která byla zároveň kamerou. V našem světě se nám plíživě etabluje přesně totéž.

Úplně každé zařízení jakkoli napojené na internet je potenciálním špiclem, který vás udává totálnímu dohledu AI. Díky „Smart Cities”, „Internet of Things” a smartphonům, které jsou všechny plné senzorů a kamer, o 360° „live-stream” natáčení videa a analytice obrazu nemluvě, přitom nemá být před AI nikde úniku. Všudypřítomné kamery umožní Policii vás najít a zatknout tři minuty poté, co vystrčíte nos z domu.

Jeden rozdíl oproti Orwellovi zde ale je. Dokonce i v dystopickém světě „1984” nebyl dohled nepřetržitý:? pouze náhodný. Nikdy jste si nemohli být jisti zda vás zrovna někdo nesleduje – ale věděli jste, že vás nikdo nesleduje pořád. To se s nástupem AI mění. Díky AI je možné každého člověka nejen nepřetržitě sledovat a odposlouchávat – ale zároveň mu přiřadit i kádrováky, fízly a soudce, kteří nikdy nespí a posuzují vaše chování 24h denně, 365 dní v roce.

Naprosto jakékoli chování přitom může být vyhodnoceno jako indikátor, že jste potenciální hrozba a mělo by s vámi preventivně být zatočeno. Nebo byste alespoň měli dostat preventivní vyhazov a být navždy vyloučeni ze společnosti slušných lidí. Protože kdokoli by se s vámi stýkal, ten by se rázem stal také podezřelým a také parájou.

Chápete ten důsledek? Doposud jste mohli optimisticky ignorovat technologie totálního dohledu s argumentem, že „ty jsou jen proti zločincům a já jsem slušný člověk, takže mi nic nehrozí”. Nyní již ne. Nyní jste i vy cíl. Stačí když vás špatně vyhodnotí AI. Takže abyste nebyli křivě obviněni, musíte se tvářit jako dokonale Normalizovaný, průměrný, šedivý občan. Pořád. Všude. Nikde si nemůžete oddychnout a být v bezpečí.

Počkat, vlastně ne. Pouze se tvářit jako Normalizované ozubené kolečko totiž nestačí. Pokud něco předstíráte, AI najde drobné odchylky od „správného normálu” – nejpozději tehdy, až chytí někoho jiného, kdo také jen předstíral průměrnost, a zpětně si doplní svůj adaptivní algoritmus o korelace, čím se lišil od Normalizované masy. Myslíte si, že nemůže být hůře? Ale může.

Opět na základě „Machine Learning” porovnávání velkých vzorků dat si nyní spousta vědců, novinářů a velkých firem myslí, že reálně umí číst myšlenky a kádrovat tím lidi.
Počítač s AI, napojený na skener okysličení různých částí mozku, prý umí vynést rozsudek že jste rasista, i když si toho vy sami nejste ani vědomi. Nikoli ovšem na základě faktů, nýbrž na základě neověřené hypotézy, že pokud se rasistům „statisticky často” aktivuje nějaká oblast mozku když vidí jinou rasu, je to důkaz, že komukoli se aktivuje stejná oblast mozku, to musí být také rasista. A obhajujte se proti takové „vědě”!

Před každým z minulých totalitních režimů byl člověk svobodný alespoň ve své mysli. Dokud se neprořekl represivnímu aparátu, nějakému Gestapáku, StBáku nebo vyšetřovateli O’Brienovi z dystopie „1984”, alespoň ve svém mozku se mohl těšit nesouhlasem.

AI, která (dost možná křivě) kádruje aktivitu mozku, poprvé v historii světa zavádí zločin „nekorektního myšlení”, tedy Orwellovský „thought-crime”. Totální vynucení poslušnosti libovolným mocným člověkem, korporací či státem. Totální loajalita – nebo likvidace. Vyberte si.

Tři pilíře totalitní diktatury: předurčenost bez svobody volby, pohrdání jedincem, totální dohled

Od okamžiku, kdy se je na vás vypuštěna „strojově-učící se” AI, můžete být okádrováni, prohlášeni za Nežádoucího rasistu či jiného ideozločince nebo dokonce teroristu, a „preventivně” potrestáni na základě vyšinuté „predikce”, kterou nemůžete nijak zpochybnit. Protože je to přeci „unconscious bias”, o kterém již nyní vtloukají zaměstnancům do hlav že jsou to hnusní rasisti a sexisti dopouštějící se ideozločinů i pokud se považují za dokonale liberální a nediskriminující.

Totalitní nauka o predestinaci, predeterminaci každého člověka na základě povrchní podobnosti s někým nežádoucím, je díky „důkazům”, které AI poskytla na základě zkoumaného vzorku, opět povýšena na vědu. A nejen to – čínští vědci pustili AI na fotografie zločinců a skrze „Machine Learning” dokázali resuscitovat přímo i starou nacistickou fyziognomii a „prediktivně” určovat zločince na základě rysů tváře.

Totalitní hodnotový žebříček, podle kterého jedinec není unikátní a cennou bytostí, nýbrž zaměnitelnou součástí stáda. Morálka, podle které člověk nemá žádnou cenu jako jedinec, jen jako součástka „většího celku”. To vše díky inherentně falešným statistikám úspěšnosti AI opět nalezlo ospravedlnění a punc „objektivní vědecké pravdy”.

A narozdíl od minulých totalit je dissent prakticky vyloučen, protože poprvé v historii má každý člověk přiřazeného ne jednoho, ale hned několik osobních špiclů a kádrováků, kteří jej nepřetržitě sledují a posuzují 24 hodin denně, 365 dní v roce, a neschová se před nimi ani do svých myšlenek. V systému ještě ďábelštějším než v Orwellově dystopii „1984” je trestán už i záblesk „thought-crime” který proběhl mozkem a aktivoval „statisticky nesprávnou” oblast.

Ať se pokusíte bránit se proti takové totalitě jakkoli, jste předem odsouzeni k neúspěchu. Protože dříve či později se nějakým vzorcem chování – třeba i jen mimikou obličeje nebo způsobem chůze – začnete podobat minulým disidentům, jejichž vzorce chování AI dokázala identifikovat a vyhranit je jako rozdílné oproti vzorcům chování ne-disidentů. A v tom okamžiku vás AI „preventivně zneškodní”. Technologický fašismus si rozvracet nenecháme, soudruhu, to teda ne!

Takový je svět založený na slepé víře ve „strojové učení” a „předpovědi” falešného proroka jménem „Umělá Inteligence”. Svět, který nekriticky přijímá sliby vědců a „Technologických” firem o „bezpečnosti skrze prevenci a prediktivní analýzu”. Svět, který se nechá ovládat AI, vždyť je přeci tak dobrá a statisticky spolehlivá. Totalitní diktatura s jedním jediným povoleným názorem. Totalitní diktatura s polobožskou informovaností a mocí pro ty, kdo jsou u moci.

Tak jak se vám líbí?

Reklamy

11 thoughts on “Budoucnost AI: strojovým učením ke Kafkovské totalitě

  1. „… navenek funguje jako „černá skříňka”. Jsou jí zadány vstupy a pomocí stimulů „odměn” a „trestů” začne podávat žádoucí výstupy. Co je ale mezi vstupem a výstupem, tedy jak konkrétně vypadá ta korelace, na jejímž základě AI soudí zda jste grázl nebo nevinný? To nikdo neví. To je totiž schované v neuronové síti, a do té nikdo nevidí.“

    Hm, a přesně čím se to liší od mysli — no, raději v uvozovkách; čím se to liší od „mysli“ — třeba takového soudce Lněničky (https://karasek.blog.idnes.cz/blog.aspx?c=446321)? Vyjmenuj sedm rozdílů…

    Stálý dohled sice je risiko, ale proti tomu se bránit lze: žádné zařízení s kamerou (kromě těch, jimž jsem se na základě pro mne dostatečně silných důvodů rozhodl věřit) doma nemám. Jdu-li ven, kde mohou být cizí kamery, vezmu si klobouk. A tak dále.

    Jistě, hejna dronů nad mým pozemkem a za mými okny jsou reálné risiko; nicméně jsou pořád reálným risikem budoucnosti, nikoli současnosti; a v té budoucnosti, v níž se taková hejna objeví, já budu mít kromě kulovnic také HERF.

    (Mimochodem, nepřipadá Ti absurdní umožnit přihlašování k tomuto systému právě a pouze přes konta těch největších šmíráků? ;))

    To se mi líbí

  2. @Shark:
    moc toho není. Snad by i šlo prosadit ústavní právo, že člověk musí být informován pokud je odsouzen nebo posouzen za účasti algoritmu. Aby alespoň Kafkovsky věděl „kdo“.

    Na to „jak“ někteří odborníci na AI predikují, že vzniknou „neuronoví detektivové“ kteří se budou snažit odhalit, co si to vlastně ta neuronovka vymyslela; kdyby to byla pravda, mohli by se z nich stát „digitální advokáti“.

    @OC:
    v tom, že mentální procesy soudruha Lněničky jsou všem zjevné a neskrývané jako nedílná součást odůvodnění rozsudku, jako takové mohou být napadeny u soudu vyšší instance, a také tak napadeny bývají.

    (Já bohužel nemám kontrolu nad Systémem jako takovým. Nechci-li placený hosting, který je se mnou asociovaný nebo s brutální přirážkou za anonymizaci, neovlivním vnitřnosti – dokonce ani CSS, který prasí tagy Blockquote. Ale dá se přeci přihlásit přes „WordPress“ účet který se šmíráky nemá co společného a dá se používat v zasandboxovaném broseru.)

    To se mi líbí

  3. IMHO kladeš příliš velký důraz na technologie jako takové. Já bych to spíš viděl v kontextu s věcmi organisačními, zákonnými apod. Největší svinstva v historii byla napáchána bez AI a v podstatě i bez informatických prostředků (vím, že si o holocaustu myslíš něco jiného, ale dle mého tam mícháš dohromady několik různých věcí jako průmyslové vyvražďování a programy nucených/otrockých prací).

    Pokud bude například respektováno právo na přezkum a povinnost závěry (např. rozsudky) zdůvodňovat a bude eixstovat nějaká obecná shoda na tom, co se považuje za přijatelně odůvodněné, je relativně nedůležité, zda ten závěr vygeneruje polodementní soudce (fakt si umíš představit mozkové procesy něčeho takového?), nebo nějaká umělá inteligence. Co by byl obrovský průšvih by samozřejmě bylo, pokud by stát vydal zákon, že AI se nemýlí a přezkumu nepodléhá. Jenže v tom nevidím kvalitativně jiné svinstvo než například v navrhovaných zákonech o urychlení trestního řízení.

    Nejsem si také úplně jist tím, do jaké míry se dají AI a BigData považovat za věci nutně propojené. Samozřejmě nerozporuju to, že v současné době velmi často propojené jsou. Třeba Apple ve svém ekosystému prvky AI má, ale podle všeho jsou implementovány bez nějakého zásadního propojení s velkými daty. V posledních iPhonech jsou až absurdně výkonné procesory, které mají za úkol implementovat AI funkce lokálně. Co když půjde vývoj spíše cestou takových malých isolovaných AI? Lidé se taky (relativně) inteligentně rozhodují i bez toho, že by v hlavě měli databáze, srovnatelné s těmi z Google či Amazonu…

    A když už jsi zmiňoval toho P. Zandla – u nás v rodině se v případě zácpy neposlouchá navigace (ať už je či není založena na AI), ale prostě se vytahuje mapa (sice v iPadu, ale offline). Waze ani nikdo jiný mi nemůže nařídit, abych poslouchal jeho doporučení – to by mohl opět pouze stát.

    To se mi líbí

  4. @JJ:

    důraz na technologii kladu proto, že kombinace BD+ML je obrovská společenská revoluce srovnatelná jen s knihtiskem, ale možná ještě větší. To není jen masírka PR propagátorů BD/ML, to je fakt a vychází z toho, že podstata a cíl celého BD/ML tažení je poselství, které vystihuje výtečně otevřená knížka „Big Data“ od Mayer-Schönbergera a Cukiera (Computer press, 2004).

    Je jím „přesun od vnímání světa založenéno na kauzalitě k vnímání založenému na korelaci“, bez ohledu na to, že to útočí na samotné základy vědy a civilizace. Ne úmyslně, ale jako nevyhnutelný side effect samotné podstaty BD analýzy a ML „AI“ která je umožňuje.
    Tady je přímo článek od Springerů, který se proti fenoménu „útoku Big Data na základy vědecké metody“ vymezuje:
    https://www.di.ens.fr/users/longo/files/BigData-Calude-LongoAug21.pdf

    Každý, kdo cituje úspěšné aplikace Big Data (jako ve zmíněné knize jeden z prvních megaúspěchů BD, kdy Google nechal provést unsupervized ML Big Data analýzu svých search querries aby našel korelaci s propukající epidemií chřipky v řádu hodin, narozdíl od řádově dní až týdnů které to trvalo Federálům, a tak umožnil lékařský zásah) přitom musí férově dodat, že korelace sice neznamená kauzalitu, jenže my lidé máme sklon to tak vnímat.

    Ve zmíněné knize autor chápavě vysvětluje, že Google search querries „signalizující“ chřipku vůbec nemusel psát člověk nakažený chřipkou, ale třeba zdravý pracovník v openspacu kterého vylekalo kašlání nakažených kolegů. Jenže si vem, že by Federales dostali za úkol nejen „izolovat ohnisko chipky“ uzavřením letišť a distribucí léků, což už je sám o sobě trochu průšvih, nýbrž „eliminovat nebezpečí pandemie chřipky“ izolováním nakažených jedinců a dostali tahle korelační data od Google. V mozečcích by se jim objevilo rovnítko mezi „zadal search querry = je bacilonosič“ a šup s ním do karantény.

    Tohle je prostě lidská přirozenost: když se máme vypořádat s nějakým negativním jevem, a vidíme, že něco nesmírně úzce koreluje právě s tím nežádoucím čeho se chceme zbavit, naprosto přirozeně a impulsivně máme nutkání odstranit to korelující bez dalších okolků.

    Představ si třeba, že by ML BD analýza dokázala zkorelovat míru držení zbraní (plus pár proměnných s menší vahou, kterými by si snížila false positive rate) s násilnou kriminalitou s r=.997 – myslíš si, že by to nebyl největší argument pro Gun Ban, jaký se objevil za posledních 90 let? Na straně „anti-gun“ by najednou byla „věda“, „number-crunching computers without bias“, „racionální fakta“ atd.

    Veškerý účel Big Data a spojeného ML jsou přitom právě „prediktivní analýzy“ na základě fantasmagorických korelací, proto to vzniklo a proto se to prodává, a to je dohromady ten šílený průšvih. Technologie, která o sobě tvrdí že dokáže prorokovat nežádoucí jevy tím, že určí „ne-příčiny“ jejichž „preventivním odstraněním“ by měl zmizet i budoucí problém. A tvrdí o sobě, že má r>>0.9 i co do predikcí budoucnosti a neznámých dat.

    To není společenský nebo politický problém, pro který jsou BD/ML jen nástrojem. To je technologický problém, který sám o sobě vytváří společenské problémy.

    Pokud zůstanou „prediktivní proroctví AI“ na lokále, potom je to jistě problém menší – jenže pořád zůstává riziko že ti tvá lokální AI nakecá, že tamhle Vomáčka je grázl kterého bys měl srazit (protože má tlustý nos a silné rty podobné zločinci), nebo hůře, že to nakecá nějakému policajtovi o tobě.

    To se mi líbí

  5. @krabice: a ještě poznámka k poslednímu odstavci. Jaký je rozdíl mezi tím, že Ti něco nakecá Tvoje lokální AI na nějakém zařízení a tím, že Ti něco nakecá nějaký führer na stadionu/v TV/na webu?

    Řekl bych, že ta skupinová ovlivňování schopnými demagogy jsou dost možná o něco horší, protože zvládnou snadněji vytvořit nemyslící dav. V takové situaci spousta lidí odhodí kritické myšlení dřív, než když si o věci čte někde v klidu doma u počítače.

    Ale samozřejmě, že big data v rukou státní byrokracie a zejména silových složek jsou průser, o tom není sporu. (Ale opět skončíme u toho, že podle mého názoru je daleko větším problémem existence té policie současného střihu, než toho udavače, ať lidského nebo AI.)

    To se mi líbí

  6. @JJ: rozdíl je v tom, že zatímco u lidí – i vůdců – automaticky předpokládáme omylnost a nevěříme jim proroctví budoucnosti, u AI toto neplatí.

    Žádný soudce někoho nezavře jen proto, že o něm libovolný jiný člověk prohlásí „já si myslím, že Vomáčka v budoucnosti spáchá zločin (protože má tlusté rty a nakupuje v Pennymarketu)“. Ale AI lidé podobně vyšinuté predikce věří běžně.

    Je to dané jednak tím, že je AI coby relativní novinka, navíc velmi zhypovaná, vnímána jako „magická krabička“ kterou vyvinuli „úžasní vědci“ – a věda je dnes náboženství plné dogmat s kastou neomylných kneží.

    Ale jednak a hlavně tím, že každý člověk který používá ML AI ve svém každodenním životě vidí, že její „předpovědi“ báječně fungují: Waze dobře hledá cesty, „smart“ čidlo na motoru včas upozorní na to, že se motor rozbije pokud nedostane údržbu protože si zkoreluje vibrace s Big Data analytikou ostatních rozbitých motorů, Netflix dobře doporučuje filmy…

    A to posiluje aureolu neomylnosti, kde AI skutečně zná člověka lépe než on sám sebe, AI zná lépe svět než by jej mohl znát člověk, AI si dokáže všimnout detailů kterých by si člověk nikdy nevšiml, tedy je slepá důvěra v AI důvodná a lidé ji podvědomkně přijímají jako standardní modus operandi.

    Koneckonců tato slepá víra v techniku není nic až tak nového: je tomu už 5 let, co se jakýsi Němec zabil na dálnici protože mu GPS řekla „okamžitě odbočte vpravo“ a on byl tak zvyklý ji bezmyšlenkovitě poslouchat, že zabočil do betonového nosníku nadjezdu.

    S AI to má „jen“ ten nový problém, že zasahuje i lidi kteří sami o sobě techniku slepě poslouchat nechtějí, leč padají za oběť těm, kteří techniku slepě poslouchají. Například NSA s jejím „Skynetem“.

    To se mi líbí

  7. @Krabice – jo jo, shromáždění na Zeppelinfeldu, přímo ukázkový příklad setkání kriticky myslících lidí, plně si vědomých omylností svého Vůdce.

    Ale asi jsi na to kápl s tím „religionistickým“ vysvětlením – holt od doby, co lidi nevěří v Boha, jsou ochotni věřit ve kdejakou pitomost… Dřív to byli různí Führerové, dnes věda (v lepším případě) či pavěda.

    To se mi líbí

Zanechat Odpověď

Vyplňte detaily níže nebo klikněte na ikonu pro přihlášení:

WordPress.com Logo

Komentujete pomocí vašeho WordPress.com účtu. Odhlásit /  Změnit )

Google+ photo

Komentujete pomocí vašeho Google+ účtu. Odhlásit /  Změnit )

Twitter picture

Komentujete pomocí vašeho Twitter účtu. Odhlásit /  Změnit )

Facebook photo

Komentujete pomocí vašeho Facebook účtu. Odhlásit /  Změnit )

w

Připojování k %s