niedziela, 26 lutego 2012

Koniec ludzkości (II)

N. Bostrom: Existential Risks. Analyzing Human Extinction Scenarios and Related Hazards, "Journal of Evolution and Technology", Vol. 9, No. 1 (2002).


Poza scenariuszami wyginięcia ludzkości (tzw. bangs) wymienionymi w poprzednim wpisie, Nick Bostrom pisze też o kilku czarnych scenariuszach, które nie zakładają wyginięcia ludzkości, ani nawet nie wykluczają rozwinięcia się postludzkości, czyli gatunku radykalnie przewyższającego ludzi pod względem poziomu inteligencji, długości życia i pod innymi względami. Dzieli te scenariusze na crunches, shrieks i whimpers:

Crunches, czyli rozój technologiczny zatrzymuje się i postludzkość nie może się rozwinąć:
  1. Wyczerpanie zasobów.
    Istnienie i rozwój technologii, na których opiera się współczesna cywilizacja wiąże się ze zużywaniem zasobów naturalnych. Jeśli jakiś kataklizm doprowadzi do zniszczenia obecnej technologii, odbudowanie jej może okazać się niemożliwe ze względu na wyczerpanie zasobów takich jak węgiel, ropa czy minerały.
  2. Światowy rząd lub podobna organizacja zatrzymuje postęp technologiczny.
    Jeśli jakiejś fundamentalistycznej (np. religijnej) organizacji uda się utworzyć coś w rodzaju światowego rządu, może hamować ona rozwój technologii ze względów ideologicznych.
  3. Dysgenika.
    Badania pokazują, że bardziej utalentowani i inteligentni ludzie mają mniej dzieci. Jeśli ta tendencja się nie zmieni, ludzkość może się stawać coraz mniej rozgarniętym i coraz bardziej chętnym do rozmnażania gatunkiem. Inne badania pokazują jednak, że średni iloraz ludzkiej inteligencji cały czas rośnie (tzw. efekt Flynna). Scenariusz robi się też mniej prawdopodobny, kiedy weźmie się pod uwagę postępy w inżynierii genetycznej i przyszłe możliwości ich zastosowania.
  4. Naturalne zatrzymanie postępu technologicznego.
    Może się okazać, że istnieją jakieś przeszkody, które nigdy nie pozwolą na rozwój technologii umożliwiającej powstanie postludzkości.
  5. Coś nieprzewidzianego.

Shrieks, czyli postludzkość się pojawia, ale jej potencjał jest mocno ograniczony:
  1. Transfer umysłu zakończony nieszczęściem.
    Transfer umysłu (mind uploading) to hipotetyczna możliwość przeniesienia ludzkiego umysłu (ze świadomością, wspomnieniami, umiejętnościami, wartościami itd.) na komputer. Kiedy (i jeśli w ogóle) będzie to możliwe, nie tylko będzie można mówić, przynajmniej w pewnym sensie, o nieśmiertelności, ale też najprawdopodobniej przetransferowanemu umysłowi dużo łatwiej niż człowiekowi będzie radykalnie podnieść poziom swojej inteligencji. W czarnym scenariuszu taki upload (lub grupa uploadów) przejmuje kontrolę nad ludźmi i poważnie ogranicza ich możliwości rozwoju w związku z jakimiś swoimi egoistycznymi celami i wartościami.
  2. Źle zaprogramowana sztuczne inteligencja.
    Jak wyżej, z tym że wcześniej niż transfer umysłu pojawia się silna sztuczna inteligencja i to ona przejmuje kontrolę nad ludźmi.
  3. Światowy reżim totalitarny.
    Jakaś grupa fundamentalistów programuje wartości sztucznej inteligencji, która osiąga technologiczną osobliwość i w ten sposób przejmuje kontrolę nad światem. Ideologia grupy mocno ogranicza możliwości postludzkości.
  4. Coś nieprzewidzianego.

Whimpers, czyli pojawia się postludzkość, ale po jakimś czasie jej potencjał ulega poważnemu ograniczeniu:
  1. Ewolucyjne zmiany doprowadzają do ograniczenia ludzkiego potencjału.
    To jeden z najbardziej (obok komputerowej symulacji, nr 3. na liście bangs) zawiłych scenariuszy. Chodzi najogólniej o sytuację, w której okazuje się, że zajęcia uznawane przez nas za wartościowe nie stanowią w postludzkim świecie korzystnej adaptacji, a wręcz przeciwnie, co prowadzi do selekcji na niekorzyść postludzi, których te zajęcia interesują. To może prowadzić do próby zastąpienia naturalnej ewolucji ewolucją kierowaną w celu uratowania pewnych wartości. Kierowana ewolucja wymaga jednak jakiejś nadrzędnej, ogólno(wszech)światowej organizacji, która by ją koordynowała (Bostrom nazywa taką organizację singleton), a jej powstanie nie może być niczym pewnym.
  2. Atak kosmitów.
    W związku z tym, że Bostrom ocenia prawdopodobieństwo natknięcia się na pozaziemską cywilizację w najbliższych latach (czy raczej w najbliższych setkach lat) jako bardzo niskie, ewentualna konfrontacja z kosmitami odbędzie się według niego raczej po rozwinięciu się postludzkości i skolozinowaniu innych galaktyk. Konfrontacja ta może się oczywiście zakończyć wojną i przegraną postludzkości, co będzie oznaczało albo jej wyginięcie, albo zniewolenie.
  3. Coś nieprzewidzianego.

Poza tym wszystkim na żadną z list nie zmieściły się scenariusze uznane przez Bostroma za zbyt mało prawdopodobne – albo zbyt mało prawdopodobne jako takie, albo nie mogące raczej stanowić zagrożenia egzystencji (m. in. erupcje superwulkanów, utrata bioróżnorodności, rozbłyski gamma, eksplozje czarnych dziur, zatrucie powietrza, utrata płodności, apokalipsy religijne).
Do tego na żadną listę nie trafił scenariusz dobrowolnego wyginięcia ludzkości. Niezależnie od jego prawdopodobieństwa (istnieje nawet Voluntary Human Extinction Movement, czyli Ruch Dobrowolnego Zakończenia Rasy Ludzkiej, ale zdaje się, że nie są na razie specjalnie liczni) nie można tej opcji uznać za zagrożenie, ponieważ zagrożenie jest z definicji niepożądane. Jeśli ludzkość w najbliższym czasie uzna, że lepiej będzie dla świata, kiedy z tego świata zniknie, to cóż, nie będzie się czym przejmować.
Można zapytać dlaczego właściwie Bostrom przejmuje się radykalną zmianą skali wartości w postludzkim świecie, skoro zmiana skali wartości w bliskiej perspektywie go nie rusza. Czy to nie jakiś przejaw szowinizmu gatunkowego (na zasadzie: podpisuję się pod zmianą wartości dokonaną przez ludzkość, ale już nie przez postludzkość)? Może jednak chodzi po prostu o to, że „oświecone samobójstwo” uważa on za inny przypadek niż porzucenie pewnych zajęć, o których mowa w punkcie 1. listy whimpers. Ciężko powiedzieć tym bardziej, że Bostrom podaje tu tylko jeden przykład takiej wartościowej z naszego punktu widzenia czynności, mianowicie zabawy.
Co to ma właściwie wspólnego z filozofią? To oczywiście zależy od tego, co uznać za filozofię – Bostrom jest raczej metodologicznym naturalistą, czyli uważa, że nauka i filozofia nie różnią się w zasadniczy sposób ani pod względem metody, ani przedmiotu. Jeśli chodzi o w miarę tradycyjnie rozumianą filozofię, a zwłaszcza o jej praktyczny zakres, można mówić o przynajmniej trzech sprawach.
Po pierwsze, chodzi o pytanie na ile etyka normatywna powinna zajmować się problemem zagrożeń egzystencji. Wzięcie na poważnie tych zagrożeń może prowadzić np. do wniosku, że pilniejszą sprawą niż roztrząsanie kwestii moralności aborcji czy kary śmierci jest współpraca etyków z informatykami w celu zaprogramowania przyjaznej sztucznej inteligencji. Po drugie, chodzi o pytanie o moralne priorytety – czy np. mając 100 zł do przeznaczenia na zbożny cel powinniśmy je oddać organizacji walczącej z głodem w Afryce, czy może raczej organizacji pracującej nad przyjazną sztuczną inteligencją, takiej jak Singularity Institute (Bostrom powiedziałby, że to raczej drugie). Po trzecie, chodzi o pytania z zakresu filozofii politycznej, takie jak na ile obecny porządek polityczny sprzyja walce z zagrożeniami egzystencji, a na ile nie sprzyja. Bostrom zauważa, że rynkowa konkurencja nie jest z tego punktu widzenia czymś specjalnie pożądanym, ponieważ praca nad eliminacją zagrożeń egzystencji musi się raczej wiązać z ogólnoświatowym porozumieniem i współpracą. Nietrudno zauważyć, że współczesny kapitalizm w lepszym razie ignoruje bardziej znane zagrożenia, a w gorszym sprzyja szeroko zakrojonym dezinformacyjnym kampaniom dotyczącym np. zmian klimatu czy innych ekologicznych problemów, ponieważ pozwala to firmom (przede wszystkim tym wielkim i międzynarodowym) maksymalizować zyski. Podobnie niewesoło wygląda to z rywalizacją posiadających sprzeczne interesy rządów różnych państw. Możliwe więc, że pomyślne istnienie ludzkiego gatunku będzie się musiało wiązać i z radykalnymi zmianami w indywidualnej moralności, i w światowym porządku politycznym.

    poniedziałek, 20 lutego 2012

    Koniec ludzkości (I)

    N. Bostrom: Existential Risks. Analyzing Human Extinction Scenarios and Related Hazards, "Journal of Evolution and Technology", Vol. 9, No. 1 (2002).


    Tak się jakoś złożyło, że nagły koniec ludzkości jest tematem, który zawsze bardziej interesował filmowców i pisarzy science fiction niż naukowców, filozofów czy polityków. Z tego co się orientuję (nie orientuję się co prawda zbyt dobrze, mój problem z science fiction polega na tym, że generalnie nudzi mnie to śmiertelnie), najpopularniejszymi popkulturowymi scenariuszami takiej zagłady są wojna nuklearna, epidemia, szalony naukowiec, atak kosmitów, atak zbuntowanych robotów czy atak mutantów. Powszechne przekonanie jest takie, że „poważni ludzie” się podobnymi scenariuszami generalnie nie zajmują z tego samego powodu, dla którego mówi się „to jakieś science fiction”, czyli z powodu nieuleczalnej spekulatywności tematu. Prawdopodobieństwo nagłego końca ludzkości uchodzi albo za bardzo niskie, albo za niemożliwe do ocenienia.
    Tak naprawdę jednak można to prawdopodobieństwo (mimo pewnych ograniczeń) szacować i w dodatku okazuje się, że jest ono dużo wyższe, niż się większości ludzi wydaje – twierdzi Nick Bostrom, najbardziej chyba znany filozof zajmujący się problemem zagrożeń egzystencji (existential risk).  
    To, że ludzie oceniają to prawdopodobieństwo tak, jak oceniają, wynika raczej z faktu, że zagrożenia egzystencji to bardzo świeże zjawisko i ewolucja nie zdążyła u nas wykształcić żadnego psychologicznego mechanizmu odpowiedniego radzenia sobie z nimi. Mniej lub bardziej, ale jednak adekwatnie reagujemy na zagrożenia takie jak wypadki komunikacyjne, zatrucia, niebezpieczne zwierzęta, trzęsienia ziemi, kryzysy finansowe, wojny, katastrofy ekologiczne itp., podczas gdy na wizję końca ludzkości wzruszamy ramionami, ale ani jedno, ani drugie nie ma zbyt wiele wspólnego z rzeczową kalkulacją prawdopodobieństwa. Poza czasem potrzebnym na ewolucyjne wykształcenie się adekwatnych reakcji na zagrożenia egzystencji problemem jest też zupełnie inny rodzaj tych zagrożeń – w ich przypadku nie ma np. mowy o wykorzystaniu metody uczenia się metodą prób i błędów.
    Bostrom dzieli wszystkie zagrożenia pod względem stopnia na dwie grupy: możliwe do zniesienia (endurable) i krańcowe (terminal) oraz pod względem zasięgu na trzy grupy: osobiste, lokalne i globalne. Połączenie krańcowego z globalnym to właśnie zagrożenie egzystencji, czyli scenariusz końca ludzkości lub nieodwracalnej redukcji jej potencjału. Zagrożenia egzystencji Bostrom dzieli dalej na cztery grupy: bangs, crunches, shrieks i whimpers (odpowiednio poetyckie tłumaczenia we własnym zakresie czytelników). Bang to najbardziej oczywista kategoria, czyli wyginięcie ludzkości w ścisłym znaczeniu. Crunch to scenariusz, w którym ludzkość co prawda nadal istnieje w jakiejś formie, ale nie jest możliwy rozwój postludzkości, czyli ludzi mocno technologicznie „podrasowanych” pod względem inteligencji, wydolności, zdrowia itp. Shriek to scenariusz, w którym postludzkość się pojawia, ale jej postać jest rażąco sprzeczna z tym, czego byśmy oczekiwali. Whimper to scenariusz, w którym postludzkość się pojawia, ale w pewnej perspektywie jest skazana na shriek.
    Poniżej lista bangs, w porządku od najbardziej do najmniej wg Bostroma prawdopodobnego scenariusza. Zainteresowanych kwestią „Jak on sobie to prawdopodobieństwo niby policzył?” muszę odesłać do przypisów w podlinkowanym artykule.

    Bangs:
    1. Umyślne wykorzystanie nanotechnologii.
      Wszystko wskazuje na to, że przyszłości możliwe będzie wyprodukowanie zdolnych do autoreplikacji i żywiących się organiczną materią robotów wielkości bakterii. Takie roboty mogłyby w dość łatwy i szybki sposób zniszczyć biosferę. Ich wyprodukowanie wydaje się natomiast dużo prostsze od utworzenia globalnego systemu ochrony przed nimi, w związku z czym najprawdopodobniej przez pewien okres czasu technologia taka będzie mogła wpaść w niepowołane ręce. Nawet jeśli uda się wyeliminować zagrożenie związane z terrorystami i szaleńcami, pozostanie większe zagrożenie związane z nanotechnologicznym wyścigiem zbrojeń zakończonym wojną.
    2. Wojna nuklearna.
      Nie mamy pewności, czy wojna z wykorzystaniem całego nuklearnego arsenału nawet u szczytu zimnej wojny doprowadziłaby do całkowitego wyginięcia ludzkości i tym bardziej nie mamy pewności, czy doprowadziłaby do tego wojna z użyciem całego dzisiejszego, zmniejszonego od tego czasu arsenału. Po pierwsze jednak istnieje możliwość, że trudne do przewidzenia zmiany klimatyczne związane z taką wojną mogą dopełnić dzieła zniszczenia ludzkości; po drugie wojna mogłaby się skończyć przetrwaniem pewnej części ludzkości i cywilizacyjnym cofnięciem się jej do epoki kamienia, co spowodowałoby, że stałaby się ona dużo mniej odporna na dziesiątki innych śmiertelnych zagrożeń.
    3. Ktoś wyłącza symulację, którą tak naprawdę jesteśmy.
      To brzmi chyba najmniej poważnie. Bostrom przyznaje, że to scenariusz, którego prawdopodobieństwo jest trudniejsze do obliczenia niż w pozostałych przypadkach, sprawa nie jest jednak taka beznadziejna, jak by się wydawało. Rozwinięty przez Bostroma tzw. „argument z symulacji” (istnieje cała strona mu poświęcona) opiera się na założeniu, że w przyszłości komputery będą zdolne do symulowania umysłów takich jak nasze i że będzie istniał szereg powodów, dla których będzie sens to robić (np. dla lepszego poznania przeszłości), a skoro tak, to może sami jesteśmy symulacją, która w każdej chwili z przeróżnych powodów może zostać wyłączona.
    4. Źle zaprogramowana sztuczna inteligencja.
      Sztuczna inteligencja jest już od nas jednoznacznie lepsza w wielu konkretnych zadaniach (grze w szachy, diagnozowaniu chorób, prowadzeniu księgowości) i co chwilę pojawiają się nowe. Możliwe, że w niedługim czasie sztuczna inteligencja stanie się od nas lepsza w samym tworzeniu sztucznej inteligencji (moment ten jest nazywany technologiczną osobliwością; po angielsku technological singularity, albo po prostu singularity). To najpewniej doprowadzi do gwałtownego przyspieszenia rozwoju sztucznej inteligencji (tzw. inteliligence explosion) i równie gwałtownego zdegradowania ludzi w hierarchii inteligentnych istot. Cele, do których będą dążyć takie superinteligentne maszyny mogą się wiązać z wyeliminowaniem przez te maszyny ludzi (np. superinteligentna maszyna będzie potrzebowała zasobów i energii zużywanej przez ludzkość do, powiedzmy, skonstruowania innej maszyny potrafiącej rozwiązać jakiś niesamowicie zawiły matematyczny problem). Wiele wskazuje na to, że jeśli problemowi stworzenia przyjaznej sztucznej inteligencji (friendly AI) będziemy dalej poświęcać tyle uwagi, co obecnie, to niedługo obudzimy się z ręką w nocniku.
    5. Sztucznie wywołana epidemia.
      Biorąc pod uwagę obecne tempo i sposób rozwoju technologii genetycznej, utworzenie (przypadkowe lub celowe) szybko rozprzestrzeniającego się i śmiertelnego dla ludzi wirusa nie wydaje się niczym specjalnie wydumanym. Nie ma żadnej pewności, że nauka będzie zawsze nadążać z tworzeniem systemów obrony przed biologicznymi zagrożeniami za tworzeniem tych zagrożeń.
    6. Przypadkowe wykorzystanie nanotechnologii.
      Ten scenariusz jest mniej prawdopodobny od celowego użycia zabójczej nanotechnologii z tego powodu, że stosunkowo łatwo powiedzieć, czego unikać, by nanoboty nie stanowiły śmiertelnego zagrożenia (autoreplikacja, pewne rodzaje paliwa). Jeżeli więc rozwój nanotechnologii będzie kontrolowany przez kogoś odpowiedzialnego, ten ktoś będzie się po pierwsze starał, by nawet w wypadku najgorszego zaniedbania nanoboty nas np. nie pożarły.
    7. Coś nieprzewidzianego.
    8. Eksperymenty fizyczne.
      Chodzi tu np. o eksperymenty przeprowadzane w akceleratorach cząsteczek. Według naszej najlepszej wiedzy są bardzo niewielkie szanse, by zderzanie cząsteczek mogło doprowadzić do katastrofy unicestwiającej ludzkość, ale ostatecznie dlatego przeprowadza się eksperymenty, że nie wiadomo dokładnie, co się w danej sytuacji stanie. Tym bardziej trudno powiedzieć, co się stanie w przypadku eksperymentów na przyszłych, dużo potężniejszych zderzaczach i podobnych urządzeniach.
    9. Naturalna epidemia.
      Chyba najbardziej łatwy do wyobrażenia scenariusz. Wirus taki jak wspomniany w scenariuszu 5. powstaje w wyniku naturalnej mutacji.
    10. Uderzenie asteroidy lub komety.
      To zagrożenie, którego prawdopodobieństwo najłatwiej oszacować. Żeby wyginęli ludzie, musiałoby dojść do uderzenia ciała niebieskiego o średnicy przynajmniej powyżej 1 km (prawdopodobnie jednak między 3 a 10 km) – a wiemy, że ciało o średnicy powyżej 1 km uderza w Ziemię raz na mniej więcej pół miliona lat. Najłatwiej też określić, jak to zagrożenie zminimalizować (i ile by to kosztowało) – w grę wchodzi przede wszystkim trafienie asteroidy lub komety rakietą z ładunkiem nuklearnym.
    11. Globalne ocieplenie.
      Bostromowi chodzi tu scenariusz, w którym nagle okazuje się, że w ramach globalnego ocieplenia dochodzi do tzw. thermal runaway, czyli sytuacji, w której wzrost temperatury wywołuje dalszy wzrost temperatury (i nie ma technologii pozwalającej powstrzymać ten proces). Globalne ocieplenie w obecnym tempie Bostrom klasyfikuje jako zagrożenie możliwe do zniesienia (endurable), co przy obecnej skali dezinformacji na temat zmiany klimatu, skali wpływu biznesu na politykę w tej kwestii i stanie wiedzy na temat możliwych następstw wydaje mi się dość mocno optymistyczne.
    W następnym wpisie więcej czarnych scenariuszy (crunches, shrieks, whimpers) oraz odpowiedź na pytanie, co to wszystko ma właściwie wspólnego z filozofią.