Nick Bosrom.

Mākslīgais intelekts. Posmi. Draudi. Stratēģija

Nick Bosrom.

Superintellence

Ceļi, Dankers, Stratēģijas

Zinātniskie redaktori M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publicēts ar atļauju Alexander Korzhenevski aģentūra

Juridiskais atbalsts izdevējam nodrošina advokātu biroju "Vegas Lex"

Šī grāmata sākotnēji tika publicēta angļu valodā 2014. gadā. Šo tulkojumu publicē vienošanās ar Oksfordas universitātes presi. Izdevējs ir atbildīgs tikai par šo tulkojumu no sākotnējā darba un Oxford Universitātes presei nav atbildības par jebkādiem eriem, izlaidumiem vai neprecizitātēm vai neskaidrībām šādā tulkojumā vai par jebkādiem zaudējumiem, ko rada paļaušanās.

* * *

Šī grāmata ir labi papildināta

Spēļu teorija

AVINASH Dixit un Barry Nalbuff

Ken Jennings.

Prieks no X.

Stephen Strogats

Preface partneris

... Man ir viens draugs, "Edik teica. - Viņš apgalvo, ka persona ir starpposma saite, nepieciešamais raksturs radīšanas kronis: glāze brendija ar šķēlīti citronu.

Arkādijs un Boris stāsts. Pirmdiena sākas sestdien

Autors uzskata, ka nāvējošais drauds ir saistīts ar iespēju radīt mākslīgu intelektu pārāka par cilvēka prātu. Katastrofa var izkļūt gan vēlu XXI gadsimtā, gan nākamajās desmitgadēs. Visa vēsture cilvēces rāda: kad pārstāvis mūsu sugu, saprātīgu personu, un jebkuru citu, kas dzīvo mūsu planētu notiek, tiek uzvarēta ar to, kurš ir gudrāks. Līdz šim mēs bijām gudrāki, bet mums nav garantijas, ka tas ilgs mūžīgi.

Nick Bostrom raksta, ka, ja viedie datoru algoritmi mācās patstāvīgi darīt vēl vairāk viedo algoritmiem, un tie, savukārt, ir pat gudrāki, tad mākslīgā intelekta sprādzienbīstama augšana, salīdzinot ar kuru cilvēki aplūkos aptuveni skudras blakus cilvēkiem, Intelektuālā nozīmē, protams. Jauns, taču mākslīgs, bet ir superists parādās. Nav svarīgi, ka viņš "nākt prātā", mēģinājums padarīt visus cilvēkus laimīgus vai izlemt pārtraukt antropogēno piesārņojumu pasaules okeāna visefektīvākajā veidā, tas ir, iznīcinot cilvēci, "nebūs iespēju pretoties šim cilvēkiem. Nav iespēju konfrontēties filmas garā par terminatoru, bez šaušanas ar dzelzi cyborgs. Mēs gaidām Shah un Mat - tāpat kā šaha datora "dip zilā" duelī ar pirmo greideru.

Par pēdējiem simtiem un citiem zinātnes sasniegumiem, daži pamodināja cerību uz risinājumu visām cilvēces problēmām, citi izraisīja un izraisīja neierobežotas bailes. Tajā pašā laikā man jāsaka, abi viedokļi izskatās diezgan pamatoti. Pateicoties zinātnei sakāva briesmīgas slimībasCilvēce šodien spēj barot nepieredzētus cilvēkus, un no viena pasaules punkta jūs varat nokļūt pretējā mazāk nekā dienā. Tomēr ar tādu pašu zinātnes žēlastību, cilvēki, kas izmanto jaunākās militārās tehnoloģijas, iznīcina viens otru ar milzīgu ātrumu un efektivitāti.

Šāda tendence - kad strauja tehnoloģiju attīstība ne tikai noved pie jaunu iespēju veidošanās, bet arī veido nepieredzētus draudus - mēs ievērojam gan informācijas drošības jomā. Mūsu visa nozare radās un pastāv tikai tāpēc, ka tiktu radīta tik brīnišķīgu lietu, kā datoru un interneta izveide un masveida izplatīšana radīja problēmas, ar kurām nebūtu iespējams iedomāties kombinācijas laikmetā. Informācijas tehnoloģiju rezultātā notika revolūcija cilvēku komunikācijā. Ieskaitot ar saviem dažādiem cybercriminals veidiem. Un tikai tagad, cilvēce sāk pakāpeniski realizēt jaunus riskus: arvien vairāk fiziskās pasaules objektu kontrolē datori un programmatūra, bieži vien nepilnīga, noliekama un neaizsargāta; Arvien vairāk šādu objektu ir saikne ar internetu, un cybermir draudi ātri kļūst par fiziskās drošības problēmām, un potenciāli - dzīvību un nāvi.

Tāpēc grāmata Nick Bostrom šķiet tik interesanta. Pirmais solis, lai novērstu murgu scenārijus (atsevišķam datoru tīklam vai visai cilvēcei), lai saprastu, ko viņi var sastāvēt. Bostr padara daudz atrunas, ka mākslīgā intelekta izveide, kas ir salīdzināma ar cilvēka prātu vai pārāka par to, ir mākslīgs intelekts, kas var iznīcināt cilvēci, ir tikai iespējams scenārijs, kas var nebūt realizēts. Protams, ir daudzas iespējas, un datortehnoloģiju izstrāde nedrīkst iznīcināt cilvēci, bet dos mums atbildi uz "galveno dzīves jautājumu, Visumu un visu šo" (varbūt tas ir patiešām 42, kā romānā "hitchhiking šajā galaktikā"). Cerība ir, bet briesmas ir ļoti nopietna - brīdina mūs ar Bostrom. Manuprāt, ja ir iespēja šādu eksistenciālu draudu cilvēcei, tad jums jāapsver tas, attiecīgi, un lai novērstu to no un aizsargāt no tā, kopīgi centieni globālā mērogā jāveic.

Jūs vēlaties pabeigt savu pievienošanos no grāmatas no grāmatas Mihaila Weller "Man sistēmā":

Kad fantāzija, tad doma par cilvēka domu dekorēts attēlos un zemes gabalos, uz ilgu laiku un kaut kas atkārtojas detalizēti - labi, tāpēc nav dūmu bez uguns. Banālu Holivudas kaujinieki par cilvēku kariem ar civilizāciju robotu pārvadāt sevi zem sēnīšu komerciāla izskata rūgta graudu patiesības.

Kad nosūtītā instinkta programma tiks veidota robotos, un šo instinktu apmierinātība tiks veidota kā beznosacījuma un pamatvajadzības, un tas dosies uz pašnovērtēšanas līmeni - tad, puiši, apstājies, lai risinātu smēķēšanu un Alkohols, jo tas būs laiks dzert un smēķēt Hanoja priekšā visiem mums visiem.

Evgeny Kaspersky,kaspersky laboratorijas ģenerāldirektors

Nezināms stāsts par zvirbuļiem

Reiz, ligzdošanas vidū, noguris no multi-dienu smago darbu zvirbuļi apsēdās saulrieta un atzīmētu par to par to.

- Mēs esam tik mazi, tik vāji. Iedomājieties, cik vieglāk tas būtu dzīvot, mēs turpinām asistentus pūce! - nolieciet vienu zvirbulis. - Viņai var būt ligzda ...

- Jā! - vienojās citu. - Un joprojām rūpēties par veciem vīriešiem un cāļiem ...

- un uzdot mums un aizsargāt pret kaimiņu kaķi, - pievienoja trešo.

Tad pastus, kas ir vecākais zvirbulis, ieteica:

- Ļaujiet skautiem lidot uz dažādiem virzieniem, meklējot padomju izstājušanos no ligzdas. Tomēr sovic ola un pūš, un pat jauns glāsts. Tas atradīsies mūsu ganāmpulku par lielāko veiksmi! Šķiet, ka tad, kad mēs atklājām pagalmā nežēlīgs graudu avots.

Sparnas satraukti satraukti notīrīja to, kas bija urīns.

Un tikai viens-eyed skonfinnl, meklēja, ar smagu zvirbulis morālu, šķiet, apšaubīja šī uzņēmuma iespējamību.

"Mēs esam izvēlējušies varens," viņš teica pārliecināts. - Vai jūs vispirms nopietni nesasniedzat jautājumus, kas saistīti ar pūces savaldīšanas un kumodikācijas, pirms ļaujot šāda bīstama būtne jūsu vidē?

"Es atsakos," Pastus iebilda pret viņu, "Thowing pūces māksla nav kopīgs uzdevums. Atrodiet padomju olu - un tad nopelt to ir grūti. Tāpēc sāksim ar meklēšanu. Šeit ir chame izstāties Padomi, tad mēs domājam par audzināšanas problēmām.

- apburtais plāns! - Nervozi satricināja krājumus.

Bet neviens nav viņu klausījies. Gansa virzienā, zvirbulis puloksnē pieauga gaisā un devās uz ceļa.

Fonts: mazāk AaVairāk Aa

Nick Bosrom.

Superintellence

Ceļi, Dankers, Stratēģijas

Zinātniskie redaktori M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publicēts ar atļauju Alexander Korzhenevski aģentūra

Juridiskais atbalsts izdevējam nodrošina advokātu biroju "Vegas Lex"

* * *

Šī grāmata ir labi papildināta

AVINASH Dixit un Barry Nalbuff

Stephen Strogats

Preface partneris

... Man ir viens draugs, "Edik teica. - Viņš apgalvo, ka persona ir starpposma saite, nepieciešamais raksturs radīšanas kronis: glāze brendija ar šķēlīti citronu.

Arkādijs un Boris stāsts. Pirmdiena sākas sestdien

Par pēdējiem simtiem un citiem zinātnes sasniegumiem, daži pamodināja cerību uz risinājumu visām cilvēces problēmām, citi izraisīja un izraisīja neierobežotas bailes. Tajā pašā laikā man jāsaka, abi viedokļi izskatās diezgan pamatoti. Pateicoties zinātnei, briesmīgas slimības tiek uzvarētas, cilvēce spēj iekļūt nepieredzētiem cilvēkiem, kuri šodien ir nepieredzēti, un no vienas pasaules vietas jūs varat nokļūt pretējā mazāk nekā dienā. Tomēr ar tādu pašu zinātnes žēlastību, cilvēki, kas izmanto jaunākās militārās tehnoloģijas, iznīcina viens otru ar milzīgu ātrumu un efektivitāti.

Šāda tendence - kad strauja tehnoloģiju attīstība ne tikai noved pie jaunu iespēju veidošanās, bet arī veido nepieredzētus draudus - mēs ievērojam gan informācijas drošības jomā. Mūsu visa nozare radās un pastāv tikai tāpēc, ka tiktu radīta tik brīnišķīgu lietu, kā datoru un interneta izveide un masveida izplatīšana radīja problēmas, ar kurām nebūtu iespējams iedomāties kombinācijas laikmetā. Informācijas tehnoloģiju rezultātā notika revolūcija cilvēku komunikācijā. Ieskaitot ar saviem dažādiem cybercriminals veidiem. Un tikai tagad, cilvēce sāk pakāpeniski realizēt jaunus riskus: arvien vairāk fiziskās pasaules objekti tiek pārvaldīti, izmantojot datorus un programmatūru, bieži vien nepilnīgas, braukšanas un neaizsargātas; Arvien vairāk šādu objektu ir saikne ar internetu, un cybermir draudi ātri kļūst par fiziskās drošības problēmām, un potenciāli - dzīvību un nāvi.

Jūs vēlaties pabeigt savu pievienošanos no grāmatas no grāmatas Mihaila Weller "Man sistēmā":

Kad fantāzija, tad doma par cilvēka domu dekorēts attēlos un zemes gabalos, uz ilgu laiku un kaut kas atkārtojas detalizēti - labi, tāpēc nav dūmu bez uguns. Banālu Holivudas kaujinieki par cilvēku kariem ar civilizāciju robotu pārvadāt sevi zem sēnīšu komerciāla izskata rūgta graudu patiesības.

Kad nosūtītā instinkta programma tiks veidota robotos, un šo instinktu apmierinātība tiks veidota kā beznosacījuma un pamatvajadzības, un tas dosies uz pašnovērtēšanas līmeni - tad, puiši, apstājies, lai risinātu smēķēšanu un Alkohols, jo tas būs laiks dzert un smēķēt Hanoja priekšā visiem mums visiem.

Evgeny Kaspersky,
kaspersky laboratorijas ģenerāldirektors

Nezināms stāsts par zvirbuļiem

Reiz, ligzdošanas vidū, noguris no multi-dienu smago darbu zvirbuļi apsēdās saulrieta un atzīmētu par to par to.

- Mēs esam tik mazi, tik vāji. Iedomājieties, cik vieglāk tas būtu dzīvot, mēs turpinām asistentus pūce! - nolieciet vienu zvirbulis. - Viņai var būt ligzda ...

- Jā! - vienojās citu. - Un joprojām rūpēties par veciem vīriešiem un cāļiem ...

- un uzdot mums un aizsargāt pret kaimiņu kaķi, - pievienoja trešo.

Tad pastus, kas ir vecākais zvirbulis, ieteica:

Sparnas satraukti satraukti notīrīja to, kas bija urīns.

Un tikai viens-eyed skonfinnl, meklēja, ar smagu zvirbulis morālu, šķiet, apšaubīja šī uzņēmuma iespējamību.

- apburtais plāns! - Nervozi satricināja krājumus.

Bet neviens nav viņu klausījies. Gansa virzienā, zvirbulis puloksnē pieauga gaisā un devās uz ceļa.

Spīdē palika tikai zvirbuļi, viņi nolēma noskaidrot, kā pieradināt pūces. Strādā ātri, viņi saprata to pareizību ganiem: uzdevums izrādījās neticami grūti, jo īpaši, ja nav pūces pati, kas būtu praktizē. Tomēr putni, kas rūpīgi turpināja pētīt šo problēmu, jo viņi baidījās, ka iepakojums atgriezīsies ar padomju olu, pirms viņi varētu atvērt noslēpumu, kā var uzraudzīt pūces uzvedību.

Ieviešana

Mūsu galvaskausa iekšpusē ir noteikta viela, pateicoties kuriem mēs varam, piemēram, lasīt. Šī viela ir cilvēka smadzenes - apveltīta ar citām zīdītājiem nav iespējām. Patiesībā to dominējošā pozīcija uz planētas cilvēkiem ir pienākums raksturīgas iezīmes. Daži dzīvnieki izceļas ar visspēcīgākajiem muskuļiem un akūtu fangs, bet ne vienu dzīvu būtni, izņemot personu, nav apdāvināta kā perfekta prāts. Saskaņā ar augstāku intelektuālo līmeni, mums izdevās izveidot tādus instrumentus kā valodu, tehnoloģiju un sarežģītu sociālo organizāciju. Laika gaitā, mūsu priekšrocība tiek stiprināta un paplašināta, jo katra jaunā paaudze, paļaujoties uz sasniegumiem priekšgājēju, devās uz priekšu.

Ja kādreiz attīstīt mākslīgu prātu, augstāku vispārējais līmenis Cilvēka prāta attīstība, pasaule parādīsies lieljaudas inteliģenci. Un tad mūsu sugu liktenis būs tieši atkarīgs no šo viedo tehnisko sistēmu darbībām - tāpat kā šodienas liktenis Gorillas ir vairāk noteikts nevis paši primāti, bet gan cilvēku nodomi.

Tomēr cilvēcei patiešām ir neapstrīdama priekšrocība, jo tas rada saprātīgas tehniskās sistēmas. Principā, kurš neļauj domāt par šādu superflumu, universālās vērtības veiks viņu aizstāvībā? Protams, mums ir ļoti labi iemesli, lai aizsargātu sevi. Praktiski mums būs jātiek galā ar sarežģītāko jautājumu par kontroli - kā pārvaldīt superifāna idejas un darbības. Turklāt cilvēki varēs izmantot vienreizēju iespēju. Tiklīdz parādās nedraudzīgais mākslīgais intelekts (AI), tas nekavējoties sāks novērst mūsu centienus atbrīvoties no tā vai vismaz pielāgot tās uzstādīšanu. Un tad liktenis cilvēces tiks iepriekš.

Manā grāmatā es cenšos realizēt problēmu, kas ir cilvēku priekšā saistībā ar izredzes izskatu superproy, un analizēt viņu atbildi. Varbūt mēs gaidām mums visnopietnāko un biedējošo programmu, ko cilvēce ir saņēmusi. Neatkarīgi no tā, vai mēs uzvarēsim vai zaudēsim, tas ir iespējams, ka šis izaicinājums būs pēdējais mums. Es nesniedzot nekādus argumentus par labu šo vai šo versiju: \u200b\u200bvai mēs esam uz lielā izrāviena slieksni mākslīgā intelekta radīšanā; Vai ir iespējams prognozēt ar noteiktu precizitāti, ja notiek zināms revolucionārs notikums. Visticamāk - pašreizējā gadsimtā. Maz ticams, ka kāds zvanīs konkrētākam periodam.

Pirmajās divās nodaļās es ņemšu vērā dažādus zinātniskos virzienus un nedaudz iegūstot tēmu kā tempu ekonomiskā attīstība. Tomēr grāmata galvenokārt ir veltīta tam, kas notiks pēc superālijas izskata. Mums ir jāapspriež šādi jautājumi: mākslīgā intelekta sprādzienbīstamas attīstības dinamika; tās formas un potenciāls; Stratēģiskās izvēles iespējas, ar kurām tā tiks piešķirta, un kuru rezultātā saņems izšķirošu priekšrocību. Pēc tam mēs analizēsim kontroles problēmu un mēģināsim atrisināt vissvarīgāko uzdevumu: vai ir iespējams simulēt šādus sākuma apstākļus, kas ļaus mums saglabāt savu pārākumu un galu galā izdzīvot. Pēdējās nodaļās mēs atņemsimies no privātiem un apskatīt problēmu plašāku, lai segtu situāciju kopumā situāciju mūsu pētījuma rezultātā. Es piedāvāsim jūsu uzmanību dažus ieteikumus, kas būtu jādara šodien, lai izvairītos no katastrofas, kas apdraud cilvēces esamību.

Šo grāmatu nebija viegli rakstīt. Cerams, ka pēc manis ceļš iet Citiem pētniekiem. Tie ir sasniegti bez nevajadzīgiem šķēršļiem jauniem robežām un pilnīga izturība varēs ātri iesaistīties darbā, pateicoties kuriem cilvēki pilnībā apzinās grūtības saskarties ar tiem. (Ja joprojām studiju ceļš, šķiet, nākotnes analītiķi nedaudz tinumu un vietas ar Uhabami, es ceru, ka viņi novērtēs, cik necaurlaidīgs bija ainava agrāk.)

Neskatoties uz grūtībām, kas saistītas ar grāmatas darbu, es mēģināju izteikt materiālu par pieņemamu valodu; Tiesa, es tagad redzu, ka es to pilnībā nevarēju darīt. Protams, bet es rakstīju, es garīgi risināt potenciālo lasītāju un kādu iemeslu dēļ vienmēr šajā lomā iepazīstināja sevi, tikai daži jaunāki par pašreizējo, - izrādās, es darīju grāmatu, kas varētu radīt interesi par visu sevi, bet nav apgrūtināts gadi. Iespējams, tas ir tas, kas noteiks turpmāko mazo lasītāju auditorijas skaitu. Tomēr, manuprāt, grāmatas saturs būs pieejams daudziem cilvēkiem. Mums vienkārši ir nepieciešams veikt dažas garīgās pūles, pārtraukt noraidīt jaunas idejas ar iet un atturēties no kārdinājuma aizstāt visus nesaprotamos ērtos stereotipus, kurus mēs visi viegli mācīties no mūsu kultūras rezervēm. Lasītājiem, kuriem nav īpašas zināšanas, nedrīkst nodot pirms tikšanās vietām matemātiskajos aprēķinos un nepazīstamiem noteikumiem, jo \u200b\u200bkonteksts vienmēr ļauj saprast galveno ideju. (Lasītāji, kas, glužiprātis, uzzināsiet sīkāk, atradīs daudz interesantu lietu piezīmēs.)

Iespējams, daudz grāmatā ir norādīts nepareizi. Iespējams, es nokavēju dažus svarīgus apsvērumus no redzesloka, kā rezultātā daži no maniem secinājumiem - un varbūt viss - būs kļūdains. Lai neizmantotu mazāko niansi un norīkotu nenoteiktības pakāpi, ar kuru mēs strādājam, man bija vērsties pie konkrētiem marķieriem - tāpēc mans teksts ir pārslogots ar šādiem neglīts verbāliem blotiem, kā "varbūt", "var", " Varbūt ", šķiet,", iespējams, "iespējams", "ar lielu varbūtības daļu" "gandrīz noteikti". Tomēr es varu palīdzēt palīdzēt katru reizi ievada vārdi Ļoti uzmanīgi un ļoti pārdomāts. Tomēr, lai norādītu vispārējos ierobežojumus gnosoloģisko pieņēmumu par vienu šādu stilistisko uztveršanu, nav pietiekami daudz; Autoram ir jāizstrādā sistemātiska pieeja, lai apstrīdētu nenoteiktības apstākļos un tieši norāda uz kļūdas iespēju. Mēs nekādā veidā nav par viltus pieticību. Es patiesi atzīstu, ka manā grāmatā var būt nopietni maldi, un nepareizi secinājumi, bet tajā pašā laikā es esmu pārliecināts: alternatīvs viedoklis, kas iesniegts literatūrā, ir vēl sliktāks. Turklāt tas attiecas arī uz vispārpieņemto "nulles hipotēzi", saskaņā ar kuru šodien mēs varam ar absolūtu iemeslu ignorēt superfāna izskata problēmu un justies pilnīgā drošībā.

Vispirms nodaļa
Iepriekšējie sasniegumi un šodienas spējas

Sāksim ar apelāciju tālu pagātnē. Kopumā vēsture ir dažādu izaugsmes modeļu secība, un process pakāpeniski paātrinās. Šis modelis dod mums tiesības pieņemt, ka šāds ir iespējams - pat ātrāks - izaugsmes periods. Tomēr ir grūti piesaistīt pārāk lielu nozīmi šādam apsvērumam, jo \u200b\u200bmūsu grāmatas tēma nav "tehnoloģiskā paātrinājums", nevis "eksponenciālā izaugsme", nevis pat tās parādības, kas parasti tiek iesniegtas saskaņā ar "singularitātes" jēdzienu . Tālāk mēs apspriedīsim jautājuma vēsturi: kā ir izstrādāts pētījums par mākslīgo intelektu. Tad mēs pievēršamies pašreizējai situācijai: kas notiek šodien šajā jomā. Visbeidzot, mēs dzīvosim uz dažām nesenām speciālistu aplēsēm un runāt par mūsu nespēju prognozēt termiņus turpmākai notikumu attīstībai.

Izaugsmes modeļi un cilvēces vēsture

Tikai pirms dažiem miljoniem gadiem, senči cilvēku joprojām dzīvoja Āfrikas koku vainagos, lekt no filiāles uz filiāli. Izskats Homo sapiens.vai cilvēks saprātīgs, atdalīts no mūsu kopīgiem senčiem ar cilvēku līdzīgu pērtiķiem, no ģeoloģiskā un pat evolūcijas viedokļa, tas notika ļoti vienmērīgi. Senie cilvēki paņēma vertikālu stāvokli, un lielie pirksti viņu sukas sāka aizstāvēt sevi no pārējiem. Tomēr vissvarīgākais - ir salīdzinoši nelielas izmaiņas smadzeņu apjomā un nervu sistēmas organizēšanā, kas galu galā izraisīja milzu paraut arī cilvēka garīgo attīstību. Tā rezultātā cilvēkiem ir iespēja abstraktā domāšanā. Viņi sāka ne tikai nedaudz izteikt sarežģītas domas, bet arī izveidot informācijas kultūru, tas ir, uzkrāt informāciju un zināšanas un nodot tos no paaudzes paaudzē. Man jāsaka, persona ir iemācījusies to darīt ievērojami labāk nekā jebkuras citas dzīvās būtnes uz planētas.

Senā cilvēce, izmantojot spēju, kas parādījās, viņš ir izstrādājis vairāk un racionālākas ražošanas metodes, pateicoties tam, ka tas bija iespējams migrēt tālu ārpus džungļiem un savanna. Tūlīt pēc lauksaimniecības rašanās iedzīvotājiem un tās blīvums sāka strauji augt. Vairāk cilvēku ir vairāk ideju, un augsta blīvums veicināja ne tikai strauju jauno tendenču izplatīšanos, bet arī dažādu speciālistu rašanos, un tas nozīmēja, ka cilvēku vidū bija pastāvīga profesionālo prasmju uzlabošana. Šie faktori ir izvirzīti ekonomiskās attīstības tempsVeica iespējamu produktivitātes pieaugumu un tehniskā potenciāla veidošanos. Nākotnē tas pats progress, kas noveda pie rūpniecības revolūcijas, izraisīja otro vēsturisko lēcienu, paātrinot izaugsmes tempu.

Šādam sekām bija šāds izaugsmes temps. Piemēram, cilvēces rītausmā, kad zeme apdzīvoja progenitors mūsdienu cilvēkivai Hominids, ekonomiskā attīstība notika pārāk lēni, un bija bija aptuveni miljons gadu, lai palielinātu ražošanas iekārtas, lai planētas iedzīvotāji ļāva sevi palielināt par miljonu cilvēku, un esošās izdzīvošanas robežās. Un pēc neolīta revolūcijas, 5000 BC. e. Kad cilvēce no medību kolektīvās sabiedrības nonāk pie lauksaimniecības ekonomikas modeļa, pieauguma temps palielinājās tik daudz, ka tiem pašiem iedzīvotājiem bija pietiekami divi simti gadu. Šodien pēc rūpniecības revolūcijas globālā ekonomika katru pusotru stundu aug par tādu pašu summu.

Esošais augšanas ātrums ir pat tad, ja to darbina salīdzinoši ilgs laiks - radīs iespaidīgus rezultātus. Pieņemsim, ka pasaules ekonomika turpinās pieaugt ar pēdējo piecdesmit gadu vidējo rādītāju, planētas iedzīvotāji nākotnē kļūs bagātāki nekā šodien: līdz 2050. gadam - 4,8 reizes un par 2100 - 34 reizes.

Tomēr izredzes uz stabilu eksponenciālu izaugsmi ir kausēts, salīdzinot ar to, kas var notikt, kad nākamā lēkt līdzīga pārmaiņa notiek pasaulē, attīstības temps, kura attīstība būs salīdzināma ar neolīta un rūpnieciskām revolūcijām. Aplēses Economist Robin Hanson, pamatojoties uz vēsturiskiem datiem saimnieciskā darbība un iedzīvotāju skaits, kad divkāršojušās topošās Pleistocēna laikmeta ekonomiku, sasniedza 224 tūkstošus gadu, agrārās biedrības - 909 gadi, rūpniecības sabiedrība - 6,3 gadi. (Saskaņā ar Hanson Paradigmu, moderns ekonomiskais modelis, kam ir jaukta agrārā rūpnieciskā struktūra vēl nav attīstīta dubultā tempā ik pēc 6,3 gadiem.) Ja pasaules attīstībā šāds lēciens notiktu, salīdzināms ar savu revolucionāro vērtību ar diviem Iepriekšējais, tad ekonomika būtu nonācis pie jauna līmeņa un divkāršot pieauguma tempu aptuveni ik pēc divām nedēļām.

No šodienas viedokļa līdzīga attīstības temps šķiet fantastisks. Bet liecinieki pagājušo laikmetu, arī, visticamāk, pieņemsim, ka izaugsmes temps pasaules ekonomikā kādreiz dubultosies vairākas reizes visā dzīvē vienā paaudzē. Fakts, ka viņiem šķita pilnīgi neiedomājami, mēs uztveram kā normu.

Ideja tuvoties Tehnoloģiskās singularitātes brīža bija ļoti populāra pēc Vernonas Vingja novatorisko darbu parādīšanās, Ray Kurzweil un citiem pētniekiem. Tomēr jēdziens "singularity", kas tiek izmantots dažādās vērtībās, jau ir ieguvis ilgtspējīgu nozīmi tehnoloģiskā utopisma garā un pat ieguvusi kaut ko bailes halo un tajā pašā laikā diezgan majestātiski. Tā kā lielākā daļa vārda definīciju singularitāte Mēs neesam saistīti ar mūsu grāmatas priekšmetu, mēs sasniegsim lielāku skaidrību, ja atbrīvojos no tā par labu precīzākiem noteikumiem.

Ideja mums interesē, kas saistīta ar vienskaitļa jēdzienu, ir potenciāls sprādzienbīstama intelekta attīstība, Jo īpaši nākotnē, radot mākslīgu superbānu. Iespējams, parādīts 1. attēlā. 1 augšanas līknes pārliecinās kādu no jums, ka mēs stāvam uz slieksni jaunā intensīvā lēciena pie ātruma attīstības - lēcienu, kas ir salīdzināms ar neolīta un rūpniecības apgriezieniem. Visticamāk, cilvēki, kuriem uzticas diagrammas ir pat grūti iedomāties scenāriju, kurā pasaules ekonomikas dubultošanās laiks tiek samazināts līdz nedēļām bez lieljaudas līdzdalības, daudzas reizes lielāks par savu parasto bioloģisko prātu ātrumu un efektivitāti. Tomēr nav nepieciešams izmantot izaugsmes līknes un ekstrapolācijas vēsturisko ekonomiskās attīstības ekstrapolāciju, lai sāktu atbildīgi saistīt ar mākslīgā intelekta revolucionāro izskatu. Šī problēma ir tik nopietna, ka tai nav nepieciešams šāda veida arguments. Kā mēs redzēsim, ir daudz labu iemeslu, lai īstenotu piesardzību.

Fig. 1. Globālā IKP dinamika uz ilgu vēsturisko periodu. Lineārā skalā pasaules ekonomikas vēsture tiek parādīta kā līnija, kas vispirms gandrīz apvienojas ar horizontālu asi, un pēc tam strauji steidzās vertikāli uz augšu. Bet. Pat paplašinot pagaidu robežas līdz desmit tūkstošiem gadu pagātnē, mēs redzam, ka līnija padara paraut up no noteiktā punkta gandrīz zem deviņdesmit grādiem. B. Līnija ir ievērojami noņemta no horizontālās ass tikai aptuveni pēdējo simtu gadu līmenī. (Starpības līkņu diagrammā ir izskaidrots ar citu datu kopumu, tāpēc rādītāji ir nedaudz atšķirīgi viens no otra.)

Maz ticams, ka es varu teikt, kas tieši ir norādīts pareizi.

Pašlaik ienākumi iztikas minimuma līmenī ir aptuveni 400 ASV dolāri. Līdz ar to par 1 miljonu cilvēku šī summa būs 400 000 000 dolāru. Pasaules IKP ir aptuveni 60 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 (vidējais gada pieauguma temps kopš 1950. gada, skatiet datus :). MĒS norādītie skaitļi tekstā ir balstīti uz šiem datiem, lai gan tie ir tikai novērtējums par lieluma secību. Ja jūs analizējat mūsdienu cilvēku skaitu uz Zemes, izrādās, ka vidēji tas palielinās par 1 miljonu cilvēku vairāk nekā pusotru gadu; Taču līdzīgs iedzīvotāju skaita pieaugums ierobežo ekonomiskās attīstības tempu, jo arī ienākumi uz vienu iedzīvotāju pieaug. Pārvietojoties uz lopkopību un lauksaimniecību, planētas iedzīvotāji ir pieaudzis līdz 5000 bc. e. Par 1 miljonu cilvēku 200 gadu - milzīgs paātrinājums, salīdzinot ar Hominids laikmetu, kad tas bija nepieciešams, lai būtu 1 miljons gadu vecs - tāpēc pēc neolīta vai lauksaimniecības, revolūcija, progress gāja daudz ātrāk. Neskatoties uz to, jūs piekrītat, tas nevar, bet ieskaidrot, ka pirms septiņiem tūkstošiem gadu bija vajadzīgs ekonomiskai attīstībai 200 gadus, bet šodien pieaugums par to pašu lielumu ir pietiekams pusotru stundu pasaules ekonomikai ar pusi nedēļām iedzīvotājiem Planēta. Skatīt arī .

Nick Bostrom ir Zviedrijas filozofs, Oksfordas universitātes profesors, Pasaules Trangumānistu asociācijas līdzdibinātājs un 2005. gadā izveidotā Institūta direktors 2005. gadā Oksfordā. Viņš cenšas realizēt problēmu, kas stāv priekšā cilvēces dēļ izredzes izskatu superban. Kas notiek, ja automašīnas pārspēs cilvēkus izlūkos? Vai viņi palīdzēs mums vai iznīcināt cilvēci? Vai mēs varam ignorēt problēmas izstrādāt mākslīgā intelekta šodien un justies pilnīgu drošību? Nick Bostrom apraksta sarežģītus zinātniskus jautājumus par cilvēces nākotni pieejamu.

Ar izdevniecības atļauju "Mann, Ivanovs un Ferber", "LENTA.RU" publicē izvilkumu no Nick Bostroma "Mākslīgā intelekta" grāmatas.

Superhraum varēs būt gigantiskas iespējas, lai mainītu nākotni atbilstoši tās mērķiem. Bet kādi ir šie mērķi? Kādi ir centieni? Vai būs superfāna motivācijas pakāpe no tās izlūkošanas līmeņa?

Izvirzīt divas tēzes. Promocijas darbs par ortogonalitāti (ar dažiem izņēmumiem), ka jūs varat apvienot jebkuru inteliģences līmeni ar jebkuru mērķi, jo inteliģence un gala mērķi ir ortogonāli, tas ir neatkarīgs, mainīgie. Promocijas darbs par instrumentālo konverģenci norāda, ka īpaši rūpniecības spēki vai aģenti, - ar visplašāko daudzveidību savu centieniem mērķiem - tomēr būs līdzīgi starpposma mērķi, jo visiem aģentiem būs tādi paši instrumentālo iemeslu dēļ. Apskata kopā, šie tēzes palīdzēs mums skaidrāk iztēloties, kādi nodomi superfāna aktieris.

Komunikācija starp inteliģenci un motivāciju

Grāmata jau ir izklausījusies brīdinājumu no antropomorfisma kļūdas: to nevajadzētu prognozēt ar cilvēka īpašībām par ultra-rūpniecības līdzekļa iespējamību. Mēs atkārtosim jūsu brīdinājumu, tikai aizstājot vārdu par vārdu motivāciju.

Pirms izstrādāt turpmāku darbu, mēs veiks nelielu iepriekšēju izmeklēšanu par tēmu bezgalības visa spektra iespējamo prātu. Šajā abstraktā, gandrīz kosmiskā, iespējamā cilvēka prāta telpa ir nenozīmīga kopa.

Izvēlieties divus cilvēka rases pārstāvjus, kas saskaņā ar vispārējo viedokli ir diametrāli pretēji. Ļaujiet tai būt Hannah noma un Benny Hill. Atšķirība starp tām, visticamāk, mēs uzskatām par maksimālo. Bet mēs to darīsim tikai tāpēc, ka mūsu uztveri pilnībā reglamentē mūsu pašu pieredze, kas savukārt paļaujas uz esošajiem cilvēka stereotipiem (zināmā mērā, mēs esam zem ietekmes un izdomātu rakstzīmēm, ko atkal izveidojuši cilvēka fantāzija, lai tiktos ar to pašu cilvēka iztēle).

Tomēr, mainot pārskatīšanas apjomu un aplūkojot prāta izplatīšanas problēmu, izmantojot neierobežotas iespējas prizmas, mēs būsim spiesti atzīt, ka šīs divas personības nav nekas vairāk kā virtuālie kloni. Jebkurā gadījumā, attiecībā uz hannah nervu sistēmas īpašībām, noma un Benny Hill faktiski ir identiski.

Pieņemsim, ka smadzenes un tajā pašā vietā tiks novietota blakus klusumam kādu muzeju, - redzēt šo ekspozīciju, mēs uzreiz apgalvot, ka šie divi piederēja tai pašai lietai. Turklāt, kurš no mums varētu noteikt, kura smadzeņu Hannah noma un kas - Benny Hill? Ja mēs spēsim mācīties morfoloģiju un citas smadzenes, mēs beidzot būtu pārliecināti par to fundamentālo līdzību: to pašu plāksnes arhitektoniku mizas; Tie paši smadzeņu departamenti; Tāda pati smadzeņu nervu šūnu - neirona struktūra ar tās neirotransmiteriem no tā paša Ķīmiskais raksturs.

Pretēji tam, ka cilvēka prāts ir praktiski salīdzināms ar nenotikušo punktu, kas peld ar bezgalīgu telpu iespējamo saprātīgu dzīvi, tendence ir izstrādājusi tendenci projektēt cilvēka īpašumus dažādos svešzemju esences un mākslīgās saprātīgās sistēmas. Šis motīvs komentēja lielāku Eliser Yudkovsky visu to pašu darbu "mākslīgais intelekts kā pozitīvs un negatīvs globālais riska faktors":

"Laikā, kad ziedonis tautas zinātniskās fantastikas, diezgan lēts īpašums, žurnāls aptver uzdrenē attēlus, uz kuriem nākamais svešzemju monstrs - cilvēki ir vairāk pazīstami kā" Puchglase monster "- atkal velkot citu skaistumu labajā pusē Kleita - un skaistums bija mūsu, zemes sieviete.

Izskatās, ka visi mākslinieki uzskatīja, ka ne-humanoid ārvalstnieki ar pilnīgi atšķirīgu evolūcijas vēsturi noteikti piedzīvotu seksuālu pievilcību lieliskiem cilvēka rases pārstāvjiem.<...> Visticamāk, mākslinieki, kas to attēloja visu, pat neprasa sevi un vai milzu vabole būtu jutīga pret mūsu sieviešu burvībām. Galu galā, saskaņā ar viņu idejām, jebkura daļēji neapbruņota sieviete vienkārši ir vienkārši pievilcīga pēc definīcijas, tas ir, lai piedzīvotu vēlmi viņai bija cilvēka rases drosmīgo pārstāvju neatņemama līnija.

Visa mākslinieciskā uzmanība tika vērsta uz apstrādāto vai saplēsto kleitu, tie ir mazāk noraizējušies par to, kā tiek organizēta milzu kukaiņu apziņa. Un tā bija mākslinieku galvenā kļūda. Nelietojiet košļājamās drēbes, viņi domāja, - sievietes neizskatās tik vilinoši Puchalase monstriem. Tas ir žēl, ka ārvalstnieki paši neņēma to saprātīgi. "

Varbūt mākslīgā intelekts ar tās motivējošiem motīviem pat mazāk atgādina personai nekā zaļais zvīņojums no telpas. Ārvalstnieki - bioloģiskie radījumi (ne vairāk kā pieņēmums), kas parādījās evolūcijas procesa rezultātā, pamatojoties uz kuru motivāciju var sagaidīt, zināmā mērā raksturīga attīstās radības.

Tāpēc nekas pārsteidzošs, ja izrādās, ka saprātīgu ārvalstnieku uzvedības motīvi ir diktē diezgan vienkāršas intereses: pārtika, gaiss, temperatūra, miesas bojājumu risks vai jau paveiktas traumas, veselības traucējumi, plēsošanā, dzimums un pēcnācēji. Ja ārvalstnieki pieder kādai saprātīgai sabiedrībai, viņi varētu attīstīt ar sadarbību un konkurenci saistītos motīvus. Tāpat kā mūs, viņi parāda lojalitāti savai kopienai, tie būtu sašutumi ar Tuneev un kas zina, nebūtu atņemta iedomība, neuztraucoties par savu reputāciju un izskatu.

Domājot automašīnas dabā, atšķirībā no ārvalstniekiem, nav jēgas rūpēties par šādām lietām. Maz ticams, ka jūs uzskatāt paradoksālu situāciju, ja parādīsies daži AI, kura vienīgais mērķis, piemēram, būs: lai aprēķinātu žēlastību Boracay Island pludmalēs; Darīt to skaitu π un uzrādīt to, visbeidzot, kā parastā cipariņa frakcija; Noteikt maksimālo kancelejas klipu skaitu nākotnes vieglajā konusā.

Faktiski, tas ir daudz vieglāk izveidot AI, kuras priekšā būs stāvēt nepārprotamus mērķus, un ne uzspiest uz to mūsu sistēmu vērtībām, karājas auto ar cilvēka īpašībām un impulsiem. Izlemt, ka ir grūtāk: rakstīt programmu, kas mēra, cik daudz zīmes pēc komatiem starp numuru π jau ir aprēķināts un uzglabāts atmiņā, vai arī radītu algoritmu, ņemot vērā mērķa sasniegšanas pakāpi, kas ir absolūti nozīmīga cilvēcei, teikt, piemēram, pasaules universālo ieguvumu un universālo taisnīgumu?

Cik daudz nav skumji, bet personai ir vieglāk uzrakstīt vienkāršotā kodeksu, atņemot jebkuru automašīnas mērķtiecīgās uzvedības vērtību un mācīt to, kā veikt uzdevumu. Visticamāk, šāds programmētājs izvēlēsies šādu likteni, ka programmētājs, kurš koncentrēsies tikai uz vēlmi "piespiest AI darbu", un pēc iespējas ātrāk (programmētājs, protams, nav norūpējies par to, ko tieši ai būs jādara, izņemot tas, kas demonstrē satriecošu saprātīgu uzvedību). Drīz mēs atgriezīsies pie šīs svarīgās tēmas.

Intelektuālā meklēšana instrumentāli optimāliem plāniem un stratēģijām ir iespējama jebkura mērķa gadījumā. Intelekts un motivācija ortogonālā nozīmē. Iedomājieties tos divu koordinātu asu veidā, lūdzot grafiku, kurā katrs punkts ir loģiski iespējams viedais aģents. Tiesa, šim attēlam būs nepieciešami vairāki paskaidrojumi.

Piemēram, par sistēmu, kas nav apveltīta ar iemeslu, tas būtu neiespējami ir pārāk sarežģītu motivāciju. Lai mēs varētu teikt ar labu iemeslu, ka, viņi saka, šāds aģents "ir" šāds motivācijas kopums - šīm motivācijām jābūt funkcionālai integrētai sistēmai kopā ar lēmumu pieņemšanas procesu, kas uzliek noteiktas atmiņas prasības, skaitļošanas jauda un varbūt izlūkošanas līmenis.

Tiks novērota intelekts, kas spēj sevi pārveidot, visticamāk, ierobežojot dinamiskas īpašības. Un tas saka: Ja mācīšanās modificētu visvairāk pārdomāto automašīnu pēkšņi piedzīvo asu vēlmi kļūt stulba, tas drīzāk vairs nebūs intelektuāla sistēma. Tomēr mūsu komentāri neatceļ galveno disertāciju par inteliģences un motivācijas ortogonalitāti. Es to iesniedzu jūsu izskatīšanai.

Darbs ar ortogulību

Intelektu un beigu mērķi ir ortogonāls: vairāk vai mazāk jebkuru izlūkošanas līmeni principā var apvienot ar vairāk vai mazāk nekā jebkurš galīgais mērķis.

Šis noteikums var izskatīties pretrunīgi, jo tā ir acīmredzama līdzība ar dažiem postulātiem, lai gan attiecībā uz klasisko filozofiju, bet joprojām rada daudzus jautājumus. Mēģiniet uztvert ortogonitātes disertāciju tās šaurākajā nozīmē - un tad tas būs diezgan uzticams.

Piezīme, ortogonalitātes darbs nerunā par racionalitāti vai veselību, bet tikai par izlūkošanu. Saskaņā ar intelektu mēs saprotam prognozēšanas, plānošanas un salīdzināšanas prasmes kopumā. Instrumentālā kognitīvā efektivitāte kļūst par īpaši svarīgu iezīmi, kad sākam saprast iespējamās sekas Mākslīgā superģijas izskats. Pat ja jūs izmantojat vārdu racionālu vārdu šādā nozīmē, kas novērš racionālu ultra sprieguma līdzekļa atzīšanu, skaitot maksimālo klipu skaitu, tas nenovērš neatmaksāto spēju klātbūtni instrumentālai domāšanai, spējas, kas būtu milzīga ietekme uz mūsu pasauli. Prognozējamība dizaina dēļ. Ja mēs varam pieņemt, ka programmētāji spēj izstrādāt sistēmu, lai mērķētu pārmērīgu aģentu, lai tā konsekventi centīsies sasniegt savu radītāju sniegto mērķi, tad mēs varam veikt vismaz vienu prognozi: šis aģents sasniegs savu mērķi. Turklāt, jo vairāk saprātīgu aģents būs, ar lielāku intelektuālo atjautību, viņš sāks to censties. Tāpēc, pat pirms aģenta radīšanas, mēs varētu prognozēt kaut ko par viņa uzvedību, ja viņi zinātu kaut ko par saviem veidotājiem un mērķiem, kurus viņi to uzstādīs.

2. Prognozējamība mantojuma dēļ. Ja prototips digitālās inteliģences tieši kalpo cilvēka prātu (kas ir iespējams ar pilnīgu emulāciju cilvēka smadzenēm), tad motīvi tās cilvēka prototips var būt raksturīgs digitālajā inteliģencē. Šāds aģents varētu saglabāt dažus no tiem pat pēc viņa kognitīvajām spējām attīstīsies tik daudz, ka tas kļūs par superālu. Taču šādos gadījumos jāievēro piesardzība. Aģenta mērķus var viegli izkropļot prototipa datu iekraušanas procesu vai to turpmākās pārstrādes un uzlabošanas laikā - šādas attīstības iespējamība ir atkarīga no pati emulācijas procedūras organizēšanas.

3. Prognozējamība konverģēto instrumentālo iemeslu dēļ. Pat nezinot ierobežotos objektīvos aģentus, mēs varam izdarīt dažus secinājumus par tās tuvākiem mērķiem, analizējot instrumentālo iemeslu dēļ visdažādākajiem iespējamākajiem gala mērķiem, kad plaša izvēle situācijas. Jo augstākas ir aģenta kognitīvās spējas, jo vairāk noderīga šī prognozēšanas metode kļūst par saprātīgāku aģentu, jo lielāka iespējamība, ka tā atzīst patiesos instrumentālos savas darbības iemeslus un rīkosies, lai jebkurā iespējamā situācija būs situācija sasniegt savus mērķus. (Pareizu izpratni jāatzīmē, ka paša aģents uzskata, ka pats pārstāvis tiks atrasts tikai, lai sasniegtu ļoti augstu izlūkošanas līmeni, - tas padara pārmērīga aģenta uzvedību mazāk prognozējamu.)

Pašreizējā lapa: 1 (kopā 40 lappuses) [Pieejams izvilkums lasīšanai: 8 lapas]

Šī grāmata ir labi papildināta

Spēļu teorija

AVINASH Dixit un Barry Nalbuff

Brainiac

Ken Jennings.

Prieks no X.

Stephen Strogats

Superintellence

Ceļi, Dankers, Stratēģijas

Nick Bosrom.

Mākslīgais intelekts

Posmi. Draudi. Stratēģija

"Mann, Ivanovs un Ferber"

Informācija

no publicēšanas

Zinātniskie redaktori M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publicēts ar atļauju Alexander Korzhenevski aģentūra

Krievu valodā publicēja pirmo reizi

Bostr, Nik.

Mākslīgais intelekts. Posmi. Draudi. Stratēģija / Nick Bostrom; Uz vienu. no angļu valodas S. Filina. - M.: Mann, Ivanovs un Ferber, 2016.

ISBN 978-5-00057-810-0

Kas notiek, ja automašīnas pārspēs cilvēkus izlūkos? Vai viņi palīdzēs mums vai iznīcināt cilvēku rasi? Vai mēs varam ignorēt problēmas izstrādāt mākslīgā intelekta šodien un justies pilnīgu drošību?

Savā grāmatā, Nick Bostrom cenšas realizēt problēmu, kas rodas pirms cilvēces, jo izredzes izskatu superatage, un analizēt viņa atbildi.

Visas tiesības aizsargātas.

Nevienu šīs grāmatas daļu nevar reproducēt jebkurā veidā bez autortiesību īpašnieku rakstiskas atļaujas.

Juridiskais atbalsts izdevējam nodrošina advokātu biroju "Vegas Lex"

Preface partneris

... Man ir viens draugs, "Edik teica. - Viņš apgalvo, ka persona ir starpposma saite, nepieciešamais raksturs radīšanas kronis: glāze brendija ar šķēlīti citronu.

Arkādijs un Boris stāsts. Pirmdiena sākas sestdien

Par pēdējiem simtiem un citiem zinātnes sasniegumiem, daži pamodināja cerību uz risinājumu visām cilvēces problēmām, citi izraisīja un izraisīja neierobežotas bailes. Tajā pašā laikā man jāsaka, abi viedokļi izskatās diezgan pamatoti. Pateicoties zinātnei, briesmīgas slimības tiek uzvarētas, cilvēce spēj iekļūt nepieredzētiem cilvēkiem, kuri šodien ir nepieredzēti, un no vienas pasaules vietas jūs varat nokļūt pretējā mazāk nekā dienā. Tomēr ar tādu pašu zinātnes žēlastību, cilvēki, kas izmanto jaunākās militārās tehnoloģijas, iznīcina viens otru ar milzīgu ātrumu un efektivitāti.

Šāda tendence - kad strauja tehnoloģiju attīstība ne tikai noved pie jaunu iespēju veidošanās, bet arī veido nepieredzētus draudus - mēs ievērojam gan informācijas drošības jomā. Mūsu visa nozare radās un pastāv tikai tāpēc, ka tiktu radīta tik brīnišķīgu lietu, kā datoru un interneta izveide un masveida izplatīšana radīja problēmas, ar kurām nebūtu iespējams iedomāties kombinācijas laikmetā. Informācijas tehnoloģiju rezultātā notika revolūcija cilvēku komunikācijā. Ieskaitot ar saviem dažādiem cybercriminals veidiem. Un tikai tagad, cilvēce sāk pakāpeniski realizēt jaunus riskus: arvien vairāk fiziskās pasaules objekti tiek pārvaldīti, izmantojot datorus un programmatūru, bieži vien nepilnīgas, braukšanas un neaizsargātas; Arvien vairāk šādu objektu ir saikne ar internetu, un cybermir draudi ātri kļūst par fiziskās drošības problēmām, un potenciāli - dzīvību un nāvi.

Tāpēc grāmata Nick Bostrom šķiet tik interesanta. Pirmais solis, lai novērstu murgu scenārijus (atsevišķam datoru tīklam vai visai cilvēcei) ir saprast, ko viņi var sastāvēt. Bostr padara daudz atrunas, ka mākslīgā intelekta izveide, kas ir salīdzināma ar cilvēka prātu vai pārāka par to, ir mākslīgs intelekts, kas var iznīcināt cilvēci, ir tikai iespējams scenārijs, kas var nebūt realizēts. Protams, ir daudzas iespējas, un datortehnoloģiju izstrāde nedrīkst iznīcināt cilvēci, bet dos mums atbildi uz "galveno dzīves jautājumu, Visumu un visu šo" (varbūt tas ir patiešām 42, kā romānā "hitchhiking šajā galaktikā"). Cerība ir, bet briesmas ir ļoti nopietna - brīdina mūs ar Bostrom. Manuprāt, ja ir iespēja šādu eksistenciālu draudu cilvēcei, tad jums jāapsver tas, attiecīgi, un lai novērstu to no un aizsargāt no tā, kopīgi centieni globālā mērogā jāveic.

Jūs vēlaties pabeigt savu pievienošanos no grāmatas no grāmatas Mihaila Weller "Man sistēmā":

Evgeny Kaspersky,

Kaspersky laboratorijas ģenerāldirektors

Nezināms stāsts par zvirbuļiem

Reiz, ligzdošanas vidū, noguris no multi-dienu smago darbu zvirbuļi apsēdās saulrieta un atzīmētu par to par to.

- Mēs esam tik mazi, tik vāji. Iedomājieties, cik vieglāk tas būtu dzīvot, mēs turpinām asistentus pūce! - nolieciet vienu zvirbulis. - Viņai var būt ligzda ...

- Jā! - vienojās citu. - Un joprojām rūpēties par veciem vīriešiem un cāļiem ...

- un uzdot mums un aizsargāt pret kaimiņu kaķi, - pievienoja trešo.

Tad pastus, kas ir vecākais zvirbulis, ieteica:

Sparnas satraukti satraukti notīrīja to, kas bija urīns.

Un tikai viens-eyed skonfinnl, meklēja, ar smagu zvirbulis morālu, šķiet, apšaubīja šī uzņēmuma iespējamību.

- apburtais plāns! - Nervozi satricināja krājumus.

Bet neviens nav viņu klausījies. Gansa virzienā, zvirbulis puloksnē pieauga gaisā un devās uz ceļa.

Ieviešana

Mūsu galvaskausa iekšpusē ir noteikta viela, pateicoties kuriem mēs varam, piemēram, lasīt. Šī viela ir cilvēka smadzenes - apveltīta ar citām zīdītājiem nav iespējām. Patiesībā, ar savu dominējošo stāvokli uz planētas, cilvēkiem ir pienākums precīzi šīs īpašības. Daži dzīvnieki izceļas ar visspēcīgākajiem muskuļiem un akūtu fangs, bet ne vienu dzīvu būtni, izņemot personu, nav apdāvināta kā perfekta prāts. Saskaņā ar augstāku intelektuālo līmeni, mums izdevās izveidot tādus instrumentus kā valodu, tehnoloģiju un sarežģītu sociālo organizāciju. Laika gaitā, mūsu priekšrocība tiek stiprināta un paplašināta, jo katra jaunā paaudze, paļaujoties uz sasniegumiem priekšgājēju, devās uz priekšu.

Ja jūs kādreiz attīstīt mākslīgu prātu, pārāka par cilvēka prāta vispārējo līmeni, pasaule parādīsies lieljaudas inteliģence. Un tad mūsu sugu liktenis būs tieši atkarīgs no šo viedo tehnisko sistēmu darbībām - tāpat kā šodienas liktenis Gorillas ir vairāk noteikts nevis paši primāti, bet gan cilvēku nodomi.

Pirmajās divās nodaļās es ņemšu vērā dažādus zinātniskos virzienus un nedaudz iegūstot tēmu kā ekonomiskās attīstības tempu. Tomēr grāmata galvenokārt ir veltīta tam, kas notiks pēc superālijas izskata. Mums ir jāapspriež šādi jautājumi: mākslīgā intelekta sprādzienbīstamas attīstības dinamika; tās formas un potenciāls; Stratēģiskās izvēles iespējas, ar kurām tā tiks piešķirta, un kuru rezultātā saņems izšķirošu priekšrocību. Pēc tam mēs analizēsim kontroles problēmu un mēģināsim atrisināt vissvarīgāko uzdevumu: vai ir iespējams simulēt šādus sākuma apstākļus, kas ļaus mums saglabāt savu pārākumu un galu galā izdzīvot. Pēdējās nodaļās mēs atņemsimies no privātiem un apskatīt problēmu plašāku, lai segtu situāciju kopumā situāciju mūsu pētījuma rezultātā. Es piedāvāsim jūsu uzmanību dažus ieteikumus, kas būtu jādara šodien, lai izvairītos no katastrofas, kas apdraud cilvēces esamību.

Šo grāmatu nebija viegli rakstīt. Es ceru, ka manis ceļā gūs labumu citiem pētniekiem. Tie ir sasniegti bez nevajadzīgiem šķēršļiem jauniem robežām un pilnīga izturība varēs ātri iesaistīties darbā, pateicoties kuriem cilvēki pilnībā apzinās grūtības saskarties ar tiem. (Ja joprojām studiju ceļš, šķiet, nākotnes analītiķi nedaudz tinumu un vietas ar Uhabami, es ceru, ka viņi novērtēs, cik necaurlaidīgs bija ainava agrāk.)

Neskatoties uz grūtībām, kas saistītas ar grāmatas darbu, es mēģināju izteikt materiālu par pieņemamu valodu; Tiesa, es tagad redzu, ka es to pilnībā nevarēju darīt. Protams, bet es rakstīju, es garīgi risināt potenciālo lasītāju un kādu iemeslu dēļ vienmēr šajā lomā iepazīstināja sevi, tikai daži jaunāki par pašreizējo, - izrādās, es darīju grāmatu, kas varētu radīt interesi par visu sevi, bet nav apgrūtināts gadi. Iespējams, tas ir tas, kas noteiks turpmāko mazo lasītāju auditorijas skaitu. Tomēr, manuprāt, grāmatas saturs būs pieejams daudziem cilvēkiem. Mums vienkārši ir nepieciešams veikt dažas garīgās pūles, pārtraukt noraidīt jaunas idejas ar iet un atturēties no kārdinājuma aizstāt visus nesaprotamos ērtos stereotipus, kurus mēs visi viegli mācīties no mūsu kultūras rezervēm. Lasītājiem, kuriem nav īpašas zināšanas, nedrīkst nodot pirms tikšanās vietām matemātiskajos aprēķinos un nepazīstamiem noteikumiem, jo \u200b\u200bkonteksts vienmēr ļauj saprast galveno ideju. (Lasītāji, kas vēlas, gluži pretēji, uzzināsiet sīkāk, atradīs daudz interesantu lietu.)

Iespējams, daudz grāmatā ir definēta nepareizā veidā. Iespējams, es nokavēju dažus svarīgus apsvērumus no redzesloka, kā rezultātā daži no maniem secinājumiem - un varbūt viss - būs kļūdains. Lai neizmantotu mazāko niansi un norīkotu nenoteiktības pakāpi, ar kuru mēs strādājam, man bija vērsties pie konkrētiem marķieriem - tāpēc mans teksts ir pārslogots ar šādiem neglīts verbāliem blotiem, kā "varbūt", "var", " Varbūt ", šķiet,", iespējams, "iespējams", "ar lielu varbūtības daļu" "gandrīz noteikti". Tomēr katru reizi, kad es izmantoju ievada vārdu palīdzību, ir ļoti uzmanīgs un diezgan pārdomāts. Tomēr, lai norādītu vispārējos ierobežojumus gnosoloģisko pieņēmumu par vienu šādu stilistisko uztveršanu, nav pietiekami daudz; Autoram ir jāizstrādā sistemātiska pieeja, lai apstrīdētu nenoteiktības apstākļos un tieši norāda uz kļūdas iespēju. Mēs nekādā veidā nav par viltus pieticību. Es patiesi atzīstu, ka manā grāmatā var būt nopietni maldi, un nepareizi secinājumi, bet tajā pašā laikā es esmu pārliecināts: alternatīvs viedoklis, kas iesniegts literatūrā, ir vēl sliktāks. Turklāt tas attiecas arī uz vispārpieņemto "nulles hipotēzi", saskaņā ar kuru šodien mēs varam ar absolūtu iemeslu ignorēt superfāna izskata problēmu un justies pilnīgā drošībā.

Vispirms nodaļa

Iepriekšējie sasniegumi un šodienas spējas

Izaugsmes modeļi un cilvēces vēsture

Šādam sekām bija šāds izaugsmes temps. Piemēram, cilvēces rītausmā, kad zeme bija apdzīvota ar moderniem cilvēkiem vai hominīdiem, ekonomiskā attīstība notika pārāk lēni, un bija aptuveni miljons gadu, lai palielinātu ražošanas iekārtas, lai planētas iedzīvotāju skaits sevi palielināsies par miljonu cilvēku, un esošās izdzīvošanas robežās. Un pēc neolīta revolūcijas, 5000 BC. e. Kad cilvēce no medību kolektīvās sabiedrības nonāk pie lauksaimniecības ekonomikas modeļa, pieauguma temps palielinājās tik daudz, ka tiem pašiem iedzīvotājiem bija pietiekami divi simti gadu. Šodien pēc rūpnieciskās revolūcijas globālā ekonomika katru pusotru stundu palielinās par tādu pašu summu1.

Esošais augšanas ātrums ir pat tad, ja to darbina salīdzinoši ilgs laiks - radīs iespaidīgus rezultātus. Pieņemsim, ka pasaules ekonomika turpinās pieaugt ar vidējo likmi, kas ir pēdējās piecdesmit gadi, planētas iedzīvotāji nākotnē kļūs bagātāki nekā šodien: līdz 2050. gadam - 4,8 reizes, un par 2100 - 34 reizes 2.

Tomēr izredzes uz stabilu eksponenciālu izaugsmi ir kausēts, salīdzinot ar to, kas var notikt, kad nākamā lēkt līdzīga pārmaiņa notiek pasaulē, attīstības temps, kura attīstība būs salīdzināma ar neolīta un rūpnieciskām revolūcijām. Saskaņā ar tāmi Ekonomistijas Robin Hanson, pamatojoties uz vēsturiskiem datiem par saimniecisko darbību un iedzīvotājiem, laiks dubultot ekonomiku medību un savākšanas sabiedrības Pleistocene laikmeta sasniedza 224 tūkstošus gadu, agrārās sabiedrības - 909 gadi, rūpniecības sabiedrība - 6,3 gadi3. (Saskaņā ar Hanson Paradigmu, moderns ekonomiskais modelis, kam ir jaukta agrārā rūpnieciskā struktūra vēl nav attīstīta dubultā tempā ik pēc 6,3 gadiem.) Ja pasaules attīstībā šāds lēciens notiktu, salīdzināms ar savu revolucionāro vērtību ar diviem Iepriekšējais, tad ekonomika būtu nonācis pie jauna līmeņa un divkāršot pieauguma tempu aptuveni ik pēc divām nedēļām.

Ideja tuvoties Tehnoloģiskās singularitātes brīža ir kļuvusi ļoti populāra pēc Vernon loga novatorisko darbu parādīšanās, Ray Kurzweil un citi pētnieki4. Tomēr jēdziens "singularity", kas tiek izmantots dažādās vērtībās, jau ir ieguvusi ilgtspējīgu nozīmi tehnoloģiskā utopisma garā un pat iegādājās kaut ko bailes halo un tajā pašā laikā diezgan majestātiski5. Tā kā lielākā daļa vārda definīciju singularitāte Mēs neesam saistīti ar mūsu grāmatas priekšmetu, mēs sasniegsim lielāku skaidrību, ja atbrīvojos no tā par labu precīzākiem noteikumiem.

Augstas cerības

Tā kā izgudrojums 1940. gados pirmās elektroniskās skaitļošanas mašīnas, cilvēki nekad vairs nespēj paredzēt datora izskatu, kuru izlūkošanas līmenis būs salīdzināms ar cilvēku. Tas attiecas uz saprātīgu tehnisko sistēmu, kurai ir veselais saprāts, kam ir spēja mācīt un domāt, spēj plānot un visaptveroši apstrādāt informāciju, kas savākta saskaņā ar dažādiem avotiem - reālu un teorētisku. Šajās dienās daudzi sagaidāmie šādi automobiļi kļūs par realitāti gadiem divdesmit7. Kopš tā laika laiks tiek novirzīts uz ātrumu vienu gadu gadā, tas ir, šodien futurologi, pārliecināti par iespējamību radīt mākslīgo intelektu, turpina uzskatīt, ka "viedās automašīnas" parādīsies pēc pāris desmitiem gadu8.

Divdesmit gadu termiņš mēs mīlam visus pamatiedzīvotāju prognozētājus. No vienas puses, tas nav pārāk garš - un tāpēc diskusijas priekšmets piesaista plašu uzmanību; No otras puses, tas nav tik ātri, kas ļauj sapņot par vairākiem lieliem zinātniskiem atklājumiem, tomēr idejas par tām prognozēšanas laikā ir ļoti neskaidras, bet to īstenošana ir praktiski bez šaubām. Tas ir salīdzināms ar to ar īsāku prognozēto periodu, kas izveidots dažādām tehnoloģijām, kas ir paredzētas būtiski ietekmēt pasauli: no pieciem līdz desmit gadiem - prognozēšanas laikā, lielākā daļa tehnisko risinājumu jau daļēji piemēro; Piecpadsmit gadi - prognozēšanas laikā šīs tehnoloģijas jau pastāv laboratorijas versiju veidā. Turklāt divdesmit gadu termiņš ir visbiežāk tuvu atlikušās profesionālās darbības ilgumam, kas samazina reputācijas risku, kas saistīts ar tās veikto prognozi.

Tomēr, pateicoties pārāk augstām un pašsavienojošām pēdējiem gadiem, nevajadzētu nekavējoties secināt, ka mākslīgā intelekta radīšana ir neiespējama principā un ka neviens nekad attīstīsies 9. Galvenais iemesls, kāpēc progress bija lēnāks nekā vajadzēja būt saistīts ar tehniskām problēmām, kas rodas saprātīgu mašīnu izstrādē. Pionieri neparedzēja visas grūtības, ar kurām viņiem bija jāsaskaras. Turklāt jautājumi: vai šo šķēršļu smagums ir liels, un, ciktāl mēs esam tālu no pārvarēt tos - joprojām ir atvērti. Dažreiz uzdevums, sākotnēji šķietams bezcerīgi sarežģīts, ir pārsteidzoši vienkāršs risinājums (lai gan biežāk, varbūt, pretējā).

Mēs izskatīsim veidus, kas var novest pie mākslīgā intelekta izskata, kas nav zemāka par cilvēku, nākamajā nodaļā. Bet tagad es gribētu vērst jūsu uzmanību uz vienu svarīgu aspektu. Mēs gaidām daudzas pieturas starp pašreizējo sākumpunktu un nākotni, kad parādās mākslīgais intelekts, bet šis brīdis nav galamērķa stacija. Diezgan tuvu viņas nākamajai pieturai būs "Supershind" stacija - šī līmeņa mākslīgā intelekta īstenošana, kas nav vienkārši vienāds ar cilvēka prātu, un ievērojami pārspēj to. Pēc pēdējās pieturas mūsu vilciens vērsīsies tādā mērā, ka cilvēka stacija varēsim apturēt, bet pat palēnināt. Visticamāk, viņš sviedīs pagātni. Britu Mathematician Irving John Gud, kurš strādāja Otrā pasaules kara laikā Alan Turing komandā, visticamāk, bija pirmais, kurš izklāstīja svarīgāko informāciju par šo scenāriju. Savā bieži citētajā 1965. pantā viņš rakstīja par pirmo uTasives:

Noskaidrosim pārmērīgu mašīnu kā automašīnu, kas ievērojami pārsniedz jebkuras intelektuālās iespējas mazs cilvēks. Tā kā šādu mašīnu izveide ir cilvēka garīgās aktivitātes rezultāts, tad mašīna apveltīta ar superflum varēs attīstīt vēl lielākas automašīnas; Tā rezultātā, neapšaubāmi, tik "intelektuālais sprādziens" notiks, ka cilvēka prāts tiks izmesti tālu atpakaļ. Tādējādi pirmais Ultra-ieslodzītais kļūs par pēdējiem cilvēka prāta sasniegumiem - patiesība ir tikai tad, ja tā neatrod pietiekami daudz sazvērestības un nepaskaidrs mums, lai saglabātu to kontrolē.

Mākslīgā intelekta sprādzienbīstama attīstība var būt viens no galvenajiem eksistenciālajiem riskiem - šajās dienās šāda situācija tiek uztverta kā triviāla; Līdz ar to šādu izaugsmes izredzes būtu jānovērtē ar ārkārtēju nopietnību, pat ja tas būtu acīmredzami zināms (bet tas nav tik), ka draudu varbūtība ir salīdzinoši zema. Tomēr pionieri mākslīgā intelekta jomā, neskatoties uz visu pārliecību neizbēgamajā mākslīgā intelekta izskatīšanā, kas nav zemāka par cilvēka masu, noliedza iespēju izskatu superproyum pārāka par cilvēka prātu. Šķiet, ka tiek izveidota viņu iztēle - mēģinājumos saprast nākotnes automobiļu robežu, salīdzināmu viņu garīgās spējas ar personu, ir vienkārši žāvēta, un viņi viegli nokārtojuši neizbēgamo secinājumu: super rūpniecisko automobišu dzimšana būt vēl soli.

Lielākā daļa pionieru neatbalstīja sabiedrībā parādījās trauksme, ņemot vērā pilnīgu muļķību, it kā to projektiem būtu zināms risks cilvēcei11. Neviens no viņiem nav vārdos vai faktiski - ne viens nopietns pētījums par šo tēmu - nemēģināja saprast vai noraizējies par drošību, ne ētiskas šaubas, kas saistītas ar mākslīgā intelekta radīšanu un datoru potenciālo dominēšanu; Šis fakts ir pārsteidzošs pat uz šīs laikmeta raksturīgās ERA fona nav pārāk augsti standarti jaunu tehnoloģiju novērtēšanai12. Tas joprojām ir tikai cer, ka līdz brīdim, kad viņu drosmīgais dizains galu galā iemiesosim, mēs ne tikai varēsim sasniegt pienācīgu zinātnisko un tehnoloģisko pieredzi, lai neitralizētu mākslīgā intelekta sprādzienbīstamu attīstību, bet mēs palielināsimies augstākais līmenis Profesionālisms, kas vispār nav ievainots, ja cilvēce vēlas paciest ultra-rūpniecības mašīnas savā pasaulē.

Bet pirms jūs pārvēršat savu skatienu uz nākotni, būtu lietderīgi īsi atgādināt par mašīnu izlūkošanas vēsturi.

Ceru un izmisuma ceļš

Par grāmatu

Bet mums ir viena nozīmīga priekšrocība: pirmais solis ir aiz mums. Vai ir iespējams doties uz mākslīgo intelektu, padarot šo procesu kontrolē un drošu? Šajā grāmatā, vissarežģītākais ...

Lasīt pilnīgi

Par grāmatu
Grāmatu skaits 1 par mākslīgā intelekta nākotni un tās briesmām.

Kas notiek, ja automašīnas pārspēs cilvēkus izlūkos? Vai viņi palīdzēs mums vai iznīcināt cilvēku rasi? Nick Bostrom savā grāmatā liek šos jautājumus un stāsta par cilvēces nākotni un saprātīgu dzīvi.

Cilvēka prātā ir dažas spējas, kurām nav citu dzīvnieku. Tas ir viņiem, ka mēs varam būt pateicīgi par to, ka mūsu viedoklis aizņem šādu dominējošu stāvokli. Ja mašīnas pārspēj mūsu cilvēka smadzenes ziņā inteliģenci, viņi var kļūt ļoti spēcīgi - un pat izkļūt no mūsu kontroles. Piemēram, mūsdienu gorillas esamība ir atkarīga no personas, kas ir vairāk nekā no pašām gorilām, tas pats var notikt ar personu un jaunu mašīnu superintellenci.

Bet mums ir viena nozīmīga priekšrocība: pirmais solis ir aiz mums. Vai ir iespējams doties uz mākslīgo intelektu, padarot šo procesu kontrolē un drošu? Šajā grāmatā vissarežģītākie zinātniskie jautājumi par cilvēces un mākslīgā intelekta nākotni apraksta ar pieņemamu valodu.

Kam šī grāmata
Visiem, kas ir ieinteresēti mākslīgā intelekta un cilvēces nākotni.

par autoru
Nick Bosrom ir Oksfordas universitātes Filozofijas fakultātes profesors, nākotnes cilvēces institūta dibinātājs un direktors - starpdisciplinārais pētniecības centrs, kas pētīja tehnoloģiju ietekmi uz nākotnes globālās katastrofas iespēju. Institūta locekļi ir labākā matemātika, filozofi un zinātnieki.

Papildus filozofijai, Bostr specializējas neirobioloģijā, matemātisko loģiku un fiziku. Viņš ir vairāk nekā 200 zinātnisko publikāciju autors un Eugene R. Gannonas balvas balvas ieguvējs, kas katru gadu tiek piešķirts vienam zinātniekam pasaulē par sasniegumiem filozofijas, matemātikas un dabaszinātņu jomā.

Nick Bosrom ir jaunākais pārstāvis top 15 sarakstu vadošo pasaules domātājiem saskaņā ar izredzes žurnālu. Viņa darbi tiek tulkoti 22 valodās.