Hoppa till innehållet

P(doom)

Från Wikipedia

P(doom), ungefär "sannolikheten för undergång", är sannolikheten i procent för katastrofalt utfall av artificiell intelligens.[1] På skalan anger 0 procent ingen fara medan 100 procent anger en helsäker utrotning av människan. Det pågår en IT-säkerhetsdebatt i ämnet och värdena skiljer sig åt, förutsägelserna emellan.[2]

P(doom) började som ett internt skämt på forumet Effective Altruism Forum, och i slutet av 2010-talet hade P(doom) etablerats som begrepp bland forskare inom artificiell intelligens.[3] I samband med lanseringen av ChatGPT-4, år 2023, ökade fokuset på artificiell intelligens och säkerhet, och då blev begreppet mer spritt utanför forskarvärlden.[3][4] Begreppet är inte helt entydigt definierat, till exempel tidsramarna och innebörden av "undergång". Det är inte heller klarlagt om ett givet utfall tar hänsyn till betydelsen, eller eventuell förutsättning, av "artificiell generell intelligens".[5][6]

När en rad datorforskare 2023 ombads uppskatta sannolikheten för att framstegen inom artificiell intelligens skulle kunna leda till mänsklig utrotning under de kommande 100 åren blev medelvärdet 14,4 % och medianvärdet 5 %.[7] Svenska datorforskaren Max Tegmark vid MIT menar att P(doom) är över 90 procent.[8]

Noterbara P(doom)-värden

[redigera | redigera wikitext]
Namn P(doom) Kommentar Källa
15 <1 %[anm 1] Amerikansk datavetare och programvaruutvecklare, grundare av 15.ai. [9][10]
Scott Aaronson Cirka 2 % Amerikansk teoretisk datavetare och innehavare av Schlumberger Centennial-professuren i datavetenskap vid University of Texas at Austin. [11]
Sam Altman >0 % Vd för Open AI. [12]
Dario Amodei 10–25 % Vd för Anthropic. [13]
Marc Andreessen 0 % Medgrundare av riskkapitalbolaget Andreessen Horowitz. [14]
Yoshua Bengio 20 %[anm 2] Datavetare, chef för forskningsinstitutet Mila och Turingpristagare. [15]
Grady Booch Cirka 0 %[anm 3] Amerikansk programvaruutvecklare. [16]
Vitalik Buterin 12 % Medgrundare av Ethereum. [17]
Paul Christiano 50 % Forskningschef vid US AI Safety Institute. [18]
Andrew Critch 85 % Grundare av Center for Applied Rationality. [19]
Destiny 5 % Amerikansk streamare och politisk kommentator. [20]
David Duvenaud 85 % Kanadensisk datavetare med inriktning på probabilistisk maskininlärning, generativ AI och AI-säkerhet. Innehavare av en AI-professur inom CIFAR sedan 2021 och en Schwartz Reisman-professur i teknik och samhälle sedan 2024. [21]
Lex Fridman 10 % Amerikansk datavetare och programledare för Lex Fridman Podcast. [22]
Demis Hassabis >0 % Medgrundare och vd för Google DeepMind och Isomorphic Labs samt Nobelpristagare i kemi 2024. [23]
Dan Hendrycks >80 %[anm 4] Chef för Center for AI Safety. [16]
Geoffrey Hinton
  • 10–20 % (samlad bedömning)
  • >50 % (egen uppfattning)
 ”AI:s gudfader” och Nobelpristagare i fysik 2024. [24]
Holden Karnofsky 50 % Verkställande direktör för Open Philanthropy. [25]
Lina Khan Cirka 15 % Tidigare ordförande för Federal Trade Commission. [26]
Daniel Kokotajlo 70–80 % AI-forskare och grundare av AI Futures Project, tidigare verksam vid Open AI. [27]
David Krueger 75 % Amerikansk professor i maskininlärning och förespråkare för att minska riskerna med artificiell intelligens. [28]
Connor Leahy 90 %+ Tysk-amerikansk AI-forskare och medgrundare av EleutherAI. [29]
Yann LeCun <0,01 %[anm 5] Tidigare chefsforskare inom AI vid Meta. [30]
Shane Legg Cirka 5–50 % Medgrundare och chefsforskare inom AGI vid Google DeepMind. [31]
Jan Leike 10–90 % Forskare inom AI-alignment vid Anthropic, tidigare verksam vid DeepMind och Open AI. [16]
William MacAskill Cirka 3 % Skotsk filosof och författare till What We Owe the Future. [32]
Benjamin Mann 0–10 % Medgrundare av Anthropic. [33]
Emad Mostaque 50 % Medgrundare av Stability AI. [34]
Zvi Mowshowitz 70 % Skribent om artificiell intelligens, styrelseledamot i Center for Applied Rationality och tidigare tävlingsspelare i Magic: The Gathering. [35]
Elon Musk Cirka 10–30 % Affärsman och vd för X, Tesla och SpaceX. [36]
Casey Newton 5 % Amerikansk teknikjournalist. [16]
Toby Ord 10 % Australisk filosof och författare till The Precipice. [37]
Kevin Roose 5 % Amerikansk teknikjournalist. [16]
Emmett Shear 5–50 % Medgrundare av Twitch och tidigare tillförordnad vd för Open AI. [26]
Nate Silver 5–10 % Statistiker och grundare av FiveThirtyEight. [38]
Max Tegmark >90 % Svensk-amerikansk fysiker, forskare inom maskininlärning och författare, främst känd för hypotesen om det matematiska universum och som medgrundare av Future of Life Institute. [39]
Roman Yampolskiy 99,9 %–99,999999 %[anm 6] Lettisk datavetare, tidigare forskningsrådgivare vid Machine Intelligence Research Institute och forskningsstipendiat inom AI-säkerhet vid Foresight Institute. [40][41]
Eliezer Yudkowsky >95 % Grundare av Machine Intelligence Research Institute och författare till If Anyone Builds It, Everyone Dies. [16]

Anmärkningar

[redigera | redigera wikitext]
  1. ↑ Avser sannolikheten för att mänskligheten är utrotad till följd av AI år 2100, med hänsyn tagen till förväntade mänskliga ingripanden.
  2. ↑ Professor Bengio uppgav sitt p(doom): ”Jag kom fram till ungefär 20 procents sannolikhet för att utfallet blir katastrofalt.” Bengio kom fram till siffran utifrån flera antaganden, däribland 50 procents sannolikhet för att AI skulle nå mänsklig förmåga inom ett årtionde och mer än 50 procents sannolikhet för att AI eller människor själva skulle vända tekniken mot mänskligheten i stor skala.
  3. ↑ Motsvarar sannolikheten för att allt syre i hans rum spontant samlas i ett hörn och därmed kväver honom.
  4. ↑ En ökning från cirka 20 procent två år tidigare.
  5. ↑ Mindre sannolikt än att en asteroid utplånar mänskligheten.
  6. ↑ Inom de kommande 100 åren.

Källor

[redigera | redigera wikitext]
  1. ↑ Sean Thomas (4 mars 2024). ”Are we ready for P(doom)?” (på brittisk engelska). The Spectator. https://www.spectator.co.uk/article/are-we-ready-for-pdoom/. Läst 27 oktober 2025.
  2. ↑ Ange Lavoipierre (14 juli 2023). ”AI’s dark in-joke” (på australisk engelska). ABC News. https://www.abc.net.au/news/2023-07-15/whats-your-pdoom-ai-researchers-worry-catastrophe/102591340. Läst 27 oktober 2025.
  3. 1 2 ”What Is P Doom? The Truth About AI and Robot Doomsday” (på amerikansk engelska). 29 juli 2025. https://robotsgoodorbad.com/what-is-p-doom-ai-robot-doomsday/. Läst 27 oktober 2025.
  4. ↑ ”Silicon Valley Confronts a Grim New A.I. Metric (Published 2023)” (på engelska). 6 december 2023. https://www.nytimes.com/2023/12/06/business/dealbook/silicon-valley-artificial-intelligence.html. Läst 27 oktober 2025.
  5. ↑ Roose, Kevin (6 december 2023). ”Silicon Valley Confronts a Grim New A.I. Metric” (på amerikansk engelska). The New York Times. ISSN 0362-4331. https://www.nytimes.com/2023/12/06/business/dealbook/silicon-valley-artificial-intelligence.html. Läst 17 juni 2024.
  6. ↑ King, Isaac (1 januari 2024). ”Stop talking about p(doom)” (på engelska). LessWrong. https://www.lesswrong.com/posts/EwyviSHWrQcvicsry/stop-talking-about-p-doom.
  7. ↑ Kelsey Piper (10 januari 2024). ”Thousands of AI experts are torn about what they’ve created, new study finds” (på amerikansk engelska). Vox. https://www.vox.com/future-perfect/2024/1/10/24032987/ai-impacts-survey-artificial-intelligence-chatgpt-openai-existential-risk-superintelligence. Läst 27 oktober 2025.
  8. ↑ ”X, tidigare Twitter”. 30 april 2025. https://x.com/tegmark/status/1917580821101437280. Läst 27 oktober 2025.
  9. ↑ @fifteenai (10 september 2026). ”For me, P(humans are extinct by 2100 due to AI) < 1%…” (på engelska). X. https://x.com/fifteenai/status/2098185941450211835.
  10. ↑ @fifteenai (9 september 2026). ”<1% My P(doom) hasn't changed much…” (på engelska). X. https://x.com/fifteenai/status/2097836108054933797.
  11. ↑ Scott Aaronson (13 december 2023). ”On being wrong about AI” (på engelska). Shtetl-Optimized. https://scottaaronson.blog/?p=7672.
  12. ↑ ”OpenAI CEO Sam Altman: AI Warfare, Freedom & Immortality – MD MEETS Episode #1” (på engelska). YouTube. 1 oktober 2025. https://www.youtube.com/watch?v=rF0tQtDMwHM&t=1498s.
  13. ↑ Megan Morrone. ”Amodei on AI: "There's a 25% chance that things go really, really badly"” (på engelska). Axios. https://www.axios.com/2025/09/17/anthropic-dario-amodei-p-doom-25-percent.
  14. ↑ Andrew Marantz (11 mars 2024). ”Among the A.I. Doomsayers” (på engelska). The New Yorker. https://www.newyorker.com/magazine/2024/03/18/among-the-ai-doomsayers.
  15. ↑ ”It started as a dark in-joke. It could also be one of the most important questions facing humanity” (på engelska). ABC News. 14 juli 2023. https://www.abc.net.au/news/2023-07-15/whats-your-pdoom-ai-researchers-worry-catastrophe/102591340.
  16. 1 2 3 4 5 6 Clint Railey (12 juli 2023). ”P(doom) is AI's latest apocalypse metric. Here's how to calculate your score” (på engelska). Fast Company. https://www.fastcompany.com/90994526/pdoom-explained-how-to-calculate-your-score-on-ai-apocalypse-metric.
  17. ↑ Liron Shapira (12 augusti 2025). ”VITALIK vs. AI DOOMER — Will "d/acc" Protect Humanity from Superintelligent AI?” (på engelska). YouTube. https://www.youtube.com/watch?v=hxlcQzvnmWI&t=555s.
  18. ↑ ”ChatGPT creator says there's 50% chance AI ends in 'doom'” (på engelska). The Independent. 3 maj 2023. https://www.independent.co.uk/tech/chatgpt-openai-ai-apocalypse-warning-b2331369.html.
  19. ↑ ”Andrew Critch vs. Liron Shapira: Will AI Extinction Be Fast Or Slow?” (på engelska). Doom Debates / YouTube. 15 november 2024. https://www.youtube.com/watch?v=opIvVzJF8t0.
  20. ↑ Liron Shapira (17 februari 2026). ”Destiny Raises His P(Doom) At The End” (på engelska). Doom Debates. https://lironshapira.substack.com/p/destiny-doom-debates. Transkription, 0:59:37–0:59:52.
  21. ↑ Liron Shapira. ”Top AI Professor Has 85% P(Doom) — David Duvenaud, Fmr. Anthropic Safety Team Lead” (på engelska). Doom Debates / YouTube. https://www.youtube.com/watch?v=mb9w7lFIHRM.
  22. ↑ ”Archives: sundar-pichai-transcript” (på engelska). Lex Fridman. 5 juni 2025. https://lexfridman.com/sundar-pichai-transcript/.
  23. ↑ ”Demis Hassabis on Chatbots to AGI – EP 71” (på engelska). YouTube. 23 februari 2024. https://www.youtube.com/watch?v=nwUARJeeplA.
  24. ↑ ”Q&A with Geoffrey Hinton” (på engelska). METR (Model Evaluation & Threat Research) / YouTube. 27 juni 2024. https://www.youtube.com/watch?v=PTF5Up1hMhw&t=2283s.
  25. ↑ Sean Thomas (4 mars 2024). ”Are we ready for P(doom)?” (på engelska). The Spectator. https://www.spectator.co.uk/article/are-we-ready-for-pdoom/.
  26. 1 2 Kevin Roose (6 december 2023). ”Silicon Valley Confronts a Grim New A.I. Metric” (på engelska). The New York Times. https://www.nytimes.com/2023/12/06/business/dealbook/silicon-valley-artificial-intelligence.html.
  27. ↑ Daniel Kokotajlo (3 april 2025). ”2027 Intelligence Explosion Month-by-Month Model” (på engelska). YouTube. https://www.youtube.com/watch?v=htOvH12T7mU.
  28. ↑ ”"AI Will Be The Last Mistake Humanity Ever Makes..." – David Krueger” (på engelska). The Smart Cookies Podcast / YouTube. https://www.youtube.com/watch?v=PyBw-dIcKW4&t=490s. Vid 8:10.
  29. ↑ ”Connor Leahy on Why Humanity Risks Extinction from AGI” (på engelska). Future of Life Institute / YouTube. 22 november 2024. https://www.youtube.com/watch?v=nUV5-SLdkuQ.
  30. ↑ Wayne Williams (7 april 2024). ”Top AI researcher says AI will end humanity and we should stop developing it now — but don't worry, Elon Musk disagrees” (på engelska). TechRadar. https://www.techradar.com/pro/top-ai-researcher-says-ai-will-end-humanity-and-we-should-stop-developing-it-now-but-dont-worry-elon-musk-disagrees.
  31. ↑ ”Q&A with Shane Legg on risks from AI” (på engelska). LessWrong. 17 maj 2011. https://www.lesswrong.com/posts/No5JpRCHzBrWA4jmS/q-and-a-with-shane-legg-on-risks-from-ai.
  32. ↑ William MacAskill. ”Notes” (på engelska). What We Owe the Future. https://whatweowethefuture.com/notes/. Not 2.22.
  33. ↑ ”Anthropic co-founder: AGI predictions, leaving OpenAI, what keeps him up at night – Ben Mann” (på engelska). Lenny's Podcast / YouTube. 20 juli 2025. https://www.youtube.com/watch?v=WWoyWNhx2XU.
  34. ↑ Emad Mostaque (4 december 2024). ”My P(doom) is 50%” (på engelska). X. https://x.com/EMostaque/status/1864266899170767105.
  35. ↑ ”Zvi Mowshowitz on Longer Timelines, RL-induced Doom, and Why China is Refusing H20s” (på engelska). The Cognitive Revolution. 6 september 2025. https://www.cognitiverevolution.ai/zvi-mowshowitz-on-longer-timelines-rl-induced-doom-and-why-china-is-refusing-h20s/.
  36. ↑ Katherine Tangalakis-Lippert. ”Elon Musk says there could be a 20% chance AI destroys humanity — but we should do it anyway” (på engelska). Business Insider. https://www.businessinsider.com/elon-musk-20-percent-chance-ai-destroys-humanity-2024-3.
  37. ↑ ”Is there really a 1 in 6 chance of human extinction this century?” (på engelska). ABC News. 8 oktober 2023. https://www.abc.net.au/news/2023-10-08/is-there-really-a-1-in-6-chance-of-human-extinction/102942530.
  38. ↑ ”It's time to come to grips with AI” (på engelska). Silver Bulletin. 27 januari 2025. https://www.natesilver.net/p/its-time-to-come-to-grips-with-ai.
  39. ↑ Max Tegmark (30 april 2025). ”My P(doom) Estimate” (på engelska). X. Arkiverad från originalet den 2 maj 2025. https://web.archive.org/web/20250502114739/https://x.com/tegmark/status/1917580821101437280.
  40. ↑ Ana Altchek. ”Why this AI researcher thinks there's a 99.9% chance AI wipes us out” (på engelska). Business Insider. https://www.businessinsider.com/ai-researcher-roman-yampolskiy-lex-fridman-human-extinction-prediction-2024-6.
  41. ↑ Roman Yampolskiy (12 mars 2024). ”I am at 99.999999% https://pauseai.info/pdoom” (på engelska). X. https://twitter.com/romanyam/status/1767575356155027503.
Hämtad från ”https://sv.wikipedia.org/w/index.php?title=P(doom)&oldid=59701175”