Добавить в цитаты Настройки чтения

Страница 130 из 145

Chernobyl: The History of a Nuclear Catastrophe.

Basic Books, 2018.

6 Физики записывают коэффициенты размножения нейтронов как числа, а не проценты. Мы используем проценты, чтобы подчеркнуть разницу между коэффициентом размножения нейтронов 1,0006, достигнутым в “Чикагской поленнице – 1”, и критическим порогом 1,0065; эти величины проще различить в виде процентов. Приносим свои извинения физикам.

7 Fermi E.

Experimental Production of a Divergent Chain Reaction.

American Journal of Physics, 20, no. 9 (1952): 536–58; Allardice C., Trapnell E. R.

The First Pile

. International Atomic Energy Agency, 1946.

8 US Atomic Energy Commission.

Additional Analysis of the SL-

1

Excursion: Final Report of Progress July through October

1962

(IDO-

19313

).

U. S. Department of Energy, November 21, 1962; U. S. Atomic Energy Commission.

SL-

1

Reactor Accident (IDO-

19300

a).

US Department of Energy, May 15, 1961.

9

Part

7

: Bitter Wormwood

. Chernobyl Witness: A Primary Source Compendium of 26 April 1986, May 9, 2021,

chernobylcritical.blogspot.com

; International Nuclear Safety Advisory Group.

The Chernobyl Accident: Updating of INSAG-

1. Safety Series, International Atomic Energy Agency, 1992,

pub.iaea.org

.

10 World Nuclear Association.

Sequence of Events – Chernobyl Accident Appendix

1. January 2, 2025;

Chernobyl: Assessment of Radiological and Health Impacts (

2002

)

. Nuclear Energy Agency (NEA), 2002.

Дело не просто в наличии жесткого минимума в пятнадцать управляющих стержней, все несколько сложнее. Это правило относится к минимальному “оперативному запасу реактивности” (ОЗР). ОЗР можно выражать в количестве управляющих стержней, однако из-за других факторов он не всегда равен количеству погруженных стержней. На момент взрыва запас реактивности в реакторе составлял восемь единиц ОЗР, что значительно ниже минимально допустимого предела в пятнадцать единиц.

11 Mercier B. et al.

A Simplified Analysis of the Chernobyl Accident.

EPJ Nuclear Sciences & Technologies, 7 (2021): 1.

12 Schneier B.

Secrets and Lies: Digital Security in a Networked World

; Gutma

Unsolvable Problems in Computer Security.

Глава 11

Алхимия, а не наука

1 Coursey B. M.

The National Bureau of Standards and the Radium Dial Painters

. Journal of Research of the National Institute of Standards and Technology, 126 (2022).

2

Elon Musk FULL INTERVIEW with Tucker Carlson (MUST WATCH).

April 23, 2023, 13:25,

youtube.com

.

3 Pace B.

Debate on Instrumental Convergence between LeCun, Russell, Bengio, Zador, and More

. LessWrong, October 3, 2019.

Еще Лекун один раз обсуждал проблему инструментальной сходимости в комментариях к публичной ветке в Фейсбуке в 2019 году.

4 LeCun Y.

Calm down. Human-level AI isn't here yet

. X, March 19, 2023.

5 LeCun Y.

Because they would have no desire to do anything else.

X, March 20, 2023.

6 LeCun Y.

No. My benevolent defensive AI will be better…

X, March 20, 2023.

7 LeCun Y.

We can design AI systems to be both superintelligent and submissive to humans.

X, May 4, 2023.

8 McCarthy J. et al.

A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence

. August 31, 1955,

jmc.stanford.edu

.

9 Dowling S.

What Are the Odds of a Successful Space Launch?

BBC, May 31, 2023; Anand Rao T. H.

A Season Marred by Setbacks in Space Missions

. Centre for Air Power Studies, July 25, 2024,

capsindia.org

.

Одно эмпирическое правило в ракетостроении гласит, что при первом или втором запуске ракеты нового типа шансы на взрыв составляют примерно 30 %. Регулярно взрываются даже ракеты с отработанными конструкциями. Средний показатель в истории превышает 8 % (впрочем, в последние пару десятилетий он ближе к 6 %). Даже у

пилотируемых

полетов показатель отказов за всю историю выше 1 % (в последние пару десятилетий – около 0,79 %).

10 Doman M., Sveen B.

AI's Dark In-joke

. ABC News, July 14, 2023; METR (Model Evaluation & Threat Research).

Q&A with Geoffrey Hinton

. June 27, 2024, 38:07,

youtube.com

.

Хинтона, похоже, дезинформировали насчет степени уверенности Юдковского в катастрофе, поскольку он назвал величину 99,999 %. Хотя мы, авторы, и считаем катастрофу наиболее вероятным исходом по умолчанию, пять девяток – это абсурдный уровень уверенности, под которым ни один из нас не подпишется.

11 Doman M., Sveen B.

AI's Dark In-joke

.

12 METR.

Q&A with Geoffrey Hinton

.

13

Nearly Half of OpenAI's AGI Safety Researchers Resign Amid Growing Focus on Commercial Product Development.

Benzinga, August 28, 2024; Goldman S.

Exodus at OpenAI: Nearly half of AGI Safety Staffers Have Left, Says Former Researcher.

Fortune, August 28, 2024; Hashim S.

OpenAI Employee Says He Was Fired for Raising Security Concerns to Board.

Transformer (blog), June 4, 2024; Metz R., Ghaffary S.

OpenAI Dissolves High-Profile Safety Team after Chief Scientist Sutskever's Exit.

Bloomberg, May 17, 2024; Samuel S.

'I Lost Trust': Why the OpenAI Team in Charge of Safeguarding Humanity Imploded

. Vox, May 18, 2024.

Леопольд Ашенбреннер и Павел Измайлов были уволены, предположительно, за утечку данных компании. По утверждению Ашенбреннера, его уволили за то, что он поднял вопросы безопасности перед советом директоров. Руководители группы Ян Лейке и Илья Суцкевер ушли сами – наряду с Уильямом Сондерсом, Райаном Лоу, Яном Хендриком Кирхнером, Коллином Бернсом, Джеффри Ву, Джонатаном Уэсато, Стивеном Биллсом, Юрием Бурдой, Тодором Марковым и соучредителем Джоном Шульманом. По состоянию на начало 2025 года Лео Гао и Боуэн Бейкер все еще работали в

OpenAI

, но группу, занимавшуюся сверхсогласованием, расформировали.

14 Haselton T., Goswami R.

OpenAI Сo-founder Ilya Sutskever A

.

15 Robison K.

OpenAI Researcher Who Resigned over Safety Concerns Joins Anthropic.

The Verge, May 28, 2024.

16 Jābir ibn H.ayyān.

Kit

-

ab al-Ah

.

j

-

ar 'alá Ra'y Balīn

-

as

. 8th–9th century, trans. Haq S. N. in

A Critical Study of J

-

abir ibn H

.

ayy

-

an's Kit

-

ab al-Ah

.

j

-

ar 'alá Ra'y Balīn

-

as.

Thesis, University College London, 1990,

discovery.ucl.ac.uk.

Джабир ибн Хайян, известный как отец арабской химии, – алхимик (или группа алхимиков), который добился успехов в очистке металлов. По поводу превращения свинца в золото он писал:

Что касается преобразования тел из одного состояния в другое, более высокое или более низкое, то это, согласно нашей доктрине, внешнее и внутреннее, ибо в действительности это то, чем являются внешнее и внутреннее. Причина в том, что все составляющие всех вещей следуют круговому образу перемен.

У любого тела внешнее явно, тогда как внутреннее скрыто, и именно в последнем кроется польза. Например, внешнее для свинца – это дурно пахнущий свинец, и это заметно для всех людей. Но его внутреннее – золото, которое скрыто. Однако если его извлечь, то и внутреннее, и внешнее для свинца станут явными.

Глава 12

Не хочу показаться паникером

1 Loeb A. P.

Birth of the Kettering Doctrine: Fordism, Sloanism and the Discovery of Tetraethyl Lead.

Business and Economic History, 24, no. 1 (1995): 72–87.

2 Kitman J. L.

The Secret History of Lead.

The Nation, March 2, 2000; HOT ROD Staff.

Living with Unleaded: Here's How Your Classic Musclecar or High-Perf Street Machine Can Safely Kick the Habit

. Hot Rod, March 1987.