Страница 130 из 145
Chernobyl: The History of a Nuclear Catastrophe.
Basic Books, 2018.
6 Физики записывают коэффициенты размножения нейтронов как числа, а не проценты. Мы используем проценты, чтобы подчеркнуть разницу между коэффициентом размножения нейтронов 1,0006, достигнутым в “Чикагской поленнице – 1”, и критическим порогом 1,0065; эти величины проще различить в виде процентов. Приносим свои извинения физикам.
7 Fermi E.
Experimental Production of a Divergent Chain Reaction.
American Journal of Physics, 20, no. 9 (1952): 536–58; Allardice C., Trapnell E. R.
The First Pile
. International Atomic Energy Agency, 1946.
8 US Atomic Energy Commission.
Additional Analysis of the SL-
1
Excursion: Final Report of Progress July through October
1962
(IDO-
19313
).
U. S. Department of Energy, November 21, 1962; U. S. Atomic Energy Commission.
SL-
1
Reactor Accident (IDO-
19300
a).
US Department of Energy, May 15, 1961.
9
Part
7
: Bitter Wormwood
. Chernobyl Witness: A Primary Source Compendium of 26 April 1986, May 9, 2021,
chernobylcritical.blogspot.com
; International Nuclear Safety Advisory Group.
The Chernobyl Accident: Updating of INSAG-
1. Safety Series, International Atomic Energy Agency, 1992,
pub.iaea.org
.
10 World Nuclear Association.
Sequence of Events – Chernobyl Accident Appendix
1. January 2, 2025;
Chernobyl: Assessment of Radiological and Health Impacts (
2002
)
. Nuclear Energy Agency (NEA), 2002.
Дело не просто в наличии жесткого минимума в пятнадцать управляющих стержней, все несколько сложнее. Это правило относится к минимальному “оперативному запасу реактивности” (ОЗР). ОЗР можно выражать в количестве управляющих стержней, однако из-за других факторов он не всегда равен количеству погруженных стержней. На момент взрыва запас реактивности в реакторе составлял восемь единиц ОЗР, что значительно ниже минимально допустимого предела в пятнадцать единиц.
11 Mercier B. et al.
A Simplified Analysis of the Chernobyl Accident.
EPJ Nuclear Sciences & Technologies, 7 (2021): 1.
12 Schneier B.
Secrets and Lies: Digital Security in a Networked World
; Gutma
Unsolvable Problems in Computer Security.
Глава 11
Алхимия, а не наука
1 Coursey B. M.
The National Bureau of Standards and the Radium Dial Painters
. Journal of Research of the National Institute of Standards and Technology, 126 (2022).
2
Elon Musk FULL INTERVIEW with Tucker Carlson (MUST WATCH).
April 23, 2023, 13:25,
youtube.com
.
3 Pace B.
Debate on Instrumental Convergence between LeCun, Russell, Bengio, Zador, and More
. LessWrong, October 3, 2019.
Еще Лекун один раз обсуждал проблему инструментальной сходимости в комментариях к публичной ветке в Фейсбуке в 2019 году.
4 LeCun Y.
Calm down. Human-level AI isn't here yet
. X, March 19, 2023.
5 LeCun Y.
Because they would have no desire to do anything else.
X, March 20, 2023.
6 LeCun Y.
No. My benevolent defensive AI will be better…
X, March 20, 2023.
7 LeCun Y.
We can design AI systems to be both superintelligent and submissive to humans.
X, May 4, 2023.
8 McCarthy J. et al.
A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence
. August 31, 1955,
jmc.stanford.edu
.
9 Dowling S.
What Are the Odds of a Successful Space Launch?
BBC, May 31, 2023; Anand Rao T. H.
A Season Marred by Setbacks in Space Missions
. Centre for Air Power Studies, July 25, 2024,
capsindia.org
.
Одно эмпирическое правило в ракетостроении гласит, что при первом или втором запуске ракеты нового типа шансы на взрыв составляют примерно 30 %. Регулярно взрываются даже ракеты с отработанными конструкциями. Средний показатель в истории превышает 8 % (впрочем, в последние пару десятилетий он ближе к 6 %). Даже у
пилотируемых
полетов показатель отказов за всю историю выше 1 % (в последние пару десятилетий – около 0,79 %).
10 Doman M., Sveen B.
AI's Dark In-joke
. ABC News, July 14, 2023; METR (Model Evaluation & Threat Research).
Q&A with Geoffrey Hinton
. June 27, 2024, 38:07,
youtube.com
.
Хинтона, похоже, дезинформировали насчет степени уверенности Юдковского в катастрофе, поскольку он назвал величину 99,999 %. Хотя мы, авторы, и считаем катастрофу наиболее вероятным исходом по умолчанию, пять девяток – это абсурдный уровень уверенности, под которым ни один из нас не подпишется.
11 Doman M., Sveen B.
AI's Dark In-joke
.
12 METR.
Q&A with Geoffrey Hinton
.
13
Nearly Half of OpenAI's AGI Safety Researchers Resign Amid Growing Focus on Commercial Product Development.
Benzinga, August 28, 2024; Goldman S.
Exodus at OpenAI: Nearly half of AGI Safety Staffers Have Left, Says Former Researcher.
Fortune, August 28, 2024; Hashim S.
OpenAI Employee Says He Was Fired for Raising Security Concerns to Board.
Transformer (blog), June 4, 2024; Metz R., Ghaffary S.
OpenAI Dissolves High-Profile Safety Team after Chief Scientist Sutskever's Exit.
Bloomberg, May 17, 2024; Samuel S.
'I Lost Trust': Why the OpenAI Team in Charge of Safeguarding Humanity Imploded
. Vox, May 18, 2024.
Леопольд Ашенбреннер и Павел Измайлов были уволены, предположительно, за утечку данных компании. По утверждению Ашенбреннера, его уволили за то, что он поднял вопросы безопасности перед советом директоров. Руководители группы Ян Лейке и Илья Суцкевер ушли сами – наряду с Уильямом Сондерсом, Райаном Лоу, Яном Хендриком Кирхнером, Коллином Бернсом, Джеффри Ву, Джонатаном Уэсато, Стивеном Биллсом, Юрием Бурдой, Тодором Марковым и соучредителем Джоном Шульманом. По состоянию на начало 2025 года Лео Гао и Боуэн Бейкер все еще работали в
OpenAI
, но группу, занимавшуюся сверхсогласованием, расформировали.
14 Haselton T., Goswami R.
OpenAI Сo-founder Ilya Sutskever A
.
15 Robison K.
OpenAI Researcher Who Resigned over Safety Concerns Joins Anthropic.
The Verge, May 28, 2024.
16 Jābir ibn H.ayyān.
Kit
-
ab al-Ah
.
j
-
ar 'alá Ra'y Balīn
-
as
. 8th–9th century, trans. Haq S. N. in
A Critical Study of J
-
abir ibn H
.
ayy
-
an's Kit
-
ab al-Ah
.
j
-
ar 'alá Ra'y Balīn
-
as.
Thesis, University College London, 1990,
discovery.ucl.ac.uk.
Джабир ибн Хайян, известный как отец арабской химии, – алхимик (или группа алхимиков), который добился успехов в очистке металлов. По поводу превращения свинца в золото он писал:
Что касается преобразования тел из одного состояния в другое, более высокое или более низкое, то это, согласно нашей доктрине, внешнее и внутреннее, ибо в действительности это то, чем являются внешнее и внутреннее. Причина в том, что все составляющие всех вещей следуют круговому образу перемен.
У любого тела внешнее явно, тогда как внутреннее скрыто, и именно в последнем кроется польза. Например, внешнее для свинца – это дурно пахнущий свинец, и это заметно для всех людей. Но его внутреннее – золото, которое скрыто. Однако если его извлечь, то и внутреннее, и внешнее для свинца станут явными.
Глава 12
Не хочу показаться паникером
1 Loeb A. P.
Birth of the Kettering Doctrine: Fordism, Sloanism and the Discovery of Tetraethyl Lead.
Business and Economic History, 24, no. 1 (1995): 72–87.
2 Kitman J. L.
The Secret History of Lead.
The Nation, March 2, 2000; HOT ROD Staff.
Living with Unleaded: Here's How Your Classic Musclecar or High-Perf Street Machine Can Safely Kick the Habit
. Hot Rod, March 1987.