Добавить в цитаты Настройки чтения

Страница 142 из 145

Глава 11

Алхимия, а не наука

1 Coursey B. M.

The National Bureau of Standards and the Radium Dial Painters

. Journal of Research of the National Institute of Standards and Technology, 126 (2022).

2

Elon Musk FULL INTERVIEW with Tucker Carlson (MUST WATCH).

April 23, 2023, 13:25,

youtube.com

.

3 Pace B.

Debate on Instrumental Convergence between LeCun, Russell, Bengio, Zador, and More

. LessWrong, October 3, 2019.

Еще Лекун один раз обсуждал проблему инструментальной сходимости в комментариях к публичной ветке в Фейсбуке в 2019 году.

4 LeCun Y.

Calm down. Human-level AI isn't here yet

. X, March 19, 2023.

5 LeCun Y.

Because they would have no desire to do anything else.

X, March 20, 2023.

6 LeCun Y.

No. My benevolent defensive AI will be better…

X, March 20, 2023.

7 LeCun Y.

We can design AI systems to be both superintelligent and submissive to humans.

X, May 4, 2023.

8 McCarthy J. et al.

A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence

. August 31, 1955,

jmc.stanford.edu

.

9 Dowling S.

What Are the Odds of a Successful Space Launch?

BBC, May 31, 2023; Anand Rao T. H.

A Season Marred by Setbacks in Space Missions

. Centre for Air Power Studies, July 25, 2024,

capsindia.org

.

Одно эмпирическое правило в ракетостроении гласит, что при первом или втором запуске ракеты нового типа шансы на взрыв составляют примерно 30 %. Регулярно взрываются даже ракеты с отработанными конструкциями. Средний показатель в истории превышает 8 % (впрочем, в последние пару десятилетий он ближе к 6 %). Даже у

пилотируемых

полетов показатель отказов за всю историю выше 1 % (в последние пару десятилетий – около 0,79 %).

10 Doman M., Sveen B.

AI's Dark In-joke

. ABC News, July 14, 2023; METR (Model Evaluation & Threat Research).

Q&A with Geoffrey Hinton

. June 27, 2024, 38:07,

youtube.com

.

Хинтона, похоже, дезинформировали насчет степени уверенности Юдковского в катастрофе, поскольку он назвал величину 99,999 %. Хотя мы, авторы, и считаем катастрофу наиболее вероятным исходом по умолчанию, пять девяток – это абсурдный уровень уверенности, под которым ни один из нас не подпишется.

11 Doman M., Sveen B.

AI's Dark In-joke

.

12 METR.

Q&A with Geoffrey Hinton

.

13

Nearly Half of OpenAI's AGI Safety Researchers Resign Amid Growing Focus on Commercial Product Development.

Benzinga, August 28, 2024; Goldman S.

Exodus at OpenAI: Nearly half of AGI Safety Staffers Have Left, Says Former Researcher.

Fortune, August 28, 2024; Hashim S.

OpenAI Employee Says He Was Fired for Raising Security Concerns to Board.

Transformer (blog), June 4, 2024; Metz R., Ghaffary S.

OpenAI Dissolves High-Profile Safety Team after Chief Scientist Sutskever's Exit.

Bloomberg, May 17, 2024; Samuel S.

'I Lost Trust': Why the OpenAI Team in Charge of Safeguarding Humanity Imploded

. Vox, May 18, 2024.

Леопольд Ашенбреннер и Павел Измайлов были уволены, предположительно, за утечку данных компании. По утверждению Ашенбреннера, его уволили за то, что он поднял вопросы безопасности перед советом директоров. Руководители группы Ян Лейке и Илья Суцкевер ушли сами – наряду с Уильямом Сондерсом, Райаном Лоу, Яном Хендриком Кирхнером, Коллином Бернсом, Джеффри Ву, Джонатаном Уэсато, Стивеном Биллсом, Юрием Бурдой, Тодором Марковым и соучредителем Джоном Шульманом. По состоянию на начало 2025 года Лео Гао и Боуэн Бейкер все еще работали в

OpenAI

, но группу, занимавшуюся сверхсогласованием, расформировали.

14 Haselton T., Goswami R.

OpenAI Сo-founder Ilya Sutskever A

.

15 Robison K.

OpenAI Researcher Who Resigned over Safety Concerns Joins Anthropic.

The Verge, May 28, 2024.

16 Jābir ibn H.ayyān.

Kit

-

ab al-Ah

.

j

-

ar 'alá Ra'y Balīn

-

as

. 8th–9th century, trans. Haq S. N. in

A Critical Study of J

-

abir ibn H

.

ayy

-

an's Kit

-

ab al-Ah

.

j

-

ar 'alá Ra'y Balīn

-

as.

Thesis, University College London, 1990,

discovery.ucl.ac.uk.

Джабир ибн Хайян, известный как отец арабской химии, – алхимик (или группа алхимиков), который добился успехов в очистке металлов. По поводу превращения свинца в золото он писал:

Что касается преобразования тел из одного состояния в другое, более высокое или более низкое, то это, согласно нашей доктрине, внешнее и внутреннее, ибо в действительности это то, чем являются внешнее и внутреннее. Причина в том, что все составляющие всех вещей следуют круговому образу перемен.

У любого тела внешнее явно, тогда как внутреннее скрыто, и именно в последнем кроется польза. Например, внешнее для свинца – это дурно пахнущий свинец, и это заметно для всех людей. Но его внутреннее – золото, которое скрыто. Однако если его извлечь, то и внутреннее, и внешнее для свинца станут явными.