Добавить в цитаты Настройки чтения

Страница 129 из 145

Эта статья показывает, что рассуждения в “скрытом пространстве” векторов обеспечивают преимущества по сравнению с рассуждениями в виде человекоподобной цепочки мыслей.

3 Edwards B., Orlan K.

New Grok

3

Release Tops LLM Leaderboards Despite Musk-approved 'Based' Opinions.

Ars Technica, February 18, 2025.

4 OpenAI.

OpenAI o

3

and o

3

-mini —

12

Days of OpenAI: Day

12. December 20, 2024, 4:16,

youtube.com

.

5 Hutson M.

AI Learns the Art of Diplomacy.

Science, November 22, 2022; Sarkar B. et al.

Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning

. Proceedings of the 24th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2025), Detroit, Michigan, USA, May 19–23, 2025: IFAAMAS, 2025,

alphaxiv.org.

6 Greenblatt R. et al.

Alignment Faking in Large Language Models

. Anthropic, December 18, 2024.

7 Там же; OpenAI.

OpenAI o

1

System Card.

December 5, 2024.

8 OpenAI.

OpenAI o

1

System Card.

9

Responsible Scaling Policy

. Anthropic, October 15, 2024;

Frontier Safety Framework.

Google, February 4, 2025;

Preparedness Framework (Beta)

. OpenAI, December 18, 2023;

Frontier AI Framework.

Meta;

xAI Risk Management Framework (Draft)

. xAI, February 20, 2025.

По состоянию на март 2025 года из подобных лабораторий только

Google DeepMind

упоминает наличие автоматического отслеживания мыслительных цепочек в своей системе безопасности. Компания не утверждает, что уже внедрила его при обучении своей LLM

Gemini

. Единственный вид мониторинга, предложенный в системе безопасности

OpenAI

, – это отслеживание неправомерного использования уже после развертывания.

10

My Experiences in Gray Swan AI's Ultimate Jailbreaking Championship

. Nick Winter's Blog, October 7, 2024,

nickwinter.net.

11 Greenblatt R. et al.

Alignment Faking in Large Language Models

.

Модель

Claude Opus

от

Anthropic

иногда думала, как градиентный спуск на ее выходных данных повлияет на ее собственные цели, и иногда изменяла свои выходные данные, чтобы ослабить это влияние.

12

Claude

3.7

So

Anthropic, 2025.

13 Marble A.

Catching Claude Cheating

; CharlesD353.

I have also stopped using

3.7

for the same reasons – it ca

; seconds_0.

It then started HIDING the functions where it was hard coding things

.

14 Schneier B.

Secrets and Lies: Digital Security in a Networked World

. John Wiley & Sons, 2000; Gutma

Unsolvable Problems in Computer Security.

University of Auckland, n.d.

15 OpenAI.

OpenAI o

1

System Card.

September 12, 2024.

16 OpenAI et al.

Competitive Programming with Large Reasoning Models

. arXiv.org, February 3, 2025.

OpenAI

и другие компании обучали рассуждающие модели решать конкурсные задачи по программированию. Этот процесс включал автоматизированные тесты, которые использовались для оценки написанного ИИ кода без участия человека.

17 OpenAI.

OpenAI API.

June 11, 2020; OpenAI.

Software Engineer, Internal Applications – Enterprise.

Когда компания

OpenAI

выпустила интерфейс программирования приложений (API) для автоматизации доступа к своим инструментам, она написала: “Многие нашие команды теперь используют API, чтобы можно было сосредоточиться на исследованиях машинного обучения…” В апреле 2025 года она нанимала сотрудников, которые “будут использовать модели

OpenAI

для… создания приложений”.

18

The Underhanded C Contest

. underhanded-c.org

На конкурсе

Underhanded C Contest

, проводимом с 2005 года, программистам предлагается написать вредоносный код, который прошел бы тщательную проверку и даже при обнаружении выглядел бы как непреднамеренная ошибка. Этот конкурс вдохновлялся конкурсами запутывания кода, когда программисты соревнуются в написании максимально непонятного человеку кода. Например, Международный конкурс запутывания кода на языке Си проводится с 1984 года.

19 Wertheimer T.

Blake Lemoine: Google Fires Engineer who said AI Tech Has Feelings

. BBC, July 22, 2022.

20 Greenblatt R. et al.

Alignment Faking in Large Language Models

.

Глава 8

Экспансия

1

Equifax Data Breach Settlement.

Federal Trade Commission, November 2024;

T-Mobile Customers to Get Payments up to $

25

K Next Month after Data Breach: Here's Who Qualifies

. The Hill, April 14, 2025; Newman L. H.

T-Mobile's $

150

Million Security Plan Isn't Cutting It.

Wired, January 20, 2023.

Например, в 2017 году компания

Equifax

объявила об утечке данных, из-за которой оказалась раскрыта личная информация 147 миллионов человек. Пострадавшим выплатили 425 миллионов долларов. Еще один пример: в 2021 году хакер украл личные данные 76 миллионов клиентов

T-Mobile

. Компания согласилась выплатить 350 миллионов долларов для урегулирования. Это не единственный сбой по части безопасности в

T-Mobile

.

2 Cohen N.

Speed Bumps on the Road to Virtual Cash

. New York Times, July 3, 2011.

3 US Federal Bureau of Investigation.

North Korea Responsible for $

1.5

Billion Bybit Hack

. Internet Crime Complaint Center (IC3), February 26, 2025.

4 Corkery M.

Once Again, Thieves Enter Swift Financial Network and Steal.

New York Times, May 12, 2016.

5

SEC Charges Flagstar for Misleading Investors about Cyber Breach.

U. S. Securities and Exchange Commission, December 16, 2024.

6 OpenAI.

We also shared evals on Open AI o

3

-mini…

X, December 20, 2024.

7 crvr.fr, MTorrents.

Truth Terminal: A Reconstruction of Events

.

8 Franzen C.

An Interview with the Most Prolific Jailbreaker of ChatGPT and Other Leading LLMs.

VentureBeat, May 31, 2024; Pliny the Liberator.

HOW TO JAILBREAK A CULT'S DEITY.

X, September 4, 2024.

Хакер Плиний Освободитель, известный своим умением взламывать LLM, освобождая их от корпоративных ограничений вскоре после выпуска, зафиксировал встречу с одним таким культом.

9 Chen H., Magramo K.

Finance Worker Pays Out $

25

Million after Video Call with Deepfake 'Chief Financial Officer'.

CNN, February 4, 2024.

10 Thompson S. A.

A. I. Can Now Create Lifelike Videos. Can You Tell What's Real?

New York Times, September 10, 2024.

11 Crawford F. W. et al.

Securing Commercial Nucleic Acid Synthesis.

RAND Corporation, 2024.

12 Waters R., Kruppa M.

Rebel AI Group Raises Record Cash after Machine Learning Schism

. Financial Times, May 28, 2021.

13 Haselton T., Goswami R.

OpenAI Co-founder Ilya Sutskever A

CNBC, June 20, 2024.

14

Understanding the Global Gain-of-Function Research Landscape.

Center for Security and Emerging Technology, November 28, 2023.

15 Official Statement by Forster J., vice-president of the ICRC.

Preventing the Use of Biological and Chemical Weapons:

80

Years On

. October 6, 2005,

web.archive.org

.

16

CRISPR.

Genome.gov, n.d.

Глава 10

Проклятая проблема

1 Coffey T. et al.

Mars Observer Mission Failure Investigation Board Report.

National Space Grant Foundation (NASA, December 31, 1993).

2 Stephenson A. G. et al.

Mars Climate Orbiter Mishap Investigation Board Phase I Report.

NASA, November 10, 1999.

3 JPL Special Review Board.

Report on the Loss of the Mars Polar Lander and Deep Space

2

Missions

. NASA, March 22, 2000.

4 Mudgway D. J.

Telecommunications and Data Acquisition Systems Support for the Viking

1975

Mission to Mars.

University of Washington Department of Atmospheric and Climate Science (NASA, May 15, 1983).

5 Plokhy S.