1 Introduction

1.1 Preliminaries
1.2 Backdrop .

.

.
.

.
.

.
.

.
.
Intelligence .
.

.

.
.
.
.

.
.
.
.

1.2.1
1.2.2 Agency .
1.2.3
1.2.4

Playing with ﬁre . . .
Power .

.

.

.

.

.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
. .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.

2 Timelines

2.1 Three key properties

.

.

2.1.1 Advanced capabilities
2.1.2 Agentic planning . .
2.1.3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Strategic awareness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.

.
Is Power-Seeking AI an Existential Risk?