重大损失的责任与保险：核能先例及对人工智能的启示-计算机科学-资源分配-风险管理.pdf

重大损失的责任与保险：核能先例及对人工智能的启示

CristianTrout1

随着人工智能系统变得更加自主和强大，专家警告它们可能会造成灾难性的损失。借

鉴核电行业成功的先例，本文认为前沿AI模型的开发者应被分配有限、严格且独家

的第三方责任，以应对由关键人工智能事件（CAIOs）造成的损害——这些事件导致

或可能轻易导致灾难性损失。建议强制为CAIO责任购买保险，以克服开发者的判决

不可执行性，减轻胜者诅咒动态，并利用保险公司准监管能力。基于理论论点和类比

本的核电环境观察，预计保险公司将参与因果风险建模、监控、游说更严格的监管以及

译在对抗AI带来的重尾风险的保险中提供损失预防指导。虽然不能取代监管，但明确

中的责任分配和强制保险可以帮助高效地将资源分配给风险管理与安全设计，促进未

2来的监管工作。

v

3

7

61.背景

6

0

.随着生成式AI突然在社会上部署，与AI相关的事件急剧增加(OECD,2024)。许多专家担心更

9

0先进的AI可能会造成灾难性损失(Graceetal.,2024)。代理型AI无疑是最大的担忧(Carlsmith,

4

22022;Chanetal.,2023)，这种担忧的迹象可以在当今的生成大型语言模型中看到。

:

v

i除了Weil的(2024)讨论了存在性风险外，之前的关于人工智能责任制度的研究大多忽略了灾

x

r难性损失的可能性。本文旨在填补这一空白，重点关注虽然灾难性但仍然可保险的风险。我对

a

Weil作出回应，并将分析扩展到严格不可保的风险领域(Trout,2024)。

关于非灾难性损失的研究提供了一个有用的基线。有人认为，随着模型变得更加自主，应用雇

主责任原则，一种严格的代理责任形式是适当的(Lior,2019)。在弗莱特的非互惠伤害框架下

也推荐了严格责任：当各方制造“相对于受害方的风险创造活动而言不成比例且过高的风险”

时，应对其施加严格责任(2020,96)。有人建议，鉴于AI开发者（例如OpenAI）或制造商（例

如Tesla）能够更好地吸收或分散成本，他们应该是负有责任的一方(Vladeck,2014,146-147)。

在福利最大化分析中，研究人员发现开发商往往是成本最低的回避者(Buitenetal.,2021;2023;

1IndependentResearcher,CambridgeBostonAlignmentInitiative.Correspondenceto:CristianTrout

ctroutcsi@.

Acceptedtothe2WorkshoponGenerativeAIandLaw,atthe41InternationalConferenceonMachineLearning,

Vienna,Austria,2024.Copyright2024bytheauthor(s).

PriceIICohen,2023)。虽然运营商可以在减轻伤害方面发挥作用，但随着模型自主性的增加

或开发者与运营商之间的信息不对称性增加，这种作用会减少——这正是我们在这里关注的情

况。这表明应该赋予开发商更大的责任。关于更安全技术采用速度放缓或对创新可能的抑制效

应的担忧，缓和了这一建议，但学者们对此表示不确定(Buitenetal.,2023,6-7,9)(Malihaetal.,

2021)。严格的法律责任也常常因其更高的法律可预测性和降低诉讼而被推荐（例如(Vladeck,

2014,147)）。责任将创造新的进入壁垒，但学者们指出这个行业无论如何都会产生自然垄断

(Lior,2020;VipraKorinek,2023)；可以说通过更严格的规定和法律责任更好地维护了消费

者利益(NarechaniaSitaraman,2024)。

2.责任：严格、专属和有限

借鉴核电行业的先例，本文认为前沿基础模型的开发者应被赋予对“关键人工智能事件”

（CAIO）有限、严格且专属的第三方责任