详情

DeepMind 近两万引科学家Felix Hill，圆寂了。

他参与过 NLP 界限经典的 GLUE 和 SuperGLUE 基准，2016 年起在 DeepMind 责任直到临了一天。

在他圆寂的前几个月，留住一篇盘算推算"在当代 AI 界限责任的压力"的著作《2000 亿权重的职守》，引起热议。

著作中提到他因家东谈主圆寂、压力等原因患上急性神经病，经历了 6 个月危及生命的抑郁症之后，嗅觉初始在好转了，从头还原写著作。

他把我方的经历，以及对昔日两年 AI 界限的烦死共享出来，但愿能够匡助到一样正在罗致晦气的东谈主。

Felix Hill 圆寂的音信由他的好友、纽约大学教学Kyunghyun Cho带来。

Kyunghyun Cho 暗示 12 月 9 日就写好了这篇悼文，但迟迟不敢发布，因为不想也不敢信托所发生的事。现在光是猜度这件事，心仍然很痛。

不管是与他协作过，如故仅有一面之缘，又或是只读过他著作、听过他学术演讲的学者纷纷暗示，这个音信令东谈主心碎。

他留住盘算推算 AI 责任压力的著作，再次引起许多东谈主共识。

Felix Hill 其东谈主

Felix Hill 不是管事生计一初始就投入 AI 行业的。

2006 年，他在牛津大学数学专科毕业后作念过几年数学素养。2016 年在剑桥大学取得商酌言语学博士学位。

这工夫他死力于于教诲，除了在高中教数学除外，也参加过非盈利组织，以及我方创办教诲企业。

2016 年加入 DeepMind 后一直责任了近 9 年。

除了洽商除外，Felix Hill 时常共享我方的想考，他会从言语学的角度分析 Transformer。

他留住的最新一篇学术著作，是探讨 Transformer 中归纳偏置的作用，与 Sutton 的《苦涩的训导》相对，冷漠《苦乐各半的训导》。

Felix Hill 认为，言语中局部依赖远比长距离依赖更为常见，依存句法分析器隔断显现言语中依存关系踱步严重偏向短距离。

但奇怪的是，RNN 有暗示局部依赖的归纳偏置，而 Transformer 在依赖长度上无偏好却在许多任务中确认更优。

他提议八成东谈主们应该住手想象反应数据最常见模式的归纳偏置，一个好的通用模子很容易学到这些风光。

但只有商酌、限度和数据有限，特定界限的偏置仍有必要想象，Transformer 的自闪耀力是一种有用的归纳偏置。

此外，他 10 年前第一次战争 RNN 时，在一次演讲中冷漠果敢的不雅点"语法不存在了"，以及神经鸠集言语模子给言语学带来的其他令东谈主忌惮的论断。

其时这个不雅点在学术界引起了一些争议，现在却时常被东谈主试吃。

临了附上 Felix Hill 探讨 AI 洽商责任压力的著作整理翻译。

2000 亿权重的职守

东谈主工智能界限在昔日两年中发生了不可逆转的变化。

ChatGPT 的月活跃用户接近 2 亿。Gemini 在 2024 年 5 月探访量接近 3.2 亿次，AI 爱好者现在不错享受 AI 微波炉、AI 牙刷以致 AI 足球。

关联词，对于许多从事东谈主工智能责任的东谈主来说，这种公众兴味的激增既是福亦然祸。天然，薪资、股价和市值皆上升了。另一方面，这种变化也带来了一组私有的压力。

这篇博客是对于当代东谈主工智能的压力，它面向那些责任与东谈主工智能关系的东谈主（保守臆想现在约占全国东谈主口的 87%），尤其是那些从事东谈主工智能洽商的东谈主。

最终，我但愿盘算推算是什么让 AI 洽商变得有压力，能让那些有幸从事这一界限责任的咱们生活愈加惬心。因为，尽管咫尺浩大，它仍然是一项好意思好、充实的管事；一项有后劲科罚科学、形而上学乃至东谈主类自身许多紧要问题的管事。

无法脱逃

几个月前，我在一个一又友的 40 岁诞辰约会上。咱们关系很好，是以我相识大部分宾客，有些还相等老练。但并不是统共东谈主皆相识。

在那些我最不老练的东谈主中，我闪耀到了一个奇特的风光。

尽管我体格不适（稍后胪陈），判辨也不肯意交谈，但围绕我变成了一个小戎行。只是因为东谈主们知谈我在 DeepMind 责任，是以想要和我交谈。

而且聊的并非对于足球或 80 年代音乐等事物。这些东谈主想要议论的是我尽量幸免想考的一件事：东谈主工智能。

诚然许多东谈主对我的责任感兴味让我感到荣幸，但也让我意志到昔日两年发生了多大的变化。银群众、讼师、医师和治理照看人皆想要了解我对 ChatGPT 的看法；尽管很少有东谈主宣称径直在我方的责任中使用这么的大模子，但他们肯定东谈主工智能界限正在发生一些他们应该了解的事情。

当作又名洽商东谈主员，我肯定您能连结在外交步地无法减轻的嗅觉。

但情况更糟。即使在自家的范围内，我也并不安全。

我仍是很久不再看新闻，发怵激发惊悸。但即使在看足球、VH1 电视频谈、优秀电视剧改编，告白中也充满了对东谈主工智能的说起。

在这个时候，我时常想打理行李，穿越大陆，加入一个寥寂的小团体。尽管在这个阶段，即使内不雅禅修在某种进度上被 AI 渗入，我也不会感到讶异。

隐含竞争

几家大型公司似乎在竞争开垦最大、最佳的大型言语模子，这一事实自己就有内在的压力；不管你为谁责任。

咫尺从事东谈主工智能洽商可能会嗅觉像是在参与一场干戈，尽人皆知，干戈可能导致严重的后果，包括精神芜杂、离异和自戕。

天然，这并不是将参与东谈主工智能洽商等同于"字面上的干戈"中的体格战斗。但根据我我方的阅历，这种相似性是真确的，尽管有些微细。

关注底线

世俗，工业界的洽商东谈主员不民风他们的责任径直且立即影响老板的财务景况。

天然，许多洽商东谈主员皆会欲望有契机产生这么的影响。只是之前这就像是十年一遇的事情。

在大多数情况下，今天对大模子的基础洽商隔断是小的，可能是模子性能的短期波动。关联词，由于公众估值与大模子的确认缜密相连，这些波动反过来可能导致股价出现数十亿好意思元的波动。

这种动态天然相等弥留，这不是 AI 洽商东谈主员在洽商生院、博士后工夫，以致 2022 年之前责任中准备好的事情。

钱、钱、钱

大多数东谈主工智能洽商东谈主员，尤其是咱们这些年事稍大的东谈主，并莫得为了赢利而投入洽商界限。

为兴趣的责任赚取深广钞票听起来像是一种全能药，但它也可能激发利害的惊悸。尤其是要是鼓舞你收入加多的外部成分不在你的限度范围内，或者有让你不再像以前那样兴趣责任的效果。

不管 AI 是否与此关联，皆有充分的字据标明一刹蕴蓄财富可能会导致多样问题；只需望望那些经过多年用功终于取得得胜的演员或歌手。上瘾、冲破的关系、幻灭的友谊以致自戕只是其中一些更常见的症状。这些天然是我能够不教而诛的症状。

莫得科学家的位置

限度、爽快性和大模子的有用性使得进行关系"科学"洽商变得贫窭，即在道理上它立即使大模子变得更好。

越过的洽商员们仍是宣扬了 Rich Sutton 的《苦涩的训导》；事实是，在限度除外简直不需要任何调动。

即使表面上可能隔断内容性调动（这天然可能），隔断它世俗需要在大要 1001 个条目下进行反复磨砺。这以致不是最大的公司皆能承担得起的。对于一个"只是"是洽商科学家的东谈主来说，这可能嗅觉是无法科罚的晦气。

这些条目对于民风于在小团队（5-10 东谈主）中责任的工业科学家来说很贫窭。但对于学术界的东谈主来说，这些条目无疑愈加严峻：博士生、博士后以及 AI/CS/ML 界限的素养。

发表

尽管学术界的东谈主士不错（而且应该）不绝发表从实验大模子中取得的看法，但对于工业界的科学家来说，是否发表的问题并不那么明确。

发表一直是科学流程的一个内在构成部分，而且恒久是东谈主工智能洽商的一个中枢原则。我与大多数东谈主工智能洽商东谈主员交谈过，尤其是洽商科学家，他们皆喜悦我的不雅点，认为发表是咱们管事生计的一个要津方面。

关联词，在工业界至少，昔日两年里，对于发表洽商恶果是否可行的问题变得越来越不解确。能够改善大模子的小手段在大模子的竞争中可能成为至关要紧的兵器。是否将这些躲闪公之世人对资助洽商组织的利益老是个复杂的问题。

这统共的一切意味着洽商东谈主员时时对我方的目的的庆幸没有益志，至少在我个东谈主的情况下，这可能导致浩大的压力。

初创企业

天然，一种可能的解脱这些担忧的才智是制定一个科学愿景，筹集一些资金并缔造一家初创公司。事实上，咫尺 AI 初创公司（不管大小）的激增显现了有些许科学家选择了这条谈路。

但成为首创东谈主并不可保证幸免与压力关系的问题。事实上，这尽人皆知是压力很大的；即使在现时投资者的讲理水平下，许多资金宽裕的 AI 初创公司也失败了。我从我方的经历中知谈，成为首创东谈主是一条额外孤独的旅程。毫无疑问，对于有抱负的科学家来说，这是一个可行的选择，但这并不是一个能让科学洽商变得容易的选择，也不是一个能减轻压力的选择。

为什么我选择写对于压力的博客？

昔日两年，东谈主工智能界限浩大而猖狂，但对我来说，这亦然一段额外悠扬的时代。

2023 年 4 月，我的母亲在与阿尔茨海默病耐久斗争后圆寂。其时我因急性精神芜杂正在神经医院接受调养，压力可能是要紧成分。

接下来的 12 个月里，表面上我在还原，但实践上处于极端惊悸和自戕抑郁的状态。在这段时辰里，我很荣幸有连结我的情况（以及我对公司的价值）的老板，他们提供了握续的调养和精神提拔。

经过 6 个月的危及生命的抑郁症之后，我初始嗅觉好转，最近能够写对于我的经历。我了解到压力和惊悸是相得益彰的；实践上，它们最终可能是归拢件事。天然，像任何符合性特征一样，惊悸也可能带来克己（举例，栽种坐褥力），但当惊悸变得恶性时，后果可能相等严重。

在反想昔日两年的东谈主工智能界限，同期尝试从头学习怎样成为又名东谈主工智能洽商者时，我取得了在这篇博客等共享的看法。天然，共享这些看法并不可科罚一般性的问题，但在我最昏黑的时刻，让我感到但愿的少数事情之一是知谈我并不寥寂。要是你现在正在遇到晦气，请信托我——你并不寥寂。

外交惊悸

我仍是涵盖了咫尺可能困扰那些从事东谈主工智能洽商的东谈主们的许多压力或惊悸的催化剂。但有一种压力我尚未说起，因为我很荣幸从未躬行经历过。违抗，我是通过与一又友和共事的亲密交谈了解到的。

这种压力花样是社会惊悸。

根据一又友的说法，那些外交惊悸的东谈主以为群体互动很贫窭。在现在东谈主工智能界限，大型名堂团队和大限度（世俗是跨大陆）的协作是必不可少的，这愈加贫窭。咫尺行业的高流动率只会使情况变得更糟，因为那些世俗当作外交"安全网"的既定团队可能会在整宿之间被粉碎。流动率还可能导致信任问题，因为之前可靠的盟友可能会离开去加入"恼恨"的洽商团队。

好音信是，外交惊悸，就像我迄今为止盘算推算的统共惊悸或压力的确认一样，是不错克服的。这个流程始于培养家庭和"非 AI "一又友等天然提拔鸠集。但对于咱们统共在 AI 界限责任的东谈主来说，一个要津的第二步是初始并握续进行对于压力的坦诚对话。

是以请共享您的个东谈主经历，发文或驳倒，让咱们望望能否让 AI 洽商不仅成为一个充满活力和才略挑战的场合，而且如故一个充满怜悯和慈祥的场合。

参考连结：

[ 1 ] https://docs.google.com/document/u/0/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/

[ 2 ] https://kyunghyuncho.me/bye-felix/开yun体育网