作者：Jacky Liang
编译：DeFi 之道 Wendy
自 OpenAI 发布 ChatGPT 以来，现已曩昔几个月的时刻了。这个根据大型言语模型的谈天机器人不只让许多 AI 研讨员大开眼界，还让大众才智到了 AI 的力气。简而言之，ChatGPT 是一个能够响应人类指令的谈天机器人，能够完结从写文章、作诗到解说和调试代码的使命。该谈天机器人显示出令人形象深入的推理才能，其体现显着优于先前的言语模型。
在这篇文章中，我将从个人角度动身，聊聊 ChatGPT 对三类人的影响：分别是 AI 研讨员、技能开发人员和一般大众。在文章中，我将估测 ChatGPT 等技能的影响，并简单聊聊我以为或许发生的一些状况。这篇文章更倾向于发表个人观念，而不是根据实际的报告，所以对这些观念要持谨慎态度。那么，让咱们开端吧……
ChatGPT 之于 AI 研讨员
对我这个 AI 研讨员来说，从 ChatGPT 上学到的最重要的一课是：办理人类反馈关于进步大型言语模型 (LLM) 的功用十分重要。ChatGPT 改变了我，我猜也改变了许多研讨人员对大型言语模型 AI 对齐问题的看法，我具体解说一下。
图：LLM 的强化学习与人的反馈（RLHF）
在 ChatGPT 面世之前，我想当然地以为，当涉及到 LLM 时，咱们面对着两个不同的问题。1）进步 LLM 在某些根据言语的使命（如总结、问答、多过程推理）中的体现，一起 2）避免有害的/破坏性的/有偏见的文本生成。我以为这两个方针是相关但独立的，并将第二个问题称为对齐问题。我从 ChatGPT 中了解到，对齐和使命体现其实是同一个问题，将 LLM 的输出与人类的意图对齐，既能减少有害内容，也能进步使命体现。
为了更方便了解，这里给出一些背景信息：咱们能够将现代的 LLM 练习分为两个过程。
-
第一步：神经网络模型的自监督学习（SSL），在给定前一批单词（tokens）序列的状况下猜想下一个单词（token）——这是在一个十分大的、互联网规划的数据集上练习的。
-
第二步：经过各种技能使 LLM 的生成与人类的偏好保持一致，比如在高质量的指令遵循文本的小数据集上微调 LLM，并运用强化学习来微调 LLM 与猜想人类偏好的学习奖赏模型。
在 ChatGPT 身上，OpenAI 很或许运用了许多不同的技能，相互配合来产生终究的模型。别的，OpenAI 好像能够快速回应网上关于模型出错的投诉（例如产生有害的文本），有时甚至在几天内就能完结，所以他们也一定有办法修正/过滤模型的生成，而无需重新练习/微调模型。
ChatGPT 标志着强化学习（RL）的悄然回归。简而言之，有人类反馈的强化学习（RHLF）首先练习一个奖赏模型，猜想人类会给某一 LLM 生成内容打多高的分数，然后运用这个奖赏模型经过 RL 来改善 LLM。
我不会在这里过多地评论 RL，但 OpenAI 向来以其 RL 才能而出名，他们写的 OpenAI gym 启动了 RL 研讨，练习 RL 署理玩 DoTA，并以在数百万年的模拟数据上运用 RL 练习机器人玩魔方而出名。在 OpenAI 闭幕其机器人团队之后，RL 好像逐渐被 OpenAI 所忘记，由于它在生成模型方面的成果主要来自于自我监督学习。ChatGPT 的成功依赖于 RLHF，它使人们重新关注 RL 作为改善 LLM 的有用办法。
图：AI 专家猜想 ChatGPT 的运转本钱
ChatGPT 的到来还证明了一点：学术界开发大规划 AI 功用将越来越困难。尽管这个问题在整个深度学习年代都或许呈现，但 ChatGPT 使它变得愈加根深蒂固。不只练习根本的 GPT-3 模型对小型实验室来说遥不行及（GPT-3 和随后 OpenAI 在微软将 Azure 的悉数力气投入到它身上之后，树立了专门的服务器群和超级核算机才开端实在开展，这不是偶然），并且 ChatGPT 的数据搜集和 RL 微调管道或许对学术实验室造成过大的系统/工程担负。
将 ChatGPT 免费供给给大众，能够让 OpenAI 搜集更多名贵的练习数据，这些数据对其未来的 LLM 改善至关重要。这样一来，揭露托管 ChatGPT 实质上是 OpenAI 的大规划数据搜集作业，而这不是小型安排能够承担的。
开源和与 HuggingFace 和 Stability 等公司在学术上的大规划合作或许是学术界现在前进的办法，但这些安排总是比具有更大预算的小团队前进得慢。我估测，当涉及到最先进的言语模型时，开源通常会滞后于这些公司几个月到一年。
我以为学术界或许扳回一成的唯一办法是，是否有国家级的核算云专门用于学术 AI 研讨。这无疑将花费数十亿美元，需求专门的行政和工程人员。这并非毫无或许——它将相似于詹姆斯・韦伯太空望远镜和大型强子对撞机。在美国，一些人现已在呼吁树立国家 AI 云，进行 LLM 推理，但练习和微调 LLM 和其他根底模型的才能也同样重要。鉴于 AI 国家战略重要性，咱们或许会在不久的将来实在看到这个方向的开展。
一起，AI 研讨员并不总是要练习大模型才能产生大影响。我的看法是，与其争夺下一个最大最好的 LLM，较小的学术实验室能够专注于改善现有 LLM 的运用，剖析它们的优势和劣势，并运用有些公司以十分低的本钱托管这些十分强壮的 LLM 的实际。例如，能够运用 OpenAI 和其他公司的现有 LLM API 来进行 LLM 对齐的研讨，而不需求学术实验室从头开端练习这些模型。对强壮的 LLM 的低本钱和揭露的访问使得一整套揭露的研讨能够发现 LLM 的新才能和运用。
ChatGPT 之于技能从业者
关于那些在技能范畴作业和开发产品的人来说，ChatGPT 和相似的代码编写模型呈现出显著的一阶和二阶效应。关于程序员来说，运用根据 AI 的代码补全和 ChatGPT 风格的问答来学习编码和了解现有的代码库将成为软件工程作业中不行或缺的一部分。我估测，在未来的一年内，许多大学将开设核算机科学课程，教授在软件工程等运用中运用 AI 的最佳实践。
ChatGPT 和更强壮的 AI 代码辅佐将迫使软件工程师对其操作的笼统级别进行根本性的重新制定。大多数软件工程师不需求推理初级机器代码，由于咱们有十分强壮的编译器，能够将人类可读的代码（如 C++）转换为机器可读的代码。软件工程师能够学习这些编译器的内部作业原理，以及怎么编写最充分运用这些编译器特点和优势的代码，但他们自己不需求编写机器代码，也不需求编写自己的编译器。
编码 AI 很或许会成为新的“编译器”，将高档额人类指令转换为初级代码，但是在更高的笼统级别上。未来的软件工程师或许会编写高档文档、需求和伪代码，他们会要求 AI 编码员编写今日人们编写的中级代码。经过这种办法，我不以为软件工程师会被 AI 替代，而是被推到价值链的上游。未来，熟练掌握这项技能的软件工程师或许需求了解不同编码 AI 的优缺点，以及怎么针对特定的运用范畴最好地构建和修正 AI。
以上是一阶效应，ChatGPT 直接影响到技能从业者，特别是软件工程师的作业办法。对技能产品所能供给的东西的二阶影响或许会更深远。ChatGPT 和相似的 LLM 经过 1）释放全新的才能和 2）下降现有才能的本钱，使其忽然具有经济含义，从而使新产品成为或许。
图：机器人在自然言语中履行新使命
上述第一点的一个比如是，现在咱们能够经过简单地让 AI 编码员将言语指令翻译成调用该软件 API 的代码，为任何软件添加自然言语用户界面。以一种可信赖的和可泛化的办法来做这件事将需求许多的尽力，就像发布实在的产品一样，魔鬼就在细节中。尽管如此，这是一种彻头彻尾的新才能，我猜想自然言语软件 UI 会在一切的软件平台上迸发，尤其是在那些传统用户界面感到笨重和不方便的平台上（如移动设备、语音助手、VR/AR）。老实说，很难想象在 LLM 年代开发一款新运用而不包括一个根据言语的用户界面会怎么样。入门的门槛很低（只需求调用一个揭露的 LLM API），假如你不这样做，你的竞赛对手就会这样做，并且会供给更好的用户体会。
下降现有才能的本钱听起来不像解锁新才能那么有吸引力，但它同样重要。LLM 或许存在许多有远景的运用，但为这些下游使命微调 LLM 的本钱或许太高，不值得投资。有了 ChatGPT 和改善的指令盯梢，开发者或许不再需求搜集许多的数据集来进行微调，而只需求依靠 zero-shot 功用（零样本学习功用）。估计在许多处理文本输入的现有运用中，根据文本的分类、摘要和内联猜想功用将呈现许多的“小规划”LLM 布置。这些对用户体会的边沿改善在曾经或许投资报答比很低，但现在却忽然值得了。
低本钱也意味着在运用 LLM 和其他根底模型的业务上有许多唾手可得的成果，经过杰出的 UI/UX、现有软件产品内的集成以及有用的进入市场和货币化战略为顾客发明价值。Lensa 是一个能满意一切这些条件的比如。LLM 布置的这些更实际的方面往往会逾越底层模型的绝对功用，成功的草创公司总是能够将旧的 LLM 与新的改善版别交换。这也意味着，那些运用 LLM 的人不应该把他们的技能栈与特定 LLM 的特性绑得太紧。LLM 的快速改善周期，加上可揭露访问的 API，以及要害的商业差异化要素不是模型自身，这或许意味着 LLMs 将被商品化。
未来将有两种类型的科技公司能够持续向前开展——能够担负得起练习和运转自己的根底模型的公司，以及担负不起的公司，后者需求向前者付出根底模型税。这听起来很有戏剧性，但它与咱们今日的状况没有什么不同，技能公司要么托管自己的服务器，要么向 AWS/Azure/GCP 交税。AI 云业务将是未来云平台的一个要害战场，并将给竞赛对手供给逾越现有企业的时机。例如，凭借微软的经历和与 OpenAI 的结合，Azure 很有或许凭借其 AI 云产品逾越其他公司（微软现已在 Azure 上发布了 OpenAI 的模型，远远领先于其竞赛对手亚马逊和谷歌）。
图：GPU 功用的增长速度远远快于 CPU 功用
终究，从一个更具估测性的角度来看，根据深度学习的根底模型或许会让咱们在适当长一段时刻内避免摩尔定律放缓带来的负面后果。跟着这些模型的才能越来越强，它们将接收越来越多由传统软件完结的使命，这意味着越来越多的软件将能够经过只是优化神经网络的功用而得到优化。神经网络在 GPU 和特定运用的芯片上运转，其功用的进步并没有看到传统 CPU 改善的显着减速，这大致能够在摩尔定律的减速中体现出来。咱们真的很走运，有一个单一的神经网络架构，即 Transformer（由 ChatGPT 和其他根底模型运用），它能够代表通用核算，并经过练习，能够很好地履行这么多不同的使命。咱们还没有挨近优化 Transformer 功用的终点，所以我期望跟着 LLM 变得愈加强壮并替代更复杂的传统软件堆栈，核算时机变得更快。
ChatGPT 之于大众
视频：耶鲁大学评 ChatGPT，更多是资源，而并非学习的替代品
ChatGPT 是许多一般大众能够直接与之互动的第一项 AI 技能。当然，在 ChatGPT 之前，有 Siri 和 Alexa，并且深度学习运用在许多商业运用中现已无处不在了。不同的是，曾经布置的 AI 技能往往都在后台作业，经过传统软件和有限的用户界面层层 "过滤"。大众经过 ChatGPT 对 AI 有了更直接的体会，用户能够直接向 LLM 输入，并直接看到它的输出（OpenAI 确实过滤了有害的内容，并运用自己的提示修正了用户的输入，所以它没有直接与底层模型互动，但也满足挨近）。ChatGPT 也显着比曾经的谈天机器人更强壮。再加上该服务现在一直是免费的，这些要素将 ChatGPT 面向了主流世界的评论热潮。
相对曾经，这种和 AI 的密切触摸让大众对 AI 的新奇和炒作有了更实在的体会。我能够想象，忽然之间，关于那些不熟悉 LLM 作业原理的人来说，谈天机器人或许具有意识的说法听起来并不太牵强。这也反映出了一个问题，当涉及到 AI 的问题时，科学传达的缺失——我以为 AI 界在向大众宣扬和普及 AI 怎么作业、能做什么、不能做什么，以及怎么负责任地运用 AI 技能方面做的十分差。见鬼，咱们甚至都不能确定技能从业者了解 LLM 的根本知识，更不用说一般民众了，他们才是受这项技能影响的终端用户。在接下来的几年里，假如持续不对 AI 进行教育和交流，或许会面对灾难性的后果，由于相似 ChatGPT 的模型会在没有适当预防措施的状况下进入要害使命的运用。
或者，从某种含义上说，让人们了解一项新技能的最好办法或许是让大众揭露地实验这项技能及其运用，体会它的失败，并重复辩论和改善一些盛行的观念。这一波根底模型的可用性，尤其是 ChatGPT 创始的免费运用的先例，能够让大众经过亲身体会更了解 AI，反过来引发更正确的了解和评论。
DALL-E 2 是第一个实在优异的文本到图像生成模型，发布只是几个月后，咱们就现已看到了来自公司和社区的一系列不同的政策反应，试图习惯这种新的实际，从彻底制止 AI 艺术到纳入 AI 艺术图片的出售。关于 ChatGPT，一些学术会议制止它的运用（以及一些学校），而也有学者则将其列为合著者。环绕生成式 AI 也有不少正在进行的诉讼。现在还不清楚运用这些模型的法令和品德办法是什么，但很显着，这些环绕 AI 运用政策的小规划实验关于大众弄清楚这些事真的很重要。我个人以为这是一个很好的方向，由于我信任公共政策应该由大众评论决定，而不是由任何一个托管这些模型的特定科技公司不清不楚的委员会决定。
图：新技能的选用需求时刻，尽管跟着时刻的推移，选用速度越来越快
关于 ChatGPT 和相似根底模型的运用的终究一个想法——技能布置总是比技能创新需求更长的时刻（尽管选用速度正在加快），尽管人们能够在一个周末的时刻树立令人形象深入的 LLM 演示，但仍然需求许多的作业和试错来树立牢靠、可扩展的产品，为顾客带来价值。在科技范畴，咱们或许会在 2023 年看到生成式 AI 运用的海啸，但我估计这些运用在大众中的传达速度会慢得多。有许多要素会减缓大规划生成式 AI 的选用——现有系统和产品的惯性，对 AI 替代人类的认知的文化妨碍，运转 AI 的本钱在许多运用中或许没有含义，LLM 输出的不行靠性和可信度，以及扩展 LLM 核算根底设施以实时服务数十亿次的查询。这些挑战都不会在一夜之间，甚至在几个月内被克服。但它们终究会被克服，而 5 年后的世界将看起来十分不同。
未来怎么？
假如说在曩昔 10 年的深度学习中咱们学到了什么，那就是真的很难对 AI 做出精确的猜想，包括它的开展和布置。但是，我能够自傲地说，ChatGPT 只是未来的一个小预告。关于根底模型的未来，我在两个方向上看到了有远景的进展，我以为在今年或明年会有突破性进展：1）实在多模态的 ChatGPT 级根底模型（如文本、音频、图像、3 D、动作、视频、文件），以及 2）被规划用于在环境中采取行动的根底模型。
图：与其练习了解视觉和文本的独立模型（左），较新的模型能够直接了解图片中呈现的文本（右）
关于 1），想象一个相似 ChatGPT 的界面，但你不只能够上传文本，还能够上传音频、图像、视频、3 D 模型以及其他结构化文件，并让它 "了解"、剖析、处理和生成这些内容。这样的技能现在现已存在，将一切这些形式整合到一个模型中好像很简单。
关于 2），在不久的将来，具有一个根底模型，能够经过键盘和鼠标与核算机进行牢靠的互动，以履行人类今日的许多日常使命，好像是合理的。有一些依据标明这是可行的，从瞄准机器人过程自动化的草创公司到试图练习 AI 署理完结 Minecraft（游戏：我的世界）中的开放式方针的研讨人员。为物理机器人而不是虚拟署理开发这种面向动作的根底模型将愈加困难，但进展现已在进行中。
图：一种言语模型，能够将自然言语指令转换为与 Web 端浏览器交互的动作
关于商业化，一方面，科技巨子有才能运用他们庞大的核算资源来练习实在强壮的模型。但另一方面，公共/开源模型也将变得十分盛行/易于运用，所以我不确定具有自己的模型对许多运用来说是一个很大的优势。如前所述，根底模型很或许会被商品化。因此，关于现已具有设备/操作系统的大型科技公司来说，开发适合 LLM 的平台，答应其他人运用根底模型，并在上面树立新的运用，而不是直接与其竞赛树立这些运用（想象一下，一个专门为多形式或面向行动的根底模型定制的移动/AR/VR/桌面/网络操作系统），这么做才是合理的。
终究，展望未来，咱们或许会在未来 5 年内离别 "从互联网上获取免费数据" 的准则，它实在推动了最近根底模型的进展。尽管定制数据总是需求用于特定范畴的微调/校准（经过传统的监督学习或 RLHF），但用大规划的 "免费" 数据预练习强壮的模型无疑导致了 GPT 和相似模型的成功。看社区怎么逾越只是搜刮现有的数字数据来进步根底模型的功用，这将是很风趣的。能够必定的是，咱们仍然会经过更好的练习和对齐技能来改善模型，但大规划自我监督学习的下一个前沿是什么？下一个 10 万亿或 100 万亿的数据点从何而来？我很想知道。
