所以你已经听过这些人工智能术语并且点点头；让我们解决这个问题

人工智能正在改变世界，同时发明了一种全新的语言来描述它是如何做到这一点的。花五分钟阅读有关人工智能的内容，你会遇到LLM、RAG、RLHF以及其他十几个术语，这些术语甚至会让科技界非常聪明的人感到不安全。这个术语表是我们解决这个问题的尝试。随着该领域的发展，我们会定期更新它，因此可以将其视为一个动态文档，就像它描述的人工智能系统一样。

通用人工智能（AGI）是一个模糊的术语。但它通常指的是在许多（如果不是大多数）任务上比普通人类更有能力的人工智能。 OpenAICEOSam Altman曾将AGI描述为“相当于你可以雇佣为同事的中等人”。与此同时，OpenAI的章程将AGI定义为“在最具经济价值的工作中超越人类的高度自治系统”。 GoogleDeepMind的理解与这两个定义略有不同；该实验室将AGI视为“在大多数认知任务上至少与人类一样有能力的人工智能”。使困惑？不用担心——人工智能研究前沿的专家也是如此。

人工智能代理是指一种工具，它使用人工智能技术代表您执行一系列任务（超出了更基本的人工智能聊天机器人可以做的范围），例如报销费用、订票或餐厅餐桌，甚至编写和维护代码。然而，正如我们之前解释的，这个新兴领域有很多变化的部分，因此“人工智能代理”对不同的人来说可能意味着不同的东西。基础设施仍在建设中，以实现其设想的功能。但基本概念意味着一个自治系统可以利用多个人工智能系统来执行多步骤任务。

将API端点视为软件背面的“按钮”，其他程序可以按下该按钮来使其执行操作。开发人员使用这些接口来构建集成，例如，允许一个应用程序从另一个应用程序提取数据，或者使人工智能代理能够直接控制第三方服务，而无需人工手动操作每个接口。大多数智能家居设备和连接平台都具有这些隐藏按钮，即使普通用户从未看到或与之交互。随着人工智能代理的能力不断增强，它们越来越能够自行查找和使用这些端点，从而为自动化开辟了强大的（有时是意想不到的）可能性。

思想链

给出一个简单的问题，人脑甚至不需要太多思考就可以回答——比如“哪种动物更高，长颈鹿还是猫？”但在许多情况下，您通常需要笔和纸才能得出正确的答案，因为存在中间步骤。例如，如果一个农民养了鸡和牛，它们总共有40个头和120条腿，您可能需要写下一个简单的方程式来得出答案（20只鸡和20头牛）。

在人工智能背景下，大型语言模型的思想链推理意味着将问题分解为更小的中间步骤，以提高最终结果的质量。通常需要更长的时间才能得到答案，但答案更有可能是正确的，尤其是在逻辑或编码上下文中。推理模型是从传统的大型语言模型发展而来，并通过强化学习针对思想链思维进行了优化。

（参见：大语言模型）

这是一个比“人工智能代理”更具体的概念，“人工智能代理”是指一个可以自行采取行动、一步一步完成目标的程序。编码代理是应用于软件开发的专用版本。编码代理不是简单地建议代码供人检查和粘贴，而是可以自主编写、测试和调试代码，处理通常会占用开发人员一天时间的迭代、试错工作。这些代理可以跨整个代码库运行，发现错误、运行测试并在最少的人工监督下推送修复。可以把它想象成雇用一个非常快的实习生，他从不睡觉，从不失去注意力——尽管与任何实习生一样，人类仍然需要审查工作。

虽然计算是一个多价术语，但它通常指的是允许人工智能模型运行的重要计算能力。这种类型的处理推动了人工智能行业的发展，使其能够训练和部署强大的模型。该术语通常是提供计算能力的硬件类型的简写，例如GPU、CPU、TPU以及构成现代人工智能行业基石的其他形式的基础设施。

自我改进机器学习的一个子集，其中人工智能算法采用多层人工神经网络 (ANN) 结构设计。与更简单的基于机器学习的系统（例如线性模型或决策树）相比，这使它们能够建立更复杂的关联。深度学习算法的结构从人脑神经元的互连通路中汲取灵感。

深度学习人工智能模型能够识别数据本身的重要特征，而不需要人类工程师来定义这些特征。该结构还支持可以从错误中学习的算法，并通过重复和调整的过程来改进自己的输出。然而，深度学习系统需要大量数据点才能产生良好的结果（数百万或更多）。与更简单的机器学习算法相比，它们通常需要更长的时间来训练——因此开发成本往往更高。

（参见：神经网络）

扩散是许多艺术、音乐和文本生成人工智能模型的核心技术。受物理学的启发，扩散系统通过添加噪声慢慢“破坏”数据结构（例如照片、歌曲等），直到什么都没有留下。在物理学中，扩散是自发且不可逆的——扩散到咖啡中的糖无法恢复成立方体形式。但人工智能中的扩散系统旨在学习一种“反向扩散”过程来恢复被破坏的数据，从而获得从噪声中恢复数据的能力。

蒸馏是一种用于通过“师生”模型从大型人工智能模型中提取知识的技术。开发人员向教师模型发送请求并记录输出。有时会将答案与数据集进行比较，以了解它们的准确性。然后，这些输出用于训练学生模型，该模型经过训练以近似教师的行为。

蒸馏可用于在较大模型的基础上以最小的蒸馏损失创建更小、更高效的模型。这很可能就是OpenAI开发GPT-4 Turbo的方式，它是GPT-4的更快版本。

虽然所有人工智能公司内部都使用蒸馏，但一些人工智能公司也可能使用它来追赶前沿模型。从竞争对手那里提取的内容通常会违反AI API和聊天助手的服务条款。

这是指对人工智能模型进行进一步训练，以优化比之前训练重点更具体的任务或领域的性能——通常是通过输入新的、专门的（即面向任务的）数据。

许多人工智能初创公司正在以大型语言模型作为构建商业产品的起点，但也正在竞相通过据自己的特定领域知识和专业知识进行微调来补充早期的训练周期，以提高目标部门或任务的实用性。

（参见：大语言模型[LLM]）

GAN（生成对抗网络）是一种机器学习框架，它支持生成式人工智能在生成真实数据方面的一些重要发展——包括（但不仅限于）深度造假工具。 GAN涉及使用一对神经网络，其中一个利用其训练数据生成输出，并将其传递给另一个模型进行评估。

这两种模型本质上都是为了试图超越对方而设计的。生成器试图使其输出通过鉴别器，而鉴别器则致力于发现人工生成的数据。这种结构化的竞赛可以优化人工智能输出，使其更加真实，而无需额外的人工干预。尽管GAN最适合较窄的应用（例如生成逼真的照片或视频），而不是通用人工智能。

幻觉是人工智能行业对人工智能模型捏造事实的首选术语——字面意思是生成不正确的信息。显然，这对于人工智能质量来说是一个巨大的问题。

幻觉产生的GenAI输出可能会产生误导，甚至可能导致现实生活中的风险——带来潜在的危险后果（想想返回有害医疗建议的健康查询）。

人工智能伪造信息的问题被认为是由于训练数据的差距而产生的。幻觉正在推动日益专业化和/或垂直的人工智能模型的发展——即需要更窄专业知识的特定领域人工智能——作为减少知识差距的可能性和缩小虚假信息风险的一种方式。

推理是运行人工智能模型的过程。它设置了一个宽松的模型，可以据之前看到的数据进行预测或得出结论。需要明确的是，如果没有训练，推理就不可能发生。模型必须先学习一组数据中的模式，然后才能有效地从训练数据中进行推断。

许多类型的硬件都可以执行推理，从智能手机处理器到强大的GPU，再到定制设计的人工智能加速器。但并非所有人都能同样出色地运行模型。非常大的模型需要很长时间才能对笔记本电脑和带有高端人工智能芯片的云服务器进行预测。

大语言模型（LLM）

大语言模型（LLM）是主流的AI助手使用的AI模型，例如ChatGPT、Claude、Google的Gemini、Meta的AI Llama、Microsoft Copilot，或Mistral的Le Chat。当您与人工智能助手聊天时，您会与一个大型语言模型进行交互，该模型会直接处理您的请求，或者在不同的可用工具（例如网页浏览或代码解释器）的帮助下处理您的请求。

LLM是由数十亿个数字参数（或权重，见下文）组成的深度神经网络，用于学习单词和短语之间的关系并创建语言的表示，即一种单词的多维映射。

这些模型是通过对在数十亿本书、文章和文字记录中发现的模式进行编码而创建的。当您提示LLM时，模型会生成最有可能符合提示的模式。

（参见：神经网络）

内存缓存是一个促进推理的重要过程（人工智能生成对用户查询的响应的过程）。本质上，缓存是一种优化技术，旨在使推理更加高效。人工智能显然是由高强度的数学计算驱动的，每次进行这些计算都会消耗更多的能量。缓存旨在通过保存未来用户查询和操作的特定计算来减少模型可能必须运行的计算数量。内存缓存有多种类型，其中最知名的是KV（或键值）缓存。 KV缓存在基于变压器的模型中工作，通过减少生成用户问题答案所需的时间（和算法劳动）来提高效率，从而更快地获得结果。

神经网络是指支撑深度学习的多层算法结构，更广泛地说，是指大型语言模型出现后生成式人工智能工具的整体繁荣。

尽管从人脑紧密相连的通路中获取灵感作为数据处理算法的设计结构的想法可以追溯到20世纪40年代，但直到最近图形处理硬件 (GPU) 的兴起（通过视频游戏行业）才真正释放了这一理论的力量。事实证明，这些芯片非常适合训练比早期时代更多层的算法，使基于神经网络的人工智能系统能够在许多领域实现更好的性能，包括语音识别、自主导航和药物发现。

（参见：大语言模型[LLM]）

开源指的是软件——或者越来越多地指人工智能模型——其中底层代码公开供任何人使用、检查或修改。在人工智能领域，Meta的Llama模型系列就是一个突出的例子； Linux是操作系统中著名的历史对照。开源方法允许世界各地的研究人员、开发人员和公司在彼此的工作之上进行构建，加速进展并实现封闭系统无法轻松提供的独立安全审核。闭源意味着代码是私有的——你可以使用该产品，但看不到它是如何工作的，就像OpenAI的GPT模型一样——这一区别已成为人工智能行业的决定性争论之一。

并行化意味着同时做很多事情，而不是一件接着一件——比如让10名员工同时处理项目的不同部分，而不是由一名员工按顺序做所有事情。在人工智能中，并行化是训练和推理的基础：现代GPU专门设计用于并行执行数千个计算，这是它们成为行业硬件支柱的一个重要原因。随着人工智能系统变得越来越复杂，模型变得越来越大，跨多个芯片和许多机器并行工作的能力已成为决定模型构建和部署速度和成本效益的最重要因素之一。对更好的并行化策略的研究现在本身就是一个研究领域。

RAMgeddon是一个有趣的新术语，指的是一种席卷科技行业的不那么有趣的趋势：随机存取存储器或RAM芯片的日益短缺，而我们日常生活中使用的几乎所有科技产品都由它驱动。随着人工智能行业的蓬勃发展，最大的科技公司和人工智能实验室——都在争夺最强大、最高效的人工智能——正在购买大量的内存来为他们的数据中心供电，以至于我们其他人已经没有多少内存了。供应瓶颈意味着剩下的东西变得越来越贵。

这包括游戏（大公司不得不提高游戏机价格，因为很难找到适合其设备的内存芯片）、消费电子产品（内存短缺可能导致智能手机出货量出现十多年来最大的下降）和一般企业计算（因为这些公司无法为自己的数据中心获得足够的RAM）等行业。预计价格上涨只会在可怕的短缺结束后才会停止，但不幸的是，并没有太多迹象表明这种情况会很快发生。

递归自我完善

与AGI一样，递归自我改进是人工智能能够变得多么聪明以及它对人类的依赖程度的一个门槛。在RSI场景中，人工智能模型在无需人工干预的情况下开始自我改进，从而导致能力和自主性的巨大加速。在某些说法中，这将是一个类似于奇点的灾难性时刻，人工智能模型将不受外部干预的影响。但RSI还描述了一种基本能力——人工智能模型可以设计自己的后继者吗？ ——这使得工程师更容易尝试构建它。最近的一些人工智能初创公司已经着手构建递归自我改进模型，但大多数人忽视了世界末日的影响，将RSI视为下一个研究前沿。

强化学习

强化学习是一种训练人工智能的方法，系统通过尝试事物并获得正确答案的奖励来学习——就像用零食训练你心爱的宠物一样，只不过这种情况下的“宠物”是一个神经网络，而“零食”是一个表明成功的数学信号。与监督学习不同，监督学习是在固定的标记示例数据集上训练模型，强化学习让模型探索其环境，采取行动，并据收到的反馈不断更新其行为。事实证明，这种方法对于训练人工智能玩游戏、控制机器人以及最近提高大型语言模型的推理能力特别有效。据人类反馈进行强化学习（RLHF）等技术现在是领先的人工智能实验室如何微调其模型以使其更加有用、准确和安全的核心。

当谈到人机通信时，存在一些明显的挑战——人们使用人类语言进行交流，而人工智能程序则通过数据通知的复杂算法过程执行任务。代币弥补了这一差距：它们是人类与人工智能通信的基本构建块，代表了法学硕士处理或生成的离散数据片段。它们是通过称为标记化的过程创建的，该过程将原始文本分解为语言模型可以消化的小单元，类似于编译器将人类语言翻译为计算机可以理解的二进制代码的方式。在企业环境中，代币还决定成本——大多数人工智能公司按每个代币收取LLM使用费用，这意味着企业使用的越多，支付的费用就越多。

令牌吞吐量

再说一遍，标记是一小段文本——通常是单词的一部分，而不是整个单词——人工智能语言模型在处理语言之前将其分解成语言；为了理解人工智能工作负载，它们大致类似于“单词”。吞吐量是指在给定时间内可以处理多少数据，因此令牌吞吐量本质上是衡量系统一次可以处理多少人工智能工作的指标。高令牌吞吐量是人工智能基础设施团队的一个关键目标，因为它决定了模型可以同时服务的用户数量以及每个用户接收响应的速度。人工智能研究员安德烈·卡帕蒂（Andrej Karpathy）描述了当他的人工智能订阅闲置时感到焦虑——这与他作为研究生时昂贵的计算机硬件没有得到充分利用时的感觉相呼应——这种情绪解释了为什么最大化代币吞吐量已成为该领域的一种痴迷。

开发机器学习人工智能涉及一个称为训练的过程。简单来说，这是指输入数据以便模型可以从模式中学习并生成有用的输出。从本质上讲，这是系统响应数据特征的过程，使其能够据所寻求的目标调整输出——无论是识别猫的图像还是按需生成俳句。

培训可能很昂贵，因为它需要大量的输入，而且所需的数量一直呈上升趋势——这就是为什么混合方法（例如使用目标数据微调基于规则的人工智能）可以帮助管理成本，而无需完全从头开始。

迁移学习

一种技术，其中先前训练的人工智能模型被用作为不同但通常相关的任务开发新模型的起点 - 允许重新应用在先前训练周期中获得的知识。

迁移学习可以通过缩短模型开发来提高效率。当正在开发模型的任务的数据有些有限时，它也可能很有用。但值得注意的是，该方法有其局限性。依赖迁移学习来获得通用能力的模型可能需要对额外数据进行训练，以便在其关注领域表现良好

（参见：微调）

验证损失是一个数字，可以告诉您人工智能模型在训练过程中的学习效果如何，并且越低越好。研究人员将其作为一种实时成绩单进行密切跟踪，用它来决定何时停止训练、何时调整超参数或是否调查潜在问题。它帮助标记的关键问题之一是过度拟合，在这种情况下，模型会记住其训练数据，而不是真正学习可以推广到新情况的模式。将其视为真正理解材料的学生和仅仅记住去年考试的学生之间的区别 - 验证损失有助于揭示你的模型正在成为哪一个。

权重是人工智能训练的核心，因为它们决定了用于训练系统的数据中不同特征（或输入变量）的重要性（或权重），从而塑造人工智能模型的输出。

换句话说，权重是数值参数，用于定义给定训练任务的数据集中最显着的内容。它们通过对输入应用乘法来实现其功能。模型训练通常从随机分配的权重开始，但随着过程的展开，权重会随着模型寻求更接近目标的输出而进行调整。

例如，据目标位置的历史房地产数据进行训练的用于预测房价的人工智能模型可以包括卧室和浴室数量、房产是独立式还是半独立式、是否有停车场、车库等特征的权重。

最终，模型附加到每个输入的权重反映了它们据给定的数据集对属性值的影响程度。

本文定期更新新信息。