Salo 在他的书中广泛讨论了 ChatGPT。他首先描述了版本历史,从 GPT-1(2018 年)开始,接着是 GPT-2(2019 年)和 GPT-3(2020-2021 年)。 ChatGPT 于 2022 年 11 月发布,其最新版本 ChatGPT-4 于 2023 年 3 月发布。免费版使用的模型是 GPT 3.5,付费 Plus 版的用户可以使用 GPT-4(Salo 2023,第 34 – 35、43 页)。
接下来,Salo 继续描述 ChatGPT 的
工作原理。该模型的运行原理基于深度学习和神经网络,其建模模仿的是 乌克兰电报数据 人类大脑的功能。 ChatGPT 学习预测任何句子中接下来会出现什么文本。这还可以从用户之前提出的问题中理解上下文,从而与人工智能建立真实的对话。 Salo 提到,作为补充信息,2023 年 4 月,ChatGPT 进行了扩展,允许该应用程序访问来自 Bing 搜索引擎的数据(Salo 2023,第 34-35 页、43 页)。
在 ChatGPT(和其他 GPT 模型)中,“token”是指模型处理的文本部分。 ChatGPT 基于大量文本数据(“token”)进行训练,这些文本数据由人们撰写的文本组成,例如书籍、文章、风格和流派。标记可帮助模型理解和处理文本及其结构。 ChatGPT 的训练过程基于人类反馈,其中模型被引导至所 选择免费视频编辑工具时常见的问题 需的行为(从人类反馈进行的强化学习,RLHF)Salo 2023,p。 43)。 RLHF 基于强化学习原理,用于训练模型根据人类提供的反馈产生更好、更准确的结果。
在 ChatGPT 中编写提示
ChatGPT 中最为人熟知的概念是提示。 Salo 将提示定义为“用户对服务提出的文本问题 新闻 美国 或请求”(Salo 2023,第 50 页)。他继续说道,“就创造性人工智能而言,答案是好的、高质量的、符合需求的,就像用户的提示一样”(Salo 2023,第 51 页)。 Salo 认为,在 ChatGPT 环境中,写作提示本身已经成为一项技能。通过提供清晰的指示可以提高效率,从而可以根据风格、语气、长度和内容来定制回应(Salo 2023,第 54-55 页)。
可以通过赋予 ChatGPT 个性来控制其行为。例如,Salo 提到 ChatGPT 可以担任某ChatGPT 的工个角色,比如母语教师或管理顾问。此外,还可以为 ChatGPT 提供其他信息,例如文章或 PDF 文件的链接,这有助于语言模型更好地理解用户的需求。此外,用户可以选择指定 ChatGPT 如何回答问题,无论是作为表格、列表还是 HTML 代码。还可以调整响应的长度,例如通过限制字符或单词的数量(Salo 2023,第 54-55 页)。