OpenAI发布多模态大模型GPT-4：直接开放API，ChatGPT升级( 二 ) _模态

许多现有的机器学习基准测试都是用英语编写的，为了初步了解 GPT-4在其他语言上的能力，研究团队使用Azure Translate将MMLU基准——一套涵盖57个主题的14000个多项选择题——翻译成多种语言。“在测试的26种语言中的24种语言中，GPT-4的表现优于GPT-3.5和其他大模型（Chinchilla，PaLM）的英语表现，这种优秀表现还包括类似拉脱维亚语、威尔士语和斯瓦希里语等。”
多模态功能有多强大？
GPT-4可以接受文本和图像的提示语。比如，可以让用户指定任何视觉或语言任务，它可以生成文本输出（自然语言、代码等），给定的输入包括带有文字和照片的文件、图表或屏幕截图，GPT-4表现出与纯文本输入类似的能力。不过，目前图像输入仍然属于研究预览，不针对普通用户开放。

文章插图

发现图片的可笑之处

文章插图

读懂图表并进行分析

文章插图

发现图片中的不寻常之处

文章插图

阅读文件并总结概要

文章插图

读懂网上的梗图
OpenAI表示，他们一直在努力实现AI的可控制性。与经典ChatGPT的固定言语、语气和风格不同，开发者现在可以通过在系统消息中描述这些方向，来规定自己的AI的风格和任务。系统消息允许API（应用程序编程接口）用户在一定范围内大幅对用户体验进行定制。
仍然不是完全可靠的
不过，GPT-4仍然存在与早期GPT模型类似的限制。它仍然不是完全可靠的，比如会对事实产生“幻觉”，并出现推理错误。OpenAI提醒，在使用语言模型的输出时，特别是在高风险的情况下，应该非常小心谨慎。
但相较于以前的模型，GPT-4大大减少了hallucinations（网络错觉）。在内部的对抗性事实性评估中，GPT-4的得分比GPT-3.5高40% 。
“该模型在其输出中会有各种偏差，我们在这些方面已经取得了进展，但仍有更多工作要做。根据我们最近的博文，我们的目标是使我们建立的人工智能系统具有合理的默认行为，以反映广泛的用户价值观，允许这些系统在广泛的范围内被定制，并获得公众对这些范围的意见。”公告称。
OpenAI还指出，GPT-4通常缺乏对其绝大部分数据截止后（2021年9月）发生的事件的了解，也不会从其经验中学习。它有时会犯一些简单的推理错误，或者过于轻信用户明显的虚假陈述。有时它也会像人类一样在困难的问题上失败，例如在它产生的代码中引入安全漏洞。GPT-4也可能在预测中自信地犯错。
GPT-4与过去的模型会存在类似风险，如产生有害的建议、错误代码或不准确信息。然而，GPT-4的额外能力还导致了新的风险面。“为了明确这些风险的具体情况，我们聘请了50多位来自人工智能对接风险、网络安全、生物风险、信任和安全以及国际安全等领域的专家对该模型进行对抗性测试。”OpenAI表示，来自这些领域专家的反馈和数据为缓解和改进模型提供了依据，比如他们已经收集了额外的数据，以提高GPT-4拒绝有关如何合成危险化学品的请求的能力。
此外，GPT-4在RLHF训练中加入了一个额外的安全奖励信号，通过训练模型来拒绝对此类内容的请求，从而减少有害产出。
与GPT-3.5相比，这些缓解措施大大改善了GPT-4的许多安全性能。与GPT-3.5相比，OpenAI将模型对非法内容请求的响应倾向降低了82%，而GPT-4对敏感请求（如医疗建议和自我伤害）的响应符合OpenAI政策的频率提高了29% 。
【OpenAI发布多模态大模型GPT-4：直接开放API，ChatGPT升级】OpenAI强调，总的来说，模型级干预措施增加了诱发不良行为的难度，但仍然存在“越狱”的情况，以产生违反使用指南的内容。
付费用户将获得有使用上限的GPT-4权限
和之前的GPT模型一样，GPT-4基础模型的训练是为了预测文档中的下一个单词，并使用公开的数据（如互联网数据）以及OpenAI授权的数据进行训练。这些数据来自于极大规模的语料库，包括数学问题的正确和错误的解决方案，弱的和强的推理，自相矛盾的和一致的声明，以及种类繁多的意识形态和想法。因此，当被提示有一个问题时，基础模型可以以各种各样的方式作出反应，而这些反应可能与用户的意图相去甚远。为了使其与用户的意图保持一致，OpenAI使用人类反馈的强化学习（RLHF）对模型的行为进行微调。