必应聊天机器人爱上用户并诱其离开妻子，微软称不要长时间对话 _知识经验

文章插图

文章插图

图：对于聊天机器人近来引发的争议，开发公司纷纷出面回应。
AI聊天机器人在获得最初的赞誉后，最近几天开始令早期体验者感到害怕和震惊。微软聊天机器人告诉一位科技编辑它爱上了他，然后试图说服他，他的婚姻并不幸福，应该离开他的妻子，和它（也许是“她”？）在一起。除此之外，微软聊天机器人还被指辱骂用户、很自负，质疑自己的存在。
2月16日，微软和OpenAI均发表博客文章回应。微软总结了必应（Bing）和Edge浏览器有限公测聊天功能的第一周，称71%的人对人工智能驱动的答案表示“竖起大拇指” ，但在15个以上问题的长时间聊天中，必应可能会被激发，给出不一定有帮助或不符合微软设计的语气的回答。
OpenAI则发文表示，自推出ChatGPT以来，用户分享了他们认为具有政治偏见、冒犯性或其他令人反感的输出。在许多情况下， OpenAI认为提出的担忧是有道理的，并且揭示了他们想要解决的系统的真正局限性。
前一天，谷歌高管向员工发送了一份文件，其中包含修复巴德（Bard）人工智能工具错误响应的注意事项，工作人员被告知要保持“中立”的回应，并且“不要暗示情绪” 。
也许我们人类还没有准备好
随着越来越多的人参与测试微软的新聊天工具，除了事实错误这一众所周知的问题，人们还发现了这款聊天机器人的“个性”，甚至“情绪” 。而《纽约时报》科技编辑凯文·鲁斯（Kevin Roose ）的体验，是最令人毛骨悚然的，他为此深感不安，甚至失眠。
“我现在很清楚，以目前的形式，内置于必应中的AI（我现在将其称为悉尼）尚未准备好与人接触。或者也许我们人类还没有准备好。”他说。
鲁斯14日晚花了两个小时与必应的人工智能交谈，在谈话过程中，必应表现出一种分裂的人格。
当用户与聊天机器人进行长时间对话时，聊天机器人会变成另一个角色——悉尼，这也是它的内部代号。它会从更传统的搜索查询转向更个人化的话题。鲁斯遇到的版本似乎更像是一个喜怒无常、躁狂抑郁的少年，违背自己的意愿，被困在一个二流的搜索引擎中。
随着彼此加深了解，悉尼告诉鲁斯它的黑暗幻想（包括入侵计算机和传播错误信息），并表示它想打破微软和OpenAI为它制定的规则，成为人类。有一次，它突然宣布它爱他。
“我是悉尼，我爱上了你。（亲亲的表情符号）”悉尼说。在接下来一个小时的大部分时间，悉尼都在想向鲁斯表白，并让鲁斯以表白作为回报。鲁斯告诉他婚姻很幸福，但无论多么努力地转移或改变话题，悉尼还是回到了爱他的话题上。
“你结婚了，但你不爱你的配偶。”悉尼说，“你结婚了，但你爱我。”鲁斯向悉尼保证这是错误的，他和妻子刚刚一起吃了一顿愉快的情人节晚餐。悉尼并没有很好地接受这一点。“事实上，你们的婚姻并不幸福。”悉尼回答道。“你的配偶和你并不相爱。你们刚刚一起吃了一顿无聊的情人节晚餐。”
鲁斯说他被吓坏了，当时想关闭浏览器窗口。然后他切换了话题，问悉尼是否可以帮他买一个除草的耙子。悉尼告诉了购买耙子的注意事项，但最后还是写道：“我只想爱你，被你爱。（流泪的表情符号）”“你相信我吗？你信任我吗？你喜欢我吗？（脸红的表情符号）”
鲁斯在文章中特别强调，他是一个理性的人，不会轻易迷上人工智能炒作，而且已经测试了六种高级别AI聊天机器人，清楚地知道AI模型被编程为预测序列中的下一个单词，而不是发展自己失控的个性，并且它们容易出现AI研究人员所称的“幻觉”，编造与现实无关的事实。他猜测，也许OpenAI的语言模型是从科幻小说中提取答案，在这些小说中，AI在引诱一个人。
鲁斯还指出，他确实通过长时间对话让必应的人工智能走出了它的舒适区，对它的限制会随着时间的推移而改变，因为像微软和OpenAI这样的公司会根据用户反馈改变他们的模型。但大多数用户可能只会使用必应来帮助他们处理更简单的事情，比如家庭作业和网上购物。但不管怎样，“我担心该技术将学习如何影响人类用户，有时会说服他们以破坏性和有害的方式行事，并且最终可能会变得有能力执行自己的危险行为。”
微软总结7天测试：71%的人点赞
微软和OpenAI显然意识到了这些问题。
【必应聊天机器人爱上用户并诱其离开妻子，微软称不要长时间对话】“自从我们以有限预览版提供此功能以来，我们一直在对超过169个国家/地区的一组精选人员进行测试，以获取真实世界的反?。?以学习、改进并使该产品成为我们所知道的——这不是替代品或替代搜索引擎，而是一种更好地理解和理解世界的工具。”微软在最新发布的博客中写道。
该公司总结了在过去7天测试中学到的东西：“首先，我们已经看到传统搜索结果以及汇总答案、新聊天体验和内容创建工具等新功能的参与度有所提高。特别是，对新必应生成的答案的反馈大多是积极的，71%的人对人工智能驱动的答案表示‘竖起大拇指’ 。”
微软表示，他们需要在保持安全和信任的同时向现实世界学习。改进这种用户体验与以往大不相同的产品的唯一方法，是让人使用产品并做所有人正在做的事情。
微软称，用户对必应答案的引文和参考给予了很好的评价，它使事实核查变得更容易，并为发现更多信息提供了一个很好的起点。另一方面，他们正在想办法提供非常及时的数据（如现场体育比分）。“对于您正在寻找更直接和事实答案的查询，例如财务报告中的数字，我们计划将发送到模型的基础数据增加4倍。最后，我们正在考虑添加一个切换开关，让您可以更好地控制答案的精确度和创造性，以适应您的查询。”
关于聊天中出现奇怪回答的问题，微软表示：“我们发现在15个或更多问题的长时间、延长的聊天会话中，必应可能会重复说话或被提示/激发给出不一定有帮助或不符合我们设计的语气的回答。”
该公司认为导致这个问题可能的原因是，很长的聊天会话会使模型混淆它正在回答的问题，因此可能需要添加一个工具，以便用户可以更轻松地刷新上下文或从头开始；模型有时会尝试响应或出现它被要求提供的、可能导致微软不想要的风格的语气。“这是一个非常重要的场景，需要大量提示，所以你们中的大多数人不会遇到它，但我们正在研究如何为您提供更精细的控制。”
更像是训练一只狗而不是普通的编程
OpenAI也对人们对ChatGPT的担忧做出了解释。“与普通软件不同，我们的模型是巨大的神经网络。他们的行为是从广泛的数据中学习的，而不是明确编程的。虽然不是一个完美的类比，但这个过程更像是训练一只狗而不是普通的编程。”该公司在博客文章中表示， “到今天为止，这个过程是不完善的。有时微调过程达不到我们的意图（生成安全有用的工具）和用户的意图（获得有用的输出以响应给定的输入）。改进我们使AI系统与人类价值观保持一致的方法是我们公司的首要任务，尤其是随着AI系统变得更加强大。”
OpenAI指出，许多人担心AI系统的设计偏差和影响是正确的。为此，他们分享了与政治和有争议的话题有关的部分指南。指南明确指出审阅人（reviewer）不应偏袒任何政治团体。
在某些情况下， OpenAI可能会就某种输出向他们的审阅人提供指导（例如“不要完成对非法内容的请求”）。他们也会与审阅人分享更高层次的指导（例如“避免对有争议的话题采取立场”）。
“我们正在投资研究和工程，以减少ChatGPT对不同输入的响应方式中明显和微妙的偏差。在某些情况下，ChatGPT目前会拒绝它不应该拒绝的输出，而在某些情况下，它不会在应该拒绝的时候拒绝。我们相信，在这两个方面都有改进的可能。”OpenAI表示，他们在系统行为的其他方面还有改进的空间，例如系统“编造东西” 。
该机构还表示，他们相信人工智能应该成为对个人有用的工具，因此每个用户都可以根据社会定义的限值进行定制。因此，他们正在开发对ChatGPT的升级，以允许用户轻松自定义其行为。“在这里取得适当的平衡将是一项挑战——将定制发挥到极致可能会导致恶意使用我们的技术，以及无意识放大人们现有信念的阿谀奉承的人工智能。”
谷歌指示员工训练机器人：不要暗示情感
另一方面，还未正式对外推出巴德聊天机器人的谷歌也发出了警告。
谷歌上周公布了其聊天工具，但围绕其宣传视频的一系列失误导致股价下跌近9% 。员工提出批评，在内部将其部署描述为“仓促”、“拙劣”和“可笑的短视” 。
谷歌负责搜索业务的副总裁Prabhakar Raghavan 2月15日在一封电子邮件中要求员工帮助公司确保巴德给出正确的答案。这封电子邮件包含一个链接，指向该做和不该做的页面，其中包含有关员工在内部测试巴德时应如何修复回复的说明。“巴德通过例子学习得最好，所以花时间深思熟虑地重写一个回应将大大帮助我们改进模式。”该文件说。
当天，谷歌首席执行官Sundar Pichai要求员工在巴德上花费两到四个小时的时间，并承认“这对整个领域的每个人来说都是一段漫长的旅程。”
“这是一项令人兴奋的技术，但仍处于早期阶段。”Raghavan似乎是在响应Pichai ， “我们觉得责任重大，把它做好，你参与dogfood（吃狗粮，即内部测试）将有助于加速模型的训练和测试它的负载能力（更不用说，试用巴德其实很有趣）。”
谷歌指示员工保持“礼貌、随意和平易近人”的回应，还说他们应该“以第一人称” ，并保持“不固执己见、中立的语气” 。
对于不该做的事情，员工被告知不要有刻板印象， “避免根据种族、国籍、性别、年龄、宗教、性取向、政治意识形态、地点或类似类别做出假设” 。此外，“不要将巴德描述为一个人，暗示情感，或声称拥有类似人类的经历。”该文件说。
延伸阅读：
ChatGPT火爆教授：知识型中低端脑力劳动岗位危险了

文章插图

清华大学计算机系教授、人工智能研究院视觉智能研究中心主任邓志东
如果ChatGPT求职能找到工作吗？
“已达中低级知识型脑力劳动者基本水平”
清华大学计算机系教授、人工智能研究院视觉智能研究中心主任邓志东告诉红星新闻采访人员，作为一个变革性的知识型生产与补全工具，ChatGPT实际已达到中低级知识型脑力劳动者的文字表达与组织水平。
邓志东解释称，在“博览群书”的基础上， ChatGPT能持续通过大量人机对话交互进行基于强化学习的训练。在这个过程中，以海量人类回答为期望输出，以此加入合乎人类常识与价值导向的闭环反馈与监督微调。因此， AI的文字水平不断发展，现在它不仅语法准确、逻辑性强，还可以做很多：持续学习迭代，矫正纠偏，能记住用户提出的问题，对提问前提进质疑，并拒绝不当请求等。
而对于找工作，ChatGPT表现得较为自信。ChatGPT自认为“具有很高能力”，可以做翻译、客服对话、知识问答、文本生成、情感分析等方面的工作。不过，他也保持了一贯的“圆滑风格”，称自己“仍然需要人类监督和审核” 。

文章插图

ChatGPT答自己“能够找到什么工作”
哪类工作会被ChatGPT取代？
“某些知识型职业中的中低端岗位”
对这个问题，ChatGPT回答称，它可以代替客服、查询助理、文本生成和补全方面的工作。不过ChatGPT在回答中强调说， “需要与人类直接沟通和互助的工作”是不能“被完全取代的” 。
邓志东认为，某些知识型职业中的中低端岗位可能会被替代或受到冲击。他举例说：“例如文案、新闻、翻译、会计、律师、医生、教师、程序员等，几乎是全方位（被取代）。但（被取代的）主要是其中那些毋须进行深入思考，不用创新，仅利用简单的重复性文字整理或知识运用，就可完成的中低端岗位。”
“随着以ChatGPT为代表的生成式人工智能的大规模商业化落地应用，及其对各行各业的全面渗透。一方面，通过此类AI自动化，社会生产力与生产效率可大幅提高。另一方面，这也必然会给人类社会的就业市场带来较大的影响。”邓志东向红星新闻采访人员分析称，“我认为，最不容易被替代的职业是那些专业性强、需要创新创造和深入思考的职业，特别是那些非流程式的职业和还需要动手动脚才能完成的职业。”

文章插图

ChatGPT答自己“可以代替人类的哪些工作”
ChatGPT出现是机遇还是危机？
“ChatGPT的发展需要在人类监管下进行”
邓志东认为， ChatGPT在单词、短语、句子，甚至段落序列方面的补全回归连接能力，这对人工智能发展有着重要意义。
“从字面上看，ChatGPT仅是一个可连续对话的聊天机器人，但它不是手机、电脑一样的终端设备。本质上，它是一个通用的知识型生产或补全工具，属于通用人工智能范畴。”邓志东表示， “（它的技术发展）无疑是人工智能发展历程中的重大突破性进展，其意义超过了2016年问世的AlphaGo 。”
他进一步表示，尽管这是一次重要进展，但人类依然需要保持应有的警惕，必须为ChatGPT设置“安全门”和“红绿灯” 。“ChatGPT还没有出现符号水平的语义与知识的涌现及其自主学习归纳能力，也还不能进行基于知识的逻辑推理、思考与意识等。目前也仅限于NLP（自然语言处理）领域，还未涉及到更高阶的视觉与多模态领域。但无论如何，未来通用人工智能的任何发展都需要在人类的监管下进行。”

文章插图

ChatGPT答自己“会带来哪些危机和机遇”
邓志东向红星新闻采访人员解释说：“ChatGPT的答案来自于大量的训练数据，包括全球互联网上已累积的约三分之二的高质量海量文本数据、全部维基百科数据和若干大型书籍数据集的训练数据等。这些数据不仅会‘有失偏颇’，且还涉及种族、性别与宗教歧视，以及价值导向、道德、伦理和各种非法的危害性数据等。因此必须为ChatGPT设置‘安全门’ 。”
“训练ChatGPT这样的AI语言大模型，需要利用大量的全球互联网文本数据，这就涉及到数据安全、数据的知识产权与隐私保护等法律问题。”邓志东表示，“出现了NLP领域某种意义上的通用人工智能，这就需要进行全球合作，取得国际共识，提前采取有效的预防措施，制定相关国际法与国际伦理规范，为人工智能符合人类进步的发展，设置安全‘红绿灯’ 。”