新一代人工智能算法：语言能力提高引发担忧

据美联社7月17日报道，如果你向最新的人工智能架构提出这样一个问题：做一台有知觉的计算机或者一只恐龙甚至松鼠是什么感觉?这些人工智能的表现可能已经相当令人信服。但在处理其他看似直截了当的任务时，它们的表现就不是那么好了——有时甚至差劲到了危险的程度。

以生成型已训练变换模型3(GPT-3)为例，这是一个由微软公司控制的系统，可以根据从一个庞大的数字图书和在线作品数据库里学习到的知识，生成一段段类似人写出来的文本。GPT-3被认为是最先进的新一代人工智能算法之一，它能够进行对话，根据需要生成可读文本，甚至生成新的图像和视频。

除其他本领外，GPT-3可以写出你想要的绝大多数文本——例如一封申请动物园管理员工作的求职信，或者一首以火星为背景的莎士比亚风格十四行诗。然而，当美国波莫纳学院的加里·史密斯教授就爬楼梯向它提出一个简单但显得荒谬的问题时，GPT-3就不知所措了。

这个人工智能模型回答说：“是的，你可以安全地用手爬楼梯，如果你先把它们洗干净的话。”

这些强大的、消耗大量能量的人工智能系统在技术上被称为“大型语言模型”，因为它们已经接受了大量文本和其他媒介的训练。这些人工智能系统已经被做成客服聊天机器人、谷歌搜索引擎和为你写完句子的“自动完成”电子邮件功能。但大多数制造这类人工智能系统的科技公司都对这些系统的内部运作方式讳莫如深，外人很难了解那些可能让它们变成虚假信息、种族主义和其他危害源头的缺陷。

人工智能领域初创企业抱抱脸公司的研发工程师泰旺·勒斯科说：“它们非常擅长写文本，已经达到人类的熟练程度。它们不太擅长的是阐述事实。有时候看起来非常有条理，几乎以假乱真，却是错的。”

谨防失控风险

正因如此，由勒斯科等人共同领导的一个人工智能研究团队近日在法国政府的帮助下启动了一个新的大型语言模型。该模型据说是为了解决GPT-3等封闭系统的缺陷。这个团队叫“大科学”，他们的模型名为大科学大型开放多语言模型。它的主要突破在于可在46种语言下工作，包括阿拉伯语、西班牙语和法语——与大多数聚焦英语或汉语的系统不同。

并非只有勒斯科的团队打算破解人工智能语言模型的黑匣子。脸书和Instagram的母公司元宇宙平台公司也在呼吁采取更开放的方式。该公司正试图赶上谷歌和美国开放人工智能研究中心所打造的系统。

元宇宙平台公司人工智能部门总经理若埃勒·皮诺说：“我们已经看过一个又一个消息，说人们正在从事此类工作，但都非常不透明，几乎看不到内部情况，也无法窥探这些模型是如何工作的。”

斯坦福大学计算机科学副教授、基础模型研究中心主任珀西·梁(音)说，建立最能言善辩或信息量最大的系统——并从其应用中获利——所带来的竞争压力是大多数科技公司严格把控这些系统并且不在制定相关规范上展开合作的原因之一。

梁副教授说：“对一些公司来说，这是它们的秘密配方。”但这些公司也常常担心如果有失控的情况发生，可能导致有人在使用这些系统时不负责任。随着人工智能系统编写健康建议、中学期末论文或政论的能力日益增强，虚假信息可能迅速增加，人们将越来越难以知道这些信息来自人类还是计算机。

识别“有毒言论”

元宇宙平台公司最近推出了一个名为OPT-175B的新语言模型，该模型使用了可公开获得的数据——从红迪论坛上的火爆评论到美国专利档案以及安然公司丑闻中的大量电子邮件。

元宇宙平台公司说，它开放了数据、代码和研发日志，因此外部研究人员可以更容易地通过研究现实中的人们是如何写文章和沟通的来帮助识别和减轻该模型沾染的偏见，纠正其学到的有毒言论。

皮诺说：“这件事很难。我们敞开自己，准备迎接大量的批评。我们知道，这个模型会说一些我们不会感到自豪的事。”

虽然大多数公司都制定了其内部的人工智能防护措施，但梁副教授说，现在需要的是更广泛的相关规范，以指导研究和决策，比如何时将新模型公之于众。

这些模型需要很高的计算能力，以至于只有大公司和政府才能负担得起，这可不是什么好消息。例如，“大科学”项目能够训练其模型，是因为该项目可以访问法国强大的超级计算机“让·扎伊”。

2018年，谷歌推出一种名为BERT的系统，使用一种将句子中的词语进行比对从而预测语义和语境的技术，这让追求更大、更智能的人工智能语言模型的趋势取得了重大飞跃，并且这些模型可以通过大量文本进行“预训练”。但真正给人工智能世界留下深刻印象的是GPT-3。GPT-3是总部设在旧金山的开放人工智能研究中心在2020年发布的，很快就由微软获得了该模型的独家授权。

GPT-3带来了创新实验方面的繁荣，因为通过付费获得访问权限的人工智能研究人员把GPT-3当作一个沙盒来测试人工智能的性能——尽管没有关于其训练数据的重要信息。

纠正模型“偏见”

开放人工智能研究中心在一篇研究论文中广泛描述了相关训练来源，并公开报告了它为应对该技术可能被滥用所做的努力。

但“大科学”项目联合负责人托马·沃尔夫说，开放人工智能研究中心没有提供它如何过滤这些数据的细节，也没有向外部研究人员提供有关处理过的数据的访问权限。

同时担任抱抱脸公司首席科学官的沃尔夫说：“所以，我们实际上无法分析GPT-3在训练时接收到的数据。最近这波人工智能技术浪潮的核心更多地是聚焦数据集而不是模型。最重要的是数据，而开放人工智能研究中心对其使用的数据极其讳莫如深。”

沃尔夫说，开放语言模型所使用的数据集有助于人类更好地理解模型的偏见。他说，与只在美国接受英语文本训练的模型相比，接受阿拉伯语训练的多语言模型就不太可能对伊斯兰教发表攻击性言论或产生误解。

谷歌的LaMDA是目前最新的人工智能实验模型之一。该模型在回答问题时给人留下了如此深刻的印象，以至于一名谷歌工程师说它正在接近于有意识——这一说法导致他上个月被停职。

关键词： 人工智能 微软公司 新一代人工智能算法 人工智能模型