AI专家:大模型同质化严重,面临十大科学挑战

来源:5G通信网时间:2023-08-28 07:12:52


(资料图片)

今年2月,复旦大学邱锡鹏团队发布MOSS,成为国内首个发布的类ChatGPT模型,而从ChatGPT诞生至今已过去9个多月,大模型又面临哪些挑战?

在24日下午上海市科协举办的青年科学家论坛上,复旦大学MOSS系统负责人邱锡鹏表示,大语言模型是当前自然语言处理的主流范式,它可以涌现出丰富的知识和能力,但也带来了一些挑战和问题。在他看来,大语言模型的研究需要多方面的合作和创新,需要开放和共享的技术平台和评测标准。

呼吁业界开放共享技术

“大模型确实给我们的研究带来非常多的问题,一方面是同质化非常严重,另外就是赛道拥挤,大家原来把各切一块的研究范式都往一个赛道挤。还有就是评价困难。”

邱锡鹏解释,现在大家做的东西总体上比较雷同,比如说像预训练,虽然有创新性的东西但总体不多,目前的“千模大战”在创新性上并没有多少差异。而在评价方面,大家都说自己做得好,但又没有好的比较方法。因为对大模型、生成式人工智能的客观评价方法并不是特别有效,导致每个人都要自己建一套评价标准,这就没有一个比较方法,从而给整个研究带来一定的困难。

“现在很多人认为大模型变成工程性问题了,是不是还有科学价值?”在他看来,ChatGPT发布至今已经过去9个多月了,大家都感觉好像很明白它了,事实上很多观念的地方还是不明白。目前业界对整个技术路线是有一些掌握,这离不开学术界一直在发论文探讨。邱锡鹏说,现在有做大模型的团队只宣布做出来的效果,并未公开究竟是怎么做的,但大模型的研究只有保证技术的公开度才能使大家都参与进来,让技术持续不断往前迭代。“当然这涉及到很多算力问题和能耗问题,希望可以有更好的优化方法,使大模型普惠化,使所有人降低门槛,所有人都参与进来进行研究。”

十大科学挑战

谈到大语言模型面临的挑战和问题,邱锡鹏总结了包括模型架构、幻觉、多模态的延展、知识来源、自动化评价、平民化等十个科学挑战。

他说,大模型之所以称为大模型,是因为可以涌现出丰富的知识和能力。目前大家熟知的Transformer架构非常强大,但缺点也明显,当文章长度变得更长得时候,它的复杂度就变得非常高,因此也限制了模型的进一步扩大。“我们要找到一种可能比Transformer更有效的架构,才能支持未来模型的进一步扩大。”

邱锡鹏还特别强调了大模型的平民化问题,因为平民化能让资源不多的研究者也能使用大模型。

他认为,大模型总的来讲不仅仅是工程问题,从迭代周期来看的话,大家需要的算力比较多的是预训练阶段,这个阶段也有很多东西可以做。但是如果往后看,包括像对齐、优化、指令微调等方面需要的算力没有想象中那么大。“随着将来大模型普惠化、平民化的工作,大家在3090显卡上就可以开展关于大模型的研究。我总体上会觉得大模型的研究,不管是学术界还是工业界的科研单位,里面都有很多科学问题,还是值得关注的,这不仅仅是一个简单的工程问题。”

关于MOSS的下一步计划,邱锡鹏透露,后面会追求一些创新性,在一些新架构上做一些探索,比如不断加强像推理、代码这些能力。

关键词:

相关阅读

推荐阅读

AI专家:大模型同质化严重,面临十大科学挑战

AI专家:大模型同质化严重,面临十大科学挑战

今年2月,复旦大学邱锡鹏团队发布MOSS,成为国内首个发布的类ChatGPT模更多

2023-08-28 07:12:52
华为协同中国移动研究院圆满完成5G车联网技术验证

华为协同中国移动研究院圆满完成5G车联网技术验证

近日,在中国移动研究院的组织下,华为协同重庆移动、江苏移动、上海移更多

2023-08-26 19:02:44
宁波移动携手华为部署DRS打造民生工程,快速保障工地优质5G覆盖

宁波移动携手华为部署DRS打造民生工程,快速保障

近日,宁波移动在慈溪杭州湾建筑工人集装箱宿舍楼部署华为5G分布式微站更多

2023-08-26 15:08:14
宁波移动携手华为实现全国首个主城区RedCap商用网络规模开通

宁波移动携手华为实现全国首个主城区RedCap商用网

近日,中国移动宁波分公司携手华为率先完成RedCap(轻量化5G技术)商用更多

2023-08-26 14:19:21
高通推出全新骁龙G系列手持游戏平台,满足专用游戏设备需求

高通推出全新骁龙G系列手持游戏平台,满足专用游

飞象网讯(悻眓 文)2023年8月23日,高通技术公司在新闻发布会上宣布推更多

2023-08-25 23:03:58
吉林电信:网传向缅北诈骗集团提供8000多万个手机号码信息不实

吉林电信:网传向缅北诈骗集团提供8000多万个手机

飞象网讯昨日,针对近期网上流传的信息,吉林电信微信公众号发布公告称更多

2023-08-25 23:06:27
中国移动副总经理高同庆:拥抱数字经济 共创未来网络

中国移动副总经理高同庆:拥抱数字经济 共创未来

第七届未来网络发展大会8月24日至25日在南京举行。中国移动高同庆副总更多

2023-08-25 22:16:10
当数字化的春风吹到田间地头:中国联通助力潍坊有机生姜标准化种植

当数字化的春风吹到田间地头:中国联通助力潍坊有

近年来,我国农业现代化全面发展,新型智慧化农业作为农业现代化发展的更多

2023-08-25 17:22:59
+ 点击查看更多精彩
字节跳动计划投资“大量资金”开发VR领域
    据 Protocol 报道,字节跳动正在认真考虑进入虚拟现实(VR)领域...
任天堂Switch曝光:合作伙伴招聘新游戏机开发工程师
    据外媒报道称,任天堂即将推新一代Switch,其中一个最有力的证据...
途牛发布纳斯达克股价不合规通知函
    4月18日,在途牛收到纳斯达克股价不合规通知函后,途牛方面发布声...
一加新机现身:搭载天玑8100处理器,主打快充和游戏
    今天,一款型号显示为PGKM10的一加新机现身GeekBench,这款新机搭...
紫光国微:预计2022年第一季度净利润同比增长69.9%
    紫光国微发布公告称,预计2022年第一季度归属于上市公司股东的净...
斯坦福大学建造小型太阳能电池板原型
    日前,斯坦福大学的研究人员已经建造了一个小型太阳能电池板原型...
    资讯播报