AI专家:大模型同质化严重,面临十大科学挑战
(资料图片)
今年2月,复旦大学邱锡鹏团队发布MOSS,成为国内首个发布的类ChatGPT模型,而从ChatGPT诞生至今已过去9个多月,大模型又面临哪些挑战?
在24日下午上海市科协举办的青年科学家论坛上,复旦大学MOSS系统负责人邱锡鹏表示,大语言模型是当前自然语言处理的主流范式,它可以涌现出丰富的知识和能力,但也带来了一些挑战和问题。在他看来,大语言模型的研究需要多方面的合作和创新,需要开放和共享的技术平台和评测标准。
呼吁业界开放共享技术
“大模型确实给我们的研究带来非常多的问题,一方面是同质化非常严重,另外就是赛道拥挤,大家原来把各切一块的研究范式都往一个赛道挤。还有就是评价困难。”
邱锡鹏解释,现在大家做的东西总体上比较雷同,比如说像预训练,虽然有创新性的东西但总体不多,目前的“千模大战”在创新性上并没有多少差异。而在评价方面,大家都说自己做得好,但又没有好的比较方法。因为对大模型、生成式人工智能的客观评价方法并不是特别有效,导致每个人都要自己建一套评价标准,这就没有一个比较方法,从而给整个研究带来一定的困难。
“现在很多人认为大模型变成工程性问题了,是不是还有科学价值?”在他看来,ChatGPT发布至今已经过去9个多月了,大家都感觉好像很明白它了,事实上很多观念的地方还是不明白。目前业界对整个技术路线是有一些掌握,这离不开学术界一直在发论文探讨。邱锡鹏说,现在有做大模型的团队只宣布做出来的效果,并未公开究竟是怎么做的,但大模型的研究只有保证技术的公开度才能使大家都参与进来,让技术持续不断往前迭代。“当然这涉及到很多算力问题和能耗问题,希望可以有更好的优化方法,使大模型普惠化,使所有人降低门槛,所有人都参与进来进行研究。”
十大科学挑战
谈到大语言模型面临的挑战和问题,邱锡鹏总结了包括模型架构、幻觉、多模态的延展、知识来源、自动化评价、平民化等十个科学挑战。
他说,大模型之所以称为大模型,是因为可以涌现出丰富的知识和能力。目前大家熟知的Transformer架构非常强大,但缺点也明显,当文章长度变得更长得时候,它的复杂度就变得非常高,因此也限制了模型的进一步扩大。“我们要找到一种可能比Transformer更有效的架构,才能支持未来模型的进一步扩大。”
邱锡鹏还特别强调了大模型的平民化问题,因为平民化能让资源不多的研究者也能使用大模型。
他认为,大模型总的来讲不仅仅是工程问题,从迭代周期来看的话,大家需要的算力比较多的是预训练阶段,这个阶段也有很多东西可以做。但是如果往后看,包括像对齐、优化、指令微调等方面需要的算力没有想象中那么大。“随着将来大模型普惠化、平民化的工作,大家在3090显卡上就可以开展关于大模型的研究。我总体上会觉得大模型的研究,不管是学术界还是工业界的科研单位,里面都有很多科学问题,还是值得关注的,这不仅仅是一个简单的工程问题。”
关于MOSS的下一步计划,邱锡鹏透露,后面会追求一些创新性,在一些新架构上做一些探索,比如不断加强像推理、代码这些能力。
关键词:
相关阅读
-
08-28
-
08-26
推荐阅读
-
AI专家:大模型同质化严重,面临十大科学挑战
今年2月,复旦大学邱锡鹏团队发布MOSS,成为国内首个发布的类ChatGPT模更多
2023-08-28 07:12:52
-
华为协同中国移动研究院圆满完成5G车联网技术验证
近日,在中国移动研究院的组织下,华为协同重庆移动、江苏移动、上海移更多
2023-08-26 19:02:44
-
宁波移动携手华为部署DRS打造民生工程,快速保障
近日,宁波移动在慈溪杭州湾建筑工人集装箱宿舍楼部署华为5G分布式微站更多
2023-08-26 15:08:14
-
宁波移动携手华为实现全国首个主城区RedCap商用网
近日,中国移动宁波分公司携手华为率先完成RedCap(轻量化5G技术)商用更多
2023-08-26 14:19:21
-
高通推出全新骁龙G系列手持游戏平台,满足专用游
飞象网讯(悻眓 文)2023年8月23日,高通技术公司在新闻发布会上宣布推更多
2023-08-25 23:03:58
-
吉林电信:网传向缅北诈骗集团提供8000多万个手机
飞象网讯昨日,针对近期网上流传的信息,吉林电信微信公众号发布公告称更多
2023-08-25 23:06:27
-
中国移动副总经理高同庆:拥抱数字经济 共创未来
第七届未来网络发展大会8月24日至25日在南京举行。中国移动高同庆副总更多
2023-08-25 22:16:10
-
当数字化的春风吹到田间地头:中国联通助力潍坊有
近年来,我国农业现代化全面发展,新型智慧化农业作为农业现代化发展的更多
2023-08-25 17:22:59
时尚热图
-
今日必看
-
精彩话题
-
资讯播报
- AI专家:大模型同质化严重,面临十大科学挑战
- 上半年,我市农产品网络零售额8.58亿元
- 长安启源全新发布 占位“数智进化新汽车”
- 济宁未来一周以晴间多云为主 31日起气温小幅升高
- 劲舞团手游符号(劲舞团特殊符号)
- 三年级我身边的好老师作文「优秀」
- 研究游戏,保护历史:「游研档案馆」预约指南
- 花生仁入口未嚼碎 八旬老人命悬一线
- 《妖精的尾巴激斗》三套阵容怎么搭配 阵容搭配详解
- 尼康d7000全新多少钱(尼康d7000报价)
- 港交所:两部门关于减半征收证券交易印花税的调整亦适用于沪股通及深股通
- 韩在野党议员:我们明确反对岸田政府危害全人类共同财产的犯罪行为
- Rokid发布人机交互新品“Rokid AR Studio”
- 【诗经故里 周礼宝鸡】 激活文化遗产 赋能城市发展
- 马卡谈法蒂处境:可能选择离队,巴萨瞄准菲利克斯和洛塞尔索
- 长时间躺着玩手机 眼睛突发斜视重影
- E 周看点 | 极石01售价35.99万起;理想汽车暗中加入“价格战”
- 闽东电力(000993.SZ):上半年净利增76.30%至2.45亿元
- 华数传媒2023年半年度董事会经营评述
- 三江源“久治牦牛”产业推动牧民“大增收”
- 这个“庭审现场”来了一群未成年人旁听,还参与“质证”
- 莲花新村六区(关于莲花新村六区简述)
- 财通证券给予三利谱增持评级,营收&扣非净利润环比上升,复苏展望乐观
- 车评头条:豪华标杆SUV来袭 测评全新奥迪Q5L
- 怎样教一年级孩子写日记
- 管涛:一揽子稳增长政策已在路上,更强调针对性组合性
- 大楼透明屏,能提供怎么样的视觉体验?
- 斗罗:98级饕餮斗罗是周漪的老师,两人关系很僵,一登场很拉胯
- 30名贫困学子获捐12万慈善助学金
- 命运方舟群雄逐鹿活动第五周竞速排行榜详情
- 大熊猫一边吃竹子一边翘jiojio 具体是什么情况!
- 极石汽车来了!坏消息:缝合怪;好消息:都缝了
- 【车展·新车】最美比亚迪,硬刚Model Y
- 持续进步!杰弗森:这个夏天过后 爱德华兹将会超过莫兰特和锡安
- 【车展·新车】合资中级轿车的好日子到头了
- 售90.28-111.8万 路特斯EMIRA重启预订
- 洗牌期越来越近!留给尾部车企的时间还有多少?
- rundll32 exe修复工具(rundll32.exe怎么替换)
- 河北省衡水市饶阳县全力推进灾后重建——积极修复校园 确保如期开学
- 不断重复做一件事——简素的工作室“条件最好”
- 星途星纪元ES亮相成都车展 “世界级”实力超吸睛
- 空间登陆不上去怎么回事(空间登录器)
- 今日新水浒传全部歌曲视频(新水浒传全部歌曲)
- 指导价69.88万起 捷尼赛思G90正式上市
- 泰国新任总理赛塔:新政府将推动旅游签证有效期延长至90天
- 谁包下了吴江路?“光明有好市”开市,解锁初秋浪漫
- 信息管理与信息系统专业就业前景分析(信息管理与信息系统专业就业前景)
- 上半年营收、净利双增长 五粮液稳健推进高质量发展
- 华为协同中国移动研究院圆满完成5G车联网技术验证
- 神十六乘组在轨近三月 太空科研之旅过半
- 2023成都车展|宝马新款X5,尺寸堪比X7!
- 盖世周报|传小米汽车资质获批,北京现代重庆工厂出售
- 云南非常热门的旅游城市,很多游客打卡了好几次,夏天避暑好惬意
- 成都车展忙里偷闲:体验路特斯6D超感声场
- AMD 高管回应《星空》游戏质疑:没有阻止 B 社添加 DLSS 技术
- 杭州亚运主题曲官宣!这支歌是否唱出你的心声
- 宁波移动携手华为部署DRS打造民生工程,快速保障工地优质5G覆盖
- 东电公布水质检测结果
- 宁波移动携手华为实现全国首个主城区RedCap商用网络规模开通
- 《寻路者》赛季奖励塔全奖励介绍 赛季奖励塔奖励是什么?
- 生物医药板块个股早盘走弱,生物药ETF、生物医药ETF跌超2%,创上市新低
- 中国和巴基斯坦将在酒泉、银川地区举行空军联合训练
- 四部门部署校园食品安全工作
- 收养记是书吗(收养记)
- 举报最高可获奖3000元丨发现燃气安全隐患请拨打中庆燃气热线→
- 一嗨租车如何删除订单 操作方法介绍
- 魏牌高山如何像蓝山一样爆火
- 诺基亚贝尔实验室开发新探测器 帮助实现大规模光学神经网络
- 刹车油多久换一次价格多少(刹车油多久换一次?)
- 债权转让有哪些基本条件?
- 起底网络传销犯罪运作真实面目,透视“魔幻农庄”传销案
- 理想宣布加速纯电领域布局 12分钟补能500公里
- 理想公布通勤NOA推送计划:内测9月开启
- 理想L系列“三破万” MEGA12月发布
- 奔驰宣布全球首家超级充电站落户成都
- 东方甄选发布年报:净利润9.7亿,GMV达100亿
- 纳米发布 陈昊:做强做优做大东风的重要一极
- 官方:国米前锋华金-科雷亚租借加盟马赛,含买断条款
- 派林生物(000403.SZ):股东沈和平拟斥1000万至2000万元增持股份
- 东风日产启辰大V DD-i插混成都车展“混”出圈
- 诚意拉满 13.37万起睿蓝7开启全球预售
- 奇瑞瑞虎7冠军家族双车上市 油电同价刷新价值标杆
- 2024款路虎卫士及全新捷豹E-PACE上市
- 全新BJ40闪耀登陆成都车展,北京汽车带你尽兴“悦野”
- 龙虎榜丨中水渔业今日跌5.72%
- 林海股份:2023年半年度净利润约968万元 同比增加6.15%
- 海南省副省长顾刚到琼海调研“非粮化”整治后恢复粮食生产和乐城先行区无障碍建设等工作
- LCD新机来了,iQOO Z8定档月底发布,打造千元机性能巅峰?
- 吉林电信:网传向缅北诈骗集团提供8000多万个手机号码信息不实
- 高通推出全新骁龙G系列手持游戏平台,满足专用游戏设备需求
- office激活码2013(office激活码2010)
- 中国移动副总经理高同庆:拥抱数字经济 共创未来网络
- excel怎么统计相同项占比(excel怎么统计相同项)
- 齐鲁银行坚持“三步走”推动主题教育理论学习见实效
- Seeds | 立方新能源完成B+轮融资,持续聚焦钠离子电池产业布局
- 巴斯夫考虑以30亿欧元出售催化剂业务
- 《最后的真相》上映,黄晓明变身亦正亦邪“落魄律师”
- 服务器电源保持高增长 电源细分市场发展研究
- 南华大学举行生命科学创新发展论坛
- 中国国际生态竞争力峰会聚焦绿色发展,24个项目集中签约