【环球新视野】冯丹教授:近数据处理新型盘框等技术创新,加速数据中心向Diskless架构演进
【资料图】
飞象网讯日前,在中国深圳举办的第20届华为全球分析师大会,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless架构及近数据处理发展趋势做出了权威解读,为传统云存储、大数据等计算域和存储域不完全分离造成的资源浪费,提出了一个新的技术解决方向,帮助云和互联网数据中心降本增效,实现数据中心高质量演进。
冯丹教授提到,传统存算融合架构下,企业通常采用应用与本地盘耦合的服务器一体化架构,存在存力效率低、无效数据迁移、资源浪费等典型问题:
1.计算域和存储域未彻底分离,仍各自存在独立的本地存储,往往按照最大容量预设配置,存力利用率低;
2.采用通用算力进行数据处理,IO效率低,存储域仍以CPU为中心,存取性能无法充分发挥;
3.数据从盘到计算域CPU,需要8次以上数据搬迁,无效搬迁带来了网络和算力资源的浪费;
4.在存算融合的上千节点大规模集群中,算力、容量空间配比无法均衡,扩容时需要额外迁移数据,不仅带来现有业务风险,还会浪费投资;
5.数据爆发增长,面向结构化数据的数据缩减策略不完全适用于非结构化场景。
随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以CPU中心朝着以数据为中心的Diskless架构演进。Diskless架构下,单一CPU算力发展到GPU、DPU、XPU等多样算力,算力效率得以充分发挥;网络从IP、NOF发展到高通量的CXL,为算力和存力等硬件解耦奠定了基础;存力也从传统HDD到SSD,性能、功耗实现全面提升。在Intel、华为、KIOXIA、阿里云等业界芯片、存储、云和互联网厂商的积极推进下,Diskless架构借助专用DPU/IPU等数据处理芯片和OceanDisk等专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。
冯丹教授表示,资源池化共享的Diskless架构应具备以下关键技术:
1.网存协同,DPU硬件卸载加速,数据高效协同处理。通过DPU等专有数据处理模块,使服务器CPU全为应用服务,基础设施与应用任务解耦,将VirtIO、NVMe-oF等CPU计算效率低任务转移到DPU的专用加速器执行,实现资源弹性扩展。
2.数控分离+IO直通,实现控制流与IO流分离,IO直通到存储介质,进一步提升存储效率。通过数控分离,可达到极致IO访问时延,通过存储域IO读写数据流与IO控制处理的分离,使得读写IO直通到存储介质中,减少IO处理路径,降低处理复杂度,极大提升存储域访问性能。计算域则可以借助DPU bypass CPU,减少数据拷贝开销,提升IO访问性能。
3.盘控协同,盘芯片与控制器芯片配合,提升集成度,达到最佳成本和能耗。盘控协同技术的关键是要实现高性能、低成本的大盘,通过硬件对盘控系统内的算法进行加速,比如利用FPGA实现FTL/DIF/在线压缩/加密/EC/GC等硬化,提升性能;盘内和框内的各类驱动和缓存层合一,实现盘框一体,构建极致成本和能耗的大盘存储。
4.算子卸载,EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载,存储直出语义接口,主机侧软件栈打薄,减少80%的IO交互次数,实现对整系统的CPU和网络带宽节省。同时,在大数据/数据仓库场景,可以利用引擎的下推接口,下推谓词和投影等运算操作到存储资源池,减少无效数据的搬移。
冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存力新型盘框、算子卸载等技术的发展,带来了数据中心架构的变革,加速了以CPU为中心的耦合架构走向彻底存算分离、资源池化共享的以数据为中心的Diskless架构,这种架构进一步简化了数据中心基础设施构建,能够实现存力和算力资源的集约高效发展,已经成为大规模数据中心发展的重要技术趋势。”
华为去年发布的OceanDisk智能盘框产品,是一个标准的大存力新型盘框产品。OceanDisk通过NoF+高速网络连接Diskless服务器,实现计算和存储独立弹性扩展,帮助客户提高资源利用率,机柜空间和设备功耗分别降低40%;内置FlashLink®智能盘框协同算法等软硬结合技术,带来最大250万IOPS,50GB/s带宽的高性能;依托华为多年存储研发实力,OceanDisk智能盘框提供硬盘亚健康管理、智能慢盘优化等技术,保持大规模数据中心10万级硬盘的性能稳定,大幅降低运维难度。OceanDisk作为业界首个面向Diskless架构的新型盘框,将以高性能、高可靠、绿色集约重新定义下一代云和互联网数据中心存储架构。
关键词:
相关阅读
-
04-20
-
04-20
推荐阅读
-
【环球新视野】冯丹教授:近数据处理新型盘框等技
飞象网讯日前,在中国深圳举办的第20届华为全球分析师大会,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless更多
2023-04-20 11:11:12
-
【天天速看料】深挖潜解决大问题 长春电信提升网
万物逢春的时节,中国电信吉林公司开展的“全员服务在行动”再开新花:今年第一季度,在省会长春,先后有133个区域的电信手机上网速度变快了,更多
2023-04-20 10:16:46
-
全球通讯!中国移动智能企业网关集采:5标包中移
从中国移动官网获悉,中国移动日前公示了2023年至2024年智能企业网关产品公开采购部分的集采结果,固定库部分由中移动终端集团、中兴、瑞斯康更多
2023-04-20 10:15:06
-
小米 POCO F5 Pro 手机现身 Geekbench:搭载
据gizchina报道,小米旗下一款型号为“23013PC75G”的手机出现在了Geekbench认证页面上,预计为POCOF5Pro。Geekb更多
2023-04-20 09:11:44
-
【热闻】5G的下半场,基站正在变得越来越聪明
飞象网讯(魏德龄 文)众所周知,我国5G基站建设已经达到了一个足以令人骄傲的量级,基站数量占全球基站数量的60%。根据工信部发布的2023年1―更多
2023-04-20 08:18:01
-
当前简讯:国家发改委:正在起草关于扩大消费的文
4月19日,国家发展改革委举行4月例行新闻发布会。一季度GDP增长4 5%,超出市场预期。其中,3月份消费和出口大幅回升,3月房地产销售进一步回暖更多
2023-04-20 08:18:15
-
大模型商业化开荒 微软走到哪里了
4月17日,微软以AzureOpenAI国际版服务所提供的GPT-3、GPT-4、Codex、DALL-E和企业级ChatGPT服务为基础,针对零售电商、制造更多
2023-04-20 08:02:02
-
今日热门!小米13 Ultra售价5999元起 雷军称让移
小米本周正式发布全新的人文影像专业旗舰手机小米13Ultra,搭载徕卡Summicron镜头,配备全焦段徕卡光学四摄、一英寸可变光圈、2K专业超色准屏更多
2023-04-19 22:02:33
时尚热图
-
今日必看
-
精彩话题
-
资讯播报
- 商用清洁机器人公司“汤恩智能”获数千万元A轮融资
- 【环球新视野】冯丹教授:近数据处理新型盘框等技术创新,加速数据中心向Diskless架构演进
- 环球快报:丈夫拒绝为无收入妻子支付医疗费,婚姻中的女性需要保持经济独立吗?
- 2023年山东省面向本土人才招录基层公务员考试面试相关事项
- 全球关注:Stellantis任命新CFO
- 环球焦点!起底“京东系”上市版图
- 特斯拉在美国启动今年第6次降价
- 轻舟智航首发基于环视相机的6V1R高速NOA并开放体验
- 今日聚焦!社保和五险的区别有哪些_社保和五险的区别
- 【天天速看料】深挖潜解决大问题 长春电信提升网络效能护航客户服务
- 全球通讯!中国移动智能企业网关集采:5标包中移动终端中3,中兴瑞斯康达中2
- win10电脑插入耳机没声音?如何将电脑耳机声音调成外放?
- 如何用两个蓝牙音箱连在一起?两个不同的蓝牙音响如何同时使用?
- 小米音箱怎么连接蓝牙?如何连蓝牙在车上放歌?
- 怎么查看车载蓝牙名称?笔记本蓝牙名称怎么改?
- 最资讯丨吃什么明目利肝_吃什么明目
- 东风货车蓝牙是哪个键?东风天龙怎么连蓝牙?
- 蓝牙耳机里面语音是什么意思?蓝牙耳机语音助手功能有用吗?
- 万利达音响如何连蓝牙?万利达蓝牙音箱怎么调音质?
- 蓝牙音频被占用怎么弄?蓝牙媒体音频打不开?
- 独立播放音乐蓝牙音箱?无线蓝牙音箱可以听歌吗?
- 卡拉ok哪一种音箱最好?卡拉ok音箱与专业音箱?
- 微头条丨捷德中国为赛力斯汽车提供新一代数字钥匙解决方案,率先支持多协议融合
- 每日热议!鄂州职业大学专升本对口学校 鄂州职业大学专升本
- 美国研发仿生视觉传感器预测物体运动 可应用于自动驾驶汽车
- 蓝牙音响上的m是什么意思?sense在电路中是什么意思?
- iqoo手机耳机模式在哪里设置?iqoo手机耳机怎么分左右?
- 多家车企失去获得美国电动汽车税收优惠
- 迪士尼a12蓝牙耳机怎么样?迪士尼蓝牙耳机b11音量?
- 蓝牙耳机的触碰怎么关闭?蓝牙耳机一直亮灯关不掉怎么办?
- 功放电源线有效果吗?功放线材对音质有影响吗?
- 俊博音响话筒对不上怎么办?峻博音响使用方法?
- 华为运动耳机连接方法?运动蓝牙耳机怎么用?
- 小米 POCO F5 Pro 手机现身 Geekbench:搭载骁龙 8+ Gen1 移动平台
- 蓝牙扫描有必要开启吗?蓝牙扫描不到设备怎么办?
- 低音下沉最好的音响?音响上的高音和低音怎么调最好?
- 电视机外接音箱需要功放吗?音箱功放常见故障维修?
- 环球百事通!半决赛后的大招!「扶摇」架构为小鹏踩下“地板电”
- 世界热讯:2023上海国际车展:博世助力拥抱汽车行业新时代 为商用车提供多样化动力总成解决方案
- “缺席”2023上海车展的新势力们
- 舍弗勒与智加科技签署商用车先进转向系统量产合作协议
- 世界速看:华阳多媒体与CY Vision签署合作协议 联合发力助推AR-HUD变革
- 当前简讯:国家发改委:正在起草关于扩大消费的文件 稳定汽车消费提升居民收入
- 【热闻】5G的下半场,基站正在变得越来越聪明
- 大模型商业化开荒 微软走到哪里了
- 【播资讯】理想汽车发布纯电解决方案:800V超充,2025年推出5款高压纯电车
- 最资讯丨网传特斯拉Model 3本周六降至18万元
- 增配不加价 2023款乘用炮焕新上市12.68万元起
- 全球首发 东风日产SUV天团全擎出击
- CV72AQ - 安霸推出下一代车规 5 纳米制程 AI SoC
- 天天最资讯丨坚定中德协同发展 亮道智能加速国际化合作进程
- 【全球新要闻】【2023上海车展】智能、安全、可持续:大陆集团驱动未来美好出行
- 智驾平台即服务 福瑞泰克基于ODIN数智底座发布中央计算平台解决方案
- 每日视讯:亮道智能与Aeva达成战略合作 共同开发高性价比车载激光雷达系统
- 今日热门!小米13 Ultra售价5999元起 雷军称让移动影像回归“光学味”
- 当前头条:2023上海国际车展:博世为商用车提供多样化动力总成解决方案
- 新资讯:华为周红:建设智能世界的假设与愿景
- 发布重大事项提示!拉卡拉盘中大幅下挫 一度跌超17%
- 长沙哪个大学最新排名比较好 中国一般大学最新排名前二十
- 近30款合作车型集中亮相上海车展,商汤绝影打造智能汽车量产落地新范式
- 福建中恒永药业“违规”经营药品被罚155万 存在虚构药品流向等违法情形
- 中国铁塔一季度实现营收231.99亿元 利润25.06亿元同比增15.0%
- 北京长峰医院股票停牌!
- 李斌:降价很容易,但我们拼价值
- 当前快讯:东软睿驰与多家公司建立战略合作伙伴关系并发布全新自动驾驶域控制器平台
- 医健IPO解码丨主攻自免和过敏药物,布局全面的荃信生物能否从千亿赛道崛起?
- 全球热资讯!工信部部署开展5G网络运行安全能力提升专项行动
- 每日信息:沈丘县自然资源局:强化城市精细管理 持续改善人居环境
- 环球今日报丨中行纸白银有什么特点
- 环球微头条丨长峰医院火灾事故29人遇难,事故系施工产生火花引燃可燃涂料挥发物所致,具体原因和损失还在调查
- 焦点速读:杜邦携先进解决方案亮相第二十届上海国际汽车工业展览会
- 感知无疆!楚航科技发布颠覆性第N代隐形雷达ART
- 全球热门:在网络上与店家协商买宠物 到店却告诉我价格不一样而且必须强制
- 全球关注:捷威动力携“海绵系统”及多款新品亮相上海车展
- 华为周红:积极推动科学假设与商业愿景牵引的创新
- 前沿热点:Innovusion与福耀集团达成合作,共同推出激光雷达内置集成方案
- 天天百事通!河南2023年一级建造师考试报名时间通知
- 环球视点!大众汽车集团将投资约10亿欧元在合肥成立新公司
- 锐思华创推出全球首创全新显示技术 ——多层光波导3D PGU
- 百事通!电赋想象 感触未来 一汽奥迪以全新能源车型阵容强势登陆2023上海国际车展
- 2023 上海车展,FORVIA佛瑞亚集团期待与中国携手共进同发展
- 今日精选:派真生物完成数亿元C轮融资
- 天天热点!佛瑞亚重申深耕中国市场决心
- 神马电力去年净利降51% 2019年上市两度募资共6.62亿
- 今日热搜:中国区公开首秀SENSIFY™,布雷博迈向未来智能制动系统
- 联赢激光(688518)4月19日主力资金净卖出315.70万元
- 当前通讯!日产汽车:奇骏混动版开启预售,到2026年将有7款电驱化车型投入中国市场
- 全面拥抱中央计算,芯驰开启“全芯智能”时代
- 世界看点:引领未来美好出行,摩比斯携24款创新产品亮相上海车展
- 微速讯:防水材料行业发展如何 将迎来需求扩容和集中度提升
- 焦点滚动:从“有形”到“无形”,楚航科技发布隐形雷达
- 斯基拉:坎比亚索、马塞利诺和加图索都是奥林匹亚科斯新帅候选
- 【环球新视野】宁德时代发布凝聚态电池 可应用于载人飞机 单体能量密度高达500Wh/kg
- 环球今亮点!滴滴自动驾驶卡车KargoBot首次亮相上海车展
- 新动态:绩效考核制度范本怎么写_绩效考核制度范本
- 每日热闻!Northvolt与斯堪尼亚开发出重型卡车电池
- 每日动态!舍弗勒携可持续交通解决方案亮相2023上海车展
- 全球快看点丨日产寻求在技术合作方面放弃雷诺
- 环球关注:妈妈生日蛋糕款式(妈妈生日蛋糕款式网红)
- 联通助力上海打造具有国际竞争力的数字产业集群