有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
男生为什么越到最后越快
狗狗 又长又烫
小东西把它夹住去跑步不能掉
chinese中国帅男飞机
舌头伸进去添能让高潮来的更早吗
老师迈开腿让尝尝你的草莓是什么
宝宝好久没C你视频免费的
英语课代表好软免费高清视频
WRITE AS 惩罚游戏
夜里怎么自己一个人弄自己
a处处吻全程拉丝伸舌头拉丝
日产无人区一线二线三线小说
兰姨不敢发出一点声音怕吵醒风
健身教练漫画免费版在线阅免费版
春天之光老周赵青
天媒蜜桃传媒在线观看
皇上往下边塞玉器这是
双杠分腿坐前进
雷电将军乳液狂飙VX网址
小东西是不是又想吃棒棒糖了
女人洗澡沐浴露全身真实
2021国产区精华品
英语老师哭着说不能再继续了
北北北砂王者荣耀禁满天堂
扒开粉嫩尿口露出大胸美女
夜里听到婆婆哼哼的叫声
国产AV被C呻吟双腿视频
考的好妈妈就给你一次
麻豆果冻传媒新剧国产杜鹃
龙口护士门视频观看
打扑克直播下载软件免费
乖张大点一下就不痛了软件
500篇短篇合
十九岁日本韩国免费完整版
荒野大镖客暴躁老太太
大象1区一品精区搬运机器
年轻母亲8免费观看在线高清
手不安分的探进她的礼服小作文
小SAO货大JI拨CAO死你
什么叫倒插莲花
家庭大杂乱经典说说
年轻漂亮的邻居完整版
777米奇影院影音先锋
黄晓明尹正合体录制中餐厅6
一面亲上边一面膜下边的应用
情人的东西比老公大怎么办
妇女被深耕过后有哪些表现呢图片
钙GGY2023
国内女RAPPER大全
仙女棒使用图片黄
精东传媒JDYL027李娜娜
两个奶被揉得又硬又翘怎么回
动感之星妖精全集
宝贝腿打开一点我进不去
仙踪林2021
液体收集器系统hh的工作原理
把腿把开学长都给你高
年轻的母亲5 免费完整版中文版
美丽姑娘韩国在线观看免费
唐三把比比东埇的不亦乐乎
王者女英雄去掉所有服装不遮挡没有烟雾
年轻女教师6在线播放
女人讲述多人运动的感觉
蜜桃成熟3全集高清
杨敏思版1-5完整无删减版
男人忍不住挺进去了怎么回事
数学课代表趴下让我桶RH网站
爸爸车祸后让我代他让妈开心
边走边撞水流了一地的水
淑芬两腿间又痒又疼的原因
菊内留香TXl金银花车
和父母换着玩大家庭三
把冰葡萄一颗一颗往里堆视频
用大宝贝给女儿疏通下水道
被多个人C是什么感觉
日本卡一卡二新区乱码
TTTZZZ黑料不打烊肾虚十八连
用大宝贝疏通女儿的下水道
凸凸凹BBWBBWBBWBBW
双人床上做的运动打扑克的软件
日本一姐RAPPER潮水太
心海ちゃんがを腿法娴熟部下
福利乱码卡一卡二卡新区
迈开腿让我看一下小鸡蛋的视频
亚洲AV精品无码国产一区
什么软件可以看打扑克
拔萝卜一边喘气一边说痛怎么办
韩漫漫画登录页面免费漫画入口免下载
939w乳液78w实时更新
幼儿HIPHOP仙踪林的
接电话被顶的受说不出话
妈妈先是拒绝后是迎合的句子
夹心饼干前后夹击
他那里早已支起了帐篷
边做边爱3完整版视频
污污的文章 看了会出水
柚子猫原神甘雨视内射频
李宗瑞的继母是谁
TFRG4MAY18_XXXXXL
日本ZLJZLJZLJZLJ日本
大尺寸的小黄说字多肉健身房
水渍声和撞肉声连成一片
四人轮换C一人
家风贞静(禁忌GH)结局
亚洲和欧洲一码二码区别在哪儿
乱奷XXXXXHD
腿张大点我就可以吃到扇贝了图
把老公撩硬的表情包图片
麻花视频V322纯净版
我成了班级的发泄玩具的作文
老公的好大我都握不住了的说说
xl上司第二季樱花未增删翻译免费
密桃成熟时33d国语
elsajean挑战最粗极限
欧洲VODAFONEWIFI一区
一二三四在线播放免费观看中文版视频
日产无人区一线二线三线观
坤巴塞小洞游戏
天美传媒TMY0013在线观看
顶级RAPPER潮水日
张津瑜吕知樾视频外网
啊用点力对就是那里快
黑帮大佬与我的365天
性极强的岳让我满足
校园春色武侠古典系列
20岁女rapper越南
福利院在线合集1000集
仙踪林18岁RAPPER潮水偷轨
班长哭着说不能再C了视频
白石茉莉奈种子
黑帮大佬我和我第365天
女子扒开腿让男生桶爽
WRITEAS塞猫尾巴
14MAY18_XXXXXL56ENDIANKINO
亚洲码与欧洲码一二三区别
2022没封网站正能量直接进入
二指探洞很舒服吗
日产一二三四乱码18
男孩子淦哭男孩子黄文
炎孕乳身体检测2
九一制片厂果冻传媒APP
茄子视频无限看-丝瓜IOS苏州晶体公司红
他一次又一次的索要
最近中文字幕在线的MV视频
我们好久没做了我想你了
草莓丝瓜向日葵黄瓜榴莲污在线观看
黑帮大佬与我的365天
youjizz在线电影
老湿机影院免费观看十分钟
糖心vlog柚子猫内射频网站
美国XAXWASWASWAS
菠萝蜜不正经视频
仆人犯错把筷子放屁了怎么办
适合夫妻熬夜看麦片
我和小娻孑在车上全集
GOGOGO大但人文艺术包
喷泉1V3HPO
老师你感受到它变大了么
把腿长开学给你吃草莓
班长哭着说不能再C了
野花日本HD免费高清版视频
数学课代表趴下让我桶
一个人看的免费高清直播
5g天天奭多人运动绿色视频在线观看
农场主三姐妹美国1976
护士给病人做性功能康复治疗
吃女朋友的扇贝的方法
成品网站W灬源码火龙果
把冰块夹好了不能掉出来的方法
张津瑜吕知樾视频在哪看
随时随地都能干的小镇叫什么
老公带我去跟别人玩的地方
冰块一粒一粒往下边塞什么感觉
它起来了它想你了
电车之狼 攻略
初中女生喊疼男生往里寨游戏
妈妈说带套可以让我做
车文超细过程文字描述图片
14MAY18XXXXXL美国
翁公和媛媛在厨房里猛烈进出
欧洲VODAFONEWIFI高俄罗斯
两个人一前一后融为一体
同学的妈妈3中字巴巴鱼汤饭惹
鞠婧祎打扑克的全程视频
没有我的允许你一滴也别想尿出来
注射器灌满水放屁眼里处罚视频
疯狂厨房双人模式玩法
国产无人区一卡2卡三卡4卡仙
彻底征服美丽端庄的麻麻
俄罗斯ZOOM与人性ZOOM
娇吟公车系500章
国产9麻豆剧果冻传媒
50款夜间禁用软件app免费
JAKEANDRICH.手冲
孤独又灿烂的神
手机调成震动夹在中间有感觉吗
国内SPEAKINGENGLISH真打
家里没人儿子就弄我了
第一会所s001论坛
同桌C了我一节课作文
小莹客厅激情46章至50章视频
乱码欧美一卡2卡3卡4
迈开腿让我看看你的动漫视频
寂寞夜晚看的MV字幕高清网站
老师好紧张开一些
MD豆传媒一二三区
欧亚专线S码和W码入口一样吗
欧洲最大但人文体艺术
国产馆麻豆天美果冻星空
国产无人区码卡二卡3卡4卡网站
WRITE AS医生
OldMacDonald老人
天美传媒国产剧影视公司
在公交车上弄到高c了最后一排
美国XXXXXL19D
JUL532外勤突然下大雨
男在上女在下git动态图
打扑克猛烈摇床
小蓝彩虹男GARY2023网站
润色红叶吻蛇枝黛妃
24小时视频在线观看免费观看
看了会滴水的段子
夜里18款禁用B站大全
再往里一点啊对就是哪里
妈妈哭着叫我带上套
坐在爸爸上面吃饭
男人激烈吃奶动态
被多个人C是什么感觉
YSL水蜜桃86棕榈
蜜芽资源高清在线观看
我十二岁就做了不干净的事
赴约际慈 PO
CF孙尚香正能量图片
国模欢欢出白浆炮轰图
吃瓜爆料黑料网站
小东西几天没做水又变多了
班主任的大兔子好软水视频
扑克剧烈运动打扑克视频
班长的兔子好软水好多免费的网站
亲爱的老师4中字BD
14MAY18_XXXXXL56ENDIA
欧美人与人动人物2020
人曾交互MOUSE
张柏芝的BB阴部
宿主的任务是收集jy活命小说
被C的时候要喊什么
学渣含着学霸的写作业双男主车文
两个师傅一前一后完整版
深度1v3多肉
皇上不可以(限)沈音
mimk-009
中韩高清无专码区2021曰
三根一起会坏掉的好痛红梅
一口一口把奶油从胸口
哪个浏览器可以看黑料不打烊
后营露营第二季无增减
亚洲人一卡4卡5卡6卡7卡
2021乱码精品公司
年轻的妈妈中字巴巴鱼汤饭
母亲把身体做生日礼物
动态图27男舔女
最大但人文艺术网站
五个黑人玩一个女5P的小说
夜里18款禁用b站网站
段嘉许把手探进桑稚某处扩写篇
95W乳液78WYW永久区域
顶一下叫一声是什么意思
张津瑜 落地窗 视频
女头粉色部位上半身大胸头像
老头老太太GMBGMBGM
lovely cation
在没人的教学楼走廊里做
11岁下面能放几支笔
快好喷水视频连续登上热搜
python人马大战
7X7X7X任意槽2023进口
这几天没C你了是不是皮痒
用点力今天家里就你和我
5G影讯5G天线在线观看免费网址不用下载
家里什么东西可以代替棒棒
淑荣二次上船开到湖中间去
家长会上爸爸们C幼儿园老师
99精产国品一二三产区区
宜家回应商场原版视频
放在里面等我好回来检查
kenderla sanderland多人
四叔一次又一次索要
儿子耕种母亲的田
凌晨三点看的片WWW小说
开车视频疼痛有声音水水音频
400aicom情艺中心
1区2区3区4区产品芒乱码
坐公交车日了两个小时文章
学长不行这是地铁
在厨房要了朋友麻麻
上课的时候突然把跳d开到最大
两座雪白玉峰弹跳而出图文
女人不怕短粗就怕带钩这个钩是指
西方44大但人文艺术
朋友的女朋友5中汉字晋通话
你越来越耐C了
没带罩子让他吃了一天的药
张婉悠白蛇传完整版
体育院校大猛攻视频
永远免费的品色堂
父子tck完整版
坐在学长的棒棒上写作业文章视频
腿再张大一点就可以吃扇贝了
WRITEAS做作业
兄妹方程式多R车多1V3
邻居的夫妇交换3
掀开衣服左边吸完吸右边知乎
亲吻摸摸蹭蹭抱抱哔哩哔哩
成品人直播大全2023
乱码一卡二卡新区永久
jy灌溉系统公交车
好烫好涨被尿灌满了BL
中国speakingathome宾馆学生
赵露思的乳液头被吃
至尊宝用金箍棒桶紫霞小鸡
迈开腿让你尝尝草莓是什么
M0STHDCOECTION性
车内剧烈运动描写片段
ZOOM与人性BOOD
走一下撞一下深深咬合总裁漫画
你弄得人家里都是水
张津瑜资源在哪
天美传媒国色天香乱码
迈开腿尝尝你的草莓是什么感觉
体育老师c了渺渺一节课作文
肉大尺寸小黄说说
让学长干一次再写作业作文
女生和男生一起相差差差差差
甜蜜惩罚2樱花未增删版
黄系纯色软件下载入口
不知火舞被三个小孩
精品乱码卡一卡2卡三免费
槽溜2021入口一二三四绿巨人
斗罗大陆黄化网站直接进入
被C是什么感受
黄到让你那里滴水
超能太监2之黄金右手
背人伦而禽兽行十年而灭的意思是
原神纳西妲流不明液体A区
去姥姥家进入妈妈身体的说说句子
上一个楼梯撞到最深处
国色天香精品卡2卡3卡4
女儿的朋友3中汉字
被公疯狂进入的美丽人妻
W永久939W乳液66
绿巨人推广官网
公交车上C了两个小学生
金田一少年事件簿r第二季
男生女生一起差差很痛的APP下载安装2023
英语老师哭着说不能再继续了
美国少归BVBV
人狗胶配方大全图片
美女被黑人40厘米进入
我被同学按着做了4个小时
4hu com虎影库永久地址
大胸年轻的保姆6
如何引导狗狗上自己春雨医生
深度开发1V3全是肉
中国人看视频免费
我想用扇贝夹你的乌龟什么意思啊
污的你下面一直滴水的句子
136精密导航AGV
夫妻成长日记动画
男生越到最后越来越快
女人网站你懂我意思吧
班花哭着说3个一起会坏的
小sb是不是又想要了
学姐是班级的公共玩具作文
四个人换着玩的过程
王建李珊张伟陈婷互换
WRITE AS 双龙
白天躁晚上躁天天躁的治疗方法
一码二码三码四码五码的区别
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1