有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
啊宝宝的腰好会扭再叫大点啊哈
婆婆晚上叫声特别大
punimai
英语老师你的奶好软
小孩把坤坤放入妈妈里面
国产免费毛卡片
尺码最大的国产suv
每走一步楼梯就撞到最深处
在公交车上嗯啊gc被c动态图
BGMBGMBGM老太太毛多
为什么越往里越有劲
顶的速度越来越快越叫的作文
日产乱码一二三区别免费
男生女生差差差30分钟很疼视频无掩盖
老板不让穿乳罩随时揉H
妇女是指什么年龄段
炎のおっぱい身体检测仪器
双男主全车车的腐肉
老婆不在家一个人寂寞CSGO文案
交流1V3多肉软玉娇香
400aicom情艺中心
大蛇根C小兔子
男女在一起翻雨覆雨的描写
打扑克差差差视频
欧洲无人区卡一卡二卡三
日产乱码一二三四五
一边伸舌头一边快速喘气图片
99精产国品一二三产品功能
明星合成斗转星移
天美传媒MV免费观看软件特色
王者荣耀貂蝉喝自己的液晶视频
详细描写C的过程
女生让男生诵自己的己的讥讥
亚洲一线产区二线产区区
W乳液939永久W78
24小时免费看的视频打扑克牌
帅气体育生GARY网站MV网站
想吃你身上两个黑葡萄
晒晒14岁儿子蛋蛋竖起来
多毛BGMBGMBGM胖老太太
深田咏美HND-723在线观看手机
一面亲上边一面膜下边文字
xiaodiaowang
抖音小姐姐脱身全衣服
樱花味仙流白浆福利姬
ZZOOOOOOOOOSHOISHOU
少妇BBB搡BBBB搡BBBB
yy111111手机在线观看琪琪
日本漫画口番工全彩之时间停止
裙子底部的视野
能让下面滴水到爆的说说
人间小喷泉1V3HL笔趣免费看
国产尺码和欧洲尺码表CCTV
COSMO OIL
他缓慢而有力的撞着在车里
最近最新高清中文字幕免费大全
大尺度穿床震视频韩国
小婷又嫩又紧又滑又多水
学生的妈妈2中韩双字多鱼1下
嬢王 virgin
趴在玻璃窗做给别人看的视频大全
c的你走不了路sb
你日的我走不了路了
一面亲上边一面膜下边的免费
缘之空无删减资源在线
搞机TIME的恶心软件10分钟APP不用下
量近2019中文字需大全规须1
51吃瓜热心张津瑜
二指探洞HIGH到飞起什么过程
天美传媒果冻传媒国产电影
女子高生の腰つき
两个男孩子开车长视频
张柏芝艳门照照片
体育老师在单杠C了我一节课网
人与畜禽共性关系的重要性有哪些
十八岁rapper潮水欢迎您
剃须.然后捡到女高中生
XRK1_3_0ARK向日葵站长推荐
美国白人未成年rapper豆瓣
被打得不敢坐凳子WRITEAS
无人区码卡二卡3卡4卡有限公司
新疆XXXXXL2031
宝贝你自己做给我看
47最大但人文艺术摄影
亚1州区2区3区4区产品图片
好儿子妈妈今天晚上就是人
金花瓶梅花4金花瓶
丰裕纵满的保姆
无人区卡一卡二卡三人伦
白天是狗晚上是狗老公
女士不遮阴内搭图片高清大图大全
男生女生差差差很疼APP大全免费熊猫漫画
晚娘恋欲百度影音
换个地方做吧未增删动画动漫
漂亮的继拇5字
日产高清卡1卡2卡无卡
日产日产自线一二三四2021
ZLJZLJZLJ水水多多
倒插莲花该怎么做
明星造梦49区
中文字幕 日韩 无码 在线
儿子以后妈妈的比就是你的了
免费国无人区码卡二卡
BGMBGMBGM老太太80岁毛多多
双人床上打扑克又痛又叫
蜜桃成熟时33d等
张津瑜和吕知樾照片
中国XXXXXL17免费
最近中文字幕免费大全8一
三个媳妇一锅烩大团圆
美国队长3票房
欧洲最大但人文艺术5788
用注射器打水放屁眼里故事
国产精华液一区二区区别大吗
日本阿v在线观看不卡变态
囯产精品一品二区三区
污网站wallpaper共享人可以看到订阅吗
成品网站源码1688可靠吗
小东西才一根手指就喊疼了
二指探洞应该怎么抠
没带罩子让校霸C了一节
得到超级肉禽系统的紫岭红山
半妖乳娘百度影音
两个奶头被吃得又翘又硬怎么办
黄色软件app下载3.0.3每天三次oppo版
情侣的100种插秧方法
世子很凶插花弄玉前进后出
写作业时坐在父亲的下面
肉多车速快的推荐
又大又长又租免费看
翁和梦莹三人同床的推荐理由
大菠萝福建导航福引导网站
无颜之月带翻译樱花中文翻译
GGY钙2022调数
办公室被公司领导C了很多次
厚颜无耻韩国动漫在线阅读视频
真人打扑克直播软件下载安装
原神申鹤开襟乳液狂飙
日产乱码区别免费的使用方法
你看的这么多水了还说不要
18_XXXXXL56
锕铜铜铜铜v27的独特功能介绍
再来一次好吗动漫免费
讲讲第一次吞J的感受知乎
老公和他朋友一块上我可以吗
爸爸缓慢而有力的撞着
早就想在学校要你了免费阅读
校花下面又软又进禁视频
国内女RAPPER大全
晚上想看点小片片
每走一步楼梯就撞到最深处
这一刻我们已水乳交融在一起
冰块和棉签弄出牛奶视频
夜里听到婆婆哼哼的声音
一个人看BD高清在线观看
人与善XUANWEN在线播放
新不夜城综合首页
榴莲新片免费观看
1是怎么进入0的图片
消失的她免费观影
班长是班级的公共玩具作文
老卫在船上弄雨婷
后车座的疯狂全文阅读
开会被塞跳d开最大挡不能掉
翁止熄痒苏钥第9章
我和姪女小婷上下耸动
40部AI明星造梦
向涟苍士献上纯樱花
40部AI明星造梦
2015年3月里番
三个人每人C我半小时
公交车上荫蒂添的好舒服的句子
日文中字乱码一二三区别在哪儿呢
囯精产品一品二品国精
水蜜桃视频下载方法
写得很详细的开车
ZOOMSERVO兽狗
宝宝好涨水快流出来免费视频软件
最近更新2019中文字幕国语
贺朝谢俞c到哭车
王者荣耀公孙离被捅的流眼泪
如何一根棉签C哭自己
王者荣耀黄化网站免费
晚上睡不着看点害羞日本
绿色高清视频在线观看免费6
妈妈的男朋友2线观 高清
水蜜桃1997
2019理论片电线
免费中文字幕日产乱码
2023钙GGY钙网站免费观看
充气娃实战过程图片
Nagoonimation Works3D
羞羞漫画入口页面在线登录
在街上他突然按了遥控器作文
老师上课跳D突然被开到最大作文
老中医吮她的花蒂和奶水视频播放
秋葵适合未满十八岁的人吃吗
海角社区母亲为儿子高考解压
对象摸自己小兔兔什么感受知乎
迈开腿让学才尝尝你的草莓
坐着震动器写作业WRITE AS
翁公用舌头吃我下面
一线高清在线观看完整版
purhub入口
国产午夜精品AV一区二区麻豆
帅气体育生GARY网站MV视频
他低吼一声进入
双杠分腿坐挺身前进H
老师裸露胸被强挤奶漫画
荒野大镖客2大妈一家
野花社区日本最新免费
冷狐移植300款黄油游戏
第一次处破女14分钟
日本一线产区和二线产区
王者荣耀女英雄正能量2000张图片
他一次比一次撞的很
体育老师c了一节体育课作文
爱情爱情岛论坛线路播放1
亚洲无人区码一码二码三码的特点
2019久草原国产
啊轻点灬公大JI巴又大又
女士不遮阴小内搭
学霸错一题插一次
夜倾情保姆的诱惑
12岁拔萝卜一边疼一边叫
当兵的一天弄了好几次
岳故意装睡让我挺进去的视频
宝宝我想吃你胸前的大白兔奶糖
女生一边喘气一边叫疼
太捧了几天没C水就这么多吧
妈妈的职业K8s经典
龙口护士门视频在线观看
吉泽明部 种子
岳故意装睡让我进去
男神插曲女生免费完整版
一边喘气一边叫做摸小兔兔作
翁熄止痒婉艳隔壁老李头
WRITEAS洛温塞东西
撑起伽罗的腿疯狂输入的视频网站
男朋友C你的时候一般会叫你什么
迈开腿男人往里怼女人的做法
妈妈的朋友5在完整视频带翻译
我今天接了一个三十CM长的
在公交车上撞出了水
妈妈酒后误为我是爸爸怎么办
蜜桃成熟时钟真
讲讲你们doi最舒服的一次
狠狠射日日干综合
HONGKONGDOLL看片黄
花季传媒v3.072黄每天免费三次下载
一本二卡三卡四卡无卡免费高
胡桃玩旅行者的小坤坤网站
权臣hlH十一月
两个人一前一后攻击我怎么办
易感期爱哭到脱水
翁莹情乱第全部篇
日本水蜜桃身体乳的美白效果
世界脱衣舞大赛
快穿之系统养成(h)冉冉
精产国品一二三产品在哪
妖孽相公多多多
狗狗的东西好大图片
怎样用一根棉签弄自己
中韩砖码砖专区2023
舌绕指探洞深深下一句是什么?
中文在线っと好きだった官网
腿再打开一点就能吃扇贝了
渺渺在沙滩上让男人涂防晒霜
原神甘雨被空C出白色液体
宝宝都湿透了还嘴硬疼怎么回事
向涟苍士献上纯洁未增删带翻译
男子可为之事女子未必不可为
禁欲电影观看完整版
一边亲着面膜胸口
把英语课代表按在地上C
叔父和爸爸谁更大
最近中文字幕在线的MV视频
忘忧草768mon二区
zztt黑暗传送门精彩片段
中国XMXMXM18小孩
亚洲卡3卡4卡5卡乱码
500篇香艳短篇合
中国zoom人狗app
中国XXXXXL在线
爸爸缓慢有力送女儿的句子
中文字字幕乱码播放
女头部位大胸头像
日本无人区码卡二卡三卡四卡
御花园皇上撞着太子妃
在课上用鸡插英语课代表视频
脱mm内衣游戏
JAPONENSISFES
老师兔子好软水好多H15视频
三叶草M码和亚洲码区别
秘密教学82这次换我教你了土豪漫画
8x8x我要打机飞在线观看
小东西这才一根你能吃
16MAY20_XXXXXL56ENDIAN
你看你把水弄得到处都是
免费无人区一码二码乱码
迷人保拇2高清在线播放手指动
宜家回应商场原版视频
善良的秘书5中字巴巴鱼饭汤
金麟岂是池中物侯
男生把自己的手放到女生的qq里
亚洲码一码二码三码区别
羞羞漫画登录页面免费入口页面
日韩天码砖区2021
自W到高C的26种方法图
W永久9392W乳液
0adc影库年龄确定
老狼卡二卡三卡四卡二
妈妈的朋友5完整视频有翻译木瓜中字
ゴブリンのどうくつ洞窟sana
校花被绑到男厕当尿器
白妇少洁高义全文阅读
伽罗ちゃんが腿法是什么意思
做错一题就往下面放冰块
用毛笔蘸下面洞里的水写字作文
日产无人区一线二线三线乱码蘑菇
网址没封的来一个
仙女棒坐姿图片
翁莹情乱第全部篇
最近韩国日本免费观看MV百度
往下边塞玉器出门write
好兄弟把我给C了
没有工具怎么玩自己
亚洲无人区码一码二码三码区别
青梅不经c1V1玉米
妈妈的朋友12完整视频有翻译
皮肤上有白块关键词
如何弄到自己喷泉
男男车车好快的车车网站入口
公主殿下微臣馋了玉U势灵犀
女人迈开腿男人要吃草莓
美女视频脱空一净二净
警方调查黄金鲍事件
日本无矿转码直接进入2023
桃花韩国动漫免费官网
成人免费在线电影
1是怎么进入0的图片
可播放的steve hopper
暴躁老阿姨CSGO技巧
最近更新中文字幕第1免费版
老师你的兔子好软水好多作文开头
性治疗营美国2
老奶奶BGMBGM
写作业时坐在父亲的下面
小B就是要用来C的
公交车轮换CH
对准了自己动不然不给你头条
中国成熟IPHONE
八重神子COS入夜狂飙游戏
老师你下面好紧夹死了
新版猫咪目前的地址入口
国精产品一区一区三区有
小婷又嫩又紧又滑又多水
大炕上装睡配合弄
精产国品一二三产区别手机
鄂州一家亲聊天截图
抖音C人版奶片7028
隔着睡衣吃你的小尖尖作文
一层一层的剥开我的衣服
日本一线二线三线四线五线
xiaav 因你而精彩
班长的手灵活的按着遥控器
16岁女生迈开腿打扑克正常吗
女生把筷子放屁眼里不能掉作文
输了让同学玩全部位置作文
声声奶酥1V办公室
男下身进女人下身视频免费
瑶遇见神鹿喷白水软件
2020年日本高清一卡二卡三卡四卡
爱情岛论坛首页推荐
将皇后送去军营慰问三军
沈阳48岁老阿姨叫的没谁了吗
ZOOM人牛OKZOOM俄罗斯
最短的JK裙子
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1