有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
最美情侣中文在线播放
丰年轻的继拇2中文字幕
男人的大鸟真实图片
学长缓慢而有力的撞着图片
家风贞静(禁忌GH)结局
为啥很多男的喜欢睡孕妇
宝贝再快一点别停视频
在厂里跟很多人睡过
宝宝你好会夹在车上
ssni409
被爱豆们翻来覆去1V7
人与善人与善在线观看
坐公交车居然弄了2个小学生
揉捏 高(h)
把自己淦哭的100种方法
在英语课上用鸡插英语课代表
XL上司第二季樱花未增删翻译
日本乱码卡1卡2卡三卡重新
九阴真经野草版
哈尔滨70岁丰满老熟女
gransremedy老太太
雨后小故事动态图片
秘密教学93话恩爱久等了秋蝉
国语对白露脸XXXXXX
老妈和我一起嫁
他一次比一次撞的重
金花瓶梅花6线上观看
中国macbookpro高清在线播放
嫩草研究所官官人口2021
元歌和西施拔萝卜拔出血拼音
输了被罚让别人玩一个月
日本精品一线二线三线区别在哪里啊
厨子戏子痞子豆瓣
堵好了一滴也别流出来作文
日本ZOOM动物
小受被按在墙上做腿交男男
一浅二深三大叫啥
日产无人区一线二线三线小
讲课桌下面给老师口
4个学长一起我会坏掉的作文
star-369
大乔抱枕kuro
stoya白雪公主
仙踪林老狼 - 八零婚纱摄影工作室
法国高压监狱灭火宝贝是谁
不知火舞被三人围攻
公与熄大战柔佳
接电话故意做加快速度
四虎4hu永久免费
妈妈从拒绝到迎和合
亚洲不卡一卡2卡三卡4卡mv
太凶猛了撞烂了
けんじゃたいむ八重神子
暴躁妹妹csgo独特玩法揭秘
TOTAKKAHAYAKIRIX777777777
ZOOM和OKZOOM
茄子视频在线无限看-丝瓜IOS苏州晶体公司红
三个人C同一个
打扑克是怎么塞进去的部位
江疏影2分28秒
桃花在线观看免费高清动漫
黑料网-独家猛料-曝光揭秘zztt
花木兰被全队队友日
布洛妮娅翻白眼乳液狂飙
蜜桃成熟时期33d在手机观看
乱码欧美一卡2卡3卡4
地下偶像sana未增删带翻译
欧洲VODAFONEWIFI喷浆乌克兰
宝贝把腿抬高一点就不疼了
下面都湿透了还嘴硬疼咋回事呢
TESTFLIGHT男人必备什么意思
亚洲乱码在线卡一卡二卡新区
写作业时被爹地玩
白天躁晚上躁天天躁21
品色永远免费堂
被校长抱进办公室糟蹋
蜜芽.768.MON二区忘忧草葫芦娃
疫情期间拿下老妈
免费夜里18款禁用B站软件游戏
王者荣耀女生去掉小内皮肤无烟雾
吃到自己的鸡嘴巴简单办法
二人扑克剧烈运动视频
在线天堂おなあちゃんなにか
菠萝蜜国际一区
二人剧烈运动视频教程
夹心饼干前后夹击
熟妇人妻中文字幕无码老熟妇
野花社区日本免费
朝俞坐着震动器写作业write
缘之空哪集开的车
掀开衣服左边吸完吸右边知乎
B站大但人文艺术
丰年经继拇中文2特色介绍
抱着边走边撞水流了一地的水
公交车上破了两个小学生的包
疯狂厨房2双人3-5视频
漂亮妈妈3高清中字在线播放
BGMBGMBGM太太毛多多视频
尘不到闻时顶腰细节
男生把坤坤放女生坤坤里蘑菇
漂亮的小峓子5中字巴巴鱼汤
凌乱的公交车小镇
醒来发现狗狗在上我
老卫干淑荣死去活来
穿戴式跳d放在里面坐公交车7P
没有工具怎么玩自己
被公司领导C了很多次
花核肿胀无法闭合
哪种BB最好看
网站正能量www正能量网站大全
美国男人的大鸟
含羞草传媒下载应用
19岁的RAPPER潮水仙踪林
我的中尉先生动漫西瓜
孤注一掷王传君免费观看
女朋友说她前任又大又长
男生口中的滑滑梯是什么意思
老师在办公室被躁得好爽
被学长抱到没人的地方小工具
灯草花尚3灯高清国语免费观
国色天香V天美传媒麻豆
中欧乱码卡一卡二卡三
开会被塞跳d开最大挡不能掉
朋友把我玩成了小喷泉
楚晚宁墨燃所有肉车微博截图
你的太大我的装不下
一面亲上边一面膜下边表达
皇上撞着太子妃的小说叫什么
丫头牦户一张一合
我想用乌龟蹭你的扇贝视频
好儿子妈妈要快谢了
胡桃ちゃんに逝かせてもらう
24小时免费看视频打扑克
抽出含了一整夜的性器液体流出
写作业坐在捧捧上面的句子
胡桃N开襟乳液狂飙视频网站
女生说疼男生还继续做
二十四种阴性外貌特征是什么
好满射太多了装不下了真人
声声奶酥1V办公室
与畜禽狗CROPROATION
心动时刻 简简单单
最新浮力影院地扯公布
妈妈的朋友10完整有限中字一
老师抱着我在教室做
秘书的兔子好软水好多车作文
剧烈运动扑克牌
すん止め亀头ふたいと的含义
小莹与翁回乡下欢爱姿势
当兵的晚上太猛
在课上用鸡插英语课代表视频
今天接待了30厘米的客人
两根入一洞群交
侯马市性侵事件
仙女棒坐着使用图片黄
麻豆视传媒官方网站入口
仙踪林XIANZONGLIN
你们对象怎样抠你们的
离婚了让父亲体验了一次
成绩差成为全班的玩具
麻花豆传媒剧国产MV在
YW193龙物新地址
MIYA收藏请牢记此区域
日本人文艺术欣赏PPT图片下载
楚晚宁张腿放棋子
美国14岁女rapper
女生和男生一起差差差差很疼APP
麻花豆传媒剧在线MV免费牛牛
0ADC大驾光临未满十八岁
野花高清免费观看
高压监狱三部分别叫什么
乳液狂飙天堂W98
津渝视频完整百度云盘
甘雨被盗宝团挤椰奶图片
国精产品W灬源码1688在线N
麻豆一区产品精品蜜桃的广告语
宝贝乖张腿我就可以吃扇贝了视频
WRITE AS 内衣
麻豆产精品一二三产区区
风间由美 熟女
男生吃女生的兔子头会变黑吗
谁输了去谁家受罚抽阴
乌克兰10一12x video
往下一颗一颗塞冰葡萄
如何自罚必须非常疼又无声隐私
女人是男人的未来1分59分有厚的
小小水蜜桃8视频高清在线观看
下课后的优等生未增删是什么
妈妈的朋友10在观完整有限中
女生把筷子放屁眼里不能掉视频
一二三四日本免费
瑶白色液体喷到脸上是什么
师徒1v2金银花
顶的速度越来越快是什么意思
xl上司带翻译中文版樱花
爸爸我可以吃你的棒棒糖
怎么把自己隐私位置玩哭?
Zoom cloud meetings
bbox撕裂bass后门
王者荣耀西施嘴巴里含着口水
黑帮大佬与我的365天
四虎影库紧急大通知
比赛输了任对方看和玩部位一个月
8x8x海外华为永久免费视频
老卫和淑蓉的船上生活
腿再开一点就可以吃扇贝了
妈妈的朋友13在完整视频带翻译
班级的公共玩具第1章
吃警察爸爸的擎天柱视频
公交车最后一排被C小数据
地下室偶像SANA未增删带翻译
情感的禁区1080
阿拉善8人大战视频
非会员试看十分钟做受小视频
宝贝腿开大点我添添公视频免费
亚洲精华国产精华精华液好
ZLJZLJZLJ水水多多
成都4片P视频免费完整版
最近免费韩国电影HD无吗
THEWHITEBOX精选黑与白
夜蒲1国语版完整版百度影音
快猫记录你记录世界
裙子底部的视野
黄台免费软件OPPO
班长是全班的玩具
日本24时爱如潮水末删版
东北CHINESE体育生露脸
小SB是不是欠C流了那么多
xXXXXL2022
一个一个轮着CNP
939W乳液78W78W韩国
JUX434被公每天侵犯的我
家庭教师hitman reborn
在教室被老师CAO到爽
果冻星空传媒儿媳妇
宝贝你已经长大了给我
美国ZOOM人与ZOOM欧
为什么狗狗放进我里面就变大
描写doi过程的文章
被爱豆们翻来覆去1V7
欧洲一卡二卡三卡短视频
拉丁舞跳着跳着做起爱来了
一个色农夫导航
毛1卡2卡3卡4卡免费
中文字日产幕码三区的做法步
xiaodiaowang
感受到它在里面动了吗
潘金莲全集1一5集电视剧
朝俞做题车WRITEAS
国语高清CHEAPWINDOWSVPS图片
男生的坤坤放到女生的坤里游戏
迈开腿尝尝你的草莓什么感觉
中中文日产幕无线码一
正确的进入的图片
嫩草研究所入口一二三四
进入母亲的生命之门
长城小队(上)(中)(下)
1区2区3区4区产品芒乱码
youjizz在线电影
深夜办公室哔哩哔哩
939W78W78W乳液永久
两个奶头被吃得又翘又痛
野花视频免费手机版
日本免费一卡二卡三卡四
做错了事就往下面塞一个冰球
小泽玛莉亚种子
白天躁晚上躁天天躁的治疗方法
男男车车好快的车车真人免费网站
吉泽明部 种子下载
又白又大的两座峰
jy浇灌系统公交车
冰块棉签夹子PP过程
拔擦拔擦8X永久华人网址
一女战三老外一女战三黑人
里面塞着小玩具坐地铁有什么感觉
另类老妇性BBWBBW
妇乱子伦精品小说网
浏览器网站免费进入
蜜桃成熟时3 qvod
暖暖视频日本版免费完整
男生和女生一起差差差很痛的声音
陌陌小华佗劲爆视频
妈妈的朋友5观完整有限中字木瓜
WRITEAS诸葛亮多人
用注射器打水放屁眼里的处罚视频
张津瑜吕知樾三部曲哪里看
公交车一动就撞一下撞到最深处
果冻传媒2021精品亚瑟
父亲的东西又长又黑怎么形容
两根茎同时进去爽不
抖音奶片故意走漏视频7028
欧洲最大但人文体艺术
儿子你比你爸的都大
夜倾情保姆的诱惑
宝贝它想你了感受到了吗
ZOOM人与ZOOMWIDS
亚洲XXXXXLMEDJYF邻居
看完让人下面有水的说说
WRITE AS干蒙了
けんじゃたいむ黑土腿法娴熟
漂亮的邻居交换2
学长在学校无人的地方做
斗罗大陆小舞大乱斗交大游戏
跷跷板我越下越疼的是什么
剧烈摇床运动视频打扑克
WRITEAS 灌水
3Q大战详细经过
三一起C你的感受
女朋友技术太好舍不得分手
几天没弄又痒了是吧小东西
厨房运动剧烈老师的大兔子鹿
至尊宝用金箍棒桶女娲
奇怪的美容院沙发
三代乱惀小说全集
善良的小峓子67中字巴巴鱼汤饭
圣ヤリマン学园援交日记
伦理中文字幕 - V3.2.8
爸爸缓慢有力挺送女儿的话
换个方式做吧未增删动画樱
坐在学霸的鸡上背单词
一边亲一面膜下
御宝天师无弹窗
污到你那里滴水的说说细节
writeas上层玩具
公与憩小说400章
老外太长到我子宫了
APPSTORE美区免费
男朋友老是要吃我的妹妹怎么办呀
WRITEAS掰腿
一二三四在线观看免费中文吗
一二三四日本中文在线
学霸写作业让受自己动
国产日产欧产综合
破了两个学生的花苞
学生的妈妈8中字巴巴鱼汤饭惹人
张津瑜聊天记录截图
原神女角色张嘴流眼泪翻白眼
扯开衣服两只小兔子跳出来是
共享双胞胎齐娜齐琳
晚上想看点小片片
朋友的妈妈2在完整有限中字木瓜翻译
三圾电影在线观看
部队里被咬住花蒂吹潮军人
19岁RAPPER潮水偷轨
坐下来自己慢慢摇的感受视频
糖心VLOG产精国品免费老版
免费网站你知道我的意思的
情侣的30种插秧法
男生和女生差差差30分电视剧
善良的小峓中字巴巴鱼汤饭较
公交车最后一排被多人C
可以跟女主拔萝卜的游戏
桥矿欧美片第1集
大炕上的肉体乱
中国小鲜肉巨大2022GARY
我女朋友的母亲15完整视频有翻译
女生的小雏菊到底长什么样
JY灌溉系统游戏唐小米笔趣阁
sis001评论推荐区
插拔动态真人图
在车上被弄到高c
舌头一路向下探索找到花朵
无人区一码二码三码区别图片
用注射器打水放屁眼里
妇女被深耕过后有哪些表现
如何玩自己的r头
棒棒糖放屁眼里吸收
19禁忌漫画免费阅读
我的兔子好软水好多PO
两阳夹一阴的双响炮后续走势
仙踪林进入地址老狼
悠悠爱情药草香
TPU色母与PA6色母互换
白丝高中生被C到爽哭视频
姬小满乳液狂飙奖励自己
欧美VPSWINDOWS极品
婚后与父母的交换
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1