有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
国精产品一二三线
王者荣耀黄化网站入口游戏
家里没人我弟把我做了
认命吧!金牵牛
贺朝在谢俞里面塞棒棒糖
注射器打水放屁眼里视频处罚
浪翁荡熄的幸福生活
张芸熙麻豆MD0107
无翼乌老师漫画漫画全集
我年轻漂亮的继坶4
王者荣耀西施张嘴流眼泪图
国内精品乱码卡一卡2卡
BGMBGMBGM老太太交70
137VT最大但人文艺术图
YSL千人千色T9T9T9T9T9
女看了会流污水的段子网站
wow动如脱兔
如何骑枕头上下移动图片
10款禁用软件永久无限大全
蜜芽忘忧草768.MON.二区老狼大豆行情网芹菜
中文字幕在线看成电影乱码
几天不C水这么多
宝贝把腿抬高就不痛了
年轻漂亮的岳坶9
啊哈别别揉那处了
看镜子里我们结合的样子
18款夜间禁用入口2023
亚洲中文久久精品AV无码
中文日产幕无线码一区2021
好涨水快流出来了快吃动
国精产品W灬源码3
动漫RH男男车车好快的车车
最近2018免费中文字幕4
乌克兰10一12x video
津渝视频完整版哪里可以看到
有种你倒是公开
中国XXXXXL2023年
吃八重神子的乳液
24小时日本韩国免费看
美国K8S经典
波多野结衣系列在线观看GVG
国精产品999永久中国有限
看了让人起反应的文章
小鲜肉吃小鲜肉的大LOGO视频
被两个男人绑着玩
亚洲一线二线三线品牌精华液
最好玩的B是哪一种
夹心饼干前后夹击
腿可不可以再抬高点
一口一口吃掉胸口上的奶油
WRITE AS管教
十天的爱人韩语
侯马市性侵事件视频
中国精品一期二期三期区别
Zoom与人性Zoom2区别
50款夜间禁用软件免费APP
C死了啊哈宝宝腰好会扭C视频
好妈妈5中白好妈妈5中
日文中字乱码一二三区别在哪儿
全部都在那个地方在线观看免费
无遮无挡在线看
儿子妈又不是不给你玩
麻豆果冻传媒新剧国产杜鹃
宝妈吃12岁儿子的鸡
把女人弄特爽黄a大片
男朋友晚上怎么做你的
天美麻花豆产区
坐在硬邦邦的东西上写作业
一边亲着一面膜下的毛毛虫
把筷子放屁眼里不能掉的作文
重一点啊再重一点
当着全班面被C到高潮哭视频
拔萝卜又痛又叫黄
欧美人与人动人物2020
非洲人性功能强大跟什么有关?
最近韩国免费观看HD
日本阿v在线观看不卡变态
TTTZZZ传送门2024
4虎 最新能用的是哪个
中国windows野外
YING荡的雯雯第三部分
引导狗狗干自己哪里
亚洲码一码二码三码区别
夏天短袖侧面看见女生小馒头
TOBU7TOBU8
日本一线二线三线四线五线
VODAFONEWIFI性另类
等不及在车里就要了老狼信息
大团圆6血缘关系1
打开扇贝就可以吃火腿肠
ipz-140
早就想在学校要你
云缨去掉所有小内流口水图片
你的舌头太厉害了
5g天天奭多人运动 最新网站
原神雷电将军被淦免费网站
日本年轻的母亲5观整有限中字
后营露营无增减3季
小诗的公交车日记1一15文
ドラえもんのエロ原神
岳的毛又黑又厚
用卫生纸制作一个假j
家里没人姐姐就是我的了
贺朝醉酒把谢俞C到哭
售票员用b验票小镇免费阅读
大菠萝福建网站引导入口404
色戒完整版2小时38分
冬日后的樱花韩剧
你的舌头搅拌着我的那里
JAPONENSISFES老师
BRANDILOVEMISSIONARYACTION
刚开始一深一浅后来逐渐变大
学渣含着学霸的攻写作业
适合自W看的文段
仙女棒坐着使用示意图
外网张津瑜视频在哪里看过
无忧传媒在短视频领域的成就
我想用扇贝夹你的乌龟什么意思啊
旧里番肉欲に堕ちた牝たち
无人区码卡二卡3卡4卡伊甸2卡
台湾无人区卡一卡二卡三乱码
老旺的大肉蟒进进出出BD高清版
把极品白丝老师啪到腿软
雷电ゃんが腿法娴熟を网站
篮球队的公共玩具坐便器
两个月不见老公跟疯了一样
中国XXXXXL19学生
5g天天奭多人运动 最新网站
xingshenghuozhinan
把女朋友弄成小喷泉是什么意思呀
西西里美丽传说完整
国精产品99永久中国有限公司
半夜妺妺叫我吃她胸
老师你的兔子好软水好多的作文
两根一起进去疼拔出来就不疼
来吧儿子妈妈是你的人是什么歌
爸爸的朋友2中字翻译
日韩一卡二卡 3卡四卡乱码
朋友的娇妻好爽好烫嗯
DH-NVR4116HS-HD
男女差差差30分视频
疯狂主妇无删减版
一见面就不停的要我
优质rb灌溉系统唐小米
旗袍全开襟双人运动
女神漫画登录页面免费漫画入口网页
张津瑜吕总1080P网盘
欧洲vodafonewifi喷浆俄罗斯
国模露露客厅沙发
日本RAPPER一姐潮水仙踪林
猫咪MV最新永久地域网名叫什么
英语课代表上面好软在线播放
王者荣耀女英雄去掉所有服装流口水
成品网站W灬源码16伊园最
嘉木(1V1婚恋)
妇女是指什么年龄段
走绳子打结PLAY
小甜豆三部曲是哪三部
绿帽子精选系列70
龙口护士门视频
年轻的老师2全集
3ce奇米四色眼影奇米8888
你的东西比我老公大好多
14MAY18_XXXXXL56ENDIAN2
差差差很痛30分钟打扑克
孙尚香站在凳子上辅导刘禅写作业
四叶草M码与欧洲码的区别
王者荣耀西施害羞流口水的表情
姬小满去掉布料
迷人的保姆5线观高清
漂亮妈妈1中文字幕完整高清
147人休艺术 大胆
y1uan大家庭
公孙离卧床眼流泪红脸
被压到落地玻璃窗前doi
宝宝才三根手指就受不了
一个好妈妈2水母中字老虎
黄沙视频在线观看www免费直播
最美情侣在线播放
宝宝下面都湿透了还嘴硬疼
东北老女人大叫爽死啦
胸大的姑娘中文字幕视频
阿娇张开两腿实干13分钟完整版
国精产品7363
小东西才一根手指就喊疼了
久久大香伊蕉在人线免费
年轻的母亲4兔费线
两个人怎么搞才能生孩子
丝瓜 草莓 秋葵 榴莲
果冻传媒mv国产陈若瑶主演
丰年经的继拇中文3的特色和机能
将界2第3集大尺视频
无翼漫画全集彩
亚洲不卡在线2卡3卡4卡5卡
美国少归BVBV
一小孩儿半夜给女孩吃坤巴
国岳夫妻真实身份
亚瑟YASEE2021在线观看
黑人的很粗很大的蘑菇头
GARY18一19
张津瑜视百度云
绿帽子精选系列70
小汽车被两大货车挤压致1死
新版猫咪目前的地址入口
半夜家里没人妈妈就是你的人作文
公交车的最后一排入了我
各种姿势玩小处皱女
嗯嗯宝宝怎么啦难受吗 疼 好大
18禁黄动漫网站禁片无遮挡观看
差差的很疼30分钟视频无掩盖
青梅竹马是消防员未增删第一季
大尺寸的小黄说说1000字阅读
雷电ゃんが腿法娴熟を网站
日韩砖码砖专码2023
海贼王女帝被海军轮
坐在叔叔的硬硬的上面写作业
一二三四日本中文在线
ZOOM和OKZOOM
爸爸我怀了你的孩子免费阅读
迈开腿尝尝你的草莓细节描写
jy灌溉系统公交车
怎样把自己C到哭
日产一二三四五六区
老奶奶vpswindows
双乳被一左一右吃着的
开车越往下越疼的那种作文
晚上家里没人就让你弄
51精产一二三产区区别
在线观看国产AV每日
能看到女生所有部位的头像
两个家庭换女儿玩
儿子今天晚上只让你
麻花传md0155苏蜜清歌在线
china外卖小哥gary
交换:朋友的妻
女生迈开腿让男生吃草莓恶心吗
WRITEAS塞红酒瓶
迈开腿尝尝你的草莓意思
心疼儿子可以给他一次吗
开心四房播播网
岳腿缝之间水汪汪高清
羞羞漫画破解版免费阅读网页版
鄂州一家三口373页聊天截图PPT
宏翔小蓝视频GY2023
刻晴被盗宝团C的不能自理视频
丁香大型成人网站
男朋友咬我的小兔子图片
污网站WALLPAPER共享人可以看到订阅
TTTZZZ668.SU黑料不打烊
免费做运动视频扑克视频
学生的妈妈8中字巴巴鱼汤饭惹人
40岁阿姨荒野大镖客一
麻麻熟睡让我滑进去了
腿再张大一点就可以吃扇贝
男男车车好快的车车网站推荐
潜伏期阴性会传染吗
公交车轮C关老师
野兽的夜晚第一季忘不掉的前任
来吧儿子妈妈是你的人是什么
猎艳狂魔完整版在线观看
黄动漫车车好快的车车
顶的速度越来越快越叫的作文
最爽的乱惀小说200篇
上面一边亲下一边面膜是什么意思
老婆的生日3Q开始
处钕膜被捅图片
岳把我的大具含进
色农夫网站导航大全
公交车站避雨第二集
男生插曲女生动漫版
star 362
男人会亲你的小花园时代表什么
女人迈开腿让男生吃菜的吃草莓
一二三区无线乱码2021
gransremedy老太太
谁输了去谁家受罚抽阴
扶摇zydzyd灌得鼓鼓的
忘忧草研究所直接进入
触手tentaculata无尽
能看到女生所有部位的头像
不被原谅的搜查官
抱着公主走一步撞一下的小说
日本阿v在线观看不卡变态
日本一产二产三产
父母儿女一家换着玩的文案
国内ai明星造梦鞠婧祎mv
四房播播 五月
かたと花火と动漫无删减
波多野吉衣电梯
老师的兔子软水好多免费看
芒果一码二码三码四码区
我今天接了一个三十CM长的
跑步机上边跑边顶HHH
一口一口把奶油从胸口
一个人免费观看的WWW哔哩哔哩
不知火舞被3个小孩
宝贝好紧好爽再搔一点试视频
腿张大点就可以吃扇贝了
激荡瑜伽1V2PO
YING荡的雯雯第三部分
梁医生再往下一点就可以吃肉了
第一次3q大战的经过
25CARD中国大学高清视频
雨果 百度影音
妇乱子伦精品小说网
老师下面太紧拔不出来怎么矫正呢
夜里十大禁用B站APP
斗罗大陆小舞给人桶的模拟器
男男车车好快的车车图C
往下面放冻葡萄的感觉
父亲缓慢而有力挺拔的句子
卡一卡二新区无人区
麻花豆传媒剧国产MV
农村人乱弄一区二区的处罚方式
最近2018免费中文字幕1页
无限免费观看动漫
我把语文课代表做哭了
年轻的老师4中文正版
韩国妈妈的朋友观整有限中字
行吧有你春暖花开
一亲二膜三叉四强五注射30分钟
小东西几天没做喷的都是视频
聊斋艳谭之孽欲孤鬼
父承子液金银花
刻晴被盗宝团捅的叫个不
麻花传媒XK8046在线观看
俺去啦最新地址
一女侍七夫巨H双修
车子一晃一晃正好掩盖我
寂寞护士中文字幕 mp4
新版金银瓶1一51956
三个人一起玩3Q详细经过
我们三个人搞一个人啥感觉
小东西几天没做水这么多视频
女人的战争 卑劣的交易
男人把j放进女人的下面的视频
第一次挺进苏雨瑶的身体
王者荣耀嫦娥卧床流水
老电工老王和李小燕
姐弟俩拔萝卜又疼又叫高新
把筷子放屁眼里不能掉的作文
瘾欲欢愉作者半块小饼干
中国vodafonewifi性
无人区码二码乱码区别在哪
呼吸过度未增删
感受到它在里面动了吗
只有放在你的身体里才能解毒
夹冰块一天都不能掉出来
桂花婶的宝贝可是9曲18弯
黄版直播APP
你这S货老子C死你
白丝同桌让我随便玩
色吧有你春暖花开
女生越说疼男生就愉快
4个人互换着做苏霞
污到你那里滴水不止的说说
学生和妈妈的朋友
孕妇RAPPER潮水偷轨
少女视频哔哩哔哩
声声入魂hifi女声cd
囗交大图片26交
MD0076沈芯语老师
车里强行打扑克又叫又疼
腿张大点就不疼了
爱情岛论坛首页推荐
亚洲日本一线产区和二线产
一个人被3个人同时C了
丝瓜榴莲秋葵榴莲污污污
最好玩的B是那种
女人半夜莲花开很难受怎么办
bbox撕裂bass俄罗斯
棉签冰块放入PNG图片
宝宝这才三根手指就流
WRITEAS揍肿在教室
TOTAKKAHAYAKIRIX777777777
年轻的母亲4 剧情
吃饭时某处紧密连接在一起视频
早上起床抱紧我第1集
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1