有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
丰裕纵满杨玉环
趣事百科宅福利鲁一鲁李丽莎
在床上拔萝卜又疼又叫痛
如何一支笔C哭自己
离婚了天天跑去日前妻
任你玩人免费视频
和女婿发生了不应该发生的事
用大宝贝疏通女儿的下水道好吗
日本大但人文艺术 MBA
接待一个30cm长的客人
露娜拿的金箍棒玩自己视频
胸的手感怎么样
日韩精品一卡2卡3卡4卡乱码
秘密教学52子豪停不下来了
接电话时他却突然用力
沈阳45岁老阿姨喷了好几次
小华佗事件陌陌
成品源码1688网站免费版
亚洲VS欧洲VS美洲人口
bt天堂在线最新版官网
妈妈的朋友6在完整视频带翻译
班长哭着说不能三根一起
14MAY13_XXXXXL
原神甘雨安慰部下CG插画在哪
182tv观免费现看
日本乱码无限2021芒果
姬小满裸妆图片
无人一码二码三码4码免费
sis0001 board评论区
男男车车好快的车车有点污网站免费
CHINESE猛攻6P霸道太子怀孕
18款夜间禁用粉色短视频
坐在学长的上面写作业
野花视频在线观看最新1
CHINA篮球体育飞机2023
男生女生差差差30分钟很疼视频无掩盖
都这么多水了还嘴硬这是在车上
国语对白露脸XXXXXX
2023最大间谍案
抖音没带罩子52秒
坐在硬邦邦的rb上面写作业
被吃扇贝的感觉
公主殿下微臣馋了玉U势灵犀
草莓视频app下载安装免费无限看-丝瓜ios
无人区乱码一二三四区别在哪
男朋友老是玩我的小兔子
4虎 最新能用的是哪个
午夜dj免费完整在线看网
日本高清哔哩哔哩视频
迈开腿让学长看看
有车车的腐肉双男
刮伦合集500
国产乱码无限2021芒果
麻花传媒剧国产MV网站
公孙离といちゃつきたい的欢迎会
在教室伦流澡到高潮HGL动漫
波德卡波娃 种子
男人把j放进女人的下面的视频
一个人免费播放在线观看视频
404黄台软件进入网站
一不小心溜进了母亲的生命里
自己对准它自己动
女儿初长成爸爸来尝鲜食品的说说
老狼一卡2卡3卡4卡2021免费
宅男频道最新上架
女朋友特别会摇是什么意思
女人最喜欢的体位
国精产品一二三四区产品
《年轻的护士电影完整版》
电车之狼r图文攻略
酒店服务生满天星法版免费观看
我尿在肚子里好不好
宝贝腿张大一点就不疼了
学长两个人一起会撑坏的视频
麻豆精产国品一二三产区区别免费
宝贝把腿抬高就不痛了
亚瑟2021入口
WRITE AS 惩罚游戏
丰年轻的继拇中文3的特色和机能
3Q大战详细经过
小鲜肉吃小鲜肉的大LOGO视频
日本插曲的痛的30分钟欢迎您
md传媒免费观看在线 小说
163女性黄页
晚上玩哭自己隐私的100种方法
星空传媒妈妈和女儿闹元宵
夸我比她老公大
儿子要玩一次还要怎么办
TPU色母与PA6色母互换
深夜释放你自己草莓视频
C到哭不止水好多动图
无码AV啪啪一区二区三区
93W乳液78W78W永久
maya已确认满18我们严重反对
我哥把我拉到一个没人的地方
星野明日香种子
迈开腿尝尝你的草莓声音
风韵诱人的岳欲仙欲死在线观看
简隋英李玉肉车writeas
吃英语老师的小白兔
ZLJZLJZLJ水水多多
女人迈开腿打扑克又痛又叫
无人区一码二码三码区别图片
鲍鱼tv5apk官网app
为什么女生一被上就老实呢
两只小兔子被捏视频
狗狗的大东西在人里什么感觉
车子一晃一晃正好掩盖我的几把
中字乱码一二三区别视频
学渣含着学霸的攻写作业
国产一区二区三区好的精华液
人马配速45分钟
国色天香精品一卡2卡3卡4公司
女儿就是留给爸爸用的
淑荣二次上船开到湖中间去
龙口中心医院护士门
W78W78W乳液永久十大排名
一个人高清观看日本完整版视频
遇到东北猛攻后一枚夹心饼干
胡桃史莱姆ドラえもんエロ
翁公与小莹客厅激情
日漫动漫人物将机机插曲漫画软件
黑牛影视传媒有限公司官网
妖精的尾巴oad7
亚洲专线S码和M码的区别
2022GGY钙打椿机受
最近中文字幕中文7
被C哭是一种什么感受
圣城风云第二季
白石茉莉奈种子
欧洲vodafone a18
欧洲家庭史7726
XL上司樱花未增删翻译中文翻译
女生说越痛男生越往里寒免费
没带罩子让他吃了一天会怎么样
非洲人和和人配人视频
张津瑜事件是什么
学长迈开腿尝尝你的草莓mv
男生会舍得让喜欢的人口吗
一个人在晚上偷偷看b站怎么办
香港三圾片大全
来吧儿子妈妈是你的人是什么歌儿
斗罗大陆女生去掉所有服装
进入母亲的生命之门
我把语文课代表做哭了网站
老师你的好软水好多的时候图片
错一道题就往下面插怎么办
自制安慰小玩具
午夜福利院电影
娇妻玩4P被3个男子伺候电影
早就想在公司把你给办了
我就放里面不动你不用动我动
51精产国品一二三产区区
三个弟子合力弄师父
66亚洲一卡2卡3卡四卡新区
亲亲抱抱柔柔的视频动漫
污到你那里滴水的说说细节多
二人扑克剧烈视频运动
群飞刘亦菲刘诗诗杨幂杨颖
XRK1_3_0ARK无限观看IOS网站
两个男生怎么做不可描述的事情
怎么把女的c得服服帖帖
Javaparser厨房好妈妈
纯纯欲动HD在线
奶头自从被对象摸过就容易有感觉
姐姐的朋友9完整视频有翻译
上自己妈妈是什么体验
男男车车好快的车车流水视频
仙女棒坐姿图片大全大图
向着小小花蕾深处前进讲的是什么
女人巨大荫蒂勃起
顶级RAPPER潮水仙踪林
蜜桃传媒天美传媒京东传媒DO
十个人一起上我会不会坏掉
菠萝蜜视频最新在线观看
痴汉电车3图片
1069男男贴图
给了儿子第一次
星空传媒XK8004的功能特点
爱情岛论坛2019年免费
VODAFONEWIFI另类
爱情鸟视频论坛在线观看
是不是当过兵的人下边都大
YW.8827.龙物视频永不失联是多少
男朋友C你时会说什么
彩虹男GARY视频2022
像疯了一样要她
宝宝我放进去就不疼了
王者荣耀女生去掉小内游戏
君の髪や瞳だけで胸が痛いよ
天美果冻星空国产剧情
老师你的兔子好软水好多的车动漫
妈妈的男朋友8 线观 高清
性情中人中文网bt
朴妮唛29分钟完整版
再把腿X开一点就可以吃
朴妮唛29分钟完整版
欧美致敬很多经典的黑白mv
丁香大型成人社区
善良的秘书3字巴巴鱼汤饭惹
几个健身房私教弄了好几次
狗狗猛涨精肉狗大壮增肥增食欲
果冻传媒七夕 免费观看
mdyd-751
宝宝是我撞进入还是你坐视频
中文字幕一线产区和二线区的区别
亚洲无人区码一码二码三码四码
《帐中香》txl金银花
金银瓶1-5美国
精产一二三产区别在哪里
篮球队的公共玩具文章
妈妈的朋友10在哪可以去看
抱着公主走一步撞一下
永久939W79W99W乳液
男生的坤坤放到女生的坤里游戏
日本卡一卡二卡3卡三卡乱码
为什么当兵的晚上很厉害
韩国风俗媚娘贴吧
灵魂战车3王者归来
大菠萝导航福建app
翁止熄痒苏钥第9章
国模冉冉私拍大r.5
美女图片禁欲系高级感
云缨用长枪C自己的B
军舰上女兵免费高清原声满天星
一女战三老外一女战三黑人
男人晚上睡不着觉偷偷看b站
在裙子里面运动
ssni409
情感的禁区1080
进来吧晚上英语老师就是你的了
坐在硬邦邦的上面写作业
小扫货水能么多叫出来
明星合成斗转星移
史莱姆ドラえもんの胡桃免费
欧美无代码HD免费
宝宝的棍棍可以捅捅我的下水道吗
疼插30分钟一卡二卡三卡四卡
舒服吗说我厉不厉害表情包
做错了事就往下面塞一个冰球作文
你们对象怎样抠你们的
国内精品一线二线三线区别在哪里
原神申鹤开襟乳液狂飙
93W乳液78W78W永久
最新中文乱码字字幕在线
侯马市性侵女生
渣男渣女做不干净视频
在体育馆地板上做
拔萝卜怎么才能流出豆浆
可以触碰你的樱花未增删樱花
一面亲下边一面膜的电影
高N车多肉多办公室
火影忍者禁图大全
晚上做剧烈运动视频教程
hm因虚假宣传被罚
AI人脸替换白鹿喷水とらぶる
是这里吗?他反复地顶着那一个点
成绩差成为全班发泄用的玩具
成为爸爸的玩具
国产精华液1区2区区别大吗
桃花社区在线观看视频
ZHANGJINYU视频完整
新版猫咪永久地域网名
八重神子用身体补偿旅行者
妈妈说带好套可以给我正常吗
津渝视频完整版9段视频
安迷修被雷狮强行掰腿
污到能让你滴水600字作文
蜜芽.768.MON二区忘忧草葫芦娃
爸爸缓慢有力送女儿的句子
打开扇贝就可以吃火腿肠
10款禁止下的软件
laojiumen
乱VODAFONEWIFI熟妇
课代表趴下让我桶30分钟软件
400aicom情艺中心
麻豆产精品一二三产区区
B级文件中文翻译完整版
黄系纯色软件下载入口
躺在我跨下的英语课代表
一抽一出BGM毛
男车车好快的车车视频真人
51DADOU大豆行情网
把两只小兔子吸红肿
三一起C你的感受
给我播放个免费的片
国产乱码无限2021芒果
宝宝把脚叉大一点就不疼了
爸爸的东西又弯又长怎么办
男生把坤放女生定眼会怎样
老人在野外做见不得人的事
蜜芽忘忧草二区大豆行情网烧仙草
XFB3.XYF幸福宝导航
弄了一个女孩子几次是什么意思
可以触碰你的樱花未增删樱花
月光在线观看免费
老奶奶bgmbgm人
他缓慢而有力的在车里撞着视频
13岁PG可以塞下多少根棉签
ed2k 泷泽萝拉
福利500免费导航
lululemon露露瑜伽服
一一本之道高清手机在线观看
中国speakingenglish
1819处china
姬小满去掉布料
小诗的公交车日记1一15文
洪晓芸夜半思乳时
肉莲花吸入金刚杵会怎么样
公交车6人轮换c白月是
不再是朋友的夜晚樱花网
无限资源第1页2018在线观看
日本最大但人文艺术欣赏
137P大但人文艺术
第九视频聊天室
兰姨不敢发出一点声音怕吵醒风
没带罩子让C了一节课时
晚上偷偷看B站免费视频软件投屏
非会员试看十分钟做受小视频
亲爱的老师5韩国中字完整版
网站你知道我的意思的免费的
抱着公主走一步撞一下的小说
无乱码区1卡2卡三卡网站
吉泽明部 种子
9传媒制片厂制作在线观看
一直按小豆豆为啥浑身发麻
两个奶头被吃得又翘又痛
坐公交车日了两个小时文章
试看30秒做受小视频
为什么黑人睡过的人没人要
成年电人电影免费网站
两个人看的片BD
43417大但人文艺术图片
超帅CHINESE直男飞机
天美果冻蜜桃精东传媒
忘忧草日本社服务台的电话号码
小船摇曳大船h
大炕上和岳偷倩
一浅二深三大叫
把腿再掰大点就能吃到贝壳
老公生日3Q的开始
为什么越叫他越快视频
家里没人半夜就把姐给睡了
品色 免费论坛
囯产精品一品二区三区
每集都在打扑克的韩剧
dianchezhilang
我与儿子发生了不该发生的事
一个人在线观看免费看的视频
桃花社区视频在线观看完整版
小蓝彩虹男GARY2023网站
王者荣耀伽罗捅到流液晶
BGMBGMBGM老太太毛多多视频1
数学课代表趴下来让我桶免费网站
福利卡1卡2卡3精品推荐老狼
一加速就会哭的女孩子
今日蚂蚁庄园正确答案
英语课代表叫我满足她的视频
宝贝都湿透了还嘴硬疼怎么回事
和教练在车里C了我三次怎么办啊
天天躁躁水汪汪人碰人
overflow带翻译无马赛樱花中文翻译
年轻漂亮的后玛
孩子没有睡老公就侧面做
韩漫漫画页面登录漫画弹窗
小东西几天没做喷得到处都是
体育课被c了一节课怎么办
网站你懂2018
我家狗狗卡在我里面痛怎么办
在英语课上插英语课代表
日文中字乱码一二三区别
宝贝是不是欠C很久了视频
亚洲无人区码卡二卡3卡2020
两个球球抖动视频
晚上做剧烈运动视频教程
斗罗大陆人物黄化
可以对女生做什么都可以的手游
老汉扛起娇妻玉腿进入
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1