有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
放里面睡觉是一种怎样的体验
大胸的丰年经的继拇了
14MAY18_XXXXXL56ENDIAN60
夏季短袖看见女同学乳突qq
双男主有车车的腐肉动画推荐视频
优质rb灌溉jy系统
怎么自己自W教程
宝宝好久没C你视频免费的
可以把火腿肠放里面睡觉吗
免费日产区乱码2021软件
涨精装满肚子公交车
上楼梯一深一浅
晚上开车又疼又叫的小作文
彩虹男GARY2023视频
西施流眼泪翻白眼咬铁球图片
日产乱码一二三四2021在线
夹心饼干前后夹击
往下边塞水果后吸出来清欢
当兵的老公回来不停的索要
XFB3.XYF幸福宝导航
47最大但人文艺术摄影
为什么女的做过以后满面红光
妈妈说只要爸爸不在家就可以
父亲与女儿传宗接代的句子
语文课代表的胸摸起来软软的作文
hdool高清在线
腿再开大一点就不痛了
得到超级肉禽系统的
妈妈说带套可以给我
亚洲精华国产精华液有什么福利
打扑克的剧烈运动
车上一下子就弄进去了岳
MD豆传媒一二三区
英语老师没戴套让我C了一节课
手指怎样自W到高C
写作业错一题就插一下
数学课代表趴下让桶我rh网站
错一题就放一个葡萄
向涟仓式献上纯洁
你好我的对面男友
国精产品99永久中国有限公司
我的两座巨峰很软
都是同学C一下怎么了
我十二岁就做了不干净的事怎么办
公交车上一路被C
输了让同学玩全部位置游戏的作文
YSL千人千色AE86V9
王者荣耀女英雄脸上全是白色液体
吉泽明步全集种子
搜同 2023地址 ipv6
亲亲抱抱举柔柔的视频
娇妻两根一起进3p视频
德国VODAFONE精品
用红酒瓶塞堵住不能流下来皮
年轻的母亲在完整的有限公司
臭小子我是你岳...你不能视频
在线成人免费电影
鞠婧祎打扑克又哭又叫视频大全
爱情岛永久免费线路二视频
新版金银瓶1996第二级
老公朋友的媳妇给老公送生日礼物
片多多3999HCC
谁知道4虎的地址是多少
艳娒1一6全集无删减版
女生棒棒糖放屁眼里不能掉
新利18假冒ued吗
女人巨大荫蒂勃起
日产无人区一线二线三线视频
日产中文幕无线码8区
年轻的朋友6 韩国
郑媛媛未经处理雅照
YW.8827.龙物视频永不失联是多少
厨房里的激战2
不叫我就做到你叫
大地资源高清日本
国产精东剧天美传媒
你和对象最疯狂的一次
abp-486
舞林大会棒棒糖
呼吸过度未增删
GAY2022空少被体育生暴菊
Q14MAY18_XXXXXL56ENDIAN
岳腿缝之间水汪汪高清
日产无人区一线二线三线HAV
公的浮之手中字5
认命吧!金牵牛
妈妈的朋友4在完整有限中字第5
我们三个人一起要你行吗
野草乱码一二三区别
被两个领导夹在中间
无人影院在线播放视频
14岁学生迈开腿让打扑克网站
日本漂亮妈妈7在观有限中子
爆裂さすらい在线播放
东北一家人1一6全文阅读小说
含羞草卡1卡2卡三卡2021精品
狗的东西比男朋友还大
浪小辉GARY2022
麻花传媒永久免费版的特色
男生插曲女生视频完整
一个好妈妈5中汉字
xk8071星空传媒
把自己淦哭的100种方法
男朋友给我买了振荡器
最近日本MV字幕免费高清
欧亚专线欧洲S码WMY不知所措
h动漫美女图片
风间由美 熟女
看镜子我们是怎么结合的
学霸把校霸往死里做双男主车
快递员让我爽了一下午
没有罩子的瑜伽老师
小仙女把JIOJIO放在坤巴上
两个男孩子开车长视频
男朋友老是吸我的小兔子视频
呵啊呵啊呵啊女生叫什么
韩国最大但人文体艺术
13岁能放几个笔
热热色原网址20岁以下
宝贝把腿开大让我添添电影
wow动如脱兔
低头看我们结合的地方小说
麻花传媒XK8046在线观看
超帅CHINESE直男飞机
2023钙GGY钙站男男
日本一卡二卡三新区
菠萝蜜一二线产区
喷泉H1V3HL慕深
动漫人物桶动漫人物视频软件
2014年5月里番合集
Zoom人与Zoom巨大
为什么越往里越有劲视频
WRITE AS 公共场合
美国十次 导航
美国VODAFONEWIFI巨
斗罗大陆黄化网站直接进入
日本ZLJZLJZLJZLJ老师办公室
车子颠簸一下猛地进去
6人轮换C一个过程
酒店服务生满天星法版免费观看
试过黑人之后再也回不去了
nnpj-143
日本人算是人类吗
掀开衣服左边吸完吸右边知乎
卫老汉与淑蓉第一次
Naruto Konan Hentai小南
把老公撩硬的表情包图片
2022男男钙GGY钙站
野草一二三乱码区地址
彻底征服美丽端庄的麻麻
他的白月光HvH桔子糖水
充气娃娃怎么用
当着太子的面皇帝宠幸了太子妃
美国mantakopkanhaya
暴躁老姐的csgo心得分享视频
老奶奶vpswindows
939W乳液78W78W韩国
黑土ちゃんが腿法娴熟を视
一面亲着一面膜胸口一面膜下部位
渣男渣女做不干净视频
精产国品一二三产品99
软玉娇香多肉1V3
桃花社区 在线播放
塞跳D不能掉出来上学作文
果冻传媒2022一二三
每天被C醒是一种怎样的体验
学渣做错一道题学霸就插一下
俄罗斯VIDEOSDES18
过来趴好自己选工具小视频
妈妈的朋友3线在完整有限公司中字
在公交车里把跳d开到最大
小婷又软又嫩又紧水又多
ig夺冠了就让草
小B就是要用来C的
考试没考好成了全班的坐便器
贺朝在谢俞里面塞棒棒糖
我是全公司的发泄玩具ih
日本ZLJZLJZLJ视频
杨思敏版1到5集国语版
红猫大本营点击进在线看
迈开腿给我尝一下你的味道
扑克牌高清照片免费的软件有哪些
黑帽门7分40视频照片豆瓣
甘雨拔萝卜视频素材
一号请你配合我的走位
肮脏秘密俱乐部
rookie女朋友小钰
5g天天奭怎么打开
xfplay365每日稳定资源站姿
公交车6人轮换做
TOBU16TOBU18
太凶猛了快撞烂了
俺去啦最新地址
哪种BB最好看
胸大的姑娘免费观看直播百度
妈妈的朋友2在线中文字幕看免费完整版
麻花豆传媒剧在线MV免费版特色
小小水蜜桃视频高清在线观看3
女式襟开免费地暖网站
欠C的玩意SB就是用来C的HI
军1V2的PO推荐
RH男男车车好快的车车片段
国外精产品W灬源码
老卫抱着淑蓉进房间
野兽的夜晚第四季忘不掉的前任
老头猛的挺进她莹莹她的体内视频
100位未成年RAPPER
世子很凶插花弄玉
免费体验区试看120秒
中国老太太WBBHD
几个健身房私教弄了好几次
原神八重神子被捅到流口水的游戏
和老师做了一节课的爱说说怎么写
国精产品99永久中国有限
老公吃我的奶奶该怎么回应他呢
狗的速度很快又大又烫
班上男生带到没人的地方作文
随处可以做的爱的世界
用嘴巴吃鸡有什么好处和坏处呢
动漫mm受辱图
同桌罚我夹震蛋器憋尿
男朋友咬我的小兔子头会发炎吗
jmcomicron
国精产品源码1688在线
37大但文体艺术A级都市天气
V11亚二新区乱码无人区
倒插莲花是什么样子的
欧洲VODAFONEWIFI巨大特
羊急了也跳墙完整版
最近中文字幕MV免费高清视频7
被魔尊圈养的仙尊
给父亲一次可以吗
斗罗大陆2大乱斗交大TXT漫画
浓毛BGMBGMBGM
去部队探亲一晚上很多次
C的里面太满了
女人很久没啪会变紧吗
和搜子居同的日子2中文2
每集都在打扑克的韩剧
什么东西可以当自为棒
夜趣福利必上官方导航
天美传媒果冻传媒星空传媒
桃花在线观看免费播放动漫
内衣办公室动未增删带翻译3樱花
日产免费一区二区
迈开腿尝尝你的小草莓什么意思
无人区乱码一二三四区别在哪
高校1V3PO藤蔓
70CHEAPWINDOWSVPS
穿戴式跳d放在里面坐公交车7P
这几天没C你了是不是又想要了
WRITE AS医生
伽罗ちゃんが腿法是什么意思
小鲜肉GARY2022飞机
老师拉我去办公室做了一节课文
白虎穴肉肉图片
舒婷1一20全文阅读
艳娒1一6全集无删减版
被拉到学校没人地方C
简隋英writeas震动器
W永久9392W乳液
胀满精装肚子去上学
金银瓶4葡萄熟了
maya成人论坛
用...用点力快要到了视频
把车开到没人的地方做
家庭教师剧场版
中国XXXXXL19免费视频
洗澡被公强奷60分钟
最强gy平台小蓝视频ios下载
有种你倒是公开
C死了啊哈宝宝腰好会扭C视频
小东西几天没做喷的都是
夏娃的诱惑中文版
给父亲一次可以吗
亚洲日本乱码卡2卡3卡新区
ZO2O女人另类Z020男男
仙踪林入口视频 欢迎你
麻花豆传媒剧国产MV的发展前景
老师家里没人你用点力好好快软件
迈开腿让我吃你小草莓
一二三四免费观看视频1
精品无人区码一码二码三码区别
火辣导航APP福引导网站
JAKEANDRICH.手冲
趴在玻璃窗做给别人看的视频大全
黎朔WRITEAS人鱼
如何在家中自罚隐私
无忧传媒在短视频领域的成就
石头剪刀布输了弹小鸡视频
写作业错一题就插一下
PANSY中老年妈妈
坐在学长的根茎上写作业
仙女棒带一整天的感受上学
男团共享物BY不必南下
云缨巡街救公孙离网站入口漫画
欲体焚情百度影音
意大利性禁忌完整版在线播放
在英语课上用鸡插英语课代表视频
狗狗射速好烫的故事
满了...太满了...溢出来了
善良的秘书5中字巴巴鱼饭汤
日本韩无专砖码高清
岳故意装睡让我挺进去观看
小龙女的紧致花径
他把跳D开关开到最大
yy4680私人影院
B站大全不收费
一面亲上边一面摸下边打扑克
EUTOPIA无删减版网盘
S货是不是欠C有肉
嫩叶草m码和欧洲码的区别
张津瑜的9分58秒7段免费
污秽的教室未增删翻译樱花
妈妈的朋友在完整有限中字第4
一边做饭一边躁狂我
同城交换俱乐部
免费正能量不良网站推荐
吃女朋友的扇贝的正确方法
车文详细描写文字
坐在振动器上写作业的感受作文
丰年轻的继坶3的特色和机能
医生的手指在里面转圈
哔哩哔哩床吻戏大全
最近2019免费中文第一页
诱人的女邻居9中文观看
捧小伙人帅吊大GAY
公主葡萄不能夹烂也不能掉出来
夜里怎么自己一个人弄自己
ZOOM与人性ZOOM23
无人区乱码三卡四卡
西方447大但人文艺术
JMCicon官方入口下载地址
输了被罚让别人玩一个月清清
丫头把腿开一点就不疼了
你们老公晚上怎么玩你
最近免费韩国动漫HD无
斗罗大陆漫画下拉式完整版免费
金鳞岂是池中物 候龙涛
寂寞夜晚观看视频
原神甘雨的乳液狂飙图
欧美VIVOX21
无人区卡一卡二卡三人伦
金花瓶梅花6金花瓶
粉嫩小又紧水又多
描写地很细致的DOI过程
津渝视频完整版
SWAG台湾官网地址
麻花传媒永久免费版的特色
两个蛇根吃不下呀
一层一层的剥开衣服视频讲解
けんじゃたいむ八重神子
涨精装满肚子用塞子堵住照片
8000元一晚上破三个
蜜芽国内精品视频在线观看
坐在硬邦邦的上面写作业
美满天伦家庭交响曲1
绳子打结陷缝里让对方走过去
宝贝我想你用嘴做
老师上课突然把跳D开到最大视频
办公室内衣樱花未增删翻译
站在公交车里抓着摇曳的手环
高压监狱三部分别叫什么
校花婉莹被农民工玩
伽罗躺床流白色分泌物怎么回事
小洞饿了想吃大香肠怎么办
中国日本韩国免费观看
天美传媒剧国产MV网站入口下载
亲爱的老师4日本高清百度云
卫生间6分35秒
迈开腿让我看下你的小
摇床和喘气声音音频一样吗
家里没人你用点力 快快
边吃着一面膜下奶爽了
免费无人区一码二码乱码区别在哪
玩小雪跪趴把腿分到最大影视频
欧洲vodafone a18
国产色母和进口色母区别
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1