有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
森林里的熊先生正在冬眠无打码
伽罗躺床流白色分泌物
MAY18_XXXXXL56
亚洲一线产区和二线区的区别
想你1VLH最新
金花瓶双梅花5
最近中文字幕2019视频
你弄得人家里都是水
开车疼痛有声音视频软件
戴了一天跳DAN感受
不能说的秘密mp4
一边做一边说国语对白
约附近学生100元3小时
穿戴式跳D放在里面坐公交车
和邻居交换娶妻1
精美日产MV二线三线是什么
李宗瑞性侵视频全集
丰年经的继拇中文3使用方法
国精产品W灬源码网站1688
早上醒来他的东西还在里面
女生说痛男生越往里寨的文字
最近中文字幕免费大全百度
WRITE AS 高中生
一边膜上面一边下面膜韩国
不用付费的打扑克的直播软件下载
女自卫慰方法48图
亚洲精华国产精华精华液好
为什么睡过黑人一次就回不去了
喜爱夜蒲1完整版
女生高c的会自己知道吗
YIN荡公交嗯啊校花蒋舒涵
两个人一前一后有力的
我的好妈妈5中文字幕土豆网
被大叔C哭是一种怎样的体验
对象一直掐我的奶奶
xax was was
97国产精华最好的产品
一本大道香蕉大无线吗
催熟po1v3道具
宝才一根手指就疼了?
班长是我们班的存精器白素素
便利店的少女未增删带翻译
双指探洞感觉要喷了hi
老阿姨才是最有味的
学生免费一卡二卡三卡9
凸凸凹BBWBBWBBWBBW
宝贝腿再张大点就能吃到扇贝了
破了语文课代表的那层膜
国产AV无码一二三区视频
用电动牙刷放在MM位置是什么感觉
强壮的公么征服我第四
做你的爱人4未删减版
家里没人儿子就弄我了怎么办
自w到高c的25种方法
在车里两个男人舔我
王者荣耀女英雄被捅到流口水
かたと花火と动漫无删减
宝贝对着摄像头自己做忘羡
老师忽然渐渐放慢了进度视频
漂亮的保姆3日本
xiaodiaowang
菠萝视频无限看
男生女生一起差差很痛的APP下载安装2023
晚上做运动打扑克声音
B站大但人文艺术图
爱情岛论坛网亚洲品质
99西方大但人文艺术
YELLOW片高清
意大利人尽可夫
往下边塞玉器出门write
免费B2B网站推广嘿嘿
最近更新2019中文字幕
越往里越痛的那种视频
中国XXXXXL 17
幸福花园纤细的爱
漂亮人妻被维修工侵犯的后果
百合车车描写文字
YW193龙物最新
19岁潮水RAPPER
国精产品一品二品国精破解
唐三和比比东乳液
不喊停就一直做
野花香在线视频免费观看第一集
孩子没有睡老公就侧面做
JEALOUSVUE成熟好妈妈
几天不C水这么多
姐姐的朋友3韩剧免费观看全集在线观看天才
夏天校服太透了R头凸出来了
C够了没有三根一起会坏掉骨科
女生给男生看自己的秘密是为什么
儿子今天晚上只让你
输了游戏把下面给对方玩
人与畜禽交互MOUSE
19岁macbookpro未满16岁
我年轻漂亮的继坶8
妈妈的朋友3线在完整有限公司中字
伽罗といちゃつきたい腿法
秘密通道3秒自动载入
acome玫瑰
花色98堂新网名
汤姆叔叔最新地域网名2021是什么
小泽玛丽 种子
傻大壮长着驴一样的东西
仰起头!看见2023的中国
漂亮的小峓子5中字巴巴鱼汤
一抽一出BGM毛
穿戴式跳d放在里面坐公交车7P
他缓慢而有力的往里挺L
用用点力快要到了
无人区免费一二三四乱码
侵犯小少爷(H)np
天美传媒果冻传媒国产电影
大尺寸的小黄车说说公交
小莹与翁回乡下欢爱姿势
伽罗脸红流口水流眼泪翻白眼
亲爱的老师5韩国中字完整版
抽的越快声音越响视频
三秒后野兽在联谊的角落里的他是肉食系
维多利亚壹号未删减
中文字幕 日韩 无码 在线
高中校花陈若雪H校长
公交车上两个人一前一后攻击
国模欢欢出白浆炮轰图
嗯嗯宝宝叫大声点
Nagoonimation Works3D
镜といちゃつきたい的欢迎会
晒晒16岁儿子竖起来的照片
成 人 色综合
怎么奖励自己的隐私位置
女生醉酒被闺蜜用宝宝背带背回
宁一荣荣开襟乳液狂飙
是不是欠C了那么多水
爱情岛论坛永久免费线路
1000字让人下面有反应的文章
灵狐者全身透视图
打扑克直播下载软件免费
两个上面吃奶吃b
污网站wallpaper共享人可以看到订阅吗
濡湿的车站未增删带翻译免费
爱情岛免费网站路线一
你的小B不就是用来C的吗
中国老奶奶vpswindows
好男人看在线视频
女生越说疼男生越往里寒
miya222
CHINA体育生GARY飞机
写的超细的开车文推荐
一二三四高清日本播放
黑白配HD高清
5G天天奭5G多人运在线观看免费最新
班长哭着说不能三根一起
亚洲乱码卡一卡二卡新区中国
日韩精品一卡2卡3卡4卡乱码
日本产品和韩国产品的区别
一边说嗯一边喘气是什么
含羞草传媒下载应用
一个人看的高清WWW哔哩哔哩
淦自己的100种方法图片
翁止熄痒苏钥第9章
瑜伽老师上门教课
我的好妈妈8日本电影免费观看
嫩BBB槡BBBB搡BBBB
爸爸比老公大两倍妈妈该怎么教育
女人被躁到高潮嗷嗷叫的歌词
137最大但人文艺术
故意让儿子上自己
是自己坐上来还是我撞上去
夜趣第一福利官方导航专业
我被当成发泄玩具一天的作文
是不是欠C了那么多水
年轻的朋友2在完整有限中字
好刺激的打扑克软件
精产国品一二三级产品区别
果冻传媒2022一二三
我跟你老公谁的大
一个人晚上偷偷看B站直播正常吗
柳青青人体艺术图片
两个奶头被吃得又翘又肿的
小丹疼吗慢慢就不疼了
两女一杯 两女一指
女儿成为爸爸的玩具
最近的中文字幕2019国语
夜里18款禁用B站入口探APP
韩国一线高清免费观看
太大了坐不下去太痛快
低头看我们结合的地方
9612黄桃亚洲品质在线观看
塞着小玩具坐地铁的感觉怎么样
男男车车好快的车车有点污网站免费
蜜桃成熟时1997国语百度影音
赵玉梅在灶间放弃抵抗
linodeiphone孕妇视频
情感的禁区日本版
男人忍不住挺进去了怎么回事
无人视频免费观看免费直播视频
Rapper国内女rapper
哥两个人一起会坏掉的视频
骨王OVERLORD第四季免费观看
旧里番OVA我侵犯她的理由
八重神子焯出白水来怎么办
体育课没带罩子让捏了一节课
公交车被两个人一前一后攻击
linode日本iphone奶
接了一个30厘米长的客人
张柏芝艳门照照片
桃花洞口开香蕊落莓苔什么意思
BURBERRY大片
饭桌上故意张开腿让公在线观
一抽一出BGM免费60的视频
mide-008
bgmbgmbgm毛多多
想吃你身上两个黑葡萄
人间小喷泉1V3HL慕深
69国产精华最好的产品
冬日后的樱花韩剧
没带罩子让他吃了一天的没事吧
晚上做剧烈运动视频教程
交换朋友夫妻客厅互换4韩国
白雪公主被树干哭的故事是
麻花传媒XK在线观看
被学长抱到没人的地方
女生迈开腿让男生吃草莓膀胱
BGMBGMBGM老头XX
爱情岛论坛网亚洲品质自拍
仙踪林18岁RAPPER潮水偷轨
8X8X海外华人永久免费提供
晚上坐大巴车和陌生人坐一块
男女晚上做运动生宝宝好吗
浏览器正能量网站
黑暗荣耀朴妍珍打扑克
精产国品一二三产品在哪买
果冻传媒董小宛一区二区
丰年经的继拇9M的寓意
濡湿的车站未增删带翻译
鲁大师WWW好看
友善的好邻居2
娇吟公车系500章
多毛BGMBGMBGM胖老太太
writeas上层玩具
亚洲尺码和欧洲尺码的区别
原神妮露掀起奶盖黄XMAN
暖暖高清视频免费
客厅大伦交侩H-MBA是什么
堵好了一点都不能尿出来作文
跳DAN是放在哪里的示意图
中国MACBOOKPRO高清
乌克兰10一12x video
小红输了让小明随便处置
女厕厕露p撒尿在线播放
成都4片P完整版视频动漫
生物老师拿自己当做繁衍例子
男的把J放进女人的小J视频
YING荡的雯雯第三部分
少妇搡BBBB搡
老师的兔子好软水好多免费
一直喝水不让尿捂着的作文
扒开粉嫩尿口露出大胸美女
往下边塞水果后吸出来清欢
男人忍不住挺进去了
差差差很疼视频无掩丰富
让我尿你在里边好不好h
鲸鱼夫妇120114
小莹客厅激情46章至50视频
情侣打扑克做运动
蜜桃123图片
遇到一个会夹会摇的女生什么体验
斗罗大陆唐三爆桶阿银
哥布林洞窟未增删开车原声视频
女头粉色部位上半身大胸头像
100种禁用的漫画软件不要VIP
为夫们等娘子好久啦
天堂MV在线MV免费MV香蕉
在公交车上弄到高c的数据
去姥姥家进入妈妈身体的说说心情
香蕉丝瓜草莓樱桃草莓榴莲污
伽罗躺床流白色分泌物怎么回事
1819处china
宝宝的扇贝真会夹
学长一边撞我一边写作业
桃花社区在线观看
墨燃和踏仙君同时干楚晚宁猫弄
美女脱精光让男生桶下面
老狼卡二卡三卡四卡二
性一交一无一伦一精一品
第1章厨房春潮
麻花传MD0174苏蜜清歌
亚洲一卡2卡3卡4卡5卡127
YSL千人千色AE86V10
亲亲抱抱举高高蹭蹭的刺激原声
两个领导在车里吃我奶H
MD豆传媒一二三区入口
免费剧烈运动扑克网站
中文字字幕乱码电影1
在公交车最后一排被多人
吉泽明步torrent
一个在上面吃一个在下面做那个
王者荣耀把姬小满C喷了
一上一下做运动的动态表情包
亚洲VS欧洲VS美洲人口对比
19岁RAPPER潮水偷轨仙踪林
一小孩半夜给姐姐吃坤巴
突然像尿了一样出了一股水
坐公交车被别人c了的感觉
云缨巡街网站入口 漫画
几天没C是不是又痒了网站
撑 趴 润滑 痛苦 求饶 BL
ed2k柚木提娜
可以随意触摸内部位的游戏
妈妈说带套给你做
14MAY18_XXXXXL56ENDIAN美V
野花社区视频最新资源6
高C了还可以继续吗
性一交一无一伦一精一品
敌伦小芳的第一次
2021日产乱码网站直播
免费无人区码卡二卡3卡4
希儿的乳液狂飙天堂W98
长城小队花木兰被队友日
亚洲无人区码一码二码三码的区别
荫蒂添的好舒服小说
妈妈的朋友7在观完整有限中字一
总裁求你饶了我
附近人100元一次服务
《药效》1V2H
一体验区试看120秒
夜里怎么自己一个人弄自己
男生坤巴扎进女生的坤巴里
腿分大点就不疼了
人ZOOM狗狗
俄罗斯人与物动XXX
女性大荫蒂荫道多毛茸茸
厚颜无耻韩国动漫
说我的大还是你老公的大
压在阳台玻璃上做给别人看0
你对象晚上怎么玩你
欧美最强RAPPER潮水
在线天堂おなあちゃんなにか
儿子一晚上要我三回怎么办
上海富家女杨丽玲
我朋友把我玩成了喷泉什么意思
WRITE AS 爸爸
倒插莲花是个什么动作
情感的禁区日本版
草棚canopen国产
没带罩子让他C了一节课作文动漫
夜里不知节制军婚
美丽姑娘韩国在线观看免费
啦啦啦日本电影在线观看高清
宝贝我想尿在你子宫里好不好
说说自己睡过哪些亲戚
文轩塞跳D不能掉出来上学
蜜桃日本免费MV免费播放
三叶草欧亚专线欧洲S码
YELLOW最新视频
小鲜肉GARY2022飞机
中文字幕乱码2
久久精品一卡二卡三卡四卡视频版
野花视频在线观看最新高清
坐在鸡上写作业好疼
乳液狂飙天堂w78
THERMO脱色摇床
2021一本线
美丽姑娘韩国在线观看免费高清
往下边塞东西逛街是什么感觉
班主任哭着喊着不能再继续
白丝语文课代表让我C了一节课
秘密教学52子豪停不下来了
公交车6人轮换c白月是
大叔你好坏大叔摇起来是什么歌
超砸在线观看免费视频
生物课老师拿自己做教科
九一亚洲精品饰品有限公司
欧洲无人区码一码二码三码区别
父亲的东西比老公的好用
贺朝用笔把谢俞捅哭
《夜关门:欲望之花》
寂寞夜晚视频观看
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1