有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
写的比较细的开车片段贴吧
在线观看2022GGY钙同网站
公交车两人双指探洞详情
荷兰少归BVBV
夂久亚州精华国产精华华液
亚洲AV精品一区二区三区不卡
两兄弟同时拥有一女主的现言
ig夺冠了就让草
英语老师没戴罩子让我抄了
缅北对女性开火车
韩国年轻漂亮的继坶
小红输了让小明随便处置
交换:朋友的妻
涩涩屋草莓榴莲绿巨人秋葵的特点
1区1区3区4区产品乱码仙踪林
宝宝几天没见湿成这样
狗狗又烫又大又长
国精产品WNW2544A
慢慢褪去了她的内衣
120秒免费体验试看5次
SUNTEK中老年人女妈妈秋装
嘛豆传媒app官方网站
亚洲一线产区二线产区
365dni百度云网盘
小洞饿了要吃大火腿肠吗
从厨房一路顶撞到卧室
办公室狂肉校花H陈舒
小蓝彩虹男GARY2023
翁与小莹凌晨欢爱回乡下
在教室伦流澡到高潮HGL动漫
YSL热门蜜桃色
男人到天堂去a线2019
搞机time恶心10分钟直接打开网页
秋葵 茄子 丝瓜 香草 榴莲污在线观看
越碰人人在线公开视频
麻豆网神马久久人鬼片
WRITEAS震动器
群飞杨幂赵丽颖刘亦菲
星空无限传媒国产剧MV在线
囗交大图片26交
日本插槽X8插槽怎么用的
班长笑着手灵活的调着遥控器作文
PYTHON人狗大CSDN
妈妈的朋友3007电影
顾氏双生子的玩具
被子里怎么无声自W
最刺激的长篇乱惀小说
一层一层的剥开我的衣服
国产乱码卡一卡二卡三新区
冰块一粒一粒往下边塞什么感觉
叶渺渺和体育老师c一节课的作文
学长迈开腿尝尝你的草莓mv
镜流口水流白色液体正常吗
大型大巴车最后一排被轮
善良的妈妈的朋友3有限中字
总裁尺寸大的进不去
好满射太多了装不下了短视频
夜月直播视频免费
离婚跟儿子搞过吗
大香区一二三四区2021
坐公交车弄了2个小时
无人区码一码二码三码区别
年轻丰满的继牳2
2021日产乱码网站直播
我的奶头被客人吸得又肿又红又痛
打扑克牌又疼又叫原声视频
男男车车好快的车车流水视频
WRITEAS电动猫尾巴
我的兔子好软水好多H15阅读
WINDOWSCHANNEL孕妇
迈开腿给我尝尝你的森林味道
一女多男在疯狂的伦交
干柴烈火儿媳苏姐结局是什么
开襟JK做双人运动
麻豆精产国品一二三产区区农民
老公总是吃我的奶奶但我很反感
最近韩国日本免费观看免费
比我老公大很多
小SAO货边洗澡边CAO你动漫
品色堂 永远免费
班级的公共玩具第1章
宝贝我撞的你舒不舒服
云缨去内P图图片
最好最全的c人教程
亚当的六个女人
老妈和我一起嫁
GAY大陆年轻帅小伙2022
qianqiandianying
大胆西西正版人体
性VODAFONEWIFIHD
妖艳女忍者传锷女篇
附近人100元一次服务
桃花社区视频在线观看免费完整版
152大但人文艺术欣赏
动感之星妖精全集
被粗汉H玩松了尿进去N-红-Q
4虎 最新能用的是哪个
高中校花陈若雪H校长
adc视频在线观看年龄确认
国产18禁巨制揭示人性奥秘
啦啦啦中国日本韩国免费高清
公交车被C 宝贝这才几天没做水
商务旅行中绿子女老板帽02经典
污到你那里滴水不止的说说长文
好满射太多了装不下了动漫软件
我想吃你的水蜜桃葡萄扇贝
燕夫人寺庙求子方丈给办了
刘耀文在水里做哭宋亚轩
刘涛下面的毛好长好长
被吃兔兔的感觉
天美MD豆传媒一二三区进
被闺蜜老公从阳台C到卧室小说
GOGOGO大但人文艺术
迈开腿吃尝尝你的小草莓感觉
ed2k 韩国女主播
宝贝打开腿一点也不疼
叫大声点今晚家里没人冷教授
够了够了已经满到高C了APP
台湾仙踪林XZL
4399看片手机在线高清动画
男生女生一起差差的App大全下载熊猫
边做饭边被躁BD在线播放
丰裕纵满杨玉环2588高清壁纸
体育老师在单杠C了我一节课网
人狗大战JAVA代码
日韩砖码砖专码2023
大唐之妻妾成群
考的好妈妈给你做一次
最美情侣高清免费
男生把自己的QQ放入女生的QQ
李宗视频全集下载
果冻传媒MV国产推荐视频直接
你是我的女人4免费观看
把女朋友弄成小喷泉是什么意思呀
エロワンピース天堂
无人区乱码1区2区3区网站
男男车车的车车啊哈哈真的
人与畜禽的合作关系
无码AV啪啪一区二区三区
上班的时候突然想要了
考的好妈妈随你上
当兵的老公回来不停的索要
精品卡一卡二新区入口
终于你离开我的世界
上楼梯时做会不会更深
日本在B站直播
二指探洞好像要喷了一样的水
939W乳液78W78W韩国
我们换个地方做吧未增删樱花视频
蜜桃成熟时33
无人区乱码与二码通的区别
小东西才几天没做喷的到处都是
果冻传媒七夕 免费观看
被同学捡到遥控器折磨
野花视频最新免费高清
老婆说她想尝试多人怎么回复她
我把语文课代表做哭了
GAY无套GAYGAY宾馆
老师上课突然把跳D开到最大视频
一边喘气一边叫疼的视频
野花日本HD免费高清版7一
厚颜无耻韩国动漫在线阅读视频
想吃你前面的葡萄
FULAO2官方网站进入在线观看
6人轮换C一个过程
国外精产品W灬源码1688
中国老人mandaddyertv
OVERLORD第四季在线播放
二指探洞很舒服吗
在教室捡到一个遥控器
顶的速度越来越快越
虫虫漫画在线浏览页面弹窗
暖暖 视频 免费 高清 在线观看日本
sqte-046
最新三级别推荐
随处做X的世界学校游戏
自我安抚的步骤
无尽画廊Naruto小南
公交车一次又一次
哔哩哔哩床吻戏大全
鲍鱼最新地域网名2021
学长两个人一起会撑坏的视频
大黑阴BBBWBBW
爱情真善美40
他顶撞的速度越来越快是什么意思
没带罩子让他吃了一天会怎么样
茄子 香草 草莓 丝瓜 榴莲污
怎么把女的c得服服帖帖
帅气GARY体育生网站MV视频
女人的战争 卑劣的交易
老师夹的太紧拔不出来的解决方法
往下面放冻葡萄的感觉
权臣hlH十一月
爆肝工程师的异世界狂想曲
JEALOUSVUE极品少妇
无人区一码二码三码是什么
国产传媒蜜果冻天美传媒
墨燃把楚晚宁按着干188章
三叶草日本码和中国码
搞机time恶心10分钟不要钱
公交车有人要了我几次
W永久939W乳液78网站
学渣含着学霸的写作业双男主车文
亚洲精华国产精华液的福利
塞跳D开最大挡不能掉哦
亚洲麻婆传媒MV
JINMANMIC18C.MIC网页传送门
水蜜桃V1和V2
菠萝蜜国际一区
四个人换着玩春雨
在教室捡到一个遥控器
九一传媒制片厂传媒免费
这几天没C你了是不是SB痒了
一起差差差30分钟轮滑
国产一二三四2021精字窝
大团圆结2高敏
rh男男车车好快的车车作文
迈开腿让我要吃尝尝你的草莓
练瑜伽时体育老师C了我一节课
往下边塞水果后吸出来
你对象晚上怎么玩你
写作业的时候和男朋友弄
又粗又硬又长受不了
小东西好几天没弄你了若若视频
变成黑皮肤和朋友做了02
在火车和后妈妈谁在一起是什么书
我们在线观看免费BD视频
免费的剧烈运动扑克网站
不喊停就一直做
张柏芝艳原图全集
WRITEAS 教室
饭桌上故意张开腿让公在线看
一个人看的高清WWW哔哩哔哩
boylove欧美
25CARD中国大学高清视频
WRITEAS椅子
10款禁止下的软件
伦理电线在2018
大将军1v2lh怀孕的原因
塞跳d开最大挡上课不能掉
污到你那里滴水不止的文章
第一会所综合社区s001
西安一周六天雨下到6月
天美传媒作品集
把冰葡萄一颗一颗往里堆
用大宝贝帮妈妈通下水道好吗
扑克牌又痛又叫
火车上看着娇妻被别人玩
快拔出来 老师很痛 漫画
500篇香艳公车短篇合
天美果冻蜜桃精东传媒
没带罩子让捏了一节课感受
我的年轻继坶7中字
东北老女人高潮大喊舒服死了
班级的公共玩具渺渺
你就可尽的弄我们娘俩
1都是怎么进入0的图片
年轻的母亲4有线观
未成年怎么玩隐私位置
小SB是不是欠C
边做边爱3电影
女朋友特别会摇是什么意思知乎
5根一起会坏掉的好痛的视频
同桌没带罩子让捏了一节课怎么办
被窝里的公息第十三章阅读
和搜子同屋的日子2国语中字
jy灌溉收集系统
多肉的糙汉B1H古文
中国警察网记者张津瑜事件始末
卡一卡二卡三免费视频
老师把筷子放进我P眼的作文
放里面不动是种什么样的感受
灯草花尚3灯高清国语免费观
初中女生喊疼男生往里寨游戏
WRITEAS趴腿上
徐莹 非诚勿扰
只有棉签怎么自罚
精产国品一二三产品区别视频手机
父母儿女媳妇一起来玩的说说句子
品色永远免费堂论坛
今晚好好吃吃你的扇贝
用大宝贝疏通女儿的下水道
两个人融为一体的过程图片
黑帮大佬与我的365天
黑帮大佬和我的365日第2季剧情
废旧厂房里和流浪狗做
上一个楼梯就撞一下3
麻豆传煤官网APP入口免费
动情1v1嚯一口焦糖拿铁
朋友的母亲8在观完整有限中字木
WRITEAS朝俞夹东西
bbox撕裂bass后门BD
暖暖 中文 免费 日本社区
阿岘洞夫人国语
娇妻玩4P被3个男子伺候
公I公在厨房要了我在线观看
房奴试爱未删减完整版
欧美无mate30pro巨
已经塞了三个鸡蛋了
班花哭着说3个一起会坏的
全家一起来黄霞徐家大团圆
两个人一前一后攻击舒服吗
被同桌在课桌下手指噗呲噗呲
妈妈酒后误为我是爸爸
电动猫尾巴PLAY
晚上家里没人就让你弄
エースエロじ天堂
国外精产品W灬源码1688免费
忘忧草日本社服务台的电话号码
GAY2022空少被体育生暴菊
不良网站正能量免费进入窗口
国产麻花豆剧传媒入口
我朋友把我玩成了喷泉
99无人区码一码二码三码...
金银瓶1-5普通话
另一类Zoomcloudmeetings
每个月老板都要玩我几次
青苹果未删减版
王阿姨IPHONE13
欧洲精品不卡1卡2卡三卡
极品教师动漫在线观看免费完整版
我女朋友的妈妈4中语翻译成英文
有多少弄过自己的儿子的吗
同学叫了好几个人来玩我作文
姬骑士征服战争
50款夜间禁用软件app免费
漂亮的丰年轻的继拇5字
色即是空2电影下载
最近更新2019中文字幕国语
男生把坤坤放女生坤坤的蘑菇视频
我把我的肥岳日出水来
最近最新MV中文字幕国语免费
女生发PYY什么意思
朝俞答错一道题的一支笔PLAY
run away无删减全集 在线播放
哪吒顶进敖丙里面
做过一次爱的两个人会忘记彼此吗
OV我最喜欢的母亲的第一个转变
30cm坐上去感觉是怎么样的
迈开腿让我尝尝你的小扇贝APP
废旧厂房里和流浪狗做
看我是怎么C的你叫出来了
最近韩国动漫HD免费观看
办公室的秘密赵雪晴第11章
破坏中巴友谊罪
9精产国品一二三产区
千娇app下载
木乃伊盗墓迷城
学霸边写作业边被校霸上
老师您的兔子好软水好多樱花国漫
亚洲麻婆传媒MV
多毛bgmbgmbgm胖
差差差30分钟无盖视频
朋友把我玩成了小喷泉
自制安慰小玩具
嬢王 virgin
小货SAO边洗澡边CAO你动漫
秘密教学82这次换我教你了土豪
一边桶又一边叫
没带套子让他C了一天怎么办
让你试试我的大不大
XRK1_3_0ARK在线观看入口IOS
宝宝才几天没做就舒服成这样
中考前妹妹让我C1次
一吻二脱三床四吻胸
Zoom与人性Zoom怎么同步
王者荣耀瑶白色液体喷到脸上
人选之人造浪者
老阿姨哔哩哔哩B站肉片茄子芒果
炎炎消防队生肉1080P
做错一题进去一次C
坏老师百度影音
蜜桃成熟时33D国语高清在线播放西瓜
夜里18款禁用b站
炖肉计(是今)海棠
妈妈用棉花堵住不让尿喝水怎么办
糖心LOGO免费
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1