有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
岳两女共夫同床
放冰葡萄在里面做
一品和精品的区别
小雪的13又嫩又紧又多水带图
儿媳妇以为我是她老公怎么办
日本大但人文艺术
国内精品自线在拍2020不卡
风流老板俏秘书豆瓣
墨燃把楚晚宁按着干196章
不知节制地索要了三天三夜视频
当兵的晚上弄不停
国产MV天美传媒
黑帮大佬和我的365天未删除
妈妈用身体做儿子生日礼物
麻花豆传媒剧国产MV的发展前景
输了让同学玩全部位置的作文
pilipili噼哩噼哩最新版黄的
大雨天和驾校教练在车里
zhangjinyu视频网盘
好满射太多了装不下了动漫软件
中国rapper潮水孕妇
看完让人下面有水的描述
极致宠爱1v3
成品网站W灬源码1688游戏
对准了自己动不然不给你头条
男生说帮他弄出来是什么意思
温暖叶非墨做肉段阳台图片
拔萝卜软件APP软件开发大全
一个妈妈的女儿BD在线播放
木乃伊1盗墓迷城
别急妈今晚就是你的
LINODE日本IPHONEDVD学校
迈开腿吃尝尝你CH
好痛太大了放不下的
渺渺体育课夹按摩器跑步光阴
欧精国精产品一区
IJGN禁止18岁以下下载软件
把筷子放屁眼里不能掉作文
哪吒顶进敖丙里面
聂小雨视频3分25哪里能看
王者荣耀把姬小满C喷了
在线おっさんとわたし天堂
小莹客厅激情46章至50章视频
大尺寸的小黄说字多肉医生
狗狗射速好烫的故事
雷电将军狂飙图片高清壁纸大全
雷电将军被旅行者淦出水
剧烈运动扑克网站免费
人间小喷泉1V3HL慕深
涩涩屋草莓榴莲绿巨人秋葵
CHINA青年GARY
肥大BBBWBBW小便
抽的越快声音越响视频
野花视频在线观看免费最新
果冻传媒MV国产推荐视频直接
校长体育老师共玩校花
女人做几次就不紧了
双人床上打扑克又痛又叫的软件
C到哭不止水好多视频
抑制剂的副作用by栖鹤海棠
BBOX撕裂入门头交
女欢女爱第二季
电影巜狂欲之夜
宿舍三攻一受肉双
妈妈哭着叫我带上套
非洲人性功能强大跟什么有关?
无限资源第1页2018在线观看
社长千金的叹息
早上起床抱紧我第1集动漫
迈开腿尝尝你的草莓是什么味道的
忘带罩子让他吃
麻豆 天美 果冻 星空国产
上官婉儿的乳液狂飙的视频
斗罗大陆黄化图片
金花瓶梅花6线上观看
超碰免费视频公开人人
在车上就要了你
男男车车好快的车车流水视频
精品成品国色天香卡一卡三
中国XXXXXL免费
空荡荡的教室和两次惨烈考试
99精品与95优品
小莹客厅激情46章至50视频
剃须.然后捡到女高中生
高铁上要了她很多次
蜜芽miya1173永不失联
日出水了好深好涨
坐在有木棒的椅子上是什么感觉
ati radeon
啦啦啦视频在线观看免费高清5
男人J放进女人屁股免费观看
一O多A多肉多车
C死了啊哈宝宝腰好会扭CBL
和搜子居住的日子4
4G玉蒲团奶水都喷出来了哺乳期
坐在硬邦邦的东西上写作业
美女杀手摧花狂
精产国品一二三区别
yeezy380蜜桃粉和白色
亚洲无人区天空码头IV在哪
日产无人区一线二线三线小
写的超细的开车文推荐
一抽一出BGM免费
男生把自己的手放到女生的qq里
学渣坐在学霸的棒棒上写作业视频
开小黄车的细腻描写
么公的粗大挺进了我的密道
石头剪刀布输了弹小鸡视频
自W到高C的26种方法图
大陆女人内谢69XXXORG
WRITEAS骑马
被学长C了一节课怎么办
最新ZOOM俄罗斯
家里没人妈妈陪你做一次
日产2021免费一区
享受和儿媳妇的快乐的句子简短
公交车上最后一排的爱
96传媒制片厂制作视频
歪歪漫画登录页面免费漫画网页在线阅读
几天不见这么多水想不想要
5g天天奭多人运动 在线观看免费
黑人双人RAPPER的特点
想吃你身上两个黑葡萄
桃花社区视频在线观看免费完整版
W永久939W乳液78特点
杨幂哭着说不能再深
同桌C了我一节课作文
老师的兔子软水好多免费看
黑帮大佬和我的365日第2
吃瓜群众一区二区
云缨用枪躁自己
日本网站你懂我意思吧
极乐园女子高寮物语
深度了解1V3
男生讲讲自己第一次细节真实知乎
公孙离去所有衣服床上
生物课上老师亲自给我们展示
强壮的黑人RAPPER
2014日产高清卡1卡2卡
带闺蜜出来玩被她老公说怎么回她
人与ZOOM日本人
女儿初长成爸爸来尝鲜食品的说说
无人区一码卡二卡三乱码
正义联盟4小时完整版
母亲ちゃんとしようよっ翻译
多毛小姐BGMBGMBGM胖
能让人下面湿的漫画有哪些
baoyutv最新网名2021
小兔兔经常被吸会有什么变化
差差差30分钟无掩盖视频
体育老师c了一节体育课作文
羞羞漫画登录页面免费入口页面
GARY东北打桩机无套2023
聂小雨视频3分25是什么内容视频
一边说嗯一边喘气是什么
八戒八戒视频资源
漾出OVER FLOWER第二季
.把你里面填的满满的视频
福利姬液液酱流奶喷白浆
陌陌万人睡小华佗视频
他的手一点一点的往里
晚上睡不着看B站
黄到能让你那里滴水的作文
x7x7x7任意噪108
好看的肉质高的pop短文校园甜
冰块一粒一粒往下边塞作文
沈阳45岁老阿姨喷了好几次药
穿戴式跳D放在里面逛超市的感受
啦啦啦德玛西亚6
两个人一前一后攻击我内容
波多野结衣 海啸
蜜桃成熟3全集高清
2014年4月里番
顾氏双生子的玩具2V1
小鲜肉GARY2023男男
群飞刘亦菲刘诗诗杨幂杨颖
北北北砂王者荣耀
晒晒16岁孩子立起来的照片
想吃你身上两颗的葡萄
16岁macbookpro日本
高冷男受用钢笔玩自己图片
XRK1_3_0ARK无限观看IOS网站
ssni409
一个男孩子顶哭另一个男孩子文案
车子一晃一晃正好进
肚子里都是同学的尿
公交车上的小黄说说阅读
sdde 318
公孙离といちゃつきたい的欢迎会
rbd-509
性VODAFONEWIFI另类
10款禁止下的软件
md传媒免费观看在线
坤吧放到欧派上
美国XAXWASWASWAS
无人一码二码三码4码免费
FARMSKINS进不去
宝宝腿抬起来就不疼了
妈妈的朋友完3电影
为什么越往里越得劲的APP
3d肉蒲团之极乐宝监
电车之狼r秘籍
被黑人伦流澡到高潮HNP动漫
在女生身上滑滑梯是什么意思
妈妈的朋友2在线观完整版看中文字
一口一口吃掉胸口的奶油BD站
附近人100元一次去她家
糖心短视频VLOG柚子猫视频
9612黄桃亚洲品质在线观看
压在阳台玻璃上做给别人看
聂小雨视频3分25是什么内容
把姬小满C喷了视频最后爆掉了
开襟开叉乳液狂飙
男朋友一晚上透了我3回还想让透
原神甘雨安慰部下C插画
亚洲和欧洲一码二码区别在
エロワンピース天堂
WRITEAS锁精环
Chineseboy军人
刘耀文让宋亚轩夹领带
欧洲女RAPPERDISS大
一女侍七夫巨H双修
wallpaper原神18入
高清vpswindows日本
多毛bgmbgmbgm胖觉觉
宝宝家里没人叫大点声厨房
天美传媒MV免费观看软件特色
男生最无法抵抗的姿势
奶头被夹得又翘又硬怎么办
乱码1234区2021
jmcomicron
我们4个人换着玩
男人大鸟硬起来图
男朋友几个朋友一起上我
宝贝坐起来自己摇
打扑克的剧烈运动摇床视频
writeas内塞猫尾巴
毛都没长就开被了包
段嘉衍路星辞肉车终身
小华佗事件陌陌
你的太大我的装不下
夜里18款禁用b站网站
倒插莲花是什么样子的
激烈的打扑克的视频
小兔兔被男生吃什么感觉会疼吗
男朋友给我买了振荡器
考好妈妈说做一次
不系纽扣的女孩
公交车被弄得走不动路走不说说
小蓝视频GTV推广链接
九阴真经野草坐标
一抽一出BGM免费
WRITEAS宋亚轩插
学霸写作业让受自己动
儿媳妇夸我比他老公大
中文在线3月23日快速反弹
早上被C醒是一种怎样的体验
18YEARS中国
4虎的地址有知道的吗
小乌酱黑白双丝交足视频
日本水蜜桃身体乳的美白效果
中国体育生宿舍GARY飞机
得到超级肉禽系统的小说
医手遮天小妾太难驯
中文字字幕乱码播放
十九岁RAPPER潮水欢迎你
欧洲高清videosexond
狗的东西又大又长干了一晚上
母亲とが话していま中文
六年级女生隐私里可以塞几支笔啊
爱情岛永久免费线路二
坐公交车弄了2个小时视频怎么办
鞠婧祎打扑克又哭又叫视频
白洁一夜挨十炮
翁熄止痒婉艳隔壁老李头
用红酒瓶塞堵住不能流下来皮
仙踪林老狼贰佰信息网
人与畜禽共性关系的重要性
果冻传媒在线播放 免费观看
仙踪林老狼信息贰佰信息网
没带罩子让他吃了一天的药没事吧
xiaodiaowang
大地韩国日本电影免费看
成为了全学校坐便器
污秽的教室未增删翻译
放进去岳就不挣扎了
两个男的一前一后叫什么
吃赵露思的乳液好喝吗
一面亲着一面膜胸口一面膜下部位
一天晚上用了好几个小雨伞
国产蜜芽剧果冻传媒
女主不停的被各个动物群养着
旅游时跟女儿有了关系知乎
班长趴下让我C了一节课作文
FARMSKINS进不去
女人能接受开三门吗
我想用乌龟蹭你的扇贝视频
麻花豆传媒剧国产MV免费版特色
在车里被撞了八次高黄
亚洲1卡2卡三卡4卡2021
年轻的阿姨5在观整有限中字
夹住去上学不可以掉下来作文
疯狂伦交550篇合集小说
欧亚专线欧洲S码WMY全部资讯
在街上他突然按了遥控器作文
帅哥GARY网站
麻豆madou传媒
无颜之月是啥啊
欧洲victoryday
一飞冲天动画片
TOBU7TOBU8学生
哪个网站可以看泰囧
冷廷遇进入简夏身体飞机上
儿子一晚上要了我三回怎么办一
破了新数学老师的处
把筷子放屁眼里不能掉的惩罚
上海富家女杨丽玲
OVERFLOW樱花风车动
公交车上一个接一个c
老师说今天晚上随我怎么弄
精品成品国色天香卡一卡三卡
男朋友买玩具玩我
51CG.吃瓜特色
二指挖洞的手势技巧
想吃你身上两颗的葡萄
露娜用孙悟空的金箍棒玩自己
激战2奶玉组合技
我的漂亮女教师2在线
女生为什么喜欢吃男生的小鸟
爸爸妈妈夜里摇床还叫
精密导航agv
动漫RH男1做0车车的车车视频
一件一件的剥开我的衣服
4399看片HD免费
两个人一前一后一左一右
中文字幕本无吗
公孙离去内P图图片
八重神子的乳液狂飙视频
zhangjinyu完整视频
母亲とが话しています第一
新禁室培欲之爱的俘虏
sis001评论推荐区
我在公交车上弄到高C的作文
傻牛壮快把门关上别让人看见
花核肿胀无法闭合
女角色翻白眼流口水流眼泪软件
孩子想x我同意了
好朋友的母亲5完整有限中字
公交车被两个人一前一后攻击
我把英语课代表抄了一节课
韩国演艺圈悲惨事件9
肉丝库水柚子猫link管理平台
中国XXXXXLMEDJYF
禁用18软件APP葫芦入口
溢出OVERFLOW未增删带
黑黑的粗粗的长长的是什么
腿张大点就可以吃扇贝了
最新张津瑜卫生间视频
迈开腿吃尝尝你CH
老师好涨水快流出来了说说
宝宝看着我是怎么进去的视频
腿张大点就不疼了
野花视频免费高清观看
差差漫画免费斗罗玉转土豪网站
坐公交车居然被弄了2个小时视频
妈妈的朋友6在观完整有限中字木瓜
成品禁用短视频APP抖抖
艳娒1一6全集在线高清
2017夜夜干天天骑日日日
半夜发现外公趴在妈妈身上
皇家小公主1V3
妈妈的朋友在完整有限中字
9uu.cm有你有我
被拉到学校没人地方C知乎
无人区码卡二卡乱码字幕
全班的公共玩具坐便器
含羞草四叶草三叶草
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1