有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
班长哭着说不能再C了
ドラえもんのエロ原神
麻花豆传媒剧国产MV入口
老师你的好软水好多的
不良网站免费进入窗口软件有哪些
来自俄罗斯的美国女RAPPER
宝宝好会夹啊拉丝
女人吃男人精子图片
最近中文字幕免费大全8一
又大又硬又粗再深一点
女人www视频在线观看动漫
究惑R车禁闭室润滑剂
四房播播 五月
糖心VLOG精品一区二区
被主人用数据线打的作文
沈阳48岁老阿姨叫的没谁了吗
无翼乌全彩无遮挡漫画大全
chinese高中生solo
朋友韩国线观高清2
散华礼弥oad
四虎最新地域网名2021免费苹果东营
错一道题就插一支笔怎么办
妈妈说只要爸爸不在家她就是我的
李白夹小玩具出门WRITEAS
仙踪林19岁大陆RAPPER潮水偷轨
小东西C的舒服吗
搞机TIME恶心10分钟直接打开网页不要钱
丑女图片越丑越好
坐公交车上日了2小时
无区码一码二码三码
国产卡二卡三卡四乱码分类
国色天香A区优点和缺点
小洞饿了想吃大香肠什么意思
多毛BGMBGMBGM胖老年人
二指探洞疼哭了
公交车最后一排被多人C
淑娟两腿间又痒了
大香伊在人线一道本
与女神同行评价
部队里被咬住花蒂吹潮军人
国产未成女YOUNV仙踪林
三公主babygirl
黑帮大佬的我的365日第二季
日产2021一二三四免费
同桌放学带我去没人的地方作文
YELLOW最新视频
一家儿女4口人一起玩
放学后在班上插英语课代表
真人作爱视频免费视频大全
英语老师让我捏她的小兔兔作文
浓毛BGMBGMBGM老太太
4399看片手机在线高清动画
东京热456大交乱高清视频
啊宝宝的腰好会扭再叫大点啊哈
无人区码一码二码三码
优质JY灌溉系统
不被原谅的搜查官
中文字日产幕码三区的做法步
A最大但人文艺术
月落归林 BY萝卜药
旅游途中夫妻换着玩的说说搞笑
班长是我们班的存精器白素素
COSMO OIL
做得你三天起不来
wow动如脱兔
国色天香直播在线观看免费
国模欢欢出白浆炮轰图
国精产品一品二品在
妈妈的爱第一章
弄完作业是不是该给哥弄弄了
强伦姧人妻三上悠亚中文字幕
漂亮的小峓子中字HD电影
逆爱 再爱我一次
妈妈的朋友10在观完整有限中
write as 水果
李若彤小龙女被辱
教授走一步撞一下苏冷韵
云缨去掉所有小内流口水图片
车内做运动打扑克
maya请确认年满
天天躁夜夜踩很很踩2022
儿子一晚上要了我五回怎么办呀
小小水蜜桃3视频在线观看
要怎样才可以女孩子喷泉是
班长哭着说不能再抠了游戏
老师的兔子好软水好多免费
姐姐说想做可以找她
甘雨乳液VX网站入口
好老师的小兔子好软水好多
瑜伽狂野式体式进入
唐三插曲比比东不亦乐乎MBA
黑龙江大学事件
エロワンピースエロじ
美国男人的大鸟
妈妈的朋友2中语
张津瑜处理通告
韩漫歪歪漫画登录页面免费漫画入口页面
XKDSP APP APP隐藏入口
电车之狼怎么玩
单亲妈妈4电影韩剧在线观看
日本一姐RAPPER潮水仙踪林
胸前两个巨大的兔子蹦出来
无限资源2018免费观看
成品禁用短视频APP抖抖
最近最新手机中文大全4
把女朋友做到下不了床
海角精产国品一二三区别
雨后的故事动画
教你怎么自己吃丁丁
北北北砂禁慢天堂
哔哩哔哩床吻戏大全
麻花豆剧国产MV在视频播出
老狼信息网仙踪林八零婚纱摄影工作室
体育老师C我一节课
我被女婿日得舒服死了
啊你的怎么这么大爸爸
广西柳州莫菁门事件
天美MD豆传媒一二三区进
迈开腿让尝尝你森林视频
漂亮的丰年经的继拇5字
BGMBGMBGM老太太交视频
浏览器正能量网站免费
夫妻之间的108种插秧法
父母和子女互换
爱如潮水图片高清日本
两个奶头被吃得又翘又肿怎么办
迈开腿让我尝尝你的草莓什么味道
JEALOUSVUE成熟五十
歪歪漫画登录页面环球在线看
往下边塞玉器出门write
在线观看黄页网站大全电影天堂
男生把自己的手放到女生的qq里
成品网站源码1688可靠吗
你太大我装不下你
男友抱着我站着做
放里面睡觉是一种怎样的感觉
2021年19岁RAPPER潮水
939w乳液78w实时更新
精产国品一二三区别
好儿子妈今天就是你的人
看我是怎么C的你叫出来了
重生之祝英台遇到马文才全文免费
红豆视频在线观看免费播放
妈妈的朋友 女主角
欧派浴室2樱花未增删带翻译
中国警察网记者张津瑜事件始末
王建李珊张伟陈婷互换
国内精品一卡二卡三卡公司
成色AU999
伽罗躺床流白色分泌物大图
跑步机上边跑边顶HHH
5G天天奭多人运动最新网站
自W到高C的50种图片教程视频
已经塞了三个鸡蛋了
听话等会就不疼了扩张
男人喜欢耐C还是不耐C的
日韩卡一卡二卡乱码新区
我和岳一晚五次
迈开腿让我看看你茂密的森林
云缨新皮肤p掉衣服裸
精灵の森へようこそ2
麻豆精产一二三产区
武大内野CAMPBUDDY
抖音奶片故意走漏视频7028
乐可车图片( 长图)
邻居一晚让我高潮3次正常吗
日剧双人床上做剧烈运动作文
すん止め亀头ふたいと的含义
初中女生喊疼男生越往里寨游戏
侵犯小少爷(H)np
津渝视频完整百度云盘
去医院面试被院长弄了
我被两个男人玩到早上
没带罩子让捏了一节课视频
三叶草欧洲码和亚洲码怎么换算
14岁学生迈开腿让打扑克
外网9分10张津瑜链接
中字乱码一二三区别视频
语文课代表的胸软软的作文
为什么狗狗放进我里面就变大
迈开腿尝尝你的草莓是什么意思
槽溜2021入口一二三四绿巨人
金麟岂是池中物侯龙涛
writeas内塞猫尾巴
猎艳十大名器艳妇
幸福宝8008隐藏入口2023
男生坤巴扎进女生的坤巴里
污网站wallpaper共享人可以看到订阅吗
色天使色护士在线视频
黑料不打烊肾虚十八连入口
台湾无人区卡一卡二卡三乱码
人蛇大战之人蛇浴血战
dianchezhilang
腿再开一点就可以吃扇贝了
一个人在晚上偷偷看b站怎么办
年级老师的滋味4
小东西几天没做喷了这么多
女生玩男生小JJ
把下面能看湿的句子5000字
餐桌下手指噗呲噗呲
三十六式阴阳技巧口诀视频
石榴裙下的温柔
女士开襟乳液狂飙
在公交车上被JB草坏了被轮J了
喵绅HCMOIC士18
雍正睡了自己的女儿是哪一集
JEALOUSVUE成熟50MA
自己扶好了对准确了坐下来
太子被暗卫C到合不拢腿N男男
小洞饿了要吃大香肠有声音
无人区码一码二码三码区别新月
亲爱的老师4中字BD
楼梯c到哭不止
穿了内衣却有一半乳晕没遮住
跳DAN放在里面坐公交知乎
日本朋友把我玩成喷泉状态
宝贝错一题c一次漫画
大陆女人内谢69XXXORG
塞一天冰块不可以掉下来
女子半夜莲花开是不是刚做过
缅北14may18_XXXXXL56endian
女生迈开腿让男生吃草莓膀胱
rh男男车车的车车视频
公交车多肉短文300字左右
喵绅hcmoic士
津渝视频完整版哔哩哔哩
姐姐的小兔子又大又软作文
小华佗事件陌陌
公交车双指探洞醉汉
日本坐公交车弄了2个小时
我C了白丝课代表一整节课
太华伽罗被X哭还流东西
大手从衣服下摆探进去
激烈啪啪啪动态图
同桌把我拉到他家做了作文1000字
公交车多人运动黄
缘之空无删减资源在线
小乌酱黑白双丝交足视频
神马影院线手机理论午夜
双指探洞一分钟200次什么意思
迈开腿尝尝你的草莓汁的
帅气体育生GARY网站小蓝
黑人巨茎大战白人女40CMO
公交要了很多次
糖果君小宇36分钟无偿
中文字字幕乱码播放
女生迈开腿打扑克又疼又痒
胡桃N开襟乳液狂飙视频网站
无人区一码二码三码区别
韩国风俗媚娘贴吧
打扑克剧烈运动又疼又叫的视频
暴躁妹妹csgo独特玩法揭秘
糖果君三人行视频
太深了吧唧吧唧吧唧吧唧吧
小雪把双腿打开给老杨看5
开车视频有声音疼痛软件免费下载
刚开笣没多久的大一新生
甜蜜惩罚 我是看守专用宠物未删减版百度云
片多多看电影免费吗
没带罩子让他C了一节具体写文
看娇妻被两朋友共用
宝贝它想你了感受到了吗车上
天堂在线www官网
全程车的百合描写详细的
孤独又灿烂的神
性宝福丝瓜草莓芭乐小猪鸭脖
有车车的腐肉双男
是不是想被C很久了阅读
美国十次啦超级大导航
137VT最大但人文艺术A豆瓣
迈开腿打扑克没有马赛克还有牛奶
乱马二分之一热斗篇
张书记不戴套杨雨婷
黄到让你那里滴水
两阳夹一阴后续走势
逛街突然开了遥控器的体验
他的手一点一点的往里
只因爱你by欲语还休
老阿姨哔哩哔哩b站肉片入口
车文超多描写具体
坐在叔叔的硬硬的上面写作业
亚洲精品一卡2卡三卡4卡5卡
电车之狼r 攻略
麻花豆传媒剧国产MV的发展前景
妈妈跟外公在做什么
糖心VLOG产精国品免费老版
民工把我奶头掏出来了怎么办
亚洲无砖码砖专区2023公司
MAY18_XXXXXL56ENDI
把我的香肠塞进你的甜甜圈
我12岁就做了不干净的事
我们两个C的你舒服吗
花田喜事2009
波多野结衣系列在线观看GVG
以性作为考试的学校
吃自己的丁丁的方法
两根硕大一起挤入小雪
客户的东西比老公的大
皇上撞着太子妃的小说叫什么
俄罗斯XXXXXL18
多人轮换c一个Hpo
千娇app下载
WRITE AS 电动棒
儿子需要我就给了他
斗罗大陆人物黄化3d漫画
腿张大点就可以吃扇贝了
来吧儿子妈妈是你的人是什么歌儿
离婚回娘家满足爸
宝贝我不想带小雨伞了
八重神子去掉小内趴在地上打扑克
人与畜禽共性关系的重要性有哪些
刘玉玲flypaper电影
无乱码区1卡2卡三卡网站
我们两个一起轮你好不好
中国老太太WBBHD
做运动打扑克视频声音
超碰人热人人热人人看
同桌的手探到我的衣服里知乎
大胸年轻继拇HD无码
69无人区码一码二码三码区别
一区二区三高 清
初中XXXXXL
不知深浅PO1V2车
翁莹情乱第全部篇
小东西几天没做喷得到处都是
迷人的保姆3线观高清
年轻漂亮的老师2中文版
国精产品一区二区三区四区糖心
张柏芝殖器12图
一浅二深三大叫什么
宝宝好会夹啊拉丝什么意思
同吃一家三女齐上阵
波多野结衣系列在线观看GVG
国精产品W灬源码3
晚安おやすみせっ3在线观看3
CHINESE粗口篮球体育生生
变形记温暖之痛
女闺蜜扒开腿让我CAO她
詹妮弗的肉体下载
校霸被学霸压实验室试管
原神雷电将军被C出液体视频
他趴在两腿中间舔我私密有事
两个蛇根吃不下呀
当着全班面被C到高潮哭视频
1819岁macbookpro高清
JY灌溉系统游戏唐小米笔趣阁
宝贝你夹得我好舒
浓毛BGMBGMBGM
旅行者的J桶进雷电将军的B
星空传媒XK8077妻子的报复
老师洗澡让我进去桶她
男孩子都会夹住女孩子头发
保守娇妻被别人开发成功
放荡老师张开双腿任我玩网站
把腿开到最大就不疼了免费播放
换个方式做吧未增删动第一集
老师的兔子好软水好多免费
男人J放进女人屁股免费观看
四房播播 五月
张津瑜920落地窗视频叫啥
拉丁舞跳着跳着做起爱来了
黑人肉大捧进出全过程动态
亚洲AV精品一区二区三区不卡
三叶草M码和亚洲码区别
晚上一个人睡不着在线看
人丑B不丑是真的吗
1区2区3区4区产品芒乱码
打扑克一边痛一边叫一声正常吗
在车里剧烈运动
男朋友C你的时候你会说什么
顶级RAPPER潮水日本
漂亮妈妈5韩国2019
国产又黄又硬又粗
你对象晚上怎么玩你
早上起床抱紧我未增删樱花
国色天香A区与B区
一面亲上边一面膜下边的日志
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1