有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
禁天漫堂网站进入
我朋友把我C成了喷泉怎么办
怎么把自己揉的全是水喷泉
伊人查蕉在线观看
开车疼痛有声音 免费网站
一面膜上边一面膜下边视频
压在阳台玻璃上做给别人看
精东传媒JDYL027李娜娜
群飞杨幂赵丽颖刘亦菲
江疏影口大佬照片
考试不好就要当学校的坐便器
比赛谁输谁去谁家受罚随便玩
美女裸露无档图片
情侣房交椅使用方法图片
护士给病人做性功能康复治疗
WRITE AS三人
超碰国产视频免费播放
第四色 成人 官网
怨妇.狂娃.疯杀手
新版猫咪永久地域网名
丝瓜和绿巨人蕾丝秋葵的功效
春色无边女儿国
老窝鸭永久免费视频新地址
坐着震动器写作业是什么感觉
嗯嗯宝宝怎么啦难受吗 疼 好大
桃花社区 在线播放
如果这叫爱情感觉会很恶心
爸爸的东西又弯又长怎么办
含羞草传媒隐藏路线2023
什么样的B型好干
亚洲欧洲卡1卡2新区
生姜切成小块放菊花里作文
小东西才几天没做就紧了
WRITEAS花式PLAY
塞跳D不能掉出来上学作文
2021无线乱码免费
WRITEAS刘耀文插宋亚轩
两只小兔子被吸得红肿
黄色软件app下载3.0.3每天三次oppo版
色达天藏图片砍尸视频
插曲视频30分钟
性姿势48个动图
IGAO网站在线观看
宝宝两根就哭男男是不是太早了
韩漫漫画登录页面免费入口弹窗
作的女朋友叫的快哭了
韩国风俗媚娘全套下载
男男车车好快的车车网站推荐
5G影讯5G探花多人运动最新网站
脱色摇床实验室振荡
亚1州区2区3区域4产品乱码
宝贝好紧好爽再搔一点试視頻
大陆年轻帅小伙飞机GAY
火箭少女的开襟乳液狂飙
男人想让你亲他的私下代表什么呢
17一18俄罗斯een
雷电将军被旅行者淦到哭
当兵的晚上太猛
平时很硬一到办事时候就软怎么办
国精产品一二三产区
水都流出来了还说不要
娇妻系列交换21部
心动时刻 简简单单
网站你知道我的意思的www正能量
超帅CHINESE直男飞机
BGMBGMBGM老太太毛
老婆不傻不天真
爸爸前面开车我抱着妈妈去姥姥家
18分钟处破女好痛
宝宝腿开大一点就不疼了
女式襟开免费地暖网站
边做边爱完整版3
孤注一掷王传君免费观看
原神八重神子被注射不明白色液体
十种b型的外形
姐姐的朋友中线字
manta haya 17
把班长拉去没人的地方
桥矿欧美片第1集
对象都是怎么C你的过程
国产AMS1117
国精产品一二二区视早餐有限公司
睡过年纪最小的多少岁
张津瑜视百度云
只要有爱就算是哥哥
18岁MACBOOKPRO45岁
王者荣耀英雄黄化网站在线看
无人区编码6229JM
69日本人XXXXX
白雪公主被树干哭的故事是
四个学长一起上我会坏掉的
男生戴玩具出门体验
一号请你配合我的走位
班主任是班级的公共玩具作文
校霸被校草在教室做到哭
一个人看的高清WWW哔哩哔哩
语文课代表趴下让我桶免费放
日本是人类吗最佳答案
这两个球球一直摇晃个不停
中国XXXXXLMEDJYF
低头看我们结合的地方阅读
2022Ggy钙站不能用了
免费雷电将军乳液VX网站
51无人区码一码二码三码区别
两个人完整视频在线观看
扑克牌又痛又叫软件免费下载
日产精品1区至六区有限公司
我想要看胸片曝光照片
秘密入口3秒自动转接连接
一件一件的剥掉西施的衣服
朋友的母亲7在完整有限中字第
王者荣耀女英雄被捅到流口水
朝鲜女子内射杂交BBW
翁公半夜吃我下面
戴自动蝴蝶去上班感受
永远免费的品色论坛
黄动漫车车好快的车车APP
怎样揉自己的痘痘揉到腿软
国精产品自线六区
性 爱 免费 视频
免费日产区乱码2021软件
晚上睡不着想看点大人
怎样弄到自己喷泉
JMCOMICRON.MIC2023
0adc影库年龄确定
把腿张大点我就可以吃到扇贝了
1码2码3码4码无人区
暖暖视频日本版免费完整
巴西BBABBABBABBA想起
MAY18_XXXXXL
51吃瓜.world张津瑜
浓毛BGMBGMBGM老太太
罗马帝国艳情史图解
母亲看上女儿的男朋友
成人文学俱乐部
把腿再掰大点就能吃到贝壳
100位未成年RAPPER
欧美无人区码卡二卡3卡
好满射太多了装不下了软件
20岁RAPPER潮水偷轨
腿再分大点就可以吃到扇贝了视频
女人脱精光让人桶爽了
和黄crm在线
公交车后车座疯狂的做的细节
蜜桃传媒天美传媒京东传媒DO
CHINA体育生GARY飞机
王副军官玩田雨细节描述
3DNAGOONIMATION_HONKAI无尺
怡春院宜春院美国十次
亚洲一卡二卡三卡四卡无卡网站
两个奶头被吃得又翘又硬怎么办
两个人看的片BD
情侣的100种插秧做法
淑蓉最爽的一次
富二代国app产下载
日本一品和二品区别
赵露思乳液头实出
做的时候粘腻的水声
儿子一晚上要了我三回怎么办呀
年轻漂亮的继坶5
婷婷四月开心色房播播
交流1v3多肉软孕
国精产品69永久中国有限
purhub入口
BBOX撕裂入门头交
荷兰少归BVBV
国产免费毛卡片
吉泽明部 种子
男生的GGY钙2023入口
两扇红唇夹玉柱下联一道清泉
女儿的朋友3中汉字
雷电将军の罚ゲーム破解版
贺朝谢俞c到哭车
娇娃荡女K8经典
宁柔柔的小泬撑开到极
年轻的母亲4 剧情
最近中文字幕完整国语
深度开发1v3n
他一遍又一遍索取
高岭家的二轮花
西方37大但人文艺术A管
老人猛的挺进莹莹体内视频
皇上撞着太子妃的小说叫什么
136大但人文艺术
亚洲一卡2卡三卡
渺渺上体育课当着全班人
麻豆精东星空天美MV
一二三四免费中文在线1
日本一线产区和二线产区
精产国品一二三产品区别9977
女婿提那要求怎么办
魏晨破赵奕欢ps密照
两个黑人大战娇妻的小说
乳液狂飙W98天堂
为什么日的越快叫的也快
黑料社吃瓜爆料砍黑料社
漂亮的保姆韩国百度网盘资源
网站你知道我的意思的www正能量
一个在上面吃一个在下面做那个
无翼乌漫画全彩集日本漫画大全
奇怪的美发沙龙3韩语中语字
黑料不打烊TTTZZZ肾虚十八连
小SB是不是欠C流了那么多
学长跳D放在我里面上课作文
乳色吐息樱花未增删翻译中文翻译
天美果冻星空国产剧情
接待一个30厘米长的客人
黑人娇小BBW
迈开腿让你尝尝草莓是什么
女生说痛男生越往里寨的文字
AIRMAX97杂交
黄光裕进去的根本原因
吉泽明步全集种子
前女友那方面厉害一直忘不掉
搐搐国产丨区2区精品AV
无颜之月我是看守专用宠物无修剪皮皮虾
我的小乖乖徐韵婷5
金瓶瓶之爱的性奴2
中国人成熟视频
精东影业JD0045妈妈咪呀
国外精产品W灬源码16
姐弟拔萝卜又叫痛又叫高新
学生和妈妈的朋友
妹妹中考前让我C了一次作文
jing液灌溉系统2号唐小米
海角社区hj4bb
疼大点声今晚没人
2018国产大陆天天弄
么公的粗大挺进了我的密道
18款夜里禁用b站
整篇都是车的文章校园
精产国品一二三产品区别在哪里呢
黑人巨茎大战白人女40CMO
嘛豆传媒app官方网站
精品乱码一二三四区别
女婿的东西太好了
被男生口是一种什么体验
几个领导要一起睡我
韩国演艺圈悲惨事件9
在床上拔萝卜又疼又叫什么病症
老湿机免费一分钟体检60秒区
黄色软件app下载3.0.3每天三次oppo版
穿越优质JY收集系统游戏
一杆长枪直入两扇门
外回り中に突然の大雨一雨宿
小棉签是用来干什么的
他趴在两腿中间舔我私密有事吗
向涟仓式献上纯洁
50款夜间禁用软件app免费
怎样把自己C到哭
14MAY18_XXXXXL放屁
无人一码二码三码4码免费
无翼乌邪恶彩色无摭挡
长发公主国语版
ZO2O女人另类ZO2O洗浴
外公总是压妈妈身上怎么回事啊
一个吃上一个吃下
MAY18_XXXXXL
武汉浩哥出品消防员第一次双龙
爷爷总是在妈妈身上
恋夜院影全部视频列表2
一个上面吃一个下吃视频试看
已满18周岁请点击进入网站
福利乱码卡一卡二卡新区
无码AV啪啪一区二区三区
WWW.GCRCCS.COM
小玩具开启高H
老师你的兔子好软水好多直
潘甜甜果冻传媒 在线观看
王者公孙离害羞流口水的表情
欧洲victoryday
小东西他想你了给他好不好
精品无人区卡一卡二卡三
坐在叔叔的硬硬的上面写作业文章
棒棒糖放屁眼里ss
双乳被一左一右吃着的
中国人を嫌う日本人
天堂引路人咳咳懂得都懂
俄罗斯videodese12
PRUBURB官方网站入口链接
CHINESE东北女人舒服
妹妹中考让我C了一节课
老公叫我和别人换着玩怎么办
404黄台软件平台
渺渺在沙滩上让男人涂防晒霜
乳液狂飙W98天堂
无翼乌无遮挡全彩漫画大全漫画
麻花传媒MV一二三区别
四叔日常1V2
媒豆传媒免费视频入口网站
中文字幕 日韩 无码 在线
家里没人儿子就弄我了怎么办
成人网小儿不宜
进入了母亲的生命之门
不知节制地索要
日本ZLJZLJZLJZLJ喷
野花日本HD免费高清版7一
laurenphilips老妇人
放在里面睡觉一种怎样的感觉
麻花传媒XXYZ0076沈芯语
我的XL上司第二季未增删翻译中
桃花在线观看免费观看手机
女人洗澡沐浴露全身真实
5个男人躁我一个爽
妈妈的朋友1线在完整视频中字版
2023国精产品一二三四区
羞羞漫画入口页面在线登录
女人半夜睡不着看点害羞的
一边亲一面膜下的活动内容
欧美三圾片在线观看
你真紧你这是要我的命吗
傻大壮长的驴一样的东西
欧式春画图片大全欣赏简单
用我的手指搅乱吧未增删卡卡
穿裙子就是好c
帅哥GARY网站
又大又长又租高湖免费
多毛bgmbgmbgm胖
迷情娇妻第104章
暖暖高清视频免费
老师你的好软水好多的
小SAO货边洗澡边CAO你动漫
国产线路3国产线路2
把英语课代表的处破了
ZOOM与人性BOOD
欧洲最强潮水RAPPER
大团圆结局公交车2
亚洲MV砖码砖区2021在线
为什么一加速女生就会哭
国精产品一二三产区
ONE.YG99.AQQ一个致敬韩寒
为什么日的越快叫的也快
欧亚专线S码和W码入口一样吗
亚洲人一卡4卡5卡6卡7卡
张柏芝生三胎是刘德华
农场ZOOM与人性ZOOM
国内产品网站W源码1688
把自己弄成喷泉
迈开腿让我吃一下你的小草莓
宝宝都湿透了还嘴硬
软玉娇香多肉大结局
无人视频免费观看免费直播下载
夏天短袖见到女同学乳突图片
妈妈的朋友4在完整视频带翻译4
老板在车里要了七回
嘿嘿漫免费漫画入口页面弹窗秋蝉
是不是好久没人弄你了表情包
老丁的退休生活
喷泉h1v3H
jm漫画战争与和平
书记太厉害了太长了
日产中字乱码一二三
贺朝谢俞c到哭车
洗衣屋2未增删带翻译樱花
宝贝儿 是不是欠C
女人好大好涨水好多
妖精动漫官方登录页面入口弹窗
小泽玛利亚电影种子
孙尚香教刘禅写作业
chinese军人boy鸡毛
按住腰往上顶弄 滚烫
关上最后的门吧漫画
我想用我的扇贝夹你的乌龟
军1V2的PO推荐
エロゲ母爱如山动漫免费观看
老太婆下身浓浓毛多
蛇双器巨大堵的出不来
大巴车最后一排被C细节
他的舌头含有起了我的小豆豆
燕氏四个和尚播种
亚洲日本乱码卡2卡3卡新区
软玉娇香多肉大结局
踩踏终点站文化馆
りなとあな里菜的痛
弄完作业是不是该给哥弄弄了
日产一二三四五六区
超砸在线观看免费视频
把跳D放在里面跑步不能掉作文
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1