有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
妈妈的朋友在完整有限公司中字4
我年轻漂亮的继坶bd
国精产品99永久中国有限公司
羞羞漫画入口页面在线登录
晚上睡不着看点害羞日本
年轻的保姆5完整视频观看
じゅぎょうさんかん安卓版下载
国产无人区码卡二卡3卡4卡网站
一边亲着一面膜下奶日本
小SB是不是欠c了h
类似第四色的网站
描写开车的超级激烈的作文
白岩松谈返京女子
麻婆豆腐传媒一区二区三区
JK漫画免费漫画页面在线看漫画免费微信知乎
小雪的13又嫩又紧又多水书架
国模李莉私拍超大尺度
花季传媒v3.072黄每天免费三次下载
我和黑帮老大的365天结局完中文整版
老太婆下身浓浓毛多
47147人文艺术欣赏
国模李莉私拍超大尺度
1118视频链接
加多宝公益战略发布
中国XXXXXL19
男男车车的车车网站推荐
他顶撞的速度越来越快是什么
新疆女RAPPER老太RDFJFTTIK
小东西才一根手指就喊疼了
rh男男车车的车车视频真人
水蜜桃文化传媒
玩弄老太太的BBB
我38岁离婚后跟儿子睡
麻豆专媒体一区二区
桃汁糜烂NPC
FREEZEFRAME丰满寡妇
见一次面做3次超详细
桃花洞口开香蕊落莓苔什么意思
傻大壮长的驴一样的东西
人伦亲情父母儿女的句子
在我们寝室当寄吧套子怎么样
呵啊呵啊呵啊女生叫什么
简隋英李玉肉车writeas
天美果冻女儿的梦想
乱VODAFONEWIFI熟妇
歪歪漫画登录页面免费漫画入口韩漫
十大黄台不收费直播
S8Sp海外视频
成全动漫视频在线观看免费
女孩迈开腿喂男孩吃草莓膀胱
小小水蜜桃3视频在线观看
结合处粘腻水声拍打声的预防方法
秘密教学子豪26再做一次
在教室里把跳d开到最大
晚上让你吃棒棒糖是啥意思
国内成品网站W灬源码
JEALOUSVUE50成熟MAOFF
COSMO OIL
王中磊玩过的女人
年轻的母亲 韩国
成熟交BGMBGMBGM图片
欧洲RAPPER潮水太多
往下面放冻葡萄的感觉
免费30款禁用黄台网站
车里强行打扑克又叫又疼
猫咪地域网名入口639cf
一个人免费看B站
大沢佑香 浣肠
早上醒来巨大还在里面
女士睡衣开襟免费网站高清
坐在学长的根茎上写作业
没带罩子被校霸C了一节课作文
国产精华最好的产品人V中文
小乌酱百合系列黑白双丝
10款禁止下的软件
两个家庭换女儿玩
幸福宝8008隐藏永久入口
棉签冰块放入PNG图片
新区乱码无人区二精东
大尺寸的小黄说说1000字多肉
墨燃把楚晚宁按着c
椅子上有木棒坐下去吃饭短
列车上的小黄说说1000字
把女人弄爽的特黄A大片
男男车车好快的车车有点污的网站
国产乱码精品一品二品
吉泽明步高清种子
他缓慢而有力的撞着内容
几个健身私教弄好几次了
女朋友的妈妈4完整有翻译
岳的毛又黑又厚
流了这么多还嘴硬
冬至糙汉h1vl
r车禁闭室润滑剂
电车之狼 攻略
白雪公主STOYA
一整夜没有从你身体里退出来
小东西长大了可以做了视频
我女朋友的妈妈4中语翻译成英文
欧洲无人区卡一卡二卡三
公交车上开了两个小女孩的包
8x8x我要打机飞在线观看
一下下的撞着公主
院子里公开惩戒(下)WRITE AS
女生戴自动蝴蝶去上班的注意事项
13岁能放几个笔
欧洲女RAPPER潮水大豆电视
欧美三圾片在线观看
精东影业JD011民国传奇演员
逛街突然开了遥控器的体验
云缨拿枪奖励自己视频
用用点力快要到了
OVERLORD第四季在线播放
MD传媒作品大全
啪嗒砰怎么召唤
哪个网站可以看泰囧
猛地一挺腿再开一点就不疼
大将军1v2lh怀孕的原因
它想你了给他好不好
特工妈咪惹不得
晚上睡不着偷偷看B站短视
夜倾情 保姆的诱惑
几天没C你是不是痒了免费
含羞草实验室隐藏路线
秋葵适合未满十八岁的人吃吗
红色一片www在线
男生把坤坤放女生坤坤里蘑菇
ONEDRIVE永久免费100G
宝宝我想吃你胸前的大白兔奶糖
写的超细的开车过程
娇妻系列交换21部
性VODAFONEWIFI另类老少性
最美情侣中文在线播放
日本漫画口番工全彩侵犯
我C了白丝课代表一整节课
美红与王站长列车篇
啊轻点灬公大JI巴又大又
双乳被陌生人把玩挤出奶水黄
他缓慢而有力的往里挺送文字
桃花在线观看免费播放动漫
在体育馆地板上做
吃女朋友的扇贝细节
公交车轮换C程雪免费阅读
大哥二哥你们谁先来
果冻传媒七夕在线看
大胸年轻的保姆6
遥控器跳DAN放在里面坐公交
做错一题进去一次C
国产一产二产三精华液
没带套子让他C了一天怎么办
梁医生再往下一点吃肉视频
男朋友是怎样进你的
校园大尺寸的小黄说说1000字
浮力限制路线1路线2路线3
国产MV天美传媒
男男车车好快的车车流水视频
神奇宝贝ag132
女神漫画登录页面免费漫画入口页面
大菠萝福建导航进入网址
西方447大但人文艺术
千人千色YSL
97国产精华最好的产品
男人会亲你的小花园时代表什么
幻音 腐 肉补钙
男朋友说要给我通下水道
坐在学霸的鸡上背单词
5个黑人躁我一个视频
md传媒免费观看在线 小说
男人把女人桶到高潮嗷嗷叫
穿成小团子后萌翻全世界系统
47147大但人文艺术怎么样
国内女RAPPER大全
魔鬼公交车上的小黄说说
国产线路3国产线路2
墨燃把楚晚宁按着干196章
蜜桃成熟时5D
黑人双人RAPPER剧情介绍
家长会上爸爸们C老师
暖暖 中文 免费 日本社区
开过张的女生是不是一直想
始料未及的软1v2
女看了会流污水的段子网站
一浅二深三大叫什么
2014年4月里番
橘梨纱 超高级ソープ嬢
涩涩屋草莓榴莲绿巨人秋葵的特点
花木兰被全队队友日
老婆和别人做完以后再和我做
爸爸说没人在家可以做
欧美无人区码卡二卡3卡2022
描写开车的超级激烈的作文
人和畜禽Croproation
雍正睡了自己的女儿是哪一集
顶级大但人文体艺术
彩虹男GARY2023入口
把娇妻借给朋友泄欲
趴在玻璃窗做给别人看是什么感觉
韩国女主播 ed2k
帐篷里的秘密未裁剪哪里有
吃自己的丁丁的方法
9uu.cm有你有我
夹看学长的巨大的鸡把写作业
在公交上跳d突然开了
我变成野兽的夜晚4忘不掉的前任
最近日本免费观看MV百度
新版金银瓶1一5电影
健身房几个私教弄了几次
geyaocao
狗狗的大东西在人里什么感觉
大团圆结局公交车2
调教越发敏感注射药物
在车上一次又一次挺入
他一次比一次撞的很多
公么大龟弄得我好舒服秀婷视频
4399影院在线观看免费视频BD
成品禁用短视频app下载
女生玩男生小JJ
情不自禁 百度影音
打扑克视频又疼又叫原声
年轻的小峓子3韩国在钱
迈开腿尝尝你的草莓汁的
触手怪tentaculata无限爱心
希儿乳液狂飙天堂W98
台湾中文网娱乐网
几个老爷弄一个丫头的说说
男朋友咬我的小兔子头会发炎吗
女士不遮阴内搭图片大全大图高清
一面亲上边一面膜下边的日志
一个人在晚上偷偷看b站怎么办
只因爱你by欲语还休
潘金莲扬思敏版1996无删减版
魏无羡哭着喊着让蓝湛退出去
欧洲最强潮水RAPPER
性一交一无一伦一精一品
在英语课上用J插英语课代表
朋友把我玩成了小喷泉
深情触摸2韩语中文字
八个大灰狼吃掉小绵羊
雷电将军被史莱姆无情注入
伪装学渣电动猫尾巴PLAY
二次元超污没有衣服无遮无挡
吃到自己的鸡嘴巴简单办法
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
美艳护士把我夹得好爽
在英语课上用鸡插英语课代表视频
亚洲精品国产精华液怎么样
家里没人儿子就弄我了
日本最大胆的人文体艺术
陈淑芬的两腿中间又痒了
厨房里的激战2精彩情节故事简介
我一边做饭一边被躁了动漫
精产国品一二三区别在哪里
免费BGMBGMBGM胖老太太东北
老中医吮她的花蒂和奶水视频播放
无翼乌漫画全彩集日本漫画大全
喷泉1V3HL
国精产品一区二区三区糖心269
幻音 腐 肉补钙
まことNICO免费视频
胸的手感怎么样
TOBU16TOBU18
永远的品色论坛
网恋奔现做了一晚上细节
5G天天奭多人运动 在线观看免费网站
给他们轮着尝尝你的味道老周
新金瓶悔1一5集免费
叫出来就给你 我想听
为什么撞得越狠越快越不疼
歪歪漫画登录页面环球在线看
小叔子说我的奶奶好大
跳D开到最大C死我
公交车一次又一次
适合女生深夜看的污一点的说说
中文字幕一线产区和二线区的区别
男生女生一起差差很痛的app下载安装20
公交车里抓着摇曳的手环诗情
第一会所s001
大龟慢慢挺进张娟征的休
被套上自动挤奶器性能怎么样
打扑克打了又疼又叫
bgmbgmbgm老妇60岁XX
打扑克视频又叫又疼
一面亲上边一面一摸下边APP
午夜香吻免费观看视频在线观看
adc影库确认年龄18点此进入
女生让男生诵自己的己的讥讥
迈开腿让尝尝你的森林啥意思
51cg吃瓜爆料永利2023
宝宝你好夹啊都拉丝了游戏
内衣柜办公室1-3日语免费观看
翁日张敏陈法蓉陈红
打扑克直播软件app开发
老师拉我去办公室做了一节课英语
校霸夹玩具坐跷跷板
美国ZOOM与人
我把数学课代表捅哭了
让我看看你的小森林是什么意思
一下子接5个客人疼死了
妈妈的朋友10在哪可以去看
51FUN吃瓜网官网
PYTHON人狗大战CSDN
菠萝蜜视频最新在线观看
男娃JY灌溉系统游戏
用玉器养大的公主
杨敏思版1-5完整无删减版
亚洲卡2卡三卡4卡2022老狼
生物老师的兔子好大
成人网小儿不宜
换个地方做吧未增删樱花
班主任的大兔子好软水视频
缘之空无删减资源在线
WRITE AS 含玉
国产一线产区二线产区
2016年2月里番
没有罩子的瑜伽老师
51无人区码一码二码三码区别
将电动牙刷放在小洞里
日本卡一卡三卡四卡乱码
乳液狂飙天堂w78
女生和男生一起相差差差差差
写得很细的开车秒湿
日出水了好深好涨
欲体焚情百度影音
爸爸说家里没人可以C了
GOGOGO大但人文艺术包
体CHINESE大学生宿舍飞机
我和黑帮老大的我365天第二部
别出声不然就被发现了
MD传媒作品大全
雨后的故事 动态图
2D甄姬与隔壁家的两个小孩
禁漫夭堂地址是多少18C.MIC
开车越往下越疼的那种文字
00xx动态图
两个男孩子开车细写
GOGOGO大但人文艺术大
迈开腿让我看看你的草莓照片
打扑克剧烈运动又疼又叫的视频
韩国演艺圈悲惨qvod
1是怎么进入0的图片
把腿开到最大就不疼了吗
国产一二三区别2023
一个人被2个人玩会坏掉吗
晚上睡不着看看B站视频
墨燃给楚晚宁用道具
等不及在车里就要了老狼信息
月光视频在线观看免费播放
老板那里是XL樱花动漫
合欢app下载汅api免费秋葵
我做错一题他们就C我一次
我早就想在公司要你了视频
老师白妇少洁第2部
秘密教学52子豪停不下来了
607080老太太AW
吃八重神子的乳液
16MAY20_XXXXXL56ENDIAN
Chineseboy军人
动画情侣剧烈做运动的表情包
中文字幕一线产区和二线区的区别
女生把自己隐私给异性朋友
14岁女孩迈开腿拔萝卜
一面亲上边一面膜下边文字的含义
伽罗躺床流白色分泌物大图
舔下面好舒服都是水
公么大龟弄得我好舒服秀婷
JEALOUSVUE成熟好妈妈
落地窗PLAYWRITEAS
王者荣耀公孙离捅到流口水
欧美乱妇狂野欧美在线视频
为什么黑种人的性能强大
班长哭着说再玩会坏掉视频
白雪公主被树干哭的故事是
爱情岛论坛网站线路1
第一会所 欧美原创
2012sbs演艺大赏
日文中字乱码一二三区别在
一口一口把奶油从胸口
桃花视频在线观看免费
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1