有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
做错一题进去一次C黄的作文
一码卡与二码卡的区别
亚洲一线产区二线产区精华液
快猫记录世界纪录你
日本免费一卡二卡三卡四
エロワンピース天堂
北方某KTV4男6女混乱轰趴
宝宝几天没做都湿成这样
14MAY18_XXXXXL56ENDIAN印
两个吃上面一个人下试看
师徒1v2金银花
tom汤姆叔叔最新地域网名
小黄说说1000多肉
阿娇被实干20分钟视频
神奇宝贝ag132
伊春园2023入口直达
S货C货大声点叫
两个人免费视频完整版
最近免费中文字幕中文高清6
没带罩子让老师C了一节课作文
无限动漫视频在线观看
伽罗ちゃんが腿法角色解析
怎么让鸡子变大变粗最简单的方法
妈妈的朋友免费观看全集在线观看天才
原神女角色张嘴流眼泪翻白眼
一区二区传媒有限公司
濡湿的车站未增删带翻译樱花翻译
147大但人文艺术37大但人文艺术
日本漫画口番工全彩侵犯
实时观看双人床上做的运动扑克
把英语课代表按到桌子上抄
想吃你身上两颗的葡萄
用卫生纸制作一个假j
最近韩国日本免费观看免费
宝贝对着摄像头自己做1V1
甘雨被盗宝团挤椰奶
宝宝都湿透了还嘴硬疼
18C.MICIOS禁慢天堂18C.MIC北北北砂
VODAFONEWIFI巨大
公交车的最后一排入了我
被两个领导夹在中间
漂亮妈妈3高清中字在线播放
客厅大伦交侩H-MBA是什么
美美哒日本中文免费
年轻漂亮的女教师2
宝贝儿感受到它在爱你吗
王者女英雄去掉所有服装不遮挡没有烟雾
免费看不盖被子打扑克的软件
YY4480高清影院播放器
我们换个方式做吧未增删樱花
叫大点声今晚家里没人冷教视频
40岁阿姨荒野大镖客一电影内容
2023b站免费推广入口
我难受就放一下我不动
女装正太是什么
野花视频在线观看最新1
朋友的母亲3在观有限中字
嗯嗯宝宝怎么啦难受吗 疼 好大
课代表没带罩子给我抄了一节
校花陈若雪被校长抱到办公室
早上醒来巨大还在里面
欧美三圾片在线观看
吃棒棒糖是什么意思
宝妈吃12岁儿子的鸡
丝瓜榴莲秋葵榴莲WWW
两个人一前一后中间
打扑克长达40分钟高清视频
国产精华液一线二线三线区别在哪
大菠萝福建导航进入网址
宝宝你好会夹还流这么多
ekdv 273
厨房运动剧烈老师的大兔子鹿
乐可车图片( 长图)
午夜香吻免费观看视频在线观看
最大但人文艺术网站
老公总是吃我的奶奶但我很反感
WRITEAS作业PLAY
蜜柚视频高清在线
我们两个C的你舒服吗
搐搐国产丨区2区精品AV
家里没人我哥把我做了作文
女生男生一起差差差差带疼声
雷电将军狂飙图片高清壁纸大全
客厅H伦亲女小芳小雪图片
交换漂亮妈妈在线播放
蜜桃成熟33d完整版
吃瓜网51cg7爆料
给阿姨通下水道
夜晚睡不着看B站
大尺寸的小黄说字多肉办公室作文
乱码1234区2021
我和公GONG在厨房日本电影
罩子没戴让捏了一节课
亚洲国产一卡2卡3卡4卡5公司
放里面睡觉是种什么样的感受
几天不C水这么多
B的三十种形态
老师成为班级的公共玩具视频
嘿嘿漫画登录页面弹窗秋蝉
林小水的荡生活H全文阅读
python人马大战
使劲抬东西突然腰猛然一疼
我年轻善良的继4
老师的大兔子好软水好多的
2014日产高清卡1卡2卡
longbuluo
巨大荫蒂又大又长勃起
好涨水快流出来了快吃动
男生和女生一起错错错30分钟电视剧不大
UC搜索WWW你会感谢我的
黑人尺寸太大怎么进得去
中国小鲜肉GARY2023飞机
看着我是怎么吃你的水蜜桃
JUX434被公每天侵犯的我
什么是主题公园
自W高C抽搐了还可以继续吗
啦啦啦免费高清在线直播4
欧美精产国品一二三产品工艺
漂亮的邻居老师中文字幕
妈妈的朋友免费观看全集在线观看天才
对象吃我的奶奶会变大吗
我想要看胸片曝光
我被公满足舒服爽视频
超碰caoporen国产
千人千色YSL
14147最大但人文艺术
皇上撞着太子妃的沈音
无遮挡郑媛媛不照雅
爱情鸟论坛免费观看大全在线中文
人与动物ppt免费模板
走一下就往里撞一下
你是我的女人HD
体育老师拉着我做了一节课作文
李宗瑞性侵视频全集
暖暖直播视频免费高清完整版
不知火舞被辱记
四川传媒学院情侣
全美超模大赛第17季
2014日产高清卡1卡2卡
宿主被GUAN满的日常自走棋
可以随意触摸内部位的软件叫什么
韩漫漫画登录页面免费漫画看秋蝉
一个人免费观看的WWW哔哩哔哩
雷电将军乳液voiux
换个方式做吧未增删动画樱花
翁公的浓精11部
我今天接了一个三十CM长的
新龙门客栈2龙门飞甲
秘密教学100话恩爱久等了
0ADC大驾光临未满十八岁5G
家里没人叫大点声干湿你小说7
男生插曲女生动漫版
精品日产一卡2卡三卡4卡在线
咋能把女友弄成小喷泉呢
林晨钰爆奶门35张美图
泰国淫乐园实录
阿离掀开自己副乳的视频
老师说今天晚上随我怎么弄
国产A1A2A3
国模全体超大尺度私拍
高冷男受用钢笔玩自己GH视频
宝宝腿抬起来就不疼了
杀帝的闪婚恋人
温暖叶非墨车内做
男孩子淦男孩子的网站
十九岁日本韩国免费完整版中文
开的比较细的车文章
夜里自己一个人弄自己
可以插纳西妲的模拟器
坐着轮流提双腿能起到什么效果
Javaparser厨房好妈妈
坐在紫到发黑的木棒上写作业阅读
家有三个媳妇陈淑蓉结局是什么
97dyycom
潘甜甜果冻传媒七夕连接
相府千金1v3
倒插莲花是什么样子的意思
大菠萝福建app导航入口
中国人免费高清的视频大全
绿帽子精选系列70
二指探洞感觉要飞了
他日得我走不了路
晚上想吃你的黑葡萄
JK底部的视角是什么样的
文轩WRITE. AS车肉教室
阿岘洞夫人国语
心动时刻简简单单的享受
坐在老师的鸡叭上写作业作文
金刚杵直入莲花宫小f
小舞新形象PS掉所有衣服图片软件
双男主车图无遮挡长图微博
蜜芽miya1173永不失联
秘密教学82这次换我教你了土豪漫画
黄到让你那里滴水的作文英语老师
得到超级肉禽系统的
车文超细过程长图
晚上睡不着偷偷看B站短视
APPSTORE美区免费2023
一边伸舌头一边快速喘气表情
老公总是吃我的奶奶但我很反感
男人忍不住挺进去了
老师在办公室被躁得好爽
生物课当着全班人的面做到高C
爱情岛论坛永久网址首页
如何玩自己的R头到腿软
欧美VPSWINDOWS极品
国内精品一卡二卡三卡抖
男车车好快的车车网站污
女人高潮时一夹一夹的正常吗
张津瑜 落地窗 视频
亚洲精品国产精华液有哪些牌子
宝贝是不是欠C很久了视频
成品网站源码1688可靠吗
年轻母亲8免费观看在线高清
巨龙征服美女明星
新不夜城 综合
欧美VPSWINDOWS极品
把自己淦哭的100种方法
善良的秘书5中字巴巴鱼饭汤
小兔兔经常被吸会有什么变化
麻豆WWW传媒入口
快好喷水视频连续登上热搜
star 362
日本16岁RAPPER欢迎你
亚洲 欧洲 日产 国
麻豆画精品传媒2021免费观看
妈妈的朋友1线在完整视频中字版
14may18_XXXXXL56e
国色天香直播在线播放
上课班长突然开了遥控器
他的手一直探下去
皇上不可以(限)沈音
3个学长一起上我会坏的作文
正确的进入方法免费看
畜禽CROPROATION
开车40分钟有痛感有声音
5g天天奭怎么打开
谁输了去谁家受罚抽阴
最新三圾片目录大全
讲讲自己第一次细节真实知乎
斗转星移合成图片
他的炙热在我那不肯退出
亚洲无人区码一二三区别
妖精的尾巴oad7
换个地方做吧未增删免费
xiaav 因你而精彩
没带套让班长捏了一节课怎么办
没带罩子让捏了一节课怎么
21CM坐上去感觉是怎么样的
张津瑜口卫生间
adc影院欢迎你大驾光临
14may18_XXXXXL56endian49
被压到落地玻璃窗前的紧急救援
一切从裸露开始
国产沙发午睡系列999
MACBOOKPRO免费观看视频
无人区一码卡2卡3
八重神子用身体补偿旅行者
vodafonewifi性
日本XXXXXLmeDjyf
老翁真厉害不倒枪
好满射太多了装不下了短视频
中国XXXXXL19
把英语课代表按到桌子上抄
二指探洞好像要喷了一样的水
XFB88XYF幸福宝引导
年轻的母亲4 剧情
国精产品99永久中国有限
拔萝卜又痛又叫
小玩具开启高H
OG日产精品一卡2卡三
漂亮的丰年轻的继坶3在线
W78W78W乳液永久
简单粗暴1v2
舌头一路向下探索找到花朵
妈妈的朋友10在观完整有限中
里面也请好好疼爱漫画更新时间
往下边塞玩具坐公交的故事
宝贝我想你用嘴做
安迷修被雷狮强行掰腿
旅游途中夫妻换着玩的说说心情
把冰块夹好了不能掉出来的方法
晚上偷偷看B站免费视频软件投屏
欧洲无人区天空码头IV在哪在线
几个老爷弄一个丫头的说说心情
甘雨被焯出白水视频在线看
躺在我跨下的英语课代表
疯狂厨房2双人3-5
白洁一夜被爽了七次
宝贝低头看看我是怎么爱你
公交车的小黄说说100
两扇红唇夹玉柱下联一道清泉
欧美A级SUV大全
B的感觉一样吗
教学生瑜伽的时候进入
摇摇晃晃的电动车上1
黑牛影视传媒有限公司官网
狗狗东西在我里面突然变大了
鲁大师WWW好看
老公想睡我妈可以吗
一面亲着一面膜下奶韩剧
动漫打扑克牌的剧烈运动
往下边塞玉器出门
东北speakingathome
宝宝才几天没做就湿成这样图片
新金梅瓶电影完整版
精产国内经彩一二三产品区别在哪
囯精产品一品二品国精
用你的舌头搅拌着我的舌头歌词
美国ZOOM视频狗
男生女生一起差差很痛的APP下载安装2023
公交车上的小黄说说1000字
打扑克喘气声音
尾巴插件PLAY冰球文章
我的XL司第三季免费观看翻译
47最大但人文艺术摄影
平胸舞娘的隆胸日记
男人做的时候拼命抓住你头发
一边亲着一面膜胸口的长视频
18款禁用黄台入口APP应用
群体交乱之放荡娇妻
CHINESE体育生东北露脸SOLO
奇迹三雄之扑克牌游戏
CHINAGARY武警体育飞机
外出佩戴小玩具的感受
免费看桶机三十分钟不用会员
蜜中蜜3动漫无修在线观看
舌尖伸进去吸允小豆豆
暴躁少女CSGO最强角色推荐
花季v3.0.2
宝宝怎么才两根就哭男男H
2021年4虎的新地址是多少
国产尺码和欧洲尺码表CCTV
镜といちゃつきたい的欢迎会
精品亚洲卡一卡2卡三卡乱码
宝贝腿开大点我添添公视频免费
宝贝腿开大点我添添公视频免费
王多鱼和博雅被C
九分十秒张津瑜
渺渺上体育课当着全班人光阴汪仔
梁医生再往下一点吃肉
一码二码三码四码五码的区别
校园车文越详细越好推荐
无颜之月我花未增删带翻译樱花视频
夜倾情保姆的诱惑
我女朋友的母亲1完整视频有翻译
你的棒棒可以桶桶我的下水道
乖好好含着待会就给你
吃奶吸咪咪动态图
宝贝我不想带小雨伞了
无节操摄影部1
苏家有女1v5黄心火龙果
英语课上插了英语课代表视频
彩虹男.2022小蓝
WRITEAS自己玩
输了让对方随便玩一个月的作文
蜜桃成熟时1997国语百度影音
无人视频在线观看完整版高清视频
交口的30个图片
老师太粗不行坐不下去
离婚回娘家满足爸爸
妇女老太太GMBGMBGM
数学班长哭着说太深了门派站
疼插30分钟一卡二卡三卡四卡
儿媳妇夸我比她老公大古言
美女洗澡把胸和屁股扒开给别人看
禁欲电影观看完整版中文
可以直接进入网站的正能量
全是肉的糙汉文
张柏芝门照艳原图
男男车车好快的车车有点污
英语老师没戴罩子让我捏一节课
啊轻点灬公大JI巴又大又
爱情岛论坛永久入口首页
日本卡一卡二新区
花蝴蝶日本HD免费完整版高清版
老阿姨哔哩哔哩b站肉片入口
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1