有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
acg里番资源站全彩
姐弟俩打扑克运动
人丑B不丑是真的吗
一区二区三高 清
精品卡一卡二新区仙踪林
两根一起进去疼拔出来就不疼
你们男朋友怎么C你的
SMARTDRAW中文乱码
鹡鸰女神第1季
班长哭着说别再继续了
ZOOM人牛OKZOOM
美国ZOOm人狗欢迎你
家庭大杂乱经典说说
老奶奶能叫woman吗
家里什么可以当阳具用
天天躁躁水汪汪人碰人
妈妈的朋友2 女主角
5G天天奭多人运动 在线观看免费网
农夫成人网站导航
607080老太太AW
yy6080高清影院理论
白色乳息未增删带翻译樱花
精产国品一二三产品区别视频
S货C货大声点叫
老师拉我去办公室做了一节课英语
一女战三老外一女战三黑人
塞跳D的一天感受
BRANDILOVEMISSIONARYACTION
小东西几天没做又紧了
啦啦啦影视韩国电影
再爱我一次 逆爱
你流了那么多水还说不要
接了一个30厘米长的客人
高岭家の二轮花动画
妈妈的朋友3线在完整有限公司中字
太凶猛了撞烂了
把手脚绑上拿刷子刷尿道孔
红色一片免费版
张书记不戴套干雨婷
扑克牌高清照片免费的软件有哪些
我与黑大佬的三百六十五天完整版
忘忧草.WYC.IA
阿峰与老板娘修理厂
JEALOUSVUE成熟50MAOFF老狼
男女插秧二十三方法
贺朝用棒棒糖桶谢俞
一小孩儿半夜给女孩吃坤巴
裙子底部的视角
sis001 board 评论区
同校生2中文版
宝宝我们换个姿势卫生间视频
不知节制地索要
300元过夜联系方式
旅行者的小鸡桶进绫华的J
两个奶头被吃得又翘又肿怎么办
tttzzz传送门2023网页版
自己惩罚自己必须跟隐私有关
校园大尺寸的小黄说说1000字
口工漫画全彩无遮漫画
一二三产区的文化背景
野花视频观看免费最新
刘耀文让宋亚轩夹领带
宝宝这才三根手指就流
顶的速度越来越快是什么意思
公交车后车座的疯狂的做
俄罗斯videodese12
可播放的中国男GARY
日本1卡2卡3卡4卡
相亲对象是问题学生未增删免费观看
接电话插的说不出话怎么办
公交车撞到最里面去了
差差差很痛30分钟打扑克
叶非墨和温小暖车内做
战争与和平JM
为什么当兵的晚上很厉害
两个人一前一后地动着我要
老太太80CHEAPWINDOWSVPS
怎么奖励自己的隐私位置不被发现
vodafonewifi性
电动牙刷怎么惩罚自己
含羞草传媒app官方网站免费进入入口
老公叫我和别人换着玩
晚上睡不着偷偷看B站晚上睡不着
又大又长又租高湖免费
xk8071星空传媒
腰一沉冲破了那层障碍
道具PLAY冰块全指
14may18XXXXXL女
我的极品岳坶全文阅读
五十路六十路完熟交换
女朋友特别会摇是什么意思
国产色母和进口色母区别大吗
淑芬二腿间又痒了
好刺激的打扑克软件
3根一起会坏掉的好疼
他的舌头探进蜜源毛毛虫说说视频
被深顶得说不出话
老公总是吃我的奶奶
宝贝我不想带小雨伞啦小说
小乌酱黑白双丝交足视频
搞机time恶心
蚂蚁庄园今日答案
午夜DJ观看在线HD高清
道具PLAY冰块全指
WRITE AS三人
野花视频在线观看最新免费3
教室英语课上用鸡插英语课代表
男朋友要再做一次才同意分手
瑶遇见神鹿喷白水
china外卖小哥gary2022
老婆说她想尝试多人怎么回复
雷电将军入夜狂飙高清壁纸
校园大尺寸的小黄说说1000字图片
重一点啊再重一点
宝宝好会夹啊拉丝了
污到你那里滴水不止的作文1000字
最近免费中文字幕完整版HD
51DADOU大豆行情网
老师你的兔子好软水好多车
双方同时高C是种什么体验
14MAY18_XXXXXL56ENDIA免费
凌晨三点看的片www视频动漫版
污草莓丝瓜榴莲深夜释放自己
敌伦小芳的第一次
为什么我坐他上面总是掉出来
丰裕纵满杨玉环
阿峰与老板娘修理厂
喜爱夜蒲1在线影院播放
冰块一粒一粒往下边塞什么感觉
热心的朝阳群众51cg3fun
钙GGY钙站男男
浏览器正能量网站免费
最刺激的乱惀小说合集
嫩草研究所官官人口2021
四个学长一起上我会坏掉的
我的妻子的姐姐2观整有限中字
他发疯地撞着他
张书记不戴套杨雨婷
男生淦哭男生图片动漫有字
沈兰舟桌子下口扩写
韩国女主播 ed2k
30cm坐上去感觉是怎么样的
卫老与淑蓉7一12集
车子一晃一晃正好掩盖我征文
1区2区3区4区产品乱码区
对象吃我的奶奶说明什么
穿戴式跳d放在里面坐公交车7P
最近ZOOM人牛OKZOOM美国
丝瓜榴莲秋葵榴莲污污污
rbd-573
14MAY18_XXXXXL56ENDIAN印
胸前的小兔子都立起来了
情不自禁 百度影音
武汉浩哥出品消防员第一次双龙
soshow影城
向涟苍生士献上纯洁第二集
丝瓜草莓向日葵草莓18岁在线观看免费版
国产沙发午睡系列999
两不疑漫画全集免费
浪小辉GARY2022
老师的兔子好软水好多樱花一
被他从身后撞得浑身散
妈妈说只要爸爸不在家就可以
晚上睡不着想看点片
男人的大鸟真实图片
我的兔子好软水好多樱花视频
鸣人九尾暴走需要女人三天手鞠
999精产国品一二三产区
一卡二卡3卡4卡乱码新区
翁公的浓精11部
じゅぎょうさんかん安卓版下载
打扑克牌的剧烈运动视频不盖被子
网址你知道我的意思的
东北老太太BBWBBWBBW
看见你的棒棒就想吃的歌手是谁
宝宝坐下来自己慢慢摇视频
蘑菇影视 我妈妈的职业
无限资源日本电影
中文在线っと好きだった最新版
run away无删减全集 在线播放
品色堂 pin6
日产乱码一二三区别免费
拔萝卜视频图片高清壁纸大全
我和他在公交最后一排
父母全家儿女大联欢第14集
run away无删减全集 在线播放
对象给我看他的鸡
亚洲一卡2卡3卡4卡国色天香app
另一类ZOOM与人性ZOOM
宁荣荣把腿抬高我要进去
左拥右抱小1V2
嫦娥狂飙乳液奖励自己一发
哥布林洞窟未增删开车原声
丁香大型成人社区
迈开腿尝尝你的小草莓什么意思
忘记带罩子让他馍了一节课
妈妈的朋友5完整视频有翻译木瓜中字
精产国内经彩一二三产品区别在哪
虫虫漫画在线看漫画页面弹窗
野花免费观看高清在线观看6
浪小辉与空少酒店我3pXVIDEOS
老BwBwBwBwBw
哈妮克孜18秒烧毛
ig夺冠了就让草
亚洲乱码卡一卡二卡新区公司
哎呦我的宝贝真好喊爹什么曲
忘带罩子了让他弄了一节课
岳两女共夫同床
夏家三千金2部
无翼乌全彩集漫画
136大但人文艺术
仙踪林2021
王者荣耀女英雄被捅的流眼泪翻白眼流口水
我和大佬的365天
60分钟上大床
老板把车开到没人的地方
胸好软水好多双指探洞
湖南高中秋千门事件
孤男寡女干柴烈火的比喻意思
无限挑战130406
10款禁止下的软件
47大但人文艺术
妈妈的朋友6在完整视频带翻译
怎样教狗狗进入自己
四叔一次又一次索要
雷电将军乳液voiux
在图书馆往下边塞东西
胸前的小兔子都立起来了
出嫁前让父亲体验了一次
年轻的母亲5 免费完整版中文版
父亲的东西又长又黑
嫩BBB槡BBBB搡BBBB
公交车后车座疯狂的做
M惹主人生气后该做什么
bgmbgmbgm老太太俄罗斯
从后面抱着妈妈突然脸一红
国产麻花豆剧传媒入口
吃瓜爆料就看黑料社区
呵啊呵啊呵啊女生叫什么
斗罗大陆女生去掉所有服装软件
有实无名豪门孽恋
色中色board
车上一下子就弄进去了岳
孤注一掷在线观看免费高清王传君
怎么玩自己隐私位置
便利店的少女z未增删带翻译樱花
没带罩子让他吃了一天的药怎么办
动物胶配方大全高清
叫吧宝贝我想听你叫
为什么要手先进去扣
男男车车的车车网站入口
天堂引路人咳咳懂得都懂
哥布林洞窟樱花动漫未增删带翻译
软玉娇香多肉大结局
中文字幕乱码2
女生暑假自辱下面30天计划
一女战三老外一女战三黑人
镇远螺丝桥凶宅
宝贝我不想带小雨伞啦小说
他低吼一声进入
情感的禁区1080
男人忍不住挺进去了
父子骨科多R车
两根一起进去疼拔出来
糖心LOGO在线观看免费EYE
很详细的肉肉床文过程
无翼乌漫画全彩集日本漫画大全
年轻水嫩的漂亮大学美女酒店
国产无人区码一码二码三码区别
没带罩子被校长摸了一节课
最年轻的小峓子4中字巴巴鱼汤饭
马总喜欢我的两颗小葡萄
班长没带罩子让他玩儿了一天
小东西长大了可以做了视频
几天没C你是不是痒了免费
巨大荫蒂又大又长勃起
WRITE AS 夹东西出门
夜里18款禁用二次元游戏大全
老湿机一分钟免费观看
S货叫大声点C懒烂你的SBXS
美丽姑娘韩国在线观看免费高清
用......用点力快到了视频
宝宝你好会夹啊都拉丝了什么意思
只要一顶嘴就会被主人扇巴掌作文
四个学长一起上我会坏掉的
家庭教师hitmanreborn
韩漫免费漫画入口页面弹窗登录入口
宝宝的扇贝真会夹
黑人啊灬啊灬啊灬快灬深用口述
12岁女孩拔萝卜总叫痛
蜜桃成熟时3dqvod
三个弟子合力弄师父
老师你的兔子好软水好多车
公天天吃我奶躁我的
精东影业天美传媒网站
被男友咬小兔兔的感觉
5g天天奭怎么打开
39W3C张津瑜吃瓜
教室英语课上用鸡插英语课代表
尺八话的巡り动画免费看
三圾电影在线观看
数学课代表趴下让我桶视频
无限在线观看完整版免费直播
这个杀手不眨眼
第四色 成人 官网
snis-774
中国国产免费毛卡片
阿铜铜铜好多水
我老公想玩我妈怎么办
越南女子杂交内射BBWBBW
我们结婚了世界版中字
137P大但人文艺术
美丽的小峓子4中字巴巴鱼汤饭W
bbox撕裂bass俄罗斯仙踪林
优质JING液收集器
爸爸吃饭时还要放在里面
二人扑克剧烈运动视频教程
我朋友把我玩成了喷泉什么意思
爱如潮水免费观看日本
强被迫伦姧惨叫VIDEO
麻花传md0155苏蜜清歌在线
在她写作业的时候弄她
男男车车的车车网站入口
新不夜城 综合
YW193龙物地址
妈妈说带好套可以给我正常吗
麻豆精品传媒一二三区
啪嗒砰3 召唤
家里没人半夜就和妈妈搞
爱情岛线路推荐线路2
エロワンピース天堂
2021无线乱码免费
欧美精产国品一二三类产品区别
四种人不能吃辅酶Q10多少钱
旗袍全开襟做双人运动好看吗
迪丽热巴AI人脸替换造梦
国精产品一区二区三区有限公司
玩偶姐姐森林第一季第四集
B不就是用来C的
日本是人类吗最佳答案
原神雷电将军乳液狂飙APP天堂
何小莹被老头拖进树林里
他缓慢而有力的撞着
扣那里的手势图
把她送上快乐巅峰
日本最大的但的人文艺术
一次性接待5个客人
小丹疼吗慢慢就不疼了
任你干精品视频免费
拍摄指南BY飞机纸飞机
樱花YY私人在线影院
语文课代表的胸软软的作文
喷泉辛浮H1V3H
喜爱夜蒲1国语版
没带罩子让他C了一天作文
孙尚香站在板凳上给刘禅辅导作业
一面膜上边一面膜下边视频
夫妇乐园在线阅读
极品教师动漫在线观看免费完整版
午夜dj在线视频观看国语版
老师不行太大太长了漫画
国精产品W灬1688
厨房里的激战2李明人物介绍小说
体育课没带罩子被捏了一节课作文
大菠萝福建导航引导入口
日本是人类吗最佳答案
张津瑜VS吕总视频MV完整版
妈妈的朋友4完整视频有翻译木
打扑克牌又疼又叫视频原声免费
欧洲黑人最强潮水RAPPER
压在阳台玻璃上做给别人看
去姥姥家进入妈妈身体的说说心情
总裁缓慢而有力的往里挺送
葫芦里面不卖药千片万片你需要
丫头不疼我就进去一下
中国macbookpro高清在线播放
中国XXXXXL19
我是狱长的专属的宠物13集
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1