有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
久久自己只精产国品
英语老师让我吃他的小兔兔
小圆脸雪雪食堂一血视频
金花瓶梅花6金花瓶
在公交车上没了第一次
黑料热点事件-黑料
19岁的纯情国语版
边缘控制玩到哭的感受视频
孩子想上我该怎么办
他趴在两腿中间添我私密有事吗
2019年理论片电线
抱着宝宝坐下太猛
亚洲卡2卡三卡4卡2022老狼
天美传媒国色天香乱码
绳子打结勒在缝里走路
动漫人物将机机插曲漫画图片视频
洗衣屋樱花2未增删带翻译
体CHINESE大学生宿舍飞机
公交车两个人一前一后
你弄得人家里都是水的
男生说帮他弄出来是什么意思
黑料不打烊TTTZZZ肾虚十八连
两个男孩子开车长视频
中国speakingenglish
黄金网站APP视频
妈妈的朋友在完整有限中字第4
圣城风云第二季
大象国精产品一品二品在线
美国男人的大鸟
充气娃实战过程图片
餐桌下手指噗呲噗呲
bgmbgmbgm老头野外
幼儿hiphop仙踪林张婉莹网站
HIGH PRESSURE PRISON
是不是想让我弄你了啥意思
中国macbookpro高清在线播放
好吊视频一区二区三区
l多肉的糙汉b1H
性一乱一搞一交一伦一性
妈妈说戴了才可以
善良的小峓子5中字巴巴鱼汤饭较
writeas内塞猫尾巴
亚瑟首页YASEE
拔萝卜一边喘气一边说痛怎么办呢
成品禁用视频APP短视频
国精产品水蜜桃
喷泉H1V3HL慕深
德国女子突击队
一边捏奶头一边啪高潮会怎么样
斗罗大陆小舞给人桶的模拟器
精品成品国色天香卡一卡MBA
任你爽任你鲁任在线视频
女子高生の腰つき
我的年轻继坶7中字
半夜睡不着网站
男生插曲女生身全过程
父母儿女YI家狂I目录
日本16岁RAPPER欢迎你
中国人免费高清视频大全
抖音成长人视频B站
原神雷神黄本本
拔萝卜痛又叫黄
广西柳州莫菁门事件
兄弟俩一前一后
最美情侣免费播放视频大全下载
日本阿v在线观看不卡变态
女的越疼男的越往里寨的应用
妈妈的朋友6在完整有限中字
白莲花的贵妇生活
镇远螺丝桥真实故事
乱码一乱码二乱码三新区
中文日产幕无线码6区收藏
二次元人物桶动漫人物免费
原神雷电将军把乳液喂给旅行者
10岁小学生幼儿
女士不遮阴小内搭走秀
麻花豆剧国产MV在视频播出
向涟苍生士献上纯洁
YELLOW最新视频
女士不遮阴小内搭BB
田朴珺魔鬼天使
老树逢春 大梦未醒
胸大的姑娘播放动漫视频
新金梅瓶电影完整版
S货是不是又欠C了公交车
朝俞做题车WRITEAS
宝贝乖张腿疼你
男生女生一起差差差的app下载大全熊猫
深度开发1V3梁医生不可以
井川里予黑料33秒怎么看
玩滑梯吗越往下越疼那种污梗
小龙女只感觉那只巨大的火龙
宝贝我们去卫生间做吧
一抽一出BGM流水视频
3d肉铺团电影
妹妹中考前让我C了1次作文啊
丁香五月综合缴情月
雨后小故事视频
回娘家给了父亲1一4
夜倾情 保姆的诱惑
冷狐移植300款黄油游戏
又疼又叫哔哩哔哩
野花视频直播免费观看6
两个奶头被吃得又翘又硬怎么办
妈妈的桃花源生命之门
女生往下边塞冰棒是一种什么体验
把女朋友弄成小喷泉是什么意思呀
丁香花大型社区
张书记不戴套杨雨婷
欧亚一卡二卡日本一卡二卡
黑帮大佬与我的365天
yw8827龙物永不失联九幺
抖音奶片故意走漏视频7028
中国成熟IPHONE
国内精品自线在拍
掌中之物坐上来自己动
沉香如屑在线观看免费完整版腾讯
老师你的兔子好软水好多的车动漫
他带我去没人的地方吃我豆腐
前后攻击1v2
双指探洞水喷出来图片
顶的越来越快越来越重
车速快多肉的百合
宝宝坐下来自己慢慢摇视频
小城雨巷 高清
十大污的app
云缨拿枪奖励自己核心
女性大荫蒂荫道多毛茸茸
写得很细的开车秒湿的作文
好男人视频社区2019
插曲的痛的视频30秒
欧美VIVOX21
内衣柜办公室未增减
日产无人区一线二线三线最新版
电锯惊魂3百度影音
宝贝腿在放大点就能吃到扇贝了
宝宝下面湿透了还嘴硬疼的原因
把腿再张大点就可以吃到扇贝了
孕妇RAPPER潮水偷轨
原神八重神子被注射不明白色液体
全在DOI没停过的电影叫什么
管鲍分拣中心富二代丝瓜
小泽玛丽 种子
唐三插曲比比东不亦乐乎MBA
爱在空气中特别篇
沉香产区有无一线二线的区分
俄罗斯大18但人文艺术
王者女英雄去掉所有服装不遮挡没有烟雾
2016年2月里番
量近2019中文字需大全规须1
把女人干到不能走路
公主往下边塞玉器是哪本书
迈开腿给我尝尝你的森林味道
小泽玛利亚种子下载
横冲直撞 肉车
欧式春画图照片高清
吃瓜爆料就看黑料社区
一边做饭一边狂做怎么办
两个人看的片BD
BGMBGMBGM老太太毛多
女生把自己的隐私发给异性朋友
666西方最大但人文艺术
被体育老师c了我一节课作文
Z LIBRARY
天天躁躁水汪汪人碰人
12岁如何自己安慰自己动手
狗狗太大了我有点接受不了
欧洲VODAFONEWI
你把腰抬起来一下不然我没法发动
美国人与动ZOOM
最近最好的2019中文
两个球球抖动视频
整篇都是车的多肉
A区B区C区D区E区仙踪林
原神雷电将军被淦免费网站
在没人的地方被C
宿主每日被guan满日常临安
在英语课上用鸡插英语课代表视频
男生和女生一起差差差很痛的声音
2023Gy钙站
一边做饭一边躁狂怎么办
最近更新2019中文字幕
精品推荐国产精品店
做扑克运动全过程视频教程
中国ZLJZLJZLJZLJ喷
张婉悠厕所门快播
最近2019中文字幕一页二页
雷电将军被旅行者淦到哭
老师你的兔子好大好软水的作文
蜜芽资源高清在线观看
精品日产卡一卡二卡国色天香
开襟旗袍做运动狂飙乳液
电影性的欲求在线观看
在线观看黄页网站大全电影天堂
恶魔点心失心前妻
脱色摇床93S
男男车车的车车网站入口
次次到肉杆杆到底
野花日本HD免费完整版高清版7
张津瑜 最新视频
女人被两根茎同时进去图片
乱奷XXXXXHD
真人开车疼痛有声音
漂亮老师 2韩国完整版
国产又黄又硬又粗
CHINESE体育生东北露脸TUBE
被子里怎么无声自罚疼到哭
把樱桃一颗一颗挤出来不能破
为什么黑种人的性能强大
丰裕纵满杨玉环
《重考生》漫画免费看
每下一步楼梯都要撞一次
日本漂亮妈妈7观整有限中
东南亚少女rapperdiss
好涨水快流出来了快吃动
欧洲砖码砖区2022免费
日产无人区一线二线三线观
巴西任务qvod
男朋友晚上都是怎么玩你的
星空传媒剧国产剧情744
宝贝我想尿在你子宫里好不好
刚结婚每天晚上折腾几个小时
你的棒棒真的好大用了什么料
超碰人人操在线视频
新版金银瓶1996第二级
我被继夫添我阳道舒服
一小孩半夜给姐姐吃坤巴
麻花豆传媒剧国产免费MV豆丁网
妈妈说戴了才可以
隔着睡衣吃你的小尖尖作文姜灵
拍摄指南BY飞机纸飞机
男人把j放进女人的下面的视频
往下边塞玩具坐公交的故事
么公的又大又深又硬想要动态图
被C了一晚上是什么体验
美女裸身无档图片视频
无人区一码二码三码四码多人收藏
井川里予黑料33秒视频
小东西这才一根而已
国亚洲一厂区二厂区三厂区
エロワンピース天堂
腿张大点就能吃扇贝什么意思
小受被老攻C到哭着求饶视频
在体育馆地板上做
催熟po1v2阿司匹林
stevehopper办公室
女士不遮阴小内搭BB
嗯啊宝宝腰好会扭
福利姬液液酱高潮喷水白浆
苏家小媳妇1V3小说
日本一卡二卡三卡四卡网站99
台湾中文娱乐网22vvvv
男按摩师用嘴亲我下面口述
国内九一激情白浆发布
中文字幕无线码
16MAY19_XXXXXL
儿媳妇 水这么多还说不要
CHINEAE体育生外卖系列
做的时候按肚子真的有形状吗
优质jing液灌溉系统
日文中字乱码一二三区别在
体育老师把渺渺C了一节课作文
精产国品一二三产区蘑菇视频
再来一次好吗动漫免费
《言教授要撞坏了》
2021国产麻豆剧传媒一区
欧精国精产品一区
被同学捡到遥控器折磨
一个好妈妈2水母中字老虎
德国VODAFONE精品
吕瑶门事件完整照片
全程车的百合描写详细的
蜜芽MIYA188MON牢记永不失联
我被带到公交车最后一排
公交车后车座的疯狂的C
黑料不打烊tttzzz入口
一抽一出BGM流水视频
9887地铁笨蛋
秘密教学SVIP土豪免费
蜜桃成熟时33D国语高清在线播放西瓜
久久精品卡二卡三卡四卡
亚洲国产精华推荐单品榜
好涨水快流出来了图片
帮妺妺洗澡忍不住C了她作文
四叔一次又一次索要
塞跳D不能掉出来上学
去掉小内打扑克
香草乱码一二三四区别
总裁尺寸大的进不去
雨后小故事动画视频
妈妈的职业3在完整视频有翻译
老师家里没人你用点力啊
henhenshe
好硬好湿好大再深一点动态图
夜倾情之保姆的诱惑
儿子比老公的大 没忍住
夜夜春2008旧址
做运动打扑克免费视频大全
羞羞漫画登录页面免费漫画入口网站
张津瑜七段视频1080P
荔枝视频app男人影院在线观看
5g网址点此进入
WRITE AS 吸蒂
不良网站免费进入窗口软件有哪些
性一交一乱一伦
163女性黄页
一个吃上一个吃下
是不是当过兵的人下边都大
抱着她健身房疯狂冲刺
小学六年级差差差很痛
母亲とが话していま在线观看免费
糖果君三人行视频
被一条蛇C到崩溃的
清纯校花被脔日常H
他的舌头含有起了我的小豆豆
中国macbookpro高清在线播放
中文字幕无线观看高清
舞蹈区卖肉精选
147人休艺术 大胆
妈妈的朋友2中字巴巴鱼汤饭惹人
overflow在线未增删带翻译
新版金银瓶1一5
扑克牌视频不盖被子
女生把筷子放屁眼里不能掉
让儿子上几回了
无节操摄影部1
随时随地都能干的学校教师的特点
老师辅导作业下面连在一起
公交车上破了两个小学生的包
亚洲砖码砖专无区2023
甘雨玩自己被旅行者发现
写的超细的开车小黄车片段
行尸走肉洛莉做过几次
帅气GARY体育生网站MV视频
强干奥迪4S店女销售
弱点第21话只做一次够吗
我朋友把我玩成了喷泉什么意思
把姬小满C喷了最后爆掉了
写得很细的开车秒湿作文
YN荡校园运动会笔
被男友咬小兔兔的感觉
才两根手指就抖成这样了视频
日韩一卡2卡3卡4卡新区免费
宝宝下面湿透了还嘴硬怎么回事呀
免费网站在线观看人数在哪儿找
一个晚上用了好几个小雨伞
4ayy私人影院
爸爸太大了撑不住了
离婚久了和儿子睡在一起
一边C一边说粗话小说
日美韩大片高清免费观看
嗯宝贝叫的再浪一点
日文中字乱码一二三区别在哪
晚上开车又疼又叫的声音欢迎您
大众女浴室高清摄像头
无限资源第1页2018在线观看
打扑克牌又疼又叫视频原声免费
欧洲VODAFONEWIFI巨大特
课代表让我桶她30分钟作文
从镜子里看我怎么C你的作文
中国zoom人狗app
YSL热门蜜桃色
永远免费的品色堂
为什么女的做过以后满面红光
晒晒16岁孩子立起来的照片
BBOX撕裂BASS孕妇公交车好莱坞
女生喊疼男生越往里寨游戏APP
九一传媒制片厂传媒免费
好儿子妈妈的身体是你的生日礼物
3DNAGOONIMATION_HONKAI无尺
雷电将军的乳液狂飙图片
两个蛇根吃不下呀
低头看看我是怎么爱你的
日产一线二线三线理论
WNTPPS偷窃小便
我的好妈妈1中文字幕韩国版
雷电将军与丘丘人繁衍后代
MAY18_XXXXXL
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1