有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
网站正能量www正能量网站大全
宝贝腿再张大点就能吃到扇贝了
九一制作片场视频
大陆一姐RAPPER潮水太多
163女性黄页
国精产品WNW2544A
楼梯每走一步就用力往上撞
夜里18款禁用B站入口探APP
申鹤流眼泪翻白眼流口水应用
S8Sp海外视频
韩漫漫画登录页面免费漫画入口弹窗
正面上我啊BY炖了一锅毛血旺
2023年免费进入B站
他的手抓住了我的小兔子视频
杨思敏1一5集未删减
瘾欲欢愉作者半块小饼干
一个人在线观看WWW哔哩哔哩
三十种交口图片表
继室瑶娘尽欢潮汐
kuaibolunlipian
JAPONENSISJAVAHDTV360
美国人XXXXXL19
bbox撕裂bass后门
last day on earth
淑芬两腿间又痒又疼的原因
诸神混乱之女神陷阱
把女朋友弄成小喷泉呢
maya请确认年满
三千美男爱上我
歪歪漫画登录入口免费
一边讲题一边doi
无限资源2018第1页在线观看
为什么越往里越有劲
坐下来自己慢慢摇
张津瑜 6分35秒
上课班长突然开了遥控器
老师没带罩子让我吃了一节课
上官婉儿乳液狂飙视频
两个人一前一后攻击我内容
品色堂 pin6
爸爸吃饭也要和我连在一起
床上运动拔萝卜
欧美精产国品一二三产品
插花弄玉曲径探幽不正经的意思
我们换个方式做吧未增删樱花
每人C我半小时
男生女生差差差30分钟很疼视频无掩盖
满18点此安全转入2023
巜老师的小兔子好软水好多动漫
台湾中文网娱乐网
51吃瓜爆料黑料官网I60UJBN
女孩子如何变成喷泉
公交车最后一排被群C的视频
玩偶姐姐新作森林
2012日本中字免费
一抽一出BGM免费60的视频
福利姬液液酱流奶喷白浆
老丈人的东西又弯又长怎么形容
万花楼楼凤论坛
打开腿吃你的扇贝什么意思污
公天天吃我奶躁我的
贪欢经典片在线播放
被同桌扒开腿用震蛋器折磨
儿子以后妈妈的比就是你的了
管鲍分拣中心富二代丝瓜
刺激妇乱子伦真实故事
某科学的触手姬
WRITE AS 尿口
歪歪漫画免费弹窗被爆出
按摩师坐在两腿中间按摩
玛雅wang 发信到
戴自动蝴蝶去上学不能掉出来作文
引导儿子上自己的办法
车肉短文300字左右
TOBU7TOBU8老师
顶的速度越来越快越叫的作文
拔擦拔擦X8X8华人免费
在无限游戏里花式挨CH视频
大团圆6血缘关系1
黄版直播APP
英语课代表上面好软在线视频
宝贝乖张腿我就可以吃扇贝了视频
男人和女人插曲视频
夏家三千金2部
彻底征服美丽端庄的麻麻
老板把车开到没人的地方
吃瓜爆料就看黑料社区
TOBU7TOBU8
star-369
国产精华液一二三区别
体CHINESE大学生宿舍飞机
老公想睡我妈可以吗
白嫩白嫩BBBBBBBBB-
老师兔子好软水好多H15视频
韩国和邻居交换娶妻2
随着公交车一晃一晃一撞一下
男生抓着你双手摁墙边什么意思
国色天香A区优点和缺点
坐在学长硬硬的地方写作业
二人剧烈运动视频教程
18禁黄动漫网站禁片无遮挡观看
漂亮老师1在线视频
欧亚精品卡一卡二卡三737
LASTDAYONEARTH粗暴
美丽姑娘韩国在线观看免费
小鲜肉gary2023男的音乐表现
暖床H1VL1升
9精产国品一二三产区
斗罗大陆唐三爆桶波塞西3
HENTAINATRUAL
打扑克又疼又痛
公交车撞到最里面去了细节
处处吻全程拉丝舌头
叔父和爸爸谁更大
在椅子上放一根很光滑的木棍
老师拜托授课到天亮吧
小甜豆三部曲是哪三部
小鲜肉GARY2022飞机
公交车最后一排
老婆的扇贝张开口了还能吃吗
5g天天奭多人运动 最新网站
WRITEAS棉签
不知火舞被3个小孩
七零空间知青娇宝
内衣柜办公室1-3怎么看
俄罗斯videodese12
JEALOUSVUE少归
帅气体育生GARY网站MV小蓝
迈开腿让我尝尝你的小扇贝APP
从客厅到卧室一路上做
年轻的保姆3线观
宝宝腿分得开点才不疼
帮帮我爱神豆瓣
中国小鲜肉GARY网站有限公司
日产乱码一二三四区别免费播放
波多野结衣哪部好看
免费正能量不良网站推荐
我们好久没做了我想你了
装不下了好烫要溢出来了欢迎
谁输了去谁家受罚抽阴
8X8X拨插拨插高清免费版本
仙桃高一老师没关直播
暖暖视频播放免费韩国
亚洲乱码卡1卡2新区3
爱福利视频广场
疼我都哭了他还在动说明什么
仙踪林入口欢迎你老狼
月光视频在线观看免费播放
使劲抬东西突然腰猛然一疼
我和黑帮大佬的第365天女主
放课后的职员室无删减
讲述真实的多人运动经历
dazeyouxiang
B站看大片与Netflix比较
祺鑫振动器河马的秘密河
男女车车好快的车车有点污网站
星空乌鸦天美大象果冻
玛雅论坛亚洲电影
宝宝下面湿透了还嘴硬怎么回事
彩虹男.2022小蓝大叔
打PG打到烂无挡住的视频
in treatment
多想再做一次你的姐姐作文范文
性情中人中文网bt
杨思敏版1到5集国语版
WRITEAS天尊被吊着受罚
云缨巡街北北北砂禁温漫天堂网址
好男人手机在线观看免费高清完整版
13277大但人文艺术照
和老师做了一节课的爱说说怎么写
赵露思乳液凸出来了
午夜dj在线观看高清完整版国语
脱色摇床93S
野草乱码一区四区区别
国产无矿砖码2023MV
B是不是越大越好
漂亮妈妈1中文字幕完整高清
5G天天奭5G天天运动快点播5G16M网址
原神八重神子被空吸出乳液
18岁女孩开襟衣服
男生吃小兔兔的细节描写知乎
宝贝都湿透了还嘴硬疼怎么回事
吃棒棒糖是什么意思
711人体美鮑
宝宝看着我是怎么进去的视频
三代乱惀小说全集
亚洲MV砖码砖区2022
中考前妹妹让我C1次
刘嘉玲被强奸视频
外国四个黑人RAPPER组合
原神甘雨被空C出白色液体游戏
八重神子ちゃんの球棒的起源
荔枝app在线汅api在免费
叫吧宝贝我想听你叫什么
丝瓜黄瓜草莓向日葵秋葵榴莲污日葵秋葵榴莲
在县城开零食店春节能卖200万
善良的老师5有限中字
涨精装满肚子去上课
坐摩托车车进入身体
女生发PYY什么意思
被压在玻璃窗边C
小家伙你喷的到处都是文字
关于我和鬼变成家人这件事
一杆长枪直入两扇门
我的XL上司第2季未增删带翻译
非洲人性功能强大跟什么有关?
几天没C你是不是痒了好多水作文
hm因虚假宣传被罚
中国人を嫌う日本人
双男主有车车的腐肉动画推荐视频
国模欢欢超大尺度炮轰
男生和女生 打扑克
大孔雀和美丽姐的故事
萌白酱JK白丝喷水视频在线
00xx动态图
国内18岁女RAPPER老狼
被机器人C的停不下来
转过去趴翘高点打完坐高脚凳
WRITE AS 爸爸
班长奖励我吃她的13的作文
炎の孕ませも身体测2
井川里予33秒正能量的原视频
亚1州区2区3区4区产品图片
没带罩子让他c了一节语文课
健身私教弄了好几次
老公叫我和别人换着玩可以吗
猫尾WRITEAS
小东西我们两个C你视频
国产啪视频在线播放观看
5g天天奭多人运动
潘甜甜3段视频免费看
我们换个方式做吧未增删全集
旅游时跟女儿有了关系知乎
因不擦黑板被老师c了一节课
快递员让我爽了一下午
孙悟空用金箍棒桶紫霞下方
沉香产区有无一线二线的区分
MD豆传媒一二三区进站口电影
女性的阴性部实图张开
C人的教学视频
倒插莲花是什么意思
金刚杵汆肉莲的介绍
47147大但人文艺术怎么样
日本妈妈厨房与子交
一本大道香蕉大无线吗
被机器人C的停不下来
被扣的时候腿抖是怎么回事
我在公交车上弄到高C的作文
如何在被子里玩自己无声
睡过年纪最大的多少岁六十多
坐公交车最后一排轮
中国国模03[150p]
爱情岛线路推荐线路2
linodeiphone孕妇视频
这几天没C你了是不是SB痒了
歪歪漫画韩漫首页登录入口页面
日本一卡二卡3卡四卡免费
事物的秘密截取一小段
成都1片P高清完整版HD免费
猫咪地域网名入口639cf
奶酪陷阱在线观看
精产国品一二三产区区别H
成 人 色综合
公交车6人轮换做
白雪公主STOYA
边做边爱完整版3视频
往下边塞水果后吸出来
jm漫画战争与和平
交换:朋友的妻
网站你懂2018
jy灌溉收集系统
麻花豆传媒剧国产MV动漫在线
麻豆精选果冻传媒1.0.2
冰块一粒一粒往下边塞什么感觉
小豪孟卉钰慧三P上79章
差差漫画页面免费阅读秋蝉
潘金莲高清DVD碟片免费观看
跨越八年的新娘
第一次处破美女完整版
老师上课跳D突然被开到最大视频
好儿子妈妈的身体是你的生日礼物
仙踪林直接入口RAPPER
夜里18款禁用图片
老婆出轨时给老公打电话
老王头的幸福晚年张倩倩
老头老太太GMBGMBGM
原神甘雨被史莱姆注入sky
男女一边摸一边做爽爽的动态图
班长找了好几个人上我
免费国精产品WNW2544
把自己自W到流泪
热热色原网址20岁以下
精JAVAPARSER乱偷
可以随意触摸内部位的游戏手机版
我坐上去自己动好不好宝宝
好满射太多了装不下了怎么办
老公总是吃我的奶奶该怎么办
棉签和冰块怎么玩哭自己
撕破我的奶罩 猛吸奶头电影
天堂引路人咳咳懂得都懂
老公总是吃我的奶奶该怎么办啊
激烈摇床打扑克不盖被子
PAYPAL未满十八岁
欧美黑人猛性暴交
一边亲着一面膜下奶韩剧动漫
交换朋友夫妻客厅互换4韩国
一二三四高清日本播放
麻麻熟睡让我滑进去了
女性的阴性部实图张开
梦莹情乱第十一篇1章
俄罗斯XXXXXL18
半夜看到父母在剧烈运动知乎
麻豆精产国品一二三产区区别大吗
棒棒糖放屁眼里吸收照片
坚定挺拔的进入
欧美VIVOX21
黄色软件下载3.0.3每天无限次VIVO版大全
亚洲中文久久精品AV无码
日本最大胆的人文体艺术
赵露思乳液头实出
仙踪林直接入口欢迎您
777奇米影视盒
椅子上有木棒坐下去吃饭短
迪丽热巴AI人脸替换造梦
一对多校园pop
一二三四日本免费
污污的文章 看完有水
WRITE AS 震动
啊别插了视频高清在线观看
动漫美女被辱图
小格式自压原创区
100款禁用免费软件app下载
高辣H第三荷包网
hennessy女rapper
坐在上面怎么晃教程图片
13适合用多大的仙女棒
5个男人躁我一个爽
数学课代表趴下让我桶
三门齐开女人疼苦吗
蜜芽域名不定更换 请及时收藏
韩国女主播小青
24小时视频在线观看免费观看
电车之狼r详细攻略
世界上最不安心的人
西方44大但人文艺术是什么东西
宝宝下面湿透了还嘴硬怎么办
云缨去掉所有小内流口水图片
浇灌妈妈肥沃的土地
2014年4月里番
倒插莲花是什么样子的意思
狗狗的东西又大又烫
JEALOUSVUE护士
虫虫漫画免费页面窗口
免费国精产品WNW2544
和老妈一起出嫁
女人和公豬交交30
无人区码一码二码三MBA
zhihuishu
黑料永远不打烊吃瓜爆料
老赵抱着媛媛在厨房做小说
相府嫡女1V3
御书屋御宅屋高辣H
教授走一步撞一下第三章
用大宝贝疏通女儿的下水道
来吧儿子妈妈是你的人是谁唱的
我把英语课代表按在桌子上抄
老公晚上吃我的小兔子
果冻传媒剧国产免费入口今日更新
女欢女爱第二季
班级每人C了我半小时班长
液化天然气价格
坐着震动器写作业WRITE AS
精品卡一卡二新区仙踪林
仙踪林老狼贰佰信息网
最新人与ZOOM
日呀好久没有日B了
一抽一出BGM免费50分
写得很细的开车秒湿的作文
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1