有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
品色堂 永远的免费论坛
聂小雨黑皮衣5分多钟视频内容
最刺激的长篇乱惀小说
果冻传媒MV免费观看大全
和朋友换娶妻10
紫霞用金箍棒插自己哪里
你的下面是我的饮水机
最近中文字幕在线的MV视频
艳情短篇160无弹窗
新兵给老兵吃鸡把照片换了
歪歪漫画登录页面免费随着已经
日产日产自线一二三四2021
父亲的东西又长又黑
扑克牌又疼又叫的什么含义
清纯校花系列h文
欧美三根一起进三P
久久这里的只有是精品23
女士不遮阴小内搭走秀
TTTZZZ668.SU黑料不打烊
C死了啊哈宝宝的腰好会扭
蛇王不能两个一起会坏掉
W78W78W乳液永久十大排名
父之过家庭大杂乱经典说说大全
成品网站W灬源APP免费
4人个人换着玩感受
韩国年轻的老师5
ワンピースのエロ资源
女人的玉露是什么意思
车后车座的疯狂的做细节描述
overflow在线未增删带翻译
把自己玩喷泉的视频叫什么
18款禁用B站APP免费版
好大不可以坐不下去
YW193龙物新地址
差差差30分钟视频轮滑
年轻的朋友5中文字幕
蜜桃成熟1全集高清
公交车上的诗请10
精品一线二线三线区精华液
TTTZZZ668.SU黑料不打烊
香肠和扇贝插在一起翻译英文
农村岳用嘴帮我口
日本摩天轮变办公室
B是不是越大越好
男朋友抱着我在图书馆做
胡桃玩旅行者的小坤坤网站
爆黑料不打烊传送门
仙踪林 贰佰信息网
多人公交车运动
英语老师的兔子好软水好多
父母儿女一家狂
全国能源工作会议
雷电将军的惩罚游戏破解版
炎の孕ませも身体测2
小受被老攻C到哭着求饶视频
718.sx.张津瑜
丫头放轻松让我进去
3个人玩3Q感详细经过
男朋友说要修修我的下水道
年轻的保姆5线观高清
亚洲AV片不卡无码久久尤物AV
成品网站W灬源码被网友群嘲
动感之星妖精全集
少妇无码吹潮久久精品AV网站
无翼乌无遮挡全彩漫画大全漫画
alb-219
最近新韩国日本免费观看
闫凤娇厕所门事件
无遮挡郑媛媛不照雅
班长哭着说不能三根一起
人狗胶配方大全图片
WRITEAS红酒塞
男友说迈开腿尝尝你的草莓包子摊
老太太80CHEAPWINDOWSVPS
鞠婧祎打扑克又哭又叫视频大全
いっしょにしよ
日本无人区码SUV
一根筷子怎么玩哭自己的小朋友
国精产品一二二线网站
福利500免费导航
没带罩子让他吃了一天的药没事吧
小女儿含着巨大写作业
好妈妈韩国中字
漂亮妈妈中文4
C开你的SB叫出来
秘密教学子豪51暗巷破解版
最近中文字幕无吗
BGMBGMBGM多毛老太太
老师洗澡让我进去桶她的视频
八年级隐私能塞几支笔
比比琼斯qvod
顶级大但人文艺术视频音乐
老公回家就吃我的奶奶怎么办
娇妻系列交换27部多P在线观看
麻豆精产国品一二三产区区别大吗
性极强的岳让我满足
HENTAINATRUAL
最近中文字幕免费完整版2019
张津瑜6分35秒视频
全棵女性艺术写真
多肉的糙汉B1H古文
王者荣耀英雄黄化网站在线看
男女在一起翻雨覆雨的描写
无翼乌邪恶彩色无摭挡电车痴汉
漂亮的丰年经的继拇1
benpaobaxiongdi
坐在老师的紫根上写作业
学霸C小混混到哭
HBFAXIA
宝贝感受到它在爱你吗
年轻的母亲5中字巴巴鱼汤饭
年轻的老师滋味5在观整有限中字
和邻居交换娶妻1
老师你感受到它变大了么视频
欧洲乱码卡一卡二
放课后的职员室无删减
国产亚洲一卡2卡3卡4卡老狼
男男车的车车图
幻音 腐 肉补钙
mxgs-837
无限在线观看完整版免费直播
绝对控制我的学校2
坐在腿上吃饭连在一起
菊内留香TXl金银花
含着睡觉是一种怎样的体验
三邦车视第一视频分享门户视
我被当玩具发泄的一天作文
CEKC少16女BNNEC
搞机TIME恶心直接打开的网站不用嘉兴圈2023
女子高生の腰つき
双胞胎姐妹齐上阵许多说许多
双男主车文图长图
新手如何自W到高C照片
小黄说说1000多肉
睡醒发现还在C1V1HHH
如何吃到自己的小鸡够不到怎么办
亚1州区2区3区域4产品乱码
各种姿势玩小处雌女TXT视频
野花视频免费高清观看
男朋友说他有更大的棒棒糖
两个人的视频全免费高清
一浅二深三大叫法是什么
车肉短文300字左右
错一道题就往阴里装一支笔
美女100%露出胸
晚上睡不着想看点大人
ぱらだいす天堂中文WWW
亲亲抱抱举柔柔的视频
淋浴喷头gc自w车文
可播放的steve hopper
大武当之天地密码迅雷下载
帝王怀孕肚腹挺起好憋
在床上拔萝卜又疼又叫什么病
在学校器材室1V2
MD豆传媒一二三四区入口
夹心饼干1V2H
挪威的森林打扑克又叫疼
埃及艳后 电影国语
中国免费XXXXXL
第1章厨房春潮
心疼儿子可以给他一次吗
红豆视频免费高清在线看
BGMBGM老太太毛
戴自动蝴蝶去上班感受
女生越说疼男生越往里
看镜子里我们的结合的地方科学
亚洲无人区码一二三码区别图片
把下面能看湿的句子5000字
人畜禽corporation
是不是老公的小sb
漂亮的小峓子4在钱免费中
丰裕纵满杨玉环2588高清壁纸
污到你那里滴水不止的作文600字
中文在线中文在
AIRMAX97杂交
课堂上时间暂停为所欲为
三根一起会坏掉的好痛红梅
小泽玛丽娅电影
泷泽萝拉第三部ed2k
最近免费中文字幕MV视频7
张柏芝殖器十二图片
国精产品一二三区传媒公司
快猫成人短视频app
我们在线观看免费BD视频
人与畜禽Croproation网站
丰年经的继拇中文3
夜里一个人想看b站免费缓存
无收费看污网站完整
体育生GARY网站MV
韩国电影办公室的剧情
灯草和尚之白蛇传
longbuluo
迈开腿尝尝你的草莓是什么
白岩松谈返京女子
男生和女生差差差30分电视剧
自W到高C方法
和搜子同屋的日子2在线观看K8
哇又长又大又硬太爽了
蜜桃成熟1全集高清
做错一题进去一次C黄的作文
原神雷电将军被C出液体视频
老旺的大肉蟒进进出出视频
国产啪视频在线播放观看
妇女被深耕过后有哪些表现
施主就让贫僧进去吧
永久939W乳液78
坐公交车居然弄了2个小学生
年轻的母亲5 免费完整版中文版
国内九一激情白浆发布
Zoom cloud meetings
2021无线乱码免费
小SB就是欠C
缓慢而有力的一下又一下文章
俄罗斯13一14处出血视频
果冻传媒一二三区艾秋游戏
无限观看视频在线观看免费
亚洲码与欧洲码的区别三叶草
给你下水好多下水道
图书馆的秘密程怡婧txt
榴莲app推广链接
二人生孩子全程不盖被子视频
和邻居交换娶妻1
永久免费品色堂
大尺寸的小黄说说作文
甜蜜的惩罚未增删带翻译整集樱花
piaolonghe
善良的妈妈的朋友3有限中字
家里没人爸爸用点力好好快
中文字幕无线码中文字幕
无人区一码二码三码四码区
小女孩吃小男孩小叮叮游戏
WRITEAS机器自动
黄到能让你那里滴水的作文
父母儿女互换干
WRITE AS 导尿
久久大香伊蕉在人线免费
WRITEAS做作业
51吃瓜 张津瑜 网
女生越痛男生越来越快
人与畜禽共性关系阿梅
第一版主 01bz
两个人日本免费完整版动漫
人与畜禽CHANCE
成都工行艳照门
舞林大会棒棒糖
伽罗ちゃんが腿法是什么意思
剧烈摇床运动免费观看
爸的比老公大两倍
魅力研习社 安全套
WRITEAS棉签朝俞
每人C我半小时
大号注射器放屁眼里灌注红酒
RAPPER一姐潮水仙踪林欢迎您
欧洲VODAFONEWI
男生把坤坤放女生坤坤的蘑菇视频
可以对女孩子做什么都可以的手游
考的好妈妈随你玩
ZOOM与人性ZOOM情
亚洲熟伦熟女新五十路熟妇
李白夹小玩具出门WRITEAS
一边捏奶头一边啪高潮会怎么样
日漫动漫人物将机机插曲漫画软件
红猫大本营点击进在线看
午夜dj在线观看免费完整高清观看
日本ZLJZLJZLJZLJ老师办公室
精美日产MV二线三线是什么
桃花社区在线观看视频
疯狂试爱的视频
欧洲无人区码一码二码三码区别
打扑克牌的剧烈运动视频真实
老奶奶能叫woman吗
老公带我去跟别人玩的地方
亲亲抱抱蹭蹭的刺激原声哔哩哔
电车之狼怎么安装
搡BBB搡BBBB搡BBBB
一支笔c哭自己从自w到高c漫画
ed2k 超市
大象国精产品一品二品
自己一个人想要了怎么办
97国产精华最好的产品价格
my19777换哪了
2013年3月里番
犯错把冰块放屁眼里不能掉的作文
如色坊防屏蔽一二三线
超大尺寸的小黄说说1000字
桶三十分钟全教程
2023钙GGY钙站入口
妈妈的朋友4在观有限中字
学渣坐在学霸的鸡叭上写
WRITE AS 尿口
男人大鸟硬起来图片
双男主车图无遮挡长图微博
暴躁老阿姨csgo
国产一二三四2021精字窝
小时候看到外公压在妈妈身上
男朋友老是玩我的小兔子
大型丁香成人社区
啊灬啊灬啊灬快灬片免费
张津瑜视频夸克
原神旅行者插雷电将军的游戏
无遮挡郑媛媛不照雅
YSL热门蜜桃色
新疆女RAPPER18岁RDFJFTTIK
漂亮的丰年经的继拇3如如中字
16岁macbookpro日本
裙子下面是野怪
妈妈的朋友4完整视频有翻译木
黑人RAPPER大全
3D肉蒲团之极乐宝鉴评价
用我的棒棒疏通下你的水道
妈妈的职业中语版在看
狗的东西又大又长干了一晚上
嗯嗯宝宝叫点使劲难受吗 疼
成网站w灬源码1688
冷廷遇简夏在车上做
用...用点力快要到了视频
欧美xbox和ps菊芘
双胞胎一前一后夹心饼干年下
一对多校园pop
两个人一前一后攻击我感受
欧洲VODAFONEWIFI巨大特
男朋友C你时会说什么
八角笼中被下架
离婚后和单身父亲做
考的好妈妈随你玩
坐在学长鸡上面写作业作文
为什么抽的越快叫的越声音大
百人围观企业高管全裸跳海
欧洲VODAFONEWI
父亲比老公大很多
成色好的Y31S标准版视频
坐公交车被别人c了的感觉
蘑菇视频APP下载安装无限看-丝瓜安卓苏州
エロワンピースエロい
撑起伽罗的腿疯狂输出的视频网站
宝贝儿感受到它在爱你吗
动漫人物桶动漫人物视频软件
男子吃冻土豆后拔牙
中国警察网张津瑜落地窗
小东西长大了可以做了视频
癫马女郎之一夜情
99无人区码一码二码三码四码L
儿媳妇夸我比他老公大
同桌的手探到我的衣服里怎么办呢
接电话时他却突然用力
一起差差差30分钟轮滑
人马畜禽CORPORATION
亚洲和欧洲一码二码区别在哪儿
吃胸下面激吻娇喘黄禁
大胸年轻的保姆6
没带罩子让他吃了一天的药没事吧
年轻的小婊3中文字
仙踪林19岁大陆RAPPER潮水偷轨
c两根一起会坏掉的
国产精品女主播主要上线
WRITE AS 讲台上
精产国品产品的推荐
林依晨版射雕英雄传
被闺蜜老公从阳台C到卧室小说
我和公GONG在厨房日本电影
老公和他朋友一块上我可以吗
怎样玩蛋蛋最疼
抖音奶片已删除的视频
当着太子的面皇帝宠幸了太子妃
日本人文艺术欣赏PPT图片下载
爸叫我替他让妈快乐
杀帝的闪婚恋人
美国寂寞空庭春欲晚
美国14MAY18_XXXXXL56ENDIAN
别人玩自己隐私位置玩到哭
老师你的兔子好软水好多文案
小东西看我是怎么C你
车文超细过程文字描述图片
中国小鲜肉GARY2022飞机
可以随意触摸内部位的学校
高清VPSWINDOWS69
久久成人AV精品国产麻豆
花季app下载3.0.2黄软件怎么下载
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1