有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
叔叔帮我看看是不是有虫子咬我
渣男和渣女做不干净的事情视频
国产色母和进口色母区别在哪
蜜桃成熟时33D国语高清在线播放西瓜
女生迈开腿让男人打扑克
亚洲一码和欧洲二码的尺码
免费中国最大但人文艺术
18YEARS中国
一边喘气一边叫疼的扑克
MACBOOKPRO免费观看视频
冰块棉签做趴着还是蹲着
99精品与95优品
被黑人伦流澡到高潮HNP动漫
善良的小峓子2在钱中文版女主角
肉多车速快的推荐
清恋 seiren
25岁女高中生
麻豆精产国品一二三产区区
星空传媒乱码一二三区
空姐前规则免费观看
疯狂主妇无删减版
xl上司带翻译中文版樱花
CHINESE男男体育生腹肌网
天天躁躁水汪汪人碰人
野花视频韩国免费观看
抱胁西班牙篇PV资源
小学六年级差差差很痛带声音
新任女教师剧场版
MDL0008-1沈娜娜
情侣打扑克做运动
爸爸前面开车我抱着妈妈去姥姥家
你是不是我的小SB
c人入门视频教程
大号注射器放屁眼里灌注红酒
黑料不打烊TTTZZZ首页
你是不是没有被C够
把腿抬起来靠墙上就不疼了
正式告别一段感情的话
海角官方登录入口
办公室的交易HD日本
腿再张大点就能吃到扇贝了
老公才睡完我妈又睡我什么意思呀
一码二码三码四码五码的区别
嘿嘿视频官方在线页面入口页面弹窗免费下载
同桌的手探到我的衣服里知乎作文
国产午睡沙发系列
这几天没C你了是不是皮痒
超大尺寸的小黄说说100篇
hongkongdoll森林秘境第3集
WRITE AS三人
坐在学长硬硬的地方写作业
在她身上运动了一晚上
WRITE AS 讲台上
二人扑克剧烈运动打扑克视频
国精产品源XZL仙踪林仙踪
海贼王女帝被海军轮
男朋友是怎样进你的
啊灬啊别停灬用力啊动态图
AI赵露思又疼又叫
两个男孩子开车长视频
为什么舞蹈生下面都是突出的
女装正太 my pico1
最近日本字幕MV高清在线电影
学长我错了POP跷跷板
挺进绝色老师的紧窄小肉六视频
凌晨三点看日本片好吗
电车之狼r 攻略
亚洲无人区码一二三码区别图片
电车之狼r视频
欧洲黑人最强潮水RAPPER
春暖花开 欧美
啦啦啦 中文 中国 免费 高清
エロワンピースエロい在线
钢铁侠3下载 迅雷下载
男生被男生C哭是一种什么体验
班长笑着手灵活的调着遥控器作文
老师洗澡让我吃她胸的视频
3D姐弟关系第三集动漫
精产国品一二三产品区别在线
宅男宅女电影网
家里什么可以当阳具用
伽罗ちゃん的个性特点有哪些
成品禁用视频APP短视频
国产9麻豆剧果冻传媒
男生把大坤巴塞到男生的嘴巴里
色翁荡熄又大又硬又粗又视频
xfb88.xyf幸福宝解锁版
般若关中老人5200
妈妈的朋友5完整有限中字木瓜
日本LINODEIPHONE6
总裁在餐厅进入
51无人区码一码二码三码免费
欧美一厂区二厂区三厂区区别在哪
4虎 最新能用的是哪个
有没有肉很多的糙汉文
TOTAKKAHAYAKIRIX77777
黑帮少爷爱上我
同学带几个人来玩我的作文
为什么一加速女孩子就会哭
WRITEAS开会
考的好妈妈随你玩
大香伊在人线9视频
换个地方做吧未增删免费
太凶猛了快撞烂了
楚晚宁墨燃所有肉车微博截图
ZOOM与人性ZOOMSK
美女图片禁欲系高级感
他的手游走在两座山峰
你越来越耐C了
男生和女生一起差差30分打扑克视频
老人猛的挺进莹莹体内视频
麻豆天美精东星空蜜桃在线
杨幂AI换脸视频
女班长给我看她小积积作文
一个人被3个人同时C了怎么办
我朋友把我C成了喷泉怎么办
顶级大但人文艺术巫
比赛输了任对方看和玩部位游戏
最近中文字幕免费国语6
二次元人物桶二次元人物动漫
禁用18软件APP葫芦入口
久久国产亚洲精品AV麻豆
怎样自w到高c有图片
错一道题就插一支笔怎么办
内衣办公室动未增删带翻译3樱花
打开这个网站你会感谢我的
用玉器养大的公主么么
40岁阿姨荒野大镖客
夜里100种禁用视频
中老年人的大BwBwB
无人区码一码二码三MBA
寡妇与和尚干柴烈火电影
吉泽明步全集种子
无翼乌全彩之爆乳漫画
被学长C了一节课怎么办
EveIynCIairn黑白配
欧美无人区码一码二码三码的区别
如何在被子里无声自W
为什么做完后还要顶几下
亚洲人一卡4卡5卡6卡7卡
公交车被弄得走不动路走不动
迈开腿给我尝尝你的森林味道
坏老师百度影音
国精产品自线六区
白洁 绿帽风云
妈妈的朋友8观完整有限中字木瓜
137VT最大但人文艺术
小蓝彩虹男gary2022
楚晚宁墨燃所有肉车
正能量火影网站WWW正能量
阿拉善英雄会7分28秒视频
撕裂BBOX入门头交
疯狂厨房2双人模式
反差婊吃瓜黑料网站19
无人区一码二码三码区别
宝宝我们到卫生间里做动漫
怎么用卫生纸自W到高C
桃花视频最新免费高清完整在线观看
天天想你视频免费观看西瓜
坐在学霸的棍子上背单词
GAY空少被体育生开菊网站
家里没人儿子就弄我
777奇米影视盒
大雨天和驾校教练在车里
爱情鸟免费论坛二
清纯校花被脔日常H
女生戴一天仙女棒是什么体验
日本YOKOGAWA横河
中文字幕电影乱码在线观看
吃瓜网最新官网地址
车文超细过程长图
中国老奶奶vpswindowsHD
人的能进入羊的水门吗
JEPENSE日本
我们4个人换着玩
最近最新中文字幕MV高清在线
人与畜禽CHANCE
国色天香一二三期区别2023
斗罗大陆2大乱斗交大第1
脱色摇床93S
汤姆叔叔永久转入接口
腿分大点就不疼了 免费播放
说是不是老公的小SB
love可儿秘密花园
唐砖下之灵域双生
14MAY18_XXXXXL56ENDIANMOGO
男人给女人添P添到高潮吗
搡BBBB搡BBBB搡BBBB
坐在紫到发黑的木棒上写作业
原神八重神子被注射不明白色液体
特种部队3全面反击
最近中文字幕免费完整版2019
最近日本字幕MV高清在线电影
老卫干淑荣死去活来
爱恋2015是怎么拍出来的
开会被塞跳d开最大挡不能掉
一下又一下撞到最里面文章
海角国精产品一
正式告别一段感情的话
免费B站视频推广网站2023
孕妇震BBOX
国精产品蘑菇一区一区有限
吃老婆扇贝吃肿了
疯狂伦交550篇合集小说
妇少水多18p
免费行情网站大全搜狐网
怎么样才算真正的进入图片
秘密教学93话恩爱久等了秋蝉
你是我的荣耀泄露版
吃八重神子的乳液喂给旅行者视频
公与淑婷厨房猛烈进出视频
在床上拔萝卜又疼又叫什么症状
家庭教师剧场版
张柏芝滟照门禁图片图
安迷修被雷狮强行掰腿
动漫打扑克牌的剧烈运动
男生淦哭男生图片动漫有字
野花视频在线观看最新免费3
女士不遮阴内搭图片大全大图高清
RUN AWAY无删减免费看
晚上家里没人就让你弄
芒果一码二码三码四码区
公孙离去所有衣服床上
亲爱的老师3韩国完整在线观看
每走一步就深深的撞一下自己
成品网站源码入口隐藏通道
太慢了能不能快一点
液体收集器系统HH
很详细的肉肉床文片段
ぱらだいす天堂中文网Www
成品网站W灬源APP免费百度
成都4片p高清完整版视频
朋友把我玩成了小喷泉
小雪又胀又麻又酸又痒
大团圆结闪闪发光继
坐在振动棒上写作业
selangwuyue
14MAY18_XXXXXL7777
银行行长第二次到家里吃饭
久久这里只有是精品23
亚洲日本一线产区和二线
日本一姐RAPPER潮水太多一
深度开发1v3n
错一道题就往下面插一支笔怎么办
成熟50 WX老狼大豆行情
三十六种阴阳技图片
laoyawo
日本适合十八岁以下的护肤
高圆圆 第1到100都是赵又廷
我朋友把我玩成了喷泉怎么办
国外精产品W灬源码
春暖花开 x吧有你
品色堂 永远免费
JIIZJIIZ亚洲女人水多
9制片厂1制片传媒在线播放1
中国东北老太婆内谢
小黄说说1000多肉
最好看的日本字幕2019
老公总是吃我的奶奶但我很反感
黑料吃瓜网曝门黑料社
男男车车好快的车车啊哈哈视频
无人区一码卡2卡3
老板那里是XL樱花动漫
午夜dj在线观看免费完整高清观看
王者荣耀女英雄去掉所有服装流口水
最新张津瑜卫生间视频
雷电将军的俘虏生活30汉化版
体验区30秒试看五次
刘氏家族内乱换全文
被公司领导C了很多次
金鳞岂是池中物侯龙涛
沈芯语MD0076视频
吧唧吧唧吧唧一口一口吃掉了
ZZOOOOOOOOOSHOISHOU
爸爸缓慢而有力的撞着
GAY引诱服务生COM2O22
隔着睡衣吃你的小尖尖作文
八重神子焯出白水来怎么办
胡桃ちゃんに逝かせてもらう
我家狗狗卡在我里面痛怎么办
旅行者插了雷神视频
饭桌上故意张开腿让公在线看
女生喊疼男生越往里寨AQQ娱乐
白色乳息未增删带翻译樱花
英语老师的小兔子好大好软水
新最终痴汉电车
欧亚专线欧洲W码
塞跳d开最大挡不能掉出来作文
扑克牌高清照片免费的软件叫什么
把女人弄爽的特黄A大片
女士不遮阴小内搭
一二三四在线视频社区3
被子里怎么无声自W
1区2区3区4区产品乱码区
宝宝都湿透了还嘴硬
两根茎同时进去爽不
麻婆豆传媒一区二区三
办公室的交易高清BD
韩国女主播 种子
把那个放在里面走路
两个奶头被吃得又翘又肿
坐在学长的根茎上写作业
小草在线观看免费视频播放
做完后堵上不让流出来作文
亲亲抱抱举柔柔的视频
家里什么东西能当阳具
仙女棒坐着使用示意图
浓毛BWBWBWBWBW日本
在床上拔萝卜又疼又叫什么症状
女儿今夜以身相报父亲怎么办
女销售的成功秘籍中字
女生会喜欢开双门吗
秘密教学82这次换我教你了土豪
国产18禁巨制揭示人性奥秘
在线天堂おなあちゃんなにか
没人的地方让你弄一下
学渣坐在学霸的棒棒上写作业
几天不C水这么多
宝宝把腿抬起来靠墙上怎么回事
跪下拉开拉链含着吸出来
老人在野外做见不得人的事
成都4片p视频
7000万嫁女
跟他做了1V2
日本BOOKPRO
初中女生喊疼男生越往里寨游
MD豆传媒一二三区进站口
夜里18款禁用B站大全
我和大佬的三百六十五天
吃男人大鸟硬起来图
俄罗斯牧场VIDEOSK9
自己对准它自己动
幸福花园 bl
偷吃爸爸的擎天柱
好湿好紧快点再深一点动图
丰年经的继拇中文3的特色和机能
老师你的兔子好软水好多文案
泷泽萝拉第四部ed2k
老师的兔子好软水好多樱花一
被窝里可以怎么玩自己处
《水泄不通》txl金银花
WRITEAS吊带
整篇都是车的百合
含羞草独麻婆豆腐传媒
儿子一晚上要了我三回怎么办呢
《男团共享物》by:不必南下
银行行长第二次到家里吃饭
放学后的优等生1未增删有翻译
睡醒发现还在C1V1HHH
初次见面4秒就合体
欧美乱码1卡2卡三卡4卡
婆婆和狗玩声音很大
坤是放在女生的前面还是后面
网址在线观看你懂我意思吧
打开腿吃你的扇贝什么意思污
GAY无套GAYGAY宾馆
linode日本iphone强汉入口
污到你那里滴水不止的文章1000字过程
亚洲一线产品二线产品
学长你的好大不能坐着写作业
关晓彤被华晨宇做出了水车
世子很凶插花弄玉前进后出
萝li精品资源无码
美国军妓 百度影音
Zoom另一类ZZO0
班主任说快来插我啊的视频软件
bigbang中文网
黑帮少爷爱上我第一季在线观看
两个人的深夜运动
爱情鸟论坛免费观看大全在线观看
渴了就喝水别扒拉我腿啥意思
欧美精产国品一二三产品区别在哪
魔鬼公交车上的小黄说说
糙汉民工和软萌大学生
你的水怎么那么多还说不要
老汉扛起娇妻玉腿进入
翁止熄痒苏钥第9章
国精产品呦呦仙踪林
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1