有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
佛帐潮绣凸浮双龙耳帐
黄色软件免费下载3.0.3每天无限次vivo版破
一边做饭一边狂躁怎么办呢
小洞饿了想吃大香肠的注意事项
被弄了几次路都不能好好走
搐搐国产丨区2区精品AV
同学的妈妈5观整有限中字
好儿子妈妈今天晚上就是人
津渝视频完整版9段视频
老太婆下身浓浓毛多
和活好的男生做是什么体验
第一次处破女18分钟好痛
宝宝坐下来自己慢慢摇
生物老师拿自己做学生的奖励
当兵老公要了我很多次
日本一卡二新区无人区
穿成小团子后萌翻全世界系统
大菠萝福建导航进入网址
精品AV国产一区二区久久小说
老师没有带罩子让我练了一节课
男生半夜不睡觉偷偷看B站
口工漫画全彩无遮漫画
回娘家给了父亲
姬小满乳液狂飙奖励自己一发视频
嫩BBB槡BBBB槡BBBB
粉色视频高清免费版观看
原神女角色去掉所有服装小内无爱心图片
我的兔子好软水好多h15视频
污秽的教室未增删翻译
yy6080高清影院理论
究惑R车禁闭室润滑剂
2022GGY钙打椿机受
挺进毛还没长稚嫩的小花苞网种
水都这么多了还装什么
车子一晃一晃正好进
一二三四日本无吗
家教老师考100分能一整
一区二区三区国产好的精华液
99精产国品一二三产区MBA
解放的潘多拉qvod
小区电工老周赵美娜
狗配人怎样配马配人呢
原神ちゃんが腿法娴熟を
51成品网站W灬源码16章节
翁和梦莹三人同床的推荐理由
又疼又叫哔哩哔哩
又有一批人开始高潮了
美式忌保罗讳1
爱情岛论坛首页推荐进入网址
蓝导航地址永久发布
18款夜里禁用b站
蜜芽MIYA188MON牢记永不失联
免费的剧烈运动扑克网站
sis0001第一会所
三叶草M码和欧洲码的区别
小蓝全球最好的钙片AG
处处吻全程拉丝伸舌头声
在英语课上插英语课代表
荷兰少归BVBV
50岁女人做起来很紧为什么
没人的地方让你弄一下
蜜芽188.Coo永不失联
潜伏期阴性会传染吗
淑芬二腿间又痒了
莫菁门事件完整照片
一二三四高清观看视频
魏晨破赵奕欢密照
宝宝几天没做都湿成这样
别人玩自己隐私位置玩到哭
在公交车上弄到高C月
JEALOUSVUE成熟好妈妈
污到你那里滴水不止的说说细节
免费B站推广网站有哪些
可以随意触摸内部位的手游
日本20岁RAPPER
十大黄台不收费直播
宿主的任务是收集jy活命小说
公孙离去所有衣服跳惊鸿
开小娟小妍嫩苞
迈开腿让尝尝你的小草莓什么意思
欧美无人区码卡二三卡四卡
早上醒来他的东西还在里面
把筷子放屁眼里不能掉的作文
惠氏奶粉好不好
你们最疯狂的一次是在哪
国产精华最好的产品
CHINESE东北女人舒服
年轻的妈妈观有限中字
洗澡被公强奷60分钟
白丝高中生被C到爽哭视频
腿分大点就不疼了
yy6090新视线看
凌晨三点看的片免费
妈妈的朋友5线在完整有限公司中字
国外精产品W灬源码1688网站
天降女子未增删带翻译樱花
星野明日香种子
随时随地都能干的学校教师
被抱起来C是一种什么体验
女生和男生一起相差差差差差
同学带几个人来玩我的作文
2021一本线
无人区码卡二卡3卡4卡变态
让我尿你在里边好不好h
成绩好妈妈就给我一次作文
动漫mm受辱图
用......用点力快到了
姐姐的朋友6有翻译
私人家庭影院3355
数学课代表的那真紧的作文
小泽玛丽娅电影
福林儿初试云雨情
成人文学俱乐部
写作业写着写着就插起来了
被自己家狗狗C了一天
今天让领导弄了两次
欧美lauren philips100
快猫5.25最新破解版.APK
英语课代表说他下面湿透了
各种姿势玩小处皱女
一滴都不准尿出来
xfb88.xyf幸福宝解锁版
WRITEAS机器自动
老赵抱着媛媛在厨房作爱视频
把女朋友弄成小喷泉是什么意思呀
丰满的邻居2在线观看完整免费版
日产无人区一线二线三线视频
PLAY BOYY泰剧电视剧在线观看
原神旅行者插雷电将军的游戏
b站推广入口2023
新农夫成人导航
公交车后车座的疯狂的C
用大宝贝疏通妈妈的下水道好吗
97国产精华最好的产品价格
乳液狂飙开襟网站MIMEI
岳好紧好紧我要进去了电影
舌头探洞感觉要喷了水怎么回事
坤坤寒进桃子里
双男主有车车的腐肉尿了
榴莲新片免费观看
坐在鸡上写作业好疼
父母和子女互换
斗罗大陆唐三桶比比东的下面
再用点力草丛里做
infinite stratos2
999re5这里只有精品w
laurenphilips和黑人
迈开腿我可以尝尝你的味道
GAY空少被体育生开菊网站
外公总是压妈妈身上怎么回事啊
亚1州区2区3区域4
瑶遇见神鹿喷白水
怎样弄到自己喷泉
与畜禽狗CROPROATION
春江水暖桃仙汁1V2糙
巨龙征服美女明星
寒假自罚表要残忍必动隐私
交口怎么做图片
强壮的黑人RAPPER
迪丽热巴哭着说不能再深了
班级每人C了我半小时班长
部队里被咬住花蒂吹潮军人
XL上司2第二季带翻译未增
王多鱼被C视频网站
被子里怎么无声自罚隐私作文
可以随意触摸内部位的游戏手机版
张核子弟弟发声
日本大但但人文艺术
同学的妈妈2中韩双字
深入交流1V3
XL上司第樱花未增删带翻译
大象W灬源码1688
哎呦我的宝贝真好喊爹什么曲
被村长狂躁俩小时玉婷视频
新铁血战士qvod
女配她不想走老路
老扒抱着淑蓉进房间第八集视频
阿锵锵锵锵锵锵锵网站大全
脱美眉内衣小游戏
父母儿女互换干对家庭成员的影响
爱情岛论坛免费线路一在线路3
被绑在男厕所供人享用
野花视频大全免费观看3
喷泉辛浮H1V3H
天美传媒果冻传媒国产电影
秘密教学暗巷内激战
男生女生一起差差很痛的APP下载安装2023
超碰人热人人热人人看
双指探洞一分钟200次什么意思
在街上他突然按了遥控器
性姿势48个动图
丁香花成人论坛
啪啪啪视频大全高清
波德卡波娃 种子
一边伸舌头一边快速喘气
ZOOMSERVO兽狗
他像疯了一样占有了她退出
亲爱的老师5韩国中字完整版
被校长抱进办公室糟蹋
女生最怕的情侣玩具
他不让我断奶他要接着吃知乎
菠萝视频无限看
墨燃把楚晚宁按着干188章
黄晓明尹正合体录制中餐厅6
坐地铁车被高c怎么办逃跑的老师
大叔你好坏大叔摇起来是什么歌
ZOOMSERVO
迈开腿尝尝你的草莓陶软
100种禁用的漫画软件不要VIP
狗狗射速好烫的视频
凌华ちゃんがを腿法娴熟部下
152大但人文艺术欣赏
岳把我用嘴含进满足我第二章
亚洲国产精华推荐单品榜
10_10_汤唯七分二十秒视频
蜜芽.768.MON二区忘忧草葫芦娃
你终于长大了可以做了视频
非洲ZOOM人与ZOOM
旅游时跟女儿有了关系
将夜在线神马影院BD高清
人与动物ppt免费模板
啊哈哈哈哈主人我错了哈哈哈哈柯
金花瓶双梅花5
2020年日本高清一卡二卡三卡四卡
课代表趴下让我桶30分钟软件
粉色ABB苏州晶体
凌晨三点看的片日本
打扑克视频又疼又叫
adc影院欢迎你大驾光临
女性想被XR是什么意思
2020年日本高清一卡二卡三卡四卡
いっぱいしぼっちゃうぞ在线
粉嫩RAPPERDISSSUBS欢迎您
女生让男生玩诵自己的游戏
放心我只在外面蹭一下
公交车上最后一排的爱
怎么让鸡子变大变粗最简单的方法
腿再张大点就能吃到扇贝了
后车座的疯狂运动
夜里18款禁用B站入口探APP
教练在车里撞了我三次
黑料网独家爆料免费吃瓜
四房播播 五月
英语老师没戴罩子让我抄了
highschool dxd
倒插莲花该怎么做
20厘米把女友干到走不了路
xl上司带中文翻译
年轻的小峓子4中字巴巴鱼汤饭
感受到它在里面动了吗
王者荣耀女英雄被捅的流眼泪翻白眼流口水
宅男宅女电影网
附近学生约100三小时
原神雷电将军被X出液体xman
狗狗射速好烫太怕了春雨医生
老何船上弄雨婷第14章
人与牲囗性恔配小说
我的很大你要忍一下的视频
仙踪林直接入口欢迎您
全程粗话对白视频VIDEOS
谢俞坐着震动器写作业车
又白又大的两座峰
yuanshayangli
美国人与动ZOOM
梦莹情乱第十一篇1章
动漫美女被辱图
丰年轻的继坶3的特色和机能
WRITE AS 两根
原神外网黄化网站WWW
旅行者骑在甘雨上做运动
不想痛就把腿分到最大
VPSWINDOWS另类极品
金瓶瓶之爱的性奴2
国产乱码二卡3卡四卡
热心的朝阳群众51cgfun
黄色软件下载安装3.3.0华为会不会泄露
2015年4月里番
抓住班主任的两座巨峰
车文越详细越好
棉签和冰块怎么玩哭自己
麻花传媒网站永久入口视频
丁香花chengren
51成品网站W灬源码16
儿媳妇水这么多还说不要吗
翁熄性放纵江雪
老公晚上是怎么玩你的
妈妈醉酒后误认为我是爸爸
你的太大了我装不下
幸福宝8008app隐藏入口
让我们俩一起轮你好不好视频
舌头往下舔到一个硬硬的包疼
100元一次附近人
情侣房交椅使用方法图片
狗头萝呼啦圈视频26分钟什么梗
青梅不经C1V2
三叔一次又一次索要
打扑克视频又疼又叫
13277大但人文艺术照
《菊内留香》TXL金银花
女孩迈开腿喂男孩吃草莓膀胱
男生说把你填满了怎么回答
齐天大性大破盘丝洞
国产第一页浮力影院入口
身体秘密 感官世界
和搜子居的日子2
杨幂哭着说不能深了
迈开腿让我看看你的草莓游
心疼爸爸给他一次可以吗
ai少女进入后怎么导入建筑
拔萝卜全程不该盖被子怎么办
女头部位大胸头像
帮妺妺洗澡忍不住C了她作文
国产乱码无限2021芒果
和亲戚发生过关系以后怎样相处
tobu16tobu69
年轻的小峓子4中字巴巴鱼汤饭
抖音故意走漏视频7028集百度云
秘密教学60话暗巷免费
男生把坤放女生定眼会怎样
小SB是不是想被C了
武易传奇登陆器
三个人日的我走不了路技术
fulao2官方网站进入
我和公GONG在厨房日本电影
体育课被班长带到没人的地方
用红酒瓶塞堵住不能流下来
老师迈开腿让尝尝你的森林
捅了班主任一节课视频
2012国语在线看免费直播
啊你的怎么这么大爸爸
插花弄玉曲径通幽
我儿子比我老公的大
老师你的好软水好多的时候图片
西方44大但人文艺术是什么东西
男朋友用筋膜枪把我玩哭
麻花豆传媒剧国产MV入口
晚上睡不着看点害羞事
十天的爱人韩语
我38岁离婚后跟儿子睡
999精产国品一二三产区
PYTHON人狗大CSDN
无人在线直播免费观看
后营露营无增减
HONGKONGDOLL看片黄
藏经阁福利导福航大全
黑料永远不打烊吃瓜爆料
家长会上爸爸们C幼儿园老师
动漫美女被辱图
亚洲XXXXXLMEDJYF邻居
简隋英writeas震动器
姐姐的小兔子又大又软作文
爱情鸟在线论坛1在线观看
老师洗澡让我吃她胸的视频
黄到能让你那里滴水的作文
公园里的老年镖客视频
老师的兔子好软水好多樱花一
日产无人区一线二线三线观
GOGOGO大胆艺术风格分析
跳D放在里面逛超市的感受
四叶草M码和欧洲码的区别
糖心VLOG小桃内射频网站
25岁的女高中生相亲对象是问题儿童
你的东西比我老公大得多
无人区一码二码三码区别
木乃伊盗墓迷城
老公总是吃我的奶奶该怎么办啊
最美情侣中文在线播放
ZOOM人与ZOOMWIDS
EveIynCIairn黑白配
羊急了也跳墙完整版
爱情鸟免费论坛二
黎朔WRITEAS水管
考的好妈妈就给你一次
美红与王站长交换十七章
被男友咬小兔兔的感觉
被C到起不来是什么体验
每走一步就会深深的撞一下
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1