有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
给个网站你懂得
塞跳D不能掉出来上学
岛国片人妻三上悠亚
谁输了去谁家受罚抽阴可处置男生
老师兔子好软水好多H15视频
欧亚专线欧洲W码
又黑又肥的60岁岳
西方44大但人文艺术是什么东西
激荡瑜伽1V2PO
两个人一前一后进行攻击
插曲的痛的视频免费
爱情岛论坛首页推荐进入网址
是不是想夹死师傅
蜜芽.2722永不失联在线观看
我的兔子好软水好多H15
跪射是什么意思污
晚上睡不着想看点片不要下载
硕大粗长撑裂了 小龙女
秘密教学93话恩爱久等了秋蝉
交口怎么做图片
WRITEAS天尊被吊着受罚
日本精产国品一二三产品
金花瓶双梅花5
邻家有女韩国4
BBOX撕裂入门头交
vodafonewifi巨大app粗暴
janetmason
99精产国电影品一二三产区区别
用注射器打水放屁眼里的处罚视频
压在窗户上C给别人看
青青草国产视频免费线观看
呜呜撞得她说不出话来
BBOX撕裂BASS孕妇公交车
亲亲抱抱柔柔的视频动漫
桃花在线观看免费观看手机
黄到让你那里滴水的作文英语老师
幸福花园纤细的爱
日本精产品一二三产品
私人情侣网络站
成都4片p视频
成全动漫视频观看免费下载
三个人日的我走不了路技术
尤物已满18点击进入在线
yellow动漫网
babycat98女rapper免费
精产国品一二三类产品的区别
WINDOWSCHANNEL孕妇3D
游戏输了让同学玩全部位置
夜里18款禁用b站网站
三千美男爱上我
性一交一乱一伦一色一情孩交
厨房春潮唐小米
魅力研习社 安全套
他带我去没人的地方吃我豆腐
原神雷电将军乳液vx网站进入
bbox撕裂bass俄罗斯仙踪林
仙踪林19岁RAPPER潮水偷轨
孤注一掷在线观看免费高清王传君
G位的准确位置怎么找到
TOBU7TOBU8
老中医吮她的花蒂和奶水视频播放
琪琪色原20岁网站
公天天吃我奶躁我的
刚开始拒绝后来慢慢接受视频
公交车上破了两个小学生
可以把自己看下面流的说说
燕夫人寺庙求子方丈给办了
海角社区hj4bb
坐公交车弄了2个小时视频怎么办
快速抽的时候发出声音
穿戴式跳D放在里面逛超市的感受
关上最后的门吧漫画
把荔枝一颗一颗往里堆
让我尿你在里边好不好h
英语老师没戴罩子让我c了一节
男人大鸟硬起来图片
我和岳一晚五次
女生说拔萝卜是什么意思
够了够了已经满到高C了甜甜
赴约BY际慈PO
红酒瓶塞住不准掉下来
够了够了已经满c了高c了
51无人区码一码二码三码
新娘无悔的爱第二部
51无人区码一码二码三码
把语文课代表干到走不动路视频
英语老师的大白兔子又大又好吃
朋友的妈妈2观有限中字
柚木提娜ed2k
同城交换俱乐部
中国speakingathome宾馆学生
和教练在车里C了我三次怎么办啊
试看免费120秒动态
集体轮乱大全小说
二指探洞很舒服吗
八重神子の俘虏ゲーム桃子移植
农村情侣电动车野战
一二三四日本中文在线
正面上我啊BY炖了一锅毛血旺
用点力今天家里就你和我
女人半夜莲花开大概时候几点
坐在爸爸上面吃饭
坐在吃饭连在巨大一起文
RAPPER老妇人
无人区卡一卡二卡三人伦
大尺寸的小黄说字多肉有哪些
啊哈哈哈哈主人我错了哈哈哈哈柯
英语老师没戴罩子让我捏一节课
公交车有人要了我几次
岳女共夫张淑芬
女人网站你懂我意思吧
花季传媒每天免费看三部
男朋友几个朋友一起上我
共享双胞胎齐娜齐琳
女孩子的第一夜图片
新版金银瓶1-5
四虎最新地域网名2021免费苹果东营
5G天天奭多人运动网站入口
女人荫蒂勃起后图片
张柏芝艳门照照片
yasee最新2021
1V3多肉玉娇香HHHH口术
PS一二级调色大片
做错一题就往下面放冰块
两女一杯是什么
啦啦啦 中文 中国 免费 高清
迪丽热巴AI人脸替换造梦
麻豆MADOFIT新品
老师教久别的草原视频
99无人区码一码二码三码
18C.MICIOS禁慢天堂18C.MIC北北北砂
黑料不打烊最新2021地址
原神胡桃N开襟乳液狂飙视频
99精产国品一二三产品功能
喜爱夜蒲1高清
无码视频专区曝光16人被判刑
被吃小兔兔是啥感觉 知乎
一根筷子怎么玩哭自己的小朋友
最好韩国日本免费
陪读和孩子发了关系心理咨询
无人区一码卡二卡三乱码
儿子暗示我想上我
十八岁大陆女RAPPER欢迎你
求你别在阳台有人看见
炎の孕ませも身体测2
老公弄我的时候婆婆看到了
诱人的女邻居9中文观看
国产DB624色谱柱36521
白妇少洁高义全文阅读
哎呦我的宝贝真好喊爹什么曲
玩R头的100种方式
男孩子和男孩子做到哭图片
好儿子妈妈是你一个人的文章
萝li精品资源无码
老婆的扇贝张开口了还能吃吗
坐在学长的根茎上写句子
跳蛋的用法示意图
宝贝真紧做死你好不好
她忘了蛇是有两根的
国产一二三区别2023
日出水了好深好涨
孩子想x我同意了
剧烈摇床运动免费观看
忘忧草在线影院www日本
欧美黑人猛性暴交
欧洲无人区卡一卡二
老婆和别人做完以后再和我做
你的太大了我装不下
从镜子里看我怎么C你的图片
帮帮我爱神豆瓣
日本一卡二卡3卡四卡免费
带闺蜜出来玩被她老公骂怎么处理
雨后的故事 动态图
楚晚宁张腿放棋
麻花传媒永久免费版的特色
亚洲一线产区和二线区的区别
美国14岁女rapper
恋之欲室 电影
刮伦合集500
宝宝把腿抬起来靠墙上就不疼了
我家狗狗弄了我4个多小时
怎样自w到高c有图片
帮老师通下水道
W78W78W乳液永久
把娇妻借给朋友泄欲4
赴约BY际慈PO
美女杀手催花狂
欧美人马狗八AB8ZOZO
美国14岁女rapper
一言不合就开车的美剧
张雨欣人文艺术欣赏ppt
从厨房一路顶撞到卧室
罗马帝国艳情史图解
两阳夹一阴涨停双响炮形态
宝宝把腿扒大点儿就不会疼了
ONE.YG99.AQQ一个致敬韩寒
刚结婚每天晚上折腾几个小时
把女朋友弄成小喷泉是什么意思
宝宝腿分得开点才不疼
人畜禽的交佩的APP
柚木提娜 ed2k
芭比之拇指姑娘
班长哭着说别再继续了
打扑克一边痛一边叫一声正常吗
爱恋2015是怎么拍出来的
天美麻花豆产区
B站大全不收费
迈开腿让我要吃尝尝你的草莓
搞机TIME恶心直接打开的网站不用嘉兴
gaogao8
儿媳太美味苏暖的
《菊内留香》TXL金银花
小黄多肉大尺寸说说
哇他怎么这么猛啊
每天肚子里都是主人的尿
狗狗速度很快又大又烫
边走边c1vn骨科
换个地方做吧未增删樱花
中国青少年garyXXNN
两女一杯 两女一指
男生和老师一起差差差的作文
顶的速度越来越快越叫
一边伸舌头一边快速喘气小
我坐在学长的鸡上写作业长篇文字
姜汁撞奶POH之初
搞机TIME恶心直接打开的不用下载嘉兴圈
xiaav因你
5g影讯5g探花网址
吃男朋友的棒棒糖
翁熄小莹(奇思妙想)第二篇
性一交一乱一伦一色一情孩交
不知火舞3个小孩
唐朝豪放女百度影音
孩子还没睡老公侧面做妈妈帮
弄了一个女孩子几次是什么意思
YSL千人千色T9T9T9最新
一区二区三区国产好的精华液
国精产品7363
把它堵住不能流出来下周检查作文
MAYA我们严重反对未成年访问
儿子耕种母亲的田地叫什么
C到哭不止水好多视频
帮英语老师疏通下水道
拔深一点今天老师随你
人与善人与善在线观看
拉丁舞跳着跳着做起爱来了
性VODAFONEWIFI另类老少性
三十六式阴阳技巧
在街上他突然按了遥控器
97国产精华最好的产品
老太太bgmbgmbgm1
友田彩也香qvod
韩漫漫画登录页面入口
张婉悠厕所门是什么
蓝湛的肉车尺寸多大
小龙女只感觉那只巨大的火龙
躺在我跨下的英语老师
抽出含了一整夜的性器液体流
粉色视频观看高清在线HD
小学生桶机30分钟全教程
蜜桃成熟时3 qvod
漂亮的保姆完整版免费中文版
随时随地都能干的小镇LH
每次见面他都要好几次细节
おっさんとわたし天堂
做反派的心头肉(快穿)
父子骨科多r车推荐
地下室偶像SANA未增删带翻译
张筱雨《魅惑2》图片
夏天的约定 枫牙
班主任说快来插我啊的视频软件
2023AMAZON欧洲站
甘雨乳液狂飙图片黄XMAN
迈开腿让我看看你的草莓汁
消防糙汉VS水深火热
输了可看隐私的作文800字
俄罗斯XBXBXB兽交
麻花传媒MV一二三区别
被七个爱豆翻来翻去1V7
真实多人运动故事叙述
年轻的妈妈9的中字巴巴鱼汤饭
学长我错了POP跷跷板
laurenphilips老妇人
杨思敏版1到5集国语版
国精产品一码二码三M
镇远螺丝桥真实故事
妈妈的朋友2在完整有限中字
言教授要撞坏了笔趣阁相似的小说
公交车撞到最里面去了
小泽玛利亚种子
精品无人区一线二线三线区别
美国十次啦超级大导航
污到你那里滴水不止的说说短文
风流艳妇90分钟完整版
人文艺术视频是什么意思
两个师傅一前一后上
男生半夜不睡觉偷偷看B站
JEALOUSVUE成熟好妈妈
带着跳D上课的感受
女婿的比丈夫的大得多
他走在街上用遥控器要我
填的满满的 不要了
略国精产品W灬源码1688网站
老阿姨才是最有味的
bbox撕裂bass后门
狼群社区WWW中文版
少妇BBB搡BBBB搡BBBB
宿主任务是收集男主JY
国色天香十七区品质怎么样
久久只有这精品99
交换漂亮妈妈在线播放
胸大的姑娘视频高清
被自己家狗上瘾了怎么办
车各种姿势长图微博
国产天美传媒一起又看流星雨
给我免费播放片日本版
跑步机上边跑边顶
14MAY1XXXXXL麻豆
不对劲的监考老师像素游戏
TESTFLIGHT男人必备什么意思
晚上做剧烈运动视频教程
精品手机在线1卡二卡3卡四卡
安全套试用员的辛酸
妈妈的朋友8中字电视剧
4p被三个男的舔全过程
人与动物交配后
性女传奇在线播放
太大了吧唧吧唧吧唧吧唧吧唧
宝宝下面都湿透了还嘴硬疼咋回
无尽 触手 夹 3D 粗暴H 夹
深田えいみ禁欲后被隔壁人妻
做错一题学长就C一次黄
ACCA少女网课韩国
冰块温水跳跳糖果冻是什么意思
往下边塞水果后吸出来视频
妇乱子伦精品小说网
SMARTDRAW中文乱码
小洞饿了想吃大香肠喝热牛奶
输了游戏把下面给对方玩
漂亮的邻居交换2
不可接近的女士漫画
缘之空百度影音
用笔怎么自己弄自己的小花园
麻花豆传媒剧国产MV免费GK
歪歪漫画登录页面免费漫画入口首页漫
车子一晃一晃就C进肉了的游戏
往下边塞水果走路
两个男孩子做不可描述的事
他的舌头探入蜜源毛毛虫说说
2016年2月里番
哪里可以看奥运会比赛视频
4399高清完整版在线观看日本
麻豆床传媒入口
他缓慢而有力的撞着视频
中国小鲜肉GARY2022飞机
原神申鹤被空C出白色液体游戏
和搜子居同的日子中文3
sky-258
公交车后车座的疯狂C
秘密教学53子豪源源不绝漫画
鲤鱼乡 流出来了 合不上
云缨拿枪奖励自己图片
健身私教弄了我好几次怎么办视频
ほーすているのエロ中文
吃饭时某处紧密连接在一起
乌克兰laurenphilips
性情中人 bt
双胞胎姐妹齐上阵许多人物
TOUGHTESTED硬汉系列
公翁的大龟挺进秀婷
娇妻两根一起进3p
被村长狂躁俩小时玉婷视频
母亲看上女儿的男朋友
杨幂哭着说不能深了
JY灌溉系统游戏唐小米笔趣阁
宝宝腿抬得高一点就不疼了
丫头不疼我就进去一下
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1