【BB贝博艾弗森官网科技消息】近日，在特斯拉CEO埃隆·马斯克公开点赞中国AI公司Kimi的最新研究成果后，Kimi官方账号于3月17日以幽默口吻回应：“你的火箭造得也不错！”
据BB贝博艾弗森官网了解，事件的起因是3月16日，月之暗面（Kimi）发布了一项关于大模型基础架构的研究，提出“Attention Residuals”（注意力残差）机制，对深度学习中沿用近十年的残差连接进行了重新设计。传统残差连接采用固定、均匀的累加方式，而Kimi的新方法让每一层能够选择性地关注此前各层的输出，从而提升训练效率。据Kimi官方披露，在48B参数的模型上，该机制使训练效率提升了1.25倍。
该研究迅速引起了学界和业界关注。马斯克在社交平台X上转发并评论：“Impressive r:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫ork from Kimi”（Kimi这项研究干得漂亮）。随后，前OpenAI研究科学家Andrej Karpathy也发文称，该研究真正践行了“Attention is All You Need”的理念；被誉为“推理模型之父”的前OpenAI研究副总裁Jerry Tr:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫orek更是直言“深度学习2.0来了”。这些来自全球顶尖AI专家的认可，凸显了Kimi此次技术突破的分量。
版权所有，未经许可不得转载
-BB贝博艾弗森官网