您的当前位置:首页 > 娱乐 > 加速国产GPU开发!摩尔线程开源高性能计算库MUTLASS 正文
时间:2024-12-23 11:25:33 来源:网络整理 编辑:娱乐
11月12日消息,摩尔线程宣布,正式开源高性能线性代数模板库MUTLASS,以便开发者能够更高效地针对摩尔线程GPU MUSA Core、Tensor Core等单元进行编程,加速基于国产GPU的算子
11月12日消息,加速计算摩尔线程宣布,国产正式开源高性能线性代数模板库MUTLASS,开库以便开发者能够更高效地针对摩尔线程GPU MUSA Core、发摩Tensor Core等单元进行编程,尔线加速基于国产GPU的程开算子开发以及算法创新。
在此之前,源高摩尔线程已经相继开源OpenCV-MUSA计算机视觉库、加速计算MooER音频理解大模型、国产vLLM-MUSA大语言模型高速推理框架。开库
▼ MUTLASS开源地址:
https://github.com/MooreThreads/mutlass
在数值计算和深度学习领域,发摩矩阵乘法(GEMM)及其变种,尔线比如FlashAttention、程开Convolution,源高是加速计算构建复杂上层应用的基石。
不够,为了追求更高的算子融合效率,或者更创新的算法,开发者们往往需要超越标准化计算接口的限制,如标准BLAS接口以及芯片厂商的计算库接口,以实现高性能的定制化算子。
MUTLASS(MUSA Templates for Linear Algebra Subroutines)正是为满足这一需求而设计。
作为摩尔线程专为自研MUSA架构优化的高性能计算库,MUTLASS是基于开源模板库CUTLASS进行的MUSA适配和定制化开发、优化。
针对矩阵乘法及相关变种,MUTLASS提供了一系列高性能的C++模板组件,并采用了与muDNN库类似的分层分解及数据搬运策略,以确保性能的充分发挥。
在本次开源的版本中,摩尔线程适配了CuTe后端库,为其增加了第三代MUSA架构的MMA计算原语,支持TF32/FP16/BF16/INT8等多种数据精度,并以此为基础,初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。
借助MUTLASS,开发者们既可以灵活复用不同层级的模板组件,也可以按需修改各种模板组件的实现细节,以较低的开发成本实现定制化的高性能算子,从而在摩尔线程全功能GPU上充分释放性能,并尝试更多的算法创新。
摩尔线程将持续优化MUTLASS的性能,并不断引入新的功能。
[流言板]关键时刻英雄兜底,TE斩获2024 PGC全球总决赛冠军!2024-12-23 11:23
欧冠戴帽,利物浦官方:迪亚斯当选与勒沃库森一役队内最佳2024-12-23 10:18
莫德里奇:米兰的表现确实更好,我们需要更多的团队合作2024-12-23 10:00
《寂静之地:前方之路》新截图 静谧之中透着诡异2024-12-23 09:48
[流言板]扛起全队!福克斯迎着浓眉高打板命中,半场7中6得到17分2024-12-23 09:45
比塞克:国米做了额外训练适应人工草坪,对我们来说这不是大问题2024-12-23 09:40
《生化危机4:重制版》全球销量已超800万套2024-12-23 09:29
【比赛日Vlog】上海海港3比2中央海岸水手2024-12-23 09:09
豆腐渣防线,曼城连续8场客场比赛都丢了至少2球2024-12-23 08:47
弗拉霍维奇已为尤文打进50球,本赛季客场进8球在意甲球员中最多2024-12-23 08:43
[流言板]扛起全队!福克斯迎着浓眉高打板命中,半场7中6得到17分2024-12-23 11:12
86分钟绝杀,4场抢10分!欧冠黑马杀进前3,奖金700万到手2024-12-23 10:41
范尼:我不负责曼联球员招募 齐尔克泽是典型9号很有潜力2024-12-23 10:35
罗马诺:曼联18岁小将科内今日随一队训练,球队相信他的未来2024-12-23 10:20
诺伊尔17分钟染红,纳格尔斯曼:事后人们总是会变得更聪明2024-12-23 10:09
[流言板]真不刷!约基奇本赛季已4次三双,且有1次9板&1次9助准三双2024-12-23 10:06
相似的“作案手法”!去年利物浦14分钟20皇马,随后皇马连进5球2024-12-23 10:02
[流言板]开局取得1胜5负后,仅19772024-12-23 09:20
[流言板]本赛季全明星投票将于12月19日开始,首发名单在1月23日公布2024-12-23 08:49
足球报:泰山始终以亚冠为第一目标且拼尽全力,3轮拿4分可以接受2024-12-23 08:38