国内高校首例！支持千亿参数的大模型训练-报道

当前位置：首页>关注 >

国内高校首例！支持千亿参数的大模型训练-报道

2023-06-27 17:07:29 来源：中国基金报

6月27日，国内高校最大的云上科研智算平台CFFF（Computing for the Future at Fudan）在复旦大学正式上线。

这台为发现和解决复杂科学问题而建的科研“超级计算机”由复旦大学与阿里云、中国电信共同打造，以先进的公共云模式提供超千卡并行智能计算，支持千亿参数的大模型训练——这在国内高校中尚属首例，也领先于斯坦福大学等国际知名高校。

目前，首个基于CFFF平台训练的科学大模型成果已正式发布，45亿参数大模型一天训完。

(相关资料图)

复旦大学校长、中国科学院院士金力表示，在数据和智能技术驱动的“大科学时代”，如何在日新月异的科技创新环境中赢得主动，在关键领域取得创新突破，是时代给予高校的命题。以CFFF平台为代表的智算平台作为一种新兴的科研超算架构，将成为科研的重要支撑力量，极大提升科研效率、降低科研成本，加速科学原理发现和技术突破，并有力推动科学大模型的落地。

对于平台的命名，中国工程院院士、阿里云创始人王坚做了一番独到的解读，他认为，这不仅仅是一个属于复旦的计算平台，更是“计算，因为在复旦而创造了未来”。他高度评价了CFFF平台的公共云部署模式，认为这是中国也是全球第一次让高校能拥有了和科技巨头一样的研究计算平台，让研究真正进入了计算驱动的时代。

“为什么云计算很重要？因为云计算希望每个人在计算面前都是平等的，每个人都可以用计算来创造他应该创造的价值。”王坚回忆起2008年刚创办阿里云时在高校演讲，曾表达过希望每个同学都能用得起超算，15年后，CFFF平台的上线，终于希望成真。

云上传、云上算

真正用好科研算力资源

CFFF平台由面向多学科融合创新的AI for Science智能计算集群“切问”一号和面向高精尖研究的专用高性能计算集群“近思”一号两部分组成。

复旦大学浩清教授、人工智能创新与产业研究院院长漆远介绍，基于百G高速数据传输网和阿里云全球领先的大规模异构算力融合调度技术、分级存储技术、AI与大数据一体化技术，部署在复旦校内的“近思”一号和托管在1500公里外阿里云乌兰察布数据中心的“切问”一号连成了一台真正意义上的“超级计算机”，复旦四校区的所有实验设备都能高速接入，做到异构算力统一管理，计算任务统一调度，满足不同应用场景下的科学智能研究与应用需求。

它还拥有国内高校最大规模的多级数据冷热分层存储集群，解决了海量科研数据无法长期备份的痛点，并支持云上高速传输。以往PB级科研数据从复旦校内传到西部数据中心需要两周，如今当天就能完成，真正实现了“东数西算”。

位于“东数西算”节点上的阿里云乌兰察布数据中心，以公共云模式为复旦校内多学院的多个科研项目提供更高性能、更具弹性、更低成本和更绿色的智能计算服务。漆远表示，有赖于公共云模式，跑在CFFF平台上的项目可享受到超千卡并行的智能算力，千卡并行的有效算力达到行业领先的92%，可拓展性达到万卡，万卡并行有效算力也可达90%。

王坚认为，CFFF平台在公共云上部署，对于高校建设科研计算平台是一个重要的转折点和里程碑，“学校能拥有和企业一样的算力基础设施，公共云是非常重要的保证。”公共云在开放的同时保证安全，而这样一个新型的大科学装置，其运维必须借助公共资源，才能高效低成本地完成。

公开资料显示，智能计算相较通用计算的投入成本、技术门槛更高，各环节投资规模合计可能高达数百亿元。可以说，智能算力成本是通用算力的10倍以上。非公共云的模式变得更不可持续。

王坚表示，复旦大学和阿里云的合作是产学研协同的创新，纵观技术的发展，特别在计算以及通讯领域，其实高校跟企业可以创造出很多很美妙的东西。IBM和哥伦比亚大学的合作，诞生了计算机专业。阿里云跟复旦大学的合作甚至可以像当年MIT跟贝尔实验室的合作那样，正是二者的合作今天几乎每个大学工学院才有了通信专业，创造出一个新领域，一个新机会。

45亿参数大模型一天训完

更多科学大模型有望落地

据悉，CFFF平台从开始建设的第一天起，就收到了来自复旦不同院系的多种研究需求，不仅涵盖生命科学、大气科学、材料科学领域，也包括金融系统分析等社会科学研究。平台上的云原生与低代码工程化AI开发平台，进一步降低了AI与科研融合的门槛。

钻研介孔材料多年、曾获国家自然科学一等奖的赵东元院士对平台推进AI for Science研究充满期待：“CFFF平台的上线就像我们拥有了一个‘大科学装置’，让做科研如虎添翼。实验科学的数据非常多，如果可以通过文献数据找到设计一种材料的最佳路线，将会省掉很多时间，我们对物质的认识也会更加深入。”

目前，CFFF平台上的第一个科研成果已经诞生。复旦大学人工智能创新与产业研究院李昊团队近期发布了45亿参数量的中短期天气预报大模型，预测效果在公开数据集上首次达到业界公认的ECMWF（欧洲中期天气预报中心）集合平均水平，并将预测速度从原来的小时级缩短到了3秒内。

“基于CFFF平台的千卡并行智能计算，这样一个规模的大模型只用一天就完成了训练。传统的计算平台是很难做到的。”李昊说。

这也是CFFF平台上孕育出的第一个大模型。金力表示，复旦希望基于CFFF平台建成一批具有世界级影响力的科学大模型，例如生命科学大模型、材料科学大模型、大气科学大模型、集成电路大模型等。

未来，CFFF平台还将持续扩大其算力规模，并向复旦校外的科研机构、高校、医院、高科技企业等开放。当天，面向全球科研人员的首届世界科学智能大赛也宣布正式启动，大赛设置生命科学、量子化学等五大赛道，CFFF平台将为参赛队伍提供免费训练算力，并以更普惠的算力长期支持部分科研项目。

（文章来源：中国基金报）

关键词：