自从ChatGPT诞生以来,越来越多的科技公司加入了生成式AI的开发范畴。微软、谷歌、Meta之后,英特尔在德国汉堡举行的国际超级核算大会高功能会议上宣布与阿贡国家实验室协作,共同使用Aurora超级核算机开发了一个名为AuroragenAI的生成式AI模型。该模型的参数量将达到1万亿,比ChatGPT的1750亿参数增长了约570%。
英特尔AuroragenAI模型以NVIDIA的Megatron和微软的DeepSpeed两个框架为基础。Megatron专门用于分布式练习大规模言语模型,对Transformer进行了优化,不只支撑传统的数据并行练习,还支撑模型并行练习。DeepSpeed则专心于优化大型深度学习模型的练习,经过提高规模、速度、本钱和可用性,使练习1000亿参数模型成为可能。
为了支撑AuroragenAI这样大规模参数的练习,英特尔与阿贡国家实验室和HPT协作开发了名为Aurora的百万兆级超级核算机。Aurora超级核算机采用了英特尔Xeon CPU和Xeon GPU,拥有大量的核算和内存资源,供给了百万兆级的功能。该核算机的浮点运算才能达到2exaFLOPS,超过了目前世界上最强的超级核算机Frontier。
AuroragenAI将应用于各种科学范畴,包含分子和材料设计、归纳知识素材的整合等。它能够加速癌症和其他疾病相关生物进程的辨认,并为药物设计供给靶点建议。除了科研范畴,AuroragenAI还具有在商业范畴中应用于自然言语处理、机器翻译、图像辨认、语音辨认和金融建模等方面的潜力。
AuroragenAI的发布标志着生成式AI大模型范畴中的重要进展,未来它有可能对各种科学范畴发生严重影响,成为ChatGPT的有力竞争对手。
此时快讯
【Unciphered:2011年至2015年生成的数百万个加密钱包面临风险】金色财经报道,网络安全公司Unciphered发布了有关他们称之为“Randstorm”的漏洞的信息,他们声称该漏洞影响了2011年至2015年生成的数百万个加密钱包。据该网络安全公司称,该问题可能会影响数百万个钱包和约21亿美元的加密资产。