投稿须知
请将投稿文章及个人信息(作者、用户名、手机号、个人简介等)发送到邮箱tougao@iyiou.com,一经审核会有专人和您联系
我知道了
专栏申请
请将您的专栏名称、手机号、邮箱、个人简介(20字以内)等信息,发送至邮箱 tougao@iyiou.com,若有已投稿的文章可附上链接。一经审核,我们会以邮件的形式进行回复。
我知道了

“洛犀”端云协同AI平台发布,将加速大模型赋能应用

收藏
人工智能
作者:苑晶铭
2022-01-25 14:27
洛犀平台未来计划对开发者开放,让大小模型协同进化的时代加速到来。

1月24日,阿里巴巴达摩院、上海浙江大学高等研究院、上海人工智能实验室联合发布“洛犀”端云协同平台。该平台提供一站式的端云协同模型训练、部署、通信能力,致力于促进大小模型协同进化,构建充分利用大模型应用潜力的新一代人工智能体系。

AI大模型在2021年迎来大爆发,但能耗问题限制其参数扩张及应用落地。

2022达摩院十大科技趋势指出,大模型参数竞赛正进入冷静期,大小模型将在云边端协同进化——大模型向边、端的小模型输出模型能力,小模型负责实际的推理与执行,同时小模型再向大模型反馈算法与执行成效,让大模型的能力持续强化。

洛犀平台沉淀了端云两侧最佳实践的算法组件和平台服务。其中,平台在端侧以python/js package的形式提供服务,包含表征、文本理解、图计算等能力;在端云链路上,平台提供实现端云协同关键的通信能力,包括方案分发、数据通信链路;端云协同的模型训练累积沉淀在云端,包括端模型训练等。

2.png.png

达摩院大模型M6包含10万亿参数,该模型通过洛犀平台技术,联合研究团队成功将3.4亿参数版本的M6模型高精度压缩至百万参数的10MB大小,以1/30的体积还原了90%以上性能,并试点部署于搜索场景,成为业界首个落地的端上预训练模型。此外,团队还借助洛犀完成了图神经网络、排序模型、强化学习等技术在端云协同范式下的部署。

据达摩院智能计算实验室负责人周靖人介绍,团队将进一步探索端云协同框架下端模型和云模型的协同机理,并完善算法方案和业务实践。洛犀平台未来计划对开发者开放,让大小模型协同进化的时代加速到来。

本文来源于亿欧网,原创文章,作者:苑晶铭。
转载或合作请联系 hezuo@iyiou.com,违规转载法律必究。
文中涉及数据均已标明来源,如需数据服务可访问 亿欧数据 。 如您有「项目报道」或「项目对接」需求,请填写表单,我们将尽快与您取得联系。
会议
云计算