热库文章网 手机版
当前位置 首页 > 实时讯息 >

瑞芯微:RK3588、RK3576芯片支持端侧3B以下参数级别模型部署

0次浏览     发布时间:2025-03-31 15:56:00    

金融界3月31日消息,有投资者在互动平台向瑞芯微提问:有人已经成功用rk3588npu对deepseek 1.5b模型进行推理目前最多能跑3b的 速度看起来还不错 请问贵公司有没有计划推出性能更强的能训练推理deepseek相关大模型的的芯片?贵公司soc芯片结合低训练推理成本大模型的应用场景有哪些?

公司回答表示:公司AIoT SoC产品主要应用于汽车电子、机器视觉、工业应用、教育办公、商业金融、智能家居以及消费电子等领域的边、端侧设备。公司能够为下游客户及生态伙伴提供从0.2TOPs到6TOPs的不同算力水平的AIoT芯片,其中RK3588、RK3576带有6TOPs NPU处理单元,能够支持端侧主流3B以下参数级别的模型部署,可通过大语言模型实现翻译、总结、问答等功能,并可实现多模态搜索、识别,有效解决不同AIoT场景的痛点,提升产品使用体验。

当前已有多个领域的客户基于瑞芯微主控芯片研发在端侧支持AI大模型的新硬件,例如教育平板、AI玩具、桌面机器人、会议主机、边缘计算等产品。随着AI大模型在教育、家庭、医疗、工业、农业、服务业等边缘、端侧场景中持续加速落地,未来将赋能更多样的边、端侧AIoT产品。

本文源自金融界