世界视点！芯片|高能低耗易部署，爱芯元智AX650N成Transformer最佳落地平台
近来，ChatGPT成为社会各界关注的焦点。从技术领域看，ChatGPT的爆发是深度学习领域演进、发展和突破的结果，其背后代表着Transformer结构下的大模型技术的飞速进展。因此，如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。
爱芯元智确认将携第三代高算力、高能效比的SoC芯片——AX650N参与2023世界人工智能大会，该芯片依托其在高性能、高精度、易部署、低功耗等方面的优异表现，AX650N受到越来越多有大模型部署需求用户的青睐，并且先人一步成为Transformer端侧、边缘侧落地平台。
展商名称：爱芯元智半导体有限公司
(资料图)
展位号：世博展览馆H2-C1108
亮点展品：爱芯元智AX650N
Transformer是当前各种大模型所采用的主要结构，而ChatGPT的火爆让人们逐渐意识到人工智能有着更高的上限，并可以在计算机视觉领域发挥出巨大潜能。
相比于在云端用GPU部署Transformer大模型，在边缘侧、端侧部署Transformer最大的挑战则来自功耗，这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU，成为端侧和边缘侧部署Transformer的首选平台，而其优越性能则决定了Transformer的运行效果。
优势特点
作为人工智能视觉感知芯片研发及基础算力平台公司，爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的Transformer网络SwinT，在爱芯元智AX650N平台表现出色：361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的极易部署能力，都让AX650N在Transformer的落地中有着领先的优势地位。
具体来看，361帧的高性能，可媲美汽车自动驾驶领域基于GPU的高端域控SoC；而80.45%的高精度成绩同样高于市面平均水平；199 FPS/W的速度则充分体现出低功耗的特点，对比于目前基于GPU的高端域控SoC，有着数倍的优势；更为重要的，AX650N部署方便，GitHub上的原版模型可以在爱芯元智的平台上高效运行，不需要对模型做修改，亦无需QAT重新训练。
与此同时，AX650N支持低比特混合精度，用户如果采用INT4，可以极大地减少内存和带宽占用率，达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了AX650N作为人工智能算力平台，最终落地效果更好用、更易用，且大幅提升了用户效率。
目前，AX650N已适配包括ViT/DeiT、Swin/SwinV2、DETR在内的Transformer模型，在DINOv2也已达到30帧以上的运行结果，这也更便于用户在下游进行检测、分类、分割等操作。基于AX650N的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。
接下来，爱芯元智AX650N将会针对Transformer结构进行持续优化，并且探索更多的Transformer大模型，例如多模态大模型，不断让Transformer在爱芯元智平台上得到更好的落地效果。值得一提的是，爱芯元智还将推出相应开发板，满足开发者对Transformer深度研究的需求，探寻更丰富的产品应用。
“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台，让智能落实到生活的真实场景，最终实现普惠AI造就美好生活的企业愿景”，爱芯元智创始人、CEO仇肖莘女士表示。未来，爱芯元智将在成为人工智能算力平台型公司的道路上继续探索，加速基于Transformer的大模型在端侧、边缘侧落地的节奏，让普惠智能真正落地生根，开花结果。
扫描上方二维码
抢先报名参会
标签：
相关文章
世界视点！芯片|高能低耗易部署，爱芯元智AX650N成Transformer最佳落地平台
芯片|高能低耗易部署，爱芯元智AX650N成Transformer最佳落地平台,近来
每日聚焦：雅天妮集团(00789)：潜在卖方与潜在买方并未就潜在交易订立任何正式或具法律约束力的协议
智通财经APP讯，雅天妮集团(00789)发布公告，于本公告日期，潜在卖方与
