【技术分享】云边AI实现

日期：2023-11-07 作者：尊龙凯时科技返回列表尊龙凯时·(中国区)官方网站

云边AI的必然

云边AI是指把AI大模型和算法在云端训练和优化后，，，，，，，，部署到边缘设备上运行，，，，，，，，从而将AI能力融入终端设备。。。。。。在前期的AI发展中，，，，，，，，云端推算平台凭借其壮大的推算能力和可能集中存储和处置大规模数据的特点，，，，，，，，阐扬了沉要的作用，，，，，，，，但随着边缘推算和物联网技术的鼓起，，，，，，，，云边AI代替云端AI会成为一种趋向和必然。。。。。。

边缘推算可能将推算和存储能力更靠近数据起源和终端设备，，，，，，，，极大地削减了数据传输和延长，，，，，，，，削减了网络压力提高了响应速度，，，，，，，，这使得在边缘设备上执行AI算法和决策成为可能。。。。。。并且，，，，，，，，一些敏感数据和隐衷数据可能不适合直接上传到云端进行处置。。。。。。通过在边缘设备上进行处置，，，，，，，，能够削减数据在传输过程中的风险，，，，，，，，提升数据的隐衷和安全性。。。。。。此表，，，，，，，，物联网技术的鼓起意味着越来越多的设备将与互联网衔接，，，，，，，，并产生海量的数据，，，，，，，，处置这些散布在各个边缘节点的数据，，，，，，，，借助边缘推算和物联网技术，，，，，，，，减轻了网络带宽和云端服务器的负荷的同时也降低了对网络环境的依赖，，，，，，，，使得终端设备执行AI能力越发的高效和可行。。。。。。因而，，，，，，，，云边AI代替云端AI是必然的趋向，，，，，，，，并将在将来的AI发展中成为多多企业的首选。。。。。。

云边AI的硬件承载

谈到AI的硬件承载，，，，，，，，我们首先必要相识的是和AI芯片机能有关的沉要指标。。。。。。在这里，，，，，，，，我们沉点解说四个指标参数。。。。。。

首先是算力，，，，，，，，算力是评估芯片机能和效能的沉要指标，，，，，，，，常见的算力单元蕴含每秒浮点运算数 FLOPS和每秒万亿次运算数TOPS，，，，，，，，更低的有MOPS，，，，，，，，即每秒执行的百万次操作数。。。。。。

其次是神经网络机能，，，，，，，，跟软件算法架构、硬件加快器以及参数数量有关，，，，，，，，选择相宜的软件算法架构能够提高神经网络的机能，，，，，，，，例如CNN合用于图像处置工作、RNN合用于序列数据处置，，，，，，，，硬件加快器（如GPU、TPU、NPU等）能够提高神经网络的推算机能和效能，，，，，，，，参数数量能够衡量模型的复杂性和容量，，，，，，，，相宜的参数数量能够优化神经网络的机能和预测了局。。。。。。

再次是能效比，，，，，，，，指机能和功耗之间的关系，，，，，，，，较高的能效比暗示芯片可能在一样推算机能下亏损较少的能量，，，，，，，，削减了能源亏损和发热问题。。。。。。好比运算功耗2 TOPS/W暗示该芯片将可能以每瓦特2 TOPS的速度进行推算。。。。。。

最后是存储的容量和带宽，，，，，，，，高存储带宽能够加快数据传输和接见速度，，，，，，，，提高芯片的整体机能，，，，，，，，而大容量的能够支持更复杂的模型和数据集。。。。。。好比在芯片内嵌MCRAM存储架构，，，，，，，，通过将多个存储芯片汇总到一个统一的接口上，，，，，，，，实现了存储容量的扩大和高带宽的接见。。。。。。

AI利用的硬件适配

AI利用对芯片的选择凭据具体利用的需要和算法的特点进行衡量和决策，，，，，，，，综合思考处置能力、能效、存储、并行处置能力以及可编程性等成分，，，，，，，，能够蕴含CPU、NPU、GPU、DSP、FPGA等。。。。。。CPU合用于处置串行工作和逻辑操作。。。。。。NPU是专门用于处置神经网络推算的芯片，，，，，，，，能够提供高效且低功耗的深度进建推算能力。。。。。。GPU是具备较强并行处置能力的芯片，，，，，，，，合用于对大规模数据进行并行推算的AI工作，，，，，，，，例如深度进建中的神经网络训练和推理。。。。。。DSP合用于音频、语音处置和移动设备等嵌入式AI场景。。。。。。而FPGA则合用于高机能推算、加快器设计和优化以及急剧原型开发等必要定造硬件和高度矫捷性的AI利用。。。。。。

为了更直观地展示分歧硬件和AI利用的匹配性，，，，，，，，本文随机选了6款分歧芯片的个性进行注明。。。。。。

第一款芯片为通用CPU：“双核Cortex-A7 SMP架构，，，，，，，，每个内核内嵌NEON向量处置单元以及32KB的L1指令缓存和数据缓存，，，，，，，，工作频率最高可达1GHz，，，，，，，，拥有128位的AXI矩阵总线”。。。。。。此芯片固然带有L1缓存和NEON指令集，，，，，，，，但是缓存相对较幼，，，，，，，，只适合处置一些轻量级的工作和幼型模型，，，，，，，，1GHz的主频和AXI矩阵总线在高速数据传输方面有优势，，，，，，，，凭据以上信息此款芯片适合较单一的图形处置工作、语音鉴别工作，，，，，，，，以及规模较幼且推算需要相对较低文本分类或感情分析模型。。。。。。

第二款芯片为低端NPU：“4个支持NT8（8位整数）推算的Multiply-Accumulate单元，，，，，，，，在12MHz的时钟频率下可能提供96 MOPS的机能，，，，，，，，同时带有低功耗神经网络处置单元LP_NPU”。。。。。。此芯片机能较低，，，，，，，，不适合处置大型模型和算法，，，，，，，，可用于低功耗、边缘设备或嵌入式设备，，，，，，，，用于处置轻量级的AI利用，，，，，，，，蕴含如图像和视觉鉴别、语音和音频处置、天然说话处置、智能物联网节造等。。。。。。

第三款芯片为第二款的升级版：“拥有4.0~8.0 TOPS @ INT8的算力和20 TOPS/W的能效”。。。。。。此芯片能效适合处置较大的神经网络模型和算法，，，，，，，，出格是那些必要高推算密集度的工作。。。。。。这样的算力和能效能够应对较为复杂的深度进建模型，，，，，，，，如大规模的卷积神经网络（CNN）、递归神经网络（RNN）和天生匹敌网络（GAN）等。。。。。。同时，，，，，，，，高能效机能意味着处置器可能以较低的功耗提供较高的推算机能，，，，，，，，适合在资源受限的环境中运行大型模型和算法。。。。。。所以此芯片能够用于图像、说话、医疗影像以及自动驾驶和机械人有关的AI利用。。。。。。

第四款芯片为存算一体AI芯片：“0.5T OP/Sec，，，，，，，，150万参数@Int8，，，，，，，，2TOPS/W的能效，，，，，，，，MCRAM存储系统。。。。。。”此芯片适合一些较幼规模的大模型和算法，，，，，，，，出格是那些相对较单一或推算需要较低的工作，，，，，，，，好比浅层神经网络处置、轻量级的指标检测和图形处置，，，，，，，，以及嵌入式设备上的语音鉴别利用等。。。。。。

第五款芯片也为存算一体AI芯片：“1.6T OP/Sec，，，，，，，，700万参数@Int8，，，，，，，，2TOPS/W的能效，，，，，，，，MCRAM存储系统。。。。。。”此芯片适合一些特定类型的大模型和算法，，，，，，，，出格是针对推算密集型工作的利用，，，，，，，，蕴含如大规模的深度神经网络模型、必要进行大量的推算操作的推算密集型工作、高精度数据处置和自动驾驶以及机械人等实时推理场景的利用。。。。。。

第六款芯片为中高端AI芯片：“5T OP/Sec，，，，，，，，3000万参数@Int8，，，，，，，，8TOPS/W的能效，，，，，，，，MCRAM存储系统和KORU运算架构。。。。。。”此款芯片跟前面的芯片相比，，，，，，，，适合处置更大规模的大模型和算法，，，，，，，，具备更高的推算机能，，，，，，，，能够合用蕴含高分辨率图像处置、大规模的说话模型、超大规模的指标检测和图像宰割，，，，，，，，以及深度进建蹬爪用。。。。。。

边缘AI芯片的发展

随着边缘智能设备需要的不休增长，，，，，，，，将来的边缘AI芯片将迎来一个发展顶峰。。。。。。边缘AI芯片的发展方向将不成预防线出现多元化的趋向，，，，，，，，这是由于终端设备和云端业务的差距性所决定的。。。。。。边缘AI芯片必要具备高效的推算能力和低功耗个性，，，，，，，，同时必要有感知处置能力和数据加密能力，，，，，，，，为了更好地实现云边AI混合推算，，，，，，，，边缘AI芯片还必要具备不变靠得住的通讯和网络衔接能力，，，，，，，，实现边缘设备与云端的协同工作和数据共享工作。。。。。。

返回列表

上一篇：尊龙凯时科技全球最低功耗苹果Findmy规划，，，，，，，，职能平替AirTag

下一篇：【技术分享】仿生学利用之流体力学尊龙凯时·(中国区)官方网站

招贤纳士

【技术分享】云边AI实现