2022年AI边缘计算机器设备学习推理
随着对实时深度学习工作负载的需求不断增长，当今标准的基于云的人工智能方法不足以覆盖带宽、确保数据隐私或低延迟应用程序。因此，需要边缘计算技术将人工智能任务转移到边缘。因此，最近的边缘人工智能趋势推动了对特定人工智能硬件进行设备上机器学习推理的需求。
计算机视觉和人工智能正在改变边缘的物联网设备。在本文中，您将了解专门的人工智能硬件，也称为人工智能设备，旨在以经济高效的方式加速边缘设备上的数据密集型深度学习推理。
人工智能推理是获取神经网络模型的过程，通常通过深度学习制作，然后将其部署到计算设备（边缘智能）上。然后，该设备将处理传入的数据（通常是图像或视频），以查找和识别它已被监测识别的任何模式。
虽然深度学习推理可以在云端进行，但由于带宽、隐私问题或实时处理的需要， 边缘人工智能的需求正在迅速增长。
在靠近数据源的地方安装具有集成人工智能推理加速器的低功耗计算机可以加快响应时间并提高计算效率。此外，它需要更少的互联网带宽和图形能力。与云推理相比，边缘推理可以潜在地将获得结果的时间从几秒减少到几分之一秒。
使用边缘人工智能推理进行人员检测
使用边缘人工智能推理进行人员检测，此处使用保护隐私的人脸模糊
对专业人工智能硬件的需求
如今，企业正在将分析和商业智能扩展到更接近数据生成点。边缘智能解决方案使计算基础设施更靠近传入数据的来源。这也使他们更接近需要实时做出数据驱动决策的系统和人员。简而言之，人工智能模型在云端训练并部署在边缘设备上。
特别是在计算机视觉中，工作量很大，要计算的任务是高度数据密集型的。因此，在边缘设备上使用 AI 硬件加速有很多优势，主要是速度：
速度和性能。通过在更接近源的位置处理数据，边缘计算大大减少了延迟。最终结果是更高的速度，支持实时用例。
更好的安全实践。关键数据不需要跨不同系统传输。用户对边缘设备的访问可能受到很大限制。
可扩展性。边缘设备是人工智能系统的端点，可以不受性能限制地增长。这允许以最小的成本开始小规模。基于云的技术和边缘计算的发展使企业比以往任何时候都更容易扩展其业务。
可靠性。边缘计算将处理、存储和应用程序分布在各种设备上，使得任何单一的中断都难以破坏网络（网络攻击、DDoS 攻击、断电等）。
离线能力。基于边缘的系统即使在网络连接有限的情况下也能够运行，这是关键任务系统的关键因素。
更好的数据管理。通过边缘节点的分布式管理减少瓶颈。只有经过处理的高质量数据才会发送到云端。
隐私。敏感数据可以在本地实时处理，无需将其流式传输到云端。
人工智能加速器可以大大提高人工智能模型的设备上推理或执行速度，还可以用于执行传统 CPU 无法执行的特殊基于人工智能的任务。
最受欢迎的边缘人工智能硬件加速器
随着人工智能成为边缘计算的关键驱动力，Nvidia Jetson等硬件加速器和软件平台的结合对于运行推理模型变得越来越重要。
1.) VPU：视觉处理单元
视觉处理单元允许以高效率执行要求苛刻的计算机视觉和边缘计算人工智能工作负载。VPU 实现了电源效率和计算性能的平衡。
最流行的 VPU 示例之一是英特尔神经计算棒 2 (NCS 2)，它基于英特尔 Movidius Myriad X VPU。通过运行可编程计算策略与特定于工作负载的硬件加速并行，Movidius Myriad X 创建了一个可最大限度减少数据移动的架构环境。
英特尔 Movidius Myriad X VPU 是英特尔首款采用神经计算引擎的 VPU，这是一种用于深度神经网络推理的高度智能硬件加速器。
Myriad X VPU 可通过英特尔 Distribution of OpenVINO Toolkit进行编程。与 Myriad Development Kit (MDK) 结合使用时，可以使用预加载的开发工具、神经网络框架和 API 来实现自定义视觉、成像和深度神经网络工作负载。
2.) GPU：图形处理单元
GPU 是一种专用芯片，可以进行快速处理，尤其是处理计算机图形和图像处理。NVIDIA Jetson设备系列就是以节能和紧凑的外形为边缘带来加速 人工智能性能的设备之一。
3.) TPU：张量处理单元
TPU 是一种专门的人工智能硬件，它实现了执行机器学习算法所需的所有控制和逻辑，通常通过在预测模型上运行，例如人工神经网络 (ANN)。
Google Coral边缘 TPU是 Google 专门为在边缘运行人工智能而设计的 ASIC 。Google Coral TPU 是为边缘计算构建的工具包，可以使用本地人工智能进行生产。更具体地说，Google Coral TPU 的板载设备推理功能允许用户构建和支持各种设备上的人工智能应用程序。核心优势是极低的功耗、成本效益和离线功能。
Google Coral 设备能够运行机器学习框架（例如TensorFlow Lite、YOLO、R-CNN等）进行对象检测，以检测来自连接摄像头的视频流中的对象，并执行对象跟踪任务。