图为科技率先使用大模型技术在边缘计算机上做推理应用

2023-11-03 tuwei312 5329
近日,图为科技率先使用大模型技术NanoOWL在边缘计算机上做推理应用,遥遥领先于同行,在边缘计算行业继续突破创新。


      
图为科技成立于2011年,专注嵌入式硬件的研发与销售。主要产品有:边缘计算机和 AIOT 管理平台等。核心技术人员均有10年以上实践经验,在人工智能领域获得多项发明专利以及软件著作权。服务过435家上市公司,图为科技积极探索创新,依托12年的技术沉淀,秉承品质第一卓越服务的价值观,致力于打造边缘计算机一线品牌,为客户朋友带来最专业和安心的边缘计算服务     
什么是NanoOWL?
NanoOWL是⼀个基于OWL-ViT优化的项⽬,使⽤NVIDIA TensorRT在图为T919⼤模型算法⼀体机上实时运⾏。NanoOWL还引⼊了⼀种新的“tree detection”管道,它结合了OWL-ViT和CLIP,只需提供⽂本,就可以在任何级别上对任何东⻄进⾏嵌套检测和分类。
   
   
OWL-ViT在Jeton Orin上的性能
        
安装和使用
T919默认已经安装好Jetpack 5.1.2,对应TensorRT 5.1.2。
1.安装PyTorch
    
2.安装Torchvision

3.安装Torch2trt

4.安装Transformers库

5.安装NanoOWL包
6.其它包安装
7.安装CLIP
8.运行程序
              


       


首页
产品
案例
联系