智慧眼：构建「星辰」，探索视界

人工智能的迅速发展正在深刻改变着人类生活，人工智能已经成为国际竞争的新焦点和经济发展的新引擎。经过60多年的演进，目前的人工智能呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征。

2020年6月18日，智慧眼AI Lab正式发布并启用新一代人工智能训练推理框架--星辰，以更好地服务各垂直行业对机器视觉场景的需要。研发框架，进而开源，是智慧眼AI Lab自成立初的使命之一，目前我们完成了坚实的第一步。

人工智能从理论研究到产品化的过程涉及多个不同步骤和工具，使得人工智能开发的相关环境纷繁复杂。为了简化和优化这个过程，学术界和工业界共同努力，开发并完善了多个基础平台和通用工具，框架由此而来。对人工智能技术体系来说，框架意味着坚实的地基，是原点基石，更是持续健康发展的前提。

为什么智慧眼要自主开发框架？

目前比较受开发者认可的框架多半来自国外，如Google领导的TensorFlow、Facebook打造的pyTorch等，国内也开发了一些深度学习框架，如百度的PanddlePaddle，华为的MindSpore等等。

这些框架的强大毋庸置疑，但也有一定的局限性，比如TensorFlow、pyTorch等框架，对于机器视觉类问题来说，没有针对性的调优。

随着任务复杂度的不断提高，由于架构设计和不断更新等原因，导致这些主流框架变得繁杂，架构优化和移植愈加困难，模型的实际性能还有待提升。同时大部分框架忽略了多平台移植，这使得算法跨平台落地困难重重。

针对这些问题，智慧眼AI Lab根据机器视觉的基本任务（检测、分割和识别）出发，构建了一个高效的基于组件式训练和自动选择基本模型的人工智能训练平台AEVis。

智慧眼同时配套研发了能适用各种硬件和各种系统平台的推理框架AEBax, 使得AEVis训练模型能无缝快速地部署到各个平台。

由此，AEVis与AEBax共同组成了一款针对机器视觉场景的人工智能训练推理框架，名曰：星辰。

星辰—智视(AEVis)：训练端

AEVis基于三大新的设计理论进行开发，包括视觉相关且可定制、深度优化且自动调参、视觉任务直接融合。该训练框架采用多级分层技术构成，并深度优化内存，能有效提升模型训练效率及系统运行性能。

AEVis的框架由元算子、基模型、视觉件构成。机器视觉采用的卷积神经网络是由算子组成的一个计算网络，当前深度学习框架拥有上千种算子。AEVis将算子运算进一步分解，形成了两大类共十来种算子基石，目前神经网络常用的算子均可以使用元算子的组合进行表达。

·元算子

AEVis的元算子分成密集计算类和索引空间类。密集计算类主要使用向量优化技术，比如向量相乘，而索引空间主要使用索引重排技术，比如切分和累加。

常见的神经网络算子，如卷积、池化、全连接等操作均可由元算子组合。基于元算子组合的神经网络使得后面的学习简单统一了。比如能方便融合各种计算图，提供高效率的计算；统一管理反向计算图和自动支持求导；统一调度CPU-GPU-TPU内存，高效内存拷贝；统一管理迭代的计算图，方便融合优化。

·基模型

AEVis 不仅使得用户可以方便定义新的模型，同时还提供了丰富的内置基模型，用户可以根据各自模型进行组合，解决具体任务。

内置基模型主要有特征端和目标端，特征端包括颜色特征、形状特征和纹理特征等。

·视觉件

AEVis进一步为用户提供各种视觉件，比如实现了ResNet，VGG，Faster-RCNN，SSD，DeepLab，Mask-RCNN等多个视觉网络模型。基于视觉件，机器视觉团队可针对实际的产品需求，快速反应。

星辰—慧识(AEBax)：推理端

AEBax是业内第一个全硬件和全平台的人工智能推理框架，通过各种底层技术优化，实现多个不同硬件平台的部署落地，真正实现一次调用，处处运行。

AEBax拥有三大优点

·深度优化轻量级部署

AEBax对内通过深度优化不同的计算核，比如在移动端大量使用Neon指令集，在GPU端使用原始态的Cuda代码，来统一计算和资源，达到轻量化部署的目的。

·统一标准模型定义，支持三方平台转换

AEBax依靠定义统一的模型格式和调用接口提供给用户，用户只需编码调用一次，代码即可运行各大平台。AEBax提供了转换工具，能把传统的Caffe，pyTorch或者tensorflow下训练的模型，转换成我们支持的模型格式，简化推理和部署流程。

·完全统一API接口，适用各种平台

AEBax对外提供任务相关的一致接口，不仅支持GPU、CPU、ARM等主流硬件平台，同时也支持华为Atlas、比特大陆、寒武纪等国产芯片。

智慧开源 探索视界

国务院发布的《新一代人工智能规划》中提到，中国人工智能的发展遵循4个基本原则，分别是科技引领、系统布局、市场主导、开源开放，开源开放的重要性不言而喻。开源开放的存在，能够极大推动研发速度加快、成本节约、效益最大化，是促进人工智能技术创新和产业发展的有效路径。

回到智慧眼AI Lab的重要使命：开发框架，而后开源。智慧眼以机器视觉场景的开源框架为切入点，推出星辰，已完成坚实的第一步。

下一步，智慧眼将逐步开源星辰框架，丰富中国人工智能技术体系，为AI行业构建开放共赢的良好生态，从而为中国人工智能产业的战略发展贡献力量！