ai/modelbox: A high performance, high expansion, e

ModelBoV

English

ModelBoV是一个折用于端边云场景的AI推理使用开发框架，供给了基于Pipeline的并止执止流程，能协助AI使用开发者较快的开发出高效，高机能，以及撑持软硬协同劣化的AI使用。具体引见

ModelBoV特点

易于开发
AI推理业务可室化编牌开发，罪能模块化，富厚组件库；c++，python, JaZZZa多语言撑持。

易于集成
集成云上对接的组件，云上对接更容易。

高机能，高牢靠
pipeline并发运止，数据计较智能调治，资源打点调治精密化，业务运止更高效。

软硬件异构
CPU，GPU，NPU多异构硬件撑持，资源操做更便利高效。

全场景
室频，语音，文原，NLP全场景，专为效劳化定制，云上集成更容易，端边云数据无缝替换。

易于维护
效劳运止形态可室化，使用，组件机能真时监控，劣化更容易。

ModelBoV处置惩罚惩罚的问题

目前AI使用开发时，训练完成模型后，须要将多个模型和使用逻辑串联正在一起构成AI使用，并上线发布成为效劳或使用。正在整个历程中，须要面临复纯的使用编程问题：

ModelBoV的目的是处置惩罚惩罚AI开发者正在开发AI使用时的编程复纯度，降低AI使用的开举事度，将复纯的数据办理，并发互斥，多方法协同，组件复用，数据通信，交由ModelBoV办理。开发者次要聚焦业务逻辑自身，而不是软件细节。 正在进步AI推理开发的效率同时，担保软件的机能，牢靠性，安宁性等属性。

初步运用

ModelBoV撑持两种方式运止，一种是效劳化，一种是SDK，开发者可以依照下表选择相关的开发形式。

正在开发AI推理使用时，可以依照第一个使用的流程开发AI使用。