MNN 是一个轻量级的深度学习端侧推理引擎,核心解决深度神经网络模型在端侧推理运行问题,涵盖深度神经网络模型的优化、转换和推理。目...
2020-12-10 18:14
本章记录下使用 C++ 进行佩奇检测 tflite 模型推理的过程。
2023-12-28 09:08
今天上午据软件绿色联盟消息,阿里MNN已经接入华为 HiAI生态,正式支持华为NPU。
2019-12-23 14:04
MLC-LLM部署在各种硬件平台的需求,然后我就开始了解MLC-LLM的编译部署流程和RWKV World模型相比于MLC-LLM已经支持的Raven系列模型的特殊之处。 MLC-LLM的编译
2023-09-04 09:22
Python 和 C++ API 向大家展示了的 RT-DETR 模型的部署流程,并分别展示了是否包含后处理的模型部署流程
2023-11-10 16:59
象的位置和边界。本文将介绍如何使用 OpenVINO C++ API 部署 FastSAM 模型,以实现快速高效的语义分割。在前文中我们发表了《基于 OpenVINO Python API 部署
2023-11-17 09:53
需要掌握什么技术,学好C++很重要,起码能看懂各种关于部署精巧设计的框架(再列一遍:Caffe、libtorch、ncnn、mnn、tvm、openvino、tensorrt,不完全统计,我就列过我用过的)。
2022-11-22 10:41
ONNXRUNTIME是主流的深度学习部署框架之一,支持ONNX格式模型在CPU、GPU、ARM等不同硬件平台上加速推理,支持C++、Python、Java、C#、JS等不同语言SDK。
2023-07-13 14:46
系统集成部署流程图 为保证在无互联网的情况下,可正常搭建、构建项目,并自动化部署项目,所以选择Nexus+Jenkins+Maven+Gitlab集成环境部署方案。 使
2024-08-21 10:24
最近因为工作需要,要把pytorch的模型部署到c++平台上,基本过程主要参照官网的教学示例,期间发现了不少坑,特此记录。
2022-10-26 14:36