跳转到主内容
项目
GoAI InferenceMCPK3SFleetOffline-first

AIMA — AI Inference Managed by AI

让 AI 推理部署像安装 App 一样简单。AIMA 自动识别硬件、选择最优配置、一键部署,让每台机器都成为 AI 推理节点。

分享:
AIMA — AI Inference Managed by AI

为什么做 AIMA

部署一个 AI 模型不应该需要三天调研和一周踩坑。

今天,把模型跑起来意味着:查硬件兼容性、选推理引擎、调显存分配、写 Docker 配置、处理驱动冲突……每换一台机器,一切从头来过。这个过程阻碍了 AI 从实验室走向真正的生产环境。

AIMA 的答案是:让 AI 自己管理 AI 推理。 你只需要告诉它"跑这个模型",剩下的一切——硬件检测、引擎选择、配置优化、容器编排——全部自动完成。

产品定位

AIMA 是一个 AI 推理基础设施自动化平台,面向需要在异构硬件上快速部署和管理 AI 模型的团队。

  • 对于 AI 工程师:告别手动配置,专注于模型本身
  • 对于 运维团队:一个二进制管理所有设备,从单机到集群统一操控
  • 对于 企业决策者:充分利用已有硬件资产,国产芯片和国际芯片一视同仁

核心价值

插上即用

一个 Go 二进制,零依赖。放到任何机器上运行,它会自动发现 GPU(NVIDIA、AMD、华为昇腾、海光 DCU、Apple Silicon)、识别最优配置、部署推理引擎。不需要你懂 CUDA 版本,不需要你写 Dockerfile。

知识驱动,而非代码驱动

传统方案为每种引擎、每种硬件写专门的适配代码。AIMA 用 YAML 知识库取代了这些代码分支——新增硬件或引擎只需要添加一份描述文件,而不是改代码。这让系统能快速跟进 AI 硬件的爆发式增长。

让 AI Agent 掌控一切

AIMA 暴露 56 个 MCP 工具接口,AI Agent 可以像人类运维一样完整操控硬件、模型、引擎、部署和集群。这不只是自动化,而是让机器学会自主运维。

离线优先,从边缘到数据中心

所有核心功能零网络依赖。无论是工厂车间的边缘设备,还是无法连接外网的政企机房,AIMA 都能完整工作。网络只是增强,不是前提。

已验证的硬件生态

厂商已测试设备SDK
NVIDIARTX 4060、RTX 4090、GB10(Grace Blackwell)CUDA
AMDRadeon 8060S(RDNA 3.5)、Ryzen AI MAX+ 395ROCm / Vulkan
华为Ascend 910B1(8× 64GB HBM,鲲鹏 920 aarch64)CANN
海光BW150 DCU(8× 64GB HBM)DCU
AppleM4Metal
标签:#Go#AI Inference#MCP#K3S#Fleet#Offline-first