自托管部署 · 网页端与 ESP32 硬件同时可用

让 AI 真正听得懂、接得住、记得住的语音服务端

小智AI 服务端把「语音识别 → 大模型 → 语音合成」整条链路做成开箱即用的平台: 一套后台同时服务网页端与小智 ESP32 硬件,支持跨会话长期记忆与设备远程升级, 数据与模型密钥全部留在你自己的服务器上。

实时流式,边生成边播报 说完再听,回复不会被掐断 数据自主可控
豫剧小助手 在线 · 智能记忆已开启 实时语音
你好,我叫王建国,平时喜欢听豫剧。
您好王建国!记住了~以后有豫剧的新段子我帮您留意着。
正在为你播报…
已记住:王建国 / 豫剧 设备可远程升级 下轮会话自动带入
按句流式播报 · 说完再接你的话
LLM / TTS / ASR 三类模型分开配置
兼容小智 ESP32 开源硬件
HTTPS / WSS 全程加密传输
一键安装向导,无需改代码
核心能力

不只是「能对话」,而是把语音体验做完整

六项能力覆盖从硬件接入到长期陪伴的完整闭环,每一项都在后台有对应的开关与可视化管理。

实时语音全链路

从拾音到出声,一条链路跑完:语音活动检测 → 语音识别 → 大模型流式生成 → 按句合成 → 边播边说。

  • 流式输出即时播报,不必等整段生成完
  • 按标点智能分句,语气与停顿更自然
  • 说话中途的输入会排队,等它说完接着答

设备远程升级

后台填好固件地址与版本号,设备下次接入服务端时会自动收到升级指令,下载完自行重启生效 —— 不用把设备从墙上拆下来接 USB。

  • OTA 接口下发 WebSocket 地址与固件信息
  • 可开启主动推送,设备一接入就升级
  • 网页端与硬件端共用同一套升级配置

智能体长期记忆

由模型自动从对话里抽取「关于你的事实与偏好」,沉淀到该智能体名下,下次开聊自动带入。

  • 按「用户 + 智能体」双维度隔离存储
  • 新会话自动注入,无需重复自我介绍
  • 可在后台逐条查看、删除、一键清空

多用户独立运行

每个账号的设备、智能体、记忆与对话记录互相不可见,多租户场景也能安心共用一套服务端。

  • 所有数据表按 user_id 强制隔离
  • 越权访问返回 403,而非「悄悄给数据」
  • 设备绑定限流,避免验证码被爆破

兼容小智 ESP32 硬件

内置 OTA 配网接口与设备侧 WebSocket 协议,开源小智固件刷完即连,无需改动设备端代码。

  • OTA 自动下发 WebSocket 地址与鉴权令牌
  • 自动跟随请求协议返回 ws / wss
  • 网页端与硬件端共用同一套智能体配置

模型自由接入

语音识别、大语言模型、语音合成三类能力分开配置,任意 OpenAI 兼容服务或自建推理服务都能接。

  • 每个智能体可指定独立的模型组合
  • 支持全局默认模型,新用户自动继承
  • 一键连通性测试,先测通再上线
查看功能细节
工作原理

一句话说出去,背后经过这五步

每个连接独立运行在单独的进程里,一个用户的长回答不会拖慢另一个用户的对话。

1 拾音 16kHz 单声道 PCM,60ms 一帧持续上送
2 语音识别 识别文本实时回流,边说边出字
3 大模型生成 流式返回,配合人设与记忆上下文
4 分句合成 按标点切句,逐句转语音,不必等全文
5 边播边说 音频随生成下发,同时继续监听你的插话
实测数据

用测试结果说话,而不是用形容词

下面每一项都来自本项目在真实服务器上的自动化测试记录,可以在后台日志中复核。

17/17 设备语音链路用例通过
10/10 二进制协议版本适配用例通过
19/19 多用户隔离用例通过
15/15 全站页面回归通过
  • 设备链路测试断言「尾巴静音即收口」,不依赖设备端上报停止
  • 记忆测试直接读取发给模型的请求体,确认真被注入
  • 隔离测试用两个真实账号交叉访问,逐项验证拒绝
  • 回归测试覆盖全部控制台页面,确认改动无副作用
快速上手

三步,从注册到听见第一句话

不需要写代码。注册后按引导配置模型,就能在网页里先聊起来。

注册并登录

创建一个账号,系统会自动为你建好一个默认智能体,开箱即可用。

配置三类模型

在「模型配置」里分别填入语音识别、大语言模型、语音合成的接口地址与密钥,然后点「测试」确认连通。

开始对话

进入「智能对话」,按住麦克风说话;或把设备通过 OTA 绑定进来,用语音唤醒硬件。

需要准备什么
项目说明
服务器已部署好的小智AI 服务端
模型服务LLM / TTS / ASR 各一份 API(可用第三方,也可自建)
网页端现代浏览器,需 HTTPS 才能调用麦克风
硬件(可选)小智 ESP32 开发板 + 麦克风与喇叭
适用场景

谁在用这套服务端

个人语音助手

放在书桌上的小智音箱,用自己的模型、自己的数据,随时聊两句。

家庭多成员共用

每人一个账号,各自的智能体与记忆互不干扰,孩子和长辈各聊各的。

内容与服务问答

把领域人设写进智能体提示词,做成门店导览、展馆讲解、客服问答。

团队内部试用

私有化部署在内网,模型密钥不外流,适合小团队快速验证语音交互场景。

你可能想知道

几个高频问题

必须用小智的硬件吗?

不是。网页端可以直接对话,不需要任何硬件;硬件只是多一种使用方式。如果你已经有小智 ESP32 开源固件的设备,把它指向本服务端的 OTA 地址即可接入。

模型必须用某一个厂商的吗?

不绑定。只要接口兼容 OpenAI 的请求格式,第三方的或你自己部署的推理服务都能填进来,三类模型可以分别来自不同厂商。

我的对话数据会被拿去训练吗?

不会。数据保存在你自己的数据库里,服务端不向任何第三方回传对话内容;唯一的外部请求就是你自己配置的模型接口。

记忆功能会不会记住不该记的东西?

记忆条目在后台完全可见,可以逐条删除,也能按智能体或整库一键清空;管理员还可以全局关闭记忆或在「仅会话内记忆 / 长期记忆」之间切换。

查看全部常见问题

现在就开始,让你的设备真正会聊天

注册即可获得默认智能体,配置好模型就能开口对话。