不只是「能对话」,而是把语音体验做完整
六项能力覆盖从硬件接入到长期陪伴的完整闭环,每一项都在后台有对应的开关与可视化管理。
实时语音全链路
从拾音到出声,一条链路跑完:语音活动检测 → 语音识别 → 大模型流式生成 → 按句合成 → 边播边说。
- 流式输出即时播报,不必等整段生成完
- 按标点智能分句,语气与停顿更自然
- 说话中途的输入会排队,等它说完接着答
设备远程升级
后台填好固件地址与版本号,设备下次接入服务端时会自动收到升级指令,下载完自行重启生效 —— 不用把设备从墙上拆下来接 USB。
- OTA 接口下发 WebSocket 地址与固件信息
- 可开启主动推送,设备一接入就升级
- 网页端与硬件端共用同一套升级配置
智能体长期记忆
由模型自动从对话里抽取「关于你的事实与偏好」,沉淀到该智能体名下,下次开聊自动带入。
- 按「用户 + 智能体」双维度隔离存储
- 新会话自动注入,无需重复自我介绍
- 可在后台逐条查看、删除、一键清空
多用户独立运行
每个账号的设备、智能体、记忆与对话记录互相不可见,多租户场景也能安心共用一套服务端。
- 所有数据表按 user_id 强制隔离
- 越权访问返回 403,而非「悄悄给数据」
- 设备绑定限流,避免验证码被爆破
兼容小智 ESP32 硬件
内置 OTA 配网接口与设备侧 WebSocket 协议,开源小智固件刷完即连,无需改动设备端代码。
- OTA 自动下发 WebSocket 地址与鉴权令牌
- 自动跟随请求协议返回 ws / wss
- 网页端与硬件端共用同一套智能体配置
模型自由接入
语音识别、大语言模型、语音合成三类能力分开配置,任意 OpenAI 兼容服务或自建推理服务都能接。
- 每个智能体可指定独立的模型组合
- 支持全局默认模型,新用户自动继承
- 一键连通性测试,先测通再上线
一句话说出去,背后经过这五步
每个连接独立运行在单独的进程里,一个用户的长回答不会拖慢另一个用户的对话。
用测试结果说话,而不是用形容词
下面每一项都来自本项目在真实服务器上的自动化测试记录,可以在后台日志中复核。
- 设备链路测试断言「尾巴静音即收口」,不依赖设备端上报停止
- 记忆测试直接读取发给模型的请求体,确认真被注入
- 隔离测试用两个真实账号交叉访问,逐项验证拒绝
- 回归测试覆盖全部控制台页面,确认改动无副作用
三步,从注册到听见第一句话
不需要写代码。注册后按引导配置模型,就能在网页里先聊起来。
注册并登录
创建一个账号,系统会自动为你建好一个默认智能体,开箱即可用。
配置三类模型
在「模型配置」里分别填入语音识别、大语言模型、语音合成的接口地址与密钥,然后点「测试」确认连通。
开始对话
进入「智能对话」,按住麦克风说话;或把设备通过 OTA 绑定进来,用语音唤醒硬件。
| 项目 | 说明 |
|---|---|
| 服务器 | 已部署好的小智AI 服务端 |
| 模型服务 | LLM / TTS / ASR 各一份 API(可用第三方,也可自建) |
| 网页端 | 现代浏览器,需 HTTPS 才能调用麦克风 |
| 硬件(可选) | 小智 ESP32 开发板 + 麦克风与喇叭 |
谁在用这套服务端
个人语音助手
放在书桌上的小智音箱,用自己的模型、自己的数据,随时聊两句。
家庭多成员共用
每人一个账号,各自的智能体与记忆互不干扰,孩子和长辈各聊各的。
内容与服务问答
把领域人设写进智能体提示词,做成门店导览、展馆讲解、客服问答。
团队内部试用
私有化部署在内网,模型密钥不外流,适合小团队快速验证语音交互场景。
几个高频问题
必须用小智的硬件吗?
不是。网页端可以直接对话,不需要任何硬件;硬件只是多一种使用方式。如果你已经有小智 ESP32 开源固件的设备,把它指向本服务端的 OTA 地址即可接入。
模型必须用某一个厂商的吗?
不绑定。只要接口兼容 OpenAI 的请求格式,第三方的或你自己部署的推理服务都能填进来,三类模型可以分别来自不同厂商。
我的对话数据会被拿去训练吗?
不会。数据保存在你自己的数据库里,服务端不向任何第三方回传对话内容;唯一的外部请求就是你自己配置的模型接口。
记忆功能会不会记住不该记的东西?
记忆条目在后台完全可见,可以逐条删除,也能按智能体或整库一键清空;管理员还可以全局关闭记忆或在「仅会话内记忆 / 长期记忆」之间切换。