483 字
2 分钟
轮椅机器人

我设计了一款智能轮椅机器人,让轮椅不再只是代步工具,而是一位 “形影不离的 AI Agent “。设计参考REX大佬

硬件上,机器人搭载高分辨率摄像头和专业麦克风,持续采集多模态环境数据。RTSP 服务配合并行程序架构,实现低延迟通信,让机器人能实时感知周围环境。机械臂配合轮毂电机底盘,完成自主移动与物品交互——递水、取物、辅助就坐,都能做到。

用户只需自然地说一句:

“我想往前走” “我想喝水” “我想静静”

机器人就能听懂并执行,不用摇杆、不用按钮、不用背指令。 SenceVoice 语音识别模型支持方言理解与情绪识别,还有掌声/哭声等无语义内容理解。CoseVoice模型则输出更有语气的语音。

执行层面,轮椅机器人采用五自由度机械臂结构:

  • 基座旋转关节绕 Z 轴旋转,实现水平转向
  • 肩部俯仰关节绕 Y 轴旋转,控制大臂抬放
  • 肘部俯仰关节绕 Y 轴旋转,完成屈伸动作
  • 腕部旋转关节绕 X 轴旋转,精细调节手部朝向
  • 腕部俯仰关节绕 Y 轴旋转,配合完成抓取与放置

通信架构上,控制指令采用 WebSocket 实时传输,音频流上行使用 UDP over RTP 方案实现快速采集,下行使用基于 Gstreamer 的 RTSP 方案实现可靠播放。整条链路兼顾低延迟与稳定性。

意图理解端则采用 Ollama 本地部署 Qwen2.5 0.7B 小模型进行实时推理——离线、低功耗、响应快,无需依赖云端。更支持联网搜索,遇到知识盲区也能即时获取信息。

轮椅机器人
https://fuwari.vercel.app/posts/wheelchair-robot/
作者
Hachi
发布于
2025-07-01
许可协议
CC BY-NC-SA 4.0
ROS 2 开发常用命令与节点入门
手语机器人