整理一下ROS2的架构,我从 RMW 摸到 DDS,从 DDS 摸到 RTPS 的发现机制,把中间件这一层整理了一遍。这篇按层次记下来,重点写默认的 Fast DDS。
ROS 2 是怎么用上 DDS 的
rclcpp / rclpy │ rcl 客户端库共用层 │ rmw 中间件抽象接口 │Fast DDS / Cyclone DDS / Connext 中间件实现 │ RTPS 线上协议ROS 2 自己不碰传输:序列化、发现、QoS 全部交给 DDS 实现。rmw 是抽象接口,rosidl 把 .msg / .srv 生成 C++ 结构和 IDL,中间件再拿 IDL 生成自己的序列化代码。业务代码和中间件解耦,换 vendor 不用改代码,代价是中间件的复杂度全留给了使用者。我这次就撞在这一层。
RMW_IMPLEMENTATION | 实现 |
|---|---|
rmw_fastdds_cpp | eProsima Fast DDS,默认。Jazzy 起用这个名字,Humble 及以前叫 rmw_fastrtps_cpp |
rmw_fastdds_dynamic_cpp | 同上,但类型在运行时反射,ros2 topic echo 这类不依赖编译期类型的工具靠它 |
rmw_cyclonedds_cpp | Eclipse Cyclone DDS |
rmw_connextdds | RTI Connext |
三层里的对象都能对上号。我按默认的 Fast DDS 整理了一张对应表:
| ROS 2 概念 | rcl 层 | rmw 接口 | Fast DDS 实体 |
|---|---|---|---|
| context | rcl_context_t | rmw_context_t | 一个 context 一个 DomainParticipant |
| node | rcl_node_t | rmw_node_t | 不单独建实体,挂到 context 的 DomainParticipant 上,同 context 的 node 共享 |
| publisher / subscription | rcl_publisher_t / rcl_subscription_t | rmw_publisher_t / rmw_subscription_t | Publisher / Subscriber 加一对 DataWriter / DataReader |
| topic | 名字 + 类型 | 转成类型描述 + QoS | Topic |
| service / client | rcl_service_t / rcl_client_t | 两对匿名 pub / sub | 请求一对端点、响应一对端点 |
| timer | rcl_timer_t | 不经过 rmw | rcl 层自己管 |
RMW 具体做了什么
rmw 的接口在 rmw/rmw.h,每个 vendor 自己实现一遍。我读下来的职责有这么几块:
- 实体生命周期:
rmw_create_node、rmw_create_publisher这类调用翻译成 vendor 的实体创建。Fast DDS 里 DomainParticipant 在 context 创建时就建好,node 只往上面挂。 - QoS 转译:rcl 传下来的
rmw_qos_profile_t里有 reliability、durability、history、depth 这些字段,rmw 转成 vendor 自己的 QoS 结构。转不过去的组合在创建阶段就报错。 - 序列化:
rmw_serialize/rmw_deserialize把 rosidl 生成的类型编成 CDR 字节流。dynamic 版(rmw_fastdds_dynamic_cpp)用运行时反射的类型描述,ros2 topic echo不需要编译期类型就是靠它。 - graph 查询:
ros2 topic list走rmw_get_topic_names_and_types,底层读 DDS 内置 topic 上的发现数据。 - 等待机制:executor 的 wait set 最终落到
rmw_wait,vendor 把它映射成 DDS WaitSet 加 guard condition。deadline、liveliness 这类事件回调也是 guard condition 触发的。 - 零拷贝发布:loaned message 那套接口,数据直接从用户的 buffer 进中间件。
业务逻辑全在 rcl 之上,rmw 只做翻译。这也是换 RMW_IMPLEMENTATION 不用改业务代码的原因。
DDS 的实体和一条消息的旅程
Fast DDS 里 DomainParticipant 是整个 DDS 通信的入口。创建时要指定 domain id,domain 之间的 participant 完全隔离,互不可见。它自带一对内置的发现端点,周期性地把自己的信息广播出去;名字默认取进程名(RTPS 规范的建议)。Publisher / Subscriber / Topic 全从它创建,它销毁时下面实体级联销毁。对应到 ROS 2,一个 context 一个 DomainParticipant,node 共享它,所以 context 开得越多,发现流量和端口占用就越大。
Publisher / Subscriber 管一组 DataWriter / DataReader,DataWriter 才对应 ROS 2 的一个 publication。Topic 由名字加类型标识。
.msg ──rosidl──▶ .idl ──Fast DDS──▶ C++ 类型 + CDR 序列化线上走 CDR。Fast DDS 2.x 可选 XCDR2,对齐方式和 XCDR1 不一样,跨 vendor 混用时保持默认最省事。
RTPS:DDS 的线上协议
RTPS 是 DDS 的线上协议,全称 Real-Time Publish-Subscribe,规范编号 DDSI-RTPS。DDS 规定 API 和 QoS 语义,RTPS 规定字节在线上怎么摆。不同 vendor 的实现能互相发现、互相通信,靠的就是都实现这一份线上协议。
RTPS 实体和 DDS 一一对应:RTPS Participant 对应 DomainParticipant,RTPS Writer / Reader 对应 DataWriter / DataReader。除了用户建的那些,每个 participant 还自带一组内置端点,SPDP 和 SEDP 就是通过这些内置 Writer / Reader 跑的。
线上一个 RTPS Message 由 header 加若干 submessage 组成,常见的几种:
| submessage | 干什么 |
|---|---|
| DATA | 用户数据,带 writer 自己的序列号 |
| HEARTBEAT | writer 通报自己已经写到哪个序列号 |
| ACKNACK | reader 回执:哪些收了、哪些丢了 |
| GAP | 通知 reader 某些序列号不用等了 |
| DATA_FRAG | 大消息分片 |
| INFO_TS / INFO_DST | 时间戳和目标地址信息 |
reliable 的握手就是 DATA → HEARTBEAT → ACKNACK 来回,丢了 writer 补发。传输默认 UDP 单播加组播,locator 用地址加端口标识;Fast DDS 还能切 TCP 和共享内存。
发现:为什么互相看不见
Simple Discovery 分两个阶段,都是 RTPS 内置端点在做:
- SPDP(Simple Participant Discovery Protocol):每个 participant 周期性地把 ParticipantDATA 广播出去,里面有 participant 的 GUID、名字、自己的 locator 列表、lease duration。对端收到就把这个 participant 记进本地数据库。新 participant 上线时也会向已知地址发单播主动介绍自己,这是它能提前被看见的原因。
- SEDP(Simple Endpoint Discovery Protocol):participant 互相认识之后,交换各自的端点信息——topic 名、类型、QoS,走 DDS 内置的 DCPSPublication / DCPSSubscription 这些 topic。
SPDP 的周期通告默认 30 秒一次、租约 20 秒(Fast DDS 默认,不同 vendor 数值不同)。对端没续约、租约到期,就把它从数据库里删掉。刚启动的几秒里互相看不见,往往是 SPDP 的第一轮通告还没到,等一个周期就好。
发现端口是算出来的:
| 流量 | 端口 |
|---|---|
| SPDP 组播 | 7400 + 250×domain |
| SPDP 单播 | 7401 + 250×domain |
| 用户流量组播 | 7402 + 250×domain |
| 用户流量单播 | 7403 + 250×domain |
ROS_DOMAIN_ID 推荐范围 0~101 就是从这里来的。
真正「一直看不见」,我排下来常见就这几条:
- 两边
ROS_DOMAIN_ID不一致 - 组播不通:不同网段、交换机关了组播、容器网络。SPDP 靠组播扩散,组播没了就只剩单播路径
ROS_LOCALHOST_ONLY=1时只走回环,板子和 PC 被隔开- 防火墙挡了上面那四个端口
排查时分两层看:SPDP 没通,participant 互相不认识,重点看组播和端口;SPDP 通了 SEDP 没结果,就是端点没配上,用 ros2 topic info -v 对照双方的类型名和 QoS。先看端口有没有监听:ss -lun | grep 740。查之前先 ros2 daemon stop 把 daemon 缓存清掉,daemon 看到的是它自己那个图,它的缓存会误导人。
组播靠不住的环境,用 discovery server:
fastdds discovery --server-id 0 --ip-address 192.168.1.10 --port 11811export ROS_DISCOVERY_SERVER=192.168.1.10:11811Humble 起 ROS 2 直接支持 ROS_DISCOVERY_SERVER。也可以走 initial peers 静态对表,在 XML 里把对端地址写死。
QoS:丢帧是设计好的行为
ROS 2 的 QoS 分两层:代码里能设的策略(rmw_qos_profile_t 里的字段),和 XML 里才能开出来的完整 DDS 策略。先把代码层那张总表放这里:
| ROS 2 QoS | DDS QoS | 我碰到的场景 |
|---|---|---|
RELIABLE | reliable | 命令、服务、关键状态,有 ACK / NACK 和重传 |
BEST_EFFORT | best_effort | 相机、雷达点云、高频传感器,只发一次 |
| History + Depth | KEEP_LAST(n) / KEEP_ALL | depth 是读写两端的队列长度 |
VOLATILE | volatile | 默认,后来的订阅者收不到旧数据 |
TRANSIENT_LOCAL | transient_local | 地图这类低频话题,让 late joiner 补一发 |
| Liveliness / Deadline | 同名 | 检测对端挂没挂、超时触发回调 |
我第一次配相机话题时用 reliable 发大图,网络一抖就重传,把后面的帧全堵住。改成 best_effort + keep_last(1) 之后偶尔花一帧,但不会卡死。这种场景丢帧本来就是 best_effort 的设计,换来的是不背重传的包袱。
代码层能配的每个策略
ROS 2 API 暴露的就是 rmw_qos_profile_t 里的字段,逐个拆开:
| 策略 | 取值 | ROS 2 默认 | 干什么 | 不满足时的后果 |
|---|---|---|---|---|
| Reliability | RELIABLE / BEST_EFFORT | RELIABLE | 要不要 ACK / NACK 和重传 | best_effort 下样本静默丢失 |
| History | KEEP_LAST(n) / KEEP_ALL | KEEP_LAST | 队列保留多少历史样本 | keep_last 队列满时最旧的被顶掉;keep_all 资源耗尽时新样本进不来 |
| Depth | 整数 | 10(rclcpp) | KEEP_LAST 时的队列深度 | 只对 KEEP_LAST 有意义 |
| Durability | VOLATILE / TRANSIENT_LOCAL | VOLATILE | late joiner 能不能收到旧样本 | volatile 下晚订阅的拿不到历史 |
| Deadline | 时长 | 关(infinite) | 两次发布的最大间隔承诺 | 超时触发 deadline missed 回调,发布订阅两端都有 |
| Lifespan | 时长 | 关(infinite) | 样本存活时间,过期作废 | 过期样本在 reader 侧被过滤、writer 侧被丢弃 |
| Liveliness | AUTOMATIC / MANUAL_BY_TOPIC + lease | 关(lease 无限) | 声明「发布端还活着」 | 租约内没断言,reader 判定发布端失联 |
Liveliness 单拎出来说:AUTOMATIC 下 participant 的 SPDP 通告顺带就把活性断言了,一行代码不用写;MANUAL_BY_TOPIC 要发布端显式调 assert_liveliness(rcl 层是 rcl_publisher_assert_liveliness,rclcpp 较新版本包了一层)。它解决的是「没数据」和「节点死了」分不清的问题,下位机可能静默死掉的话题靠租约超时来区分。
Deadline 的事件回调配在 SubscriptionOptions / PublisherOptions 的 event_callbacks 里,除了 deadline 还有 liveliness、incompatible_qos 这些,超时了在回调里处理。
XML 才能开出来的策略
Ownership、Partition、Destination Order 这些在 rmw_qos_profile_t 里没有字段,要 Fast DDS 的 XML profile 才开得出来:
| 策略 | 取值 | 干什么 | 参与匹配吗 |
|---|---|---|---|
| Ownership | SHARED / EXCLUSIVE + strength | 多个发布者写同一个 topic 时,EXCLUSIVE 只让 strength 最高的那个生效 | 是,kind 要一致 |
| Partition | 名字列表,支持通配符 | 逻辑分组,名字有交集的 pub / sub 才互相看见 | 是 |
| Destination Order | BY_RECEPTION_TIMESTAMP / BY_SOURCE_TIMESTAMP | 乱序到达时按哪个时间戳交付 | 是 |
| Time Based Filter | minimum_separation | 过滤到达太密的样本 | 是 |
| Latency Budget | 时长 | 给中间件的调度提示,不强制 | 否 |
| Transport Priority | 整数 | 传输层优先级提示 | 否 |
| Data Representation | XCDR1 / XCDR2 | 线上编码版本 | 是,两端要对得上 |
| Publish Mode | SYNCHRONOUS / ASYNCHRONOUS(Fast DDS 特有) | 异步发布走后台线程,可配 flow controller 限流 | 否 |
| Resource Limits | max_samples 等(Fast DDS 特有) | 内部队列上限 | 否 |
匹配规则:offer 盖得住 request
每个策略在发布端是 offer,订阅端是 request,两端逐项比:
| 策略 | 兼容规则 | 例子 |
|---|---|---|
| Reliability | offered ≥ requested | 发布 RELIABLE 满足订阅 BEST_EFFORT;反向 unmatched |
| Durability | offered ≥ requested | TRANSIENT_LOCAL 满足 VOLATILE |
| History | offered ≥ requested | KEEP_ALL 满足 KEEP_LAST;反向 unmatched |
| Depth | requested ≤ offered | 订阅要 5、发布只给 1,unmatched |
| Deadline | offered ≤ requested | 发布承诺 100ms,订阅要求 500ms,满足 |
| Lifespan | offered ≤ requested | 发布端过期更快才满足 |
| Liveliness kind | offered ≥ requested | MANUAL_BY_TOPIC 满足 AUTOMATIC |
| Liveliness lease | offered ≤ requested | 发布断言 1s,订阅要求 3s,满足 |
| Ownership | kind 必须一致 | EXCLUSIVE 对 SHARED 直接不匹配;同为 EXCLUSIVE 时按 strength 裁决 |
| Partition | 表达式有交集 | cam* 和 camera1 匹配,lidar* 不匹配 |
| Destination Order | offered ≥ requested | 发布源时间戳序满足订阅接收序 |
记两条就够:定性类的(reliable、transient_local、keep_all、manual_by_topic)发布端要「更高级」;数值类的(depth、deadline、lifespan、lease)发布端要「更紧」。
不匹配不算报错,两端就是 unmatched,数据一条不流。ROS 2 会打一次 incompatible QoS 的 warning,ros2 topic info -v 里能看到双方各自的 profile,对照上表很快能定位。QoS 是实体创建时的属性,建好之后改不了,要改就得重建 pub / sub。
三个配置入口
代码里,C++ 用 rclcpp::QoS:
auto qos = rclcpp::QoS(5) .best_effort() .transient_local() .deadline(std::chrono::milliseconds(100));还有现成的预置 profile:
| 预置 | reliability | durability | history / depth |
|---|---|---|---|
SystemDefaultsQoS | RELIABLE | VOLATILE | 系统默认 |
SensorDataQoS | BEST_EFFORT | VOLATILE | keep_last(5) |
ParametersQoS | RELIABLE | VOLATILE | keep_last(1000) |
ServicesDefaultQoS | RELIABLE | VOLATILE | keep_last(10) |
Python 对应的是 rclpy.qos:
from rclpy.qos import QoSProfile, ReliabilityPolicyqos = QoSProfile(depth=5, reliability=ReliabilityPolicy.BEST_EFFORT)不动代码的方式是运行时用 XML 覆盖,Fast DDS 支持按 topic 名匹配 profile:
<dds xmlns="http://www.eprosima.com"> <profiles> <qos profile_name="camera_best_effort"> <topic_filter> <expression>camera/*</expression> <subscriber_qos> <reliability><kind>BEST_EFFORT</kind></reliability> </subscriber_qos> <publisher_qos> <reliability><kind>BEST_EFFORT</kind></reliability> </publisher_qos> </topic_filter> </qos> </profiles></dds>export RMW_FASTDDS_USE_QOS_FROM_XML=1export FASTRTPS_DEFAULT_PROFILES_FILE=/path/to/qos.xmlexpression 是 fnmatch 风格的 topic 名模式,匹配上的 pub / sub 用 XML 里的 QoS,没匹配上的走默认。好处是不用重新编译,调试时改 XML 重启节点就能试。
XML 配置:能配什么、怎么进到节点
先说边界。rmw_fastdds 用 XML 只有两条路:participant 固定查一个名叫 participant_profile 的 profile,topic 的 QoS 覆盖走 <qos> 里的 topic_filter。其它 profile 类型(data_writer、data_reader)是 Fast DDS 原生用法,我在 rmw_fastdds 的代码里没找到按名字取它们的路径,写了也不生效。
XML 里能配什么
顶层 profile 元素就这几种:
| XML 元素 | 干什么 | ROS 2 里的对应 |
|---|---|---|
<participant profile_name="participant_profile"> | DomainParticipant 的全部属性:发现配置、端口、传输 | 一个 context,进程级 |
<qos> + <topic_filter> | 按 topic 名模式覆盖 QoS | pub / sub 创建时命中 |
<data_writer> / <data_reader> | 原生 DDS 端点的完整 QoS(rmw_fastdds 不按名查) | — |
<types> | 动态类型注册 | 一般不碰 |
participant_profile 的 <rtps> 子树里,常用的配置项:
| 配置项 | XML 位置 | 干什么 |
|---|---|---|
| 发现协议 | builtin/discovery_config/discoveryProtocol | SIMPLE / SERVER / CLIENT / SUPER_CLIENT,切 discovery server 或静态发现 |
| 通告与租约 | discovery_config/leaseDuration、leaseAnnouncement | 改 SPDP 通告周期和判定死亡的时长 |
| 静态对端 | discovery_config/initialPeersList | 组播不通时写死对端地址 |
| 静态 EDP | discovery_config/static_edp_xml_config | 用外部 XML 把端点静态描述,连 SEDP 都不跑 |
| 端口 | rtps/port | 改端口基址,绕开端口冲突或防火墙 |
| 传输 | rtps/userTransports | UDPv4 / TCPv4 / SharedMem,各带自己的参数 |
| 名字 | rtps/name | participant 名字;domainId 一般不动,ROS 2 里由 ROS_DOMAIN_ID 决定 |
<qos> 里能放的标签,和前面两张 QoS 表一一对应,这里是 XML 标签名和备注:
| XML 标签 | 配什么 | 备注 |
|---|---|---|
reliability/kind + max_blocking_time | 可靠性 | RELIABLE / BEST_EFFORT |
history/kind + depth | 历史与深度 | KEEP_LAST / KEEP_ALL |
durability/kind | 持久性 | VOLATILE / TRANSIENT_LOCAL |
deadline/period | 最大发布间隔 | 超时触发回调 |
lifespan/duration | 样本寿命 | 过期作废 |
liveliness/kind + lease_duration | 活性 | AUTOMATIC / MANUAL_BY_PARTICIPANT / MANUAL_BY_TOPIC |
ownership/kind + ownership_strength/value | 归属 | EXCLUSIVE 时比 strength |
partition/names/name | 逻辑分区 | 支持通配符 |
destination_order/kind | 交付顺序 | BY_RECEPTION_TIMESTAMP / BY_SOURCE_TIMESTAMP |
time_based_filter/minimum_separation | 最小到达间隔 | reader 侧 |
latency_budget/duration | 调度提示 | 不强制 |
transport_priority/value | 传输优先级 | 提示 |
resource_limits/max_samples 等 | 内部上限 | 队列长度、实例数 |
data_representation | 编码版本 | XCDR1 / XCDR2 |
publish_mode/kind | 同步 / 异步发布 | writer 侧,Fast DDS 特有 |
data_sharing/kind + max_domains | 共享内存开关 | Fast DDS 特有 |
disable_positive_acks/enabled + duration | ACK 节流 | reader 侧,Fast DDS 特有 |
data_writer / data_reader 元素上还有一个 historyMemoryPolicy 属性(PREALLOCATED / PREALLOCATED_WITH_REALLOC / DYNAMIC / DYNAMIC_REUSABLE):预分配适合消息数和大小都确定的实时场景,动态分配适合消息数不确定的场景。异步发布要限流,顶层还有 <flow_controller_descriptor_list>,writer 引用它的名字。
一个完整的例子,改发现租约加一条 QoS 覆盖规则:
<dds xmlns="http://www.eprosima.com"> <profiles> <participant profile_name="participant_profile"> <rtps> <builtin> <discovery_config> <leaseDuration><sec>20</sec></leaseDuration> <leaseAnnouncement><sec>30</sec></leaseAnnouncement> </discovery_config> </builtin> </rtps> </participant> <qos profile_name="cmd_override"> <topic_filter> <expression>cmd/*</expression> <subscriber_qos> <reliability><kind>RELIABLE</kind></reliability> <history><kind>KEEP_LAST</kind><depth>10</depth></history> </subscriber_qos> </topic_filter> </qos> </profiles></dds>XML 是怎么进到节点的
入口是两个环境变量,配合用:
| 环境变量 | 取值 | 作用 |
|---|---|---|
RMW_FASTDDS_USE_QOS_FROM_XML | 0(默认) | rmw 忽略 XML |
| 1 / 2 | 加载生效:topic_filter 命中的 topic 用 XML QoS 覆盖代码 QoS,participant 用 participant_profile;1 和 2 的差别在没找到匹配 profile 时的回退行为,细节看 rmw_fastdds 的 README | |
FASTRTPS_DEFAULT_PROFILES_FILE | XML 路径,分号分隔多个 | 告诉 Fast DDS 去哪个文件加载 |
整条链路是这样的:
进程启动,第一个 context 创建 │ rmw 检查 RMW_FASTDDS_USE_QOS_FROM_XML ▼DomainParticipantFactory::get_instance() │ 读 FASTRTPS_DEFAULT_PROFILES_FILE,load_XML_profiles_file() 解析 ▼profile 库(按 profile_name 存进工厂) │ rmw 创建 participant → 按 "participant_profile" 查 │ rmw 创建 writer / reader → topic 名逐个过 topic_filter 的 expression ▼Fast DDS 实体按 profile 创建,QoS 在实体创建时固化几个容易踩的点:
- 加载是进程启动时一次性的,XML 语法错或
participant_profile不存在会直接报错起不来,日志里能定位 - QoS 在实体创建时固化,运行中改 XML 不生效,要重启进程
- XML 和代码 QoS 冲突时的覆盖规则,见下一小节
- 生效没有验证捷径,
ros2 topic info -v看最终 QoS 最直观
XML 和代码的 QoS 冲突了会怎样
规则一句话:topic 命中 topic_filter 时,XML 的 QoS 直接覆盖代码里 rclcpp::QoS 的设置,整个替换,不逐字段合并。这个「整个替换」有个容易踩的坑:XML 里没写的字段会回落成 Fast DDS 的默认值,而不是代码里设的值。比如代码里 depth 是 10,XML 只写了 reliability,那 history 就变成 DDS 默认的 KEEP_LAST(1)。
覆盖是静默的,不打日志不报警。RMW_FASTDDS_USE_QOS_FROM_XML 是进程级变量,所以同一条 topic 的两端可以一端吃 XML、一端吃代码。两个不同源的 QoS 对不上就是 unmatched,和普通 QoS 不匹配的表现一样:ROS 2 打一次 incompatible QoS 的 warning,之后静默不互通。我碰过一次:publisher 进程被 XML 覆盖成 best_effort,subscriber 代码里要 reliable,两边各自看着都对,就是不匹配。查这类问题先 ros2 topic info -v 看两边最终 profile。
没命中 topic_filter 的 topic 照常用代码 QoS(取 1 和 2 时对「没命中」的回退行为有差别,细节在 rmw_fastdds 的 README)。规则我记成:XML 命中 > 代码 QoS > Fast DDS 默认。
Fast DDS 自己的那套
- DataSharing:同机且 QoS 兼容的端点走共享内存,绕开 UDP 回环。文档里写了几条限制:要 KEEP_LAST 有界历史,TRANSIENT_LOCAL 走不了,domain ID 只在 0~43 生效,不满足自动退回 UDP。池子有上限,高频大消息会报 SampleRejected,这时候要调 XML 里的 pool 大小。
- 两层 intra-process,容易混:rclcpp 的 intra-process comms 在 rmw 之上,启用后同一个节点容器内的 pub / sub 根本不进 DDS;Fast DDS 的 intra-process delivery 在 DDS 层内。排查时先分清流量走的是哪一层。
我常用的排查命令
ros2 doctor --reportros2 topic info /scan -v # QoS 和 matched 数量ss -lun | grep 740 # 发现端口有没有监听RMW_IMPLEMENTATION=rmw_cyclonedds_cpp ros2 topic list # 临时换 vendor 对照export RMW_FASTDDS_USE_QOS_FROM_XML=1 # 用 XML 覆盖 QoSRMW_IMPLEMENTATION 是进程级环境变量,改的是每个节点自己的中间件,daemon 那边要另外处理。