mcx/mcx_kaiti
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

分析

Browse Source
This commit is contained in:
mchmch11
2026-06-23 16:52:23 +08:00
parent 307be6a6a5
commit baedc08db5
2 changed files with 4 additions and 9 deletions
Download Patch File Download Diff File Expand all files Collapse all files
proposal.pdf
BIN
View File
Binary file not shown.
text/03_method.tex
+4 -9
View File
@@ -77,18 +77,16 @@ T_{k+1}=T_k+\min\left(TL_{k}^{(c)}, TL_{k}^{(n)}\right),
\end{equation} \end{equation}
从而确保两个仿真器可以安全地将各自本地时钟推进至$T_{k+1}$，而不会违反时序因果性。 从而确保两个仿真器可以安全地将各自本地时钟推进至$T_{k+1}$，而不会违反时序因果性。
该研究产出一个面向通用智能体AI工作流的跨平台联合仿真框架，支持真实视觉模型业务的闭环仿真。该平台不仅能够用于分析WiFi网络状态、WebRTC传输行为和视觉模型任务性能之间的关系，还能够为后续设计多种GenAI业务场景提供支持。因此后续本文可以利用该平台模拟出具身智能、AI视频问答等多种GenAI业务场景，并在此基础上分析不同网络状态下视觉模型任务的性能表现，为后续的优化方法设计提供数据支持和理论依据。 该研究产出一个面向通用智能体AI工作流的跨平台联合仿真框架，支持真实视觉模型业务的闭环仿真。该平台不仅能够用于分析WiFi网络状态、WebRTC传输行为和视觉模型QoE指标之间的关系，还能够为后续设计多种GenAI业务场景提供支持。因此后续本文可以利用该平台模拟出具身智能、AI视频问答等多种GenAI业务场景，并在此基础上分析不同网络状态下视觉模型任务的性能表现，为后续的优化方法设计提供数据支持和理论依据。
\section{WiFi、WebRTC和视觉模型任务性能的跨层关联分析} \section{WiFi、WebRTC和视觉模型QoE指标的跨层关联分析}
在完成联合仿真平台的基础上，本文进一步研究WiFi网络状态、WebRTC视频传输行为和视觉模型任务性能之间的关联关系。该部分的核心目标是为了探究不同WiFi网络中的链路变化究竟会通过什么机制影响WebRTC视频传输，并进一步影响实时视觉模型的QoE指标。 在完成联合仿真平台的基础上，本文进一步研究WiFi网络状态、WebRTC视频传输行为和视觉模型QoE指标之间的关联关系。该部分的核心目标是为了探究不同WiFi网络中的链路变化究竟会通过什么机制影响WebRTC视频传输，并进一步影响实时视觉模型的QoE指标。
\subsection{研究内容} \subsection{研究内容}
本文拟首先分析 WiFi 状态对 WebRTC 传输行为的影响。在 WiFi 网络中，信道竞争、链路速率变化、无线重传和队列积压会改变端到端时延、丢包率、抖动和可用带宽，从而影响 WebRTC 的带宽估计、码率调整、FEC 冗余配置和视频帧传输时延。本文将通过实验分析不同 WiFi 底层状态变化是否会导致 WebRTC 拥塞控制产生滞后、误判或过度保守等现象。 本文拟首先分析 WiFi 状态对 WebRTC 传输行为的影响。在 WiFi 网络中，信道竞争、链路速率变化、无线重传和队列积压会改变端到端时延、丢包率、抖动和可用带宽，从而影响 WebRTC 的带宽估计、码率调整、FEC 冗余配置和视频帧传输时延。本文将通过实验分析不同 WiFi 底层状态变化是否会导致 WebRTC 拥塞控制产生滞后、误判或过度保守等现象。
其次，本文拟分析 WebRTC 视频传输行为对视觉模型任务性能的影响。对于实时视觉模型业务，视频质量下降并不一定直接等价于模型性能下降，不同任务对视频分辨率、帧率、关键帧丢失、帧完成时延和输入帧新鲜度的敏感程度可能不同。例如，文字识别和细粒度目标识别任务可能更依赖空间细节，异常事件识别任务可能更依赖时间连续性，实时视频问答和机器人感知任务则可能更加关注输入帧新鲜度和模型响应及时性。因此，本文将比较不同视频传输质量和不同任务类型下模型准确率、任务成功率、TTFT 和 ITL 分布的变化规律。 另外，本文拟分析 WebRTC 视频传输行为对视觉模型QoE指标的影响。对于实时视觉模型业务，视频质量下降并不一定直接等价于模型性能下降，不同任务对视频分辨率、帧率、关键帧丢失、帧完成时延和输入帧新鲜度的敏感程度可能不同。例如，文字识别和细粒度目标识别任务可能更依赖空间细节，异常事件识别任务可能更依赖时间连续性，实时视频问答和机器人感知任务则可能更加关注输入帧新鲜度和模型响应及时性。因此，本文将比较不同视频传输质量和不同任务类型下模型准确率、任务成功率、TTFT 和 ITL 分布的变化规律。
最后，本文拟分析传统网络 QoS、视频 QoE 指标与模型 QoE 之间的对应关系。本文将重点判断吞吐量、RTT、丢包率、抖动、视频码率、帧率和帧完成时延等传统指标，是否能够稳定解释模型任务准确率和响应时延变化。如果发现传统指标与模型 QoE 之间存在不一致现象，则进一步说明面向视觉模型业务进行专门跨层优化的必要性。
\subsection{技术路线} \subsection{技术路线}
本文将基于联合仿真平台开展多因素控制实验。实验中将 WiFi 网络条件、WebRTC 传输配置和视觉任务类型作为主要实验变量，并同步采集 WiFi 层、WebRTC 层和模型任务层的观测指标。具体实验变量与观测指标如表~\ref{tab:3} 所示。 本文将基于联合仿真平台开展多因素控制实验。实验中将 WiFi 网络条件、WebRTC 传输配置和视觉任务类型作为主要实验变量，并同步采集 WiFi 层、WebRTC 层和模型任务层的观测指标。具体实验变量与观测指标如表~\ref{tab:3} 所示。
@@ -124,9 +122,6 @@ WebRTC 层 & 发送码率、目标码率、带宽估计值、RTT、丢包率、
\textbf{（1）WiFi状态辅助的WebRTC拥塞控制与FEC策略: }使 WebRTC 能够感知 WiFi 层的信道竞争、无线重传、链路速率变化和队列积压等底层状态，从而辅助其进行码率调整、发送节奏控制和 FEC 冗余配置。相比仅依赖端到端 RTT、丢包率和带宽估计的传统 WebRTC 控制方式，引入 WiFi 显式状态有助于减少无线环境下拥塞判断的滞后和误判。 \textbf{（1）WiFi状态辅助的WebRTC拥塞控制与FEC策略: }使 WebRTC 能够感知 WiFi 层的信道竞争、无线重传、链路速率变化和队列积压等底层状态，从而辅助其进行码率调整、发送节奏控制和 FEC 冗余配置。相比仅依赖端到端 RTT、丢包率和带宽估计的传统 WebRTC 控制方式，引入 WiFi 显式状态有助于减少无线环境下拥塞判断的滞后和误判。
% 现有WebRTC拥塞控制主要依赖往返时延、丢包率、分组到达时间和带宽估计等端到端反馈判断网络状态。在WiFi网络中，信道竞争、无线重传、链路速率变化和队列积压都会影响WebRTC观测到的时延和丢包，但WebRTC难以判断这些变化究竟来自真实网络拥塞、无线竞争加剧还是短时链路波动。因此，本文拟建立WiFi状态到WebRTC的上行反馈机制，使WebRTC能够直接获取信道忙碌程度、调制编码方式、无线重传次数、链路速率、发送队列长度等WiFi的MAC层和物理层状态。
% 基于这些显式WiFi状态，WebRTC可以更加准确地判断当前无线链路的可用能力，并据此调整拥塞控制策略。当WiFi状态显示信道竞争加剧或链路速率下降时，WebRTC可以提前降低发送码率、调整视频帧率或改变发送节奏，避免持续向无线队列注入超过链路承载能力的数据；当无线重传和丢包风险上升时，WebRTC可以结合视频帧重要性和模型服务需求动态调整FEC冗余率，而不是对所有数据采用相同的冗余保护强度。通过这种方式，WebRTC的传输控制不再只依赖端到端试探，而是能够结合WiFi内部状态进行更加及时和有针对性的自适应调整。
\textbf{（2）WebRTC帧级信息驱动的WiFi队列管理: }使 WiFi 层能够感知 WebRTC 提供的视频帧级信息，包括帧类型、帧级截止时间、数据重要性、FEC 冗余属性和过期状态等。基于这些信息，WiFi 层可以在队列管理和分组调度过程中对不同数据进行差异化处理。例如，对关键帧和高重要性数据包给予更高传输优先级，对已经超过任务截止时间的过期帧进行及时清理，对 FEC 冗余数据根据当前链路状态和主数据包传输情况动态调整优先级。通过这种方式，WiFi 层不再无差别传输所有视频数据，而是能够围绕视觉模型任务需求进行无线资源分配。 \textbf{（2）WebRTC帧级信息驱动的WiFi队列管理: }使 WiFi 层能够感知 WebRTC 提供的视频帧级信息，包括帧类型、帧级截止时间、数据重要性、FEC 冗余属性和过期状态等。基于这些信息，WiFi 层可以在队列管理和分组调度过程中对不同数据进行差异化处理。例如，对关键帧和高重要性数据包给予更高传输优先级，对已经超过任务截止时间的过期帧进行及时清理，对 FEC 冗余数据根据当前链路状态和主数据包传输情况动态调整优先级。通过这种方式，WiFi 层不再无差别传输所有视频数据，而是能够围绕视觉模型任务需求进行无线资源分配。