Initial commit: 开题报告 LaTeX 源码
This commit is contained in:
@@ -0,0 +1,18 @@
|
||||
\stuno{M202573151}
|
||||
\title{面向边缘视觉大模型推理的 WebRTC-WiFi 跨层协同优化机制研究}
|
||||
\author{宓呈祥}
|
||||
\major{信息与通信系统}
|
||||
\department{电子信息与通信学院}
|
||||
\advisor{
|
||||
高雅玙
|
||||
}
|
||||
|
||||
\usepackage{natbib}
|
||||
\usepackage{graphicx}
|
||||
%\abstract{
|
||||
% 这这是一个\LaTeX{}模板使用实例文件，该模板用于华中科技大学研究生报告写作。
|
||||
%
|
||||
% 该模板基于LPPL v1.3发行。
|
||||
%
|
||||
%}
|
||||
%\keywords{\LaTeX{}，华中科技大学，报告，模板}
|
||||
@@ -0,0 +1,18 @@
|
||||
\chapter{引言}
|
||||
|
||||
% 近年来，生成式人工智能（Generative Artificial Intelligence, GenAI）和多模态大模型快速发展，智能服务正在由传统文本交互逐渐扩展到持续感知、在线理解和实时决策。基于视觉语言模型（Vision-Language Model, VLM）和视觉语言动作模型（Vision-Language-Action Model,VLA）的实时视觉模型业务，已经开始出现在具身智能、机器人控制、实时视频对话、远程巡检和边缘智能等场景中。
|
||||
% % 一方面，生成式AI业务的激增正在成为网络流量增长的主要驱动力之一\cite{cisco_cisco_2024}，已经有研究开始。另一方面，
|
||||
% 在这类业务中，终端侧通常需要持续采集摄像头视频，并通过网络将视频流传输至边缘服务器或云端模型，由模型完成视觉理解、问答推理或动作决策后再将结果返回终端。由于终端侧算力和能耗受限，而VLM/VLA等模型通常具有较高计算开销，实时视觉模型推理业务往往难以完全依赖本地计算，而需要借助边缘或云端算力支撑\cite{ahmad_vision-language_2026,wang_runespoor_2021}。在这种系统形态下，WebRTC（Web Real-Time Communication）和Wi-Fi成为承载实时视频上传和模型交互的重要通信技术基础。因此针对实时视觉模型推理业务的无线视频传输优化，已经成为一个亟需解决的关键问题。
|
||||
近年来，生成式人工智能（Generative Artificial Intelligence, GenAI）业务呈现爆发式增长。截止2026年3月，中国日均Token调用量已超过140万亿次，较2025年底增长约40\%；AI搜索流量预计将于2028年超越传统搜索，对无线网络格局产生深远影响\cite{IEEE_HUAWEI_bn_for_ai}。与传统多媒体业务相比，GenAI业务呈现出显著不同的流量特征——上行方向，受多模态大模型发展驱动，持续上传视频、图像等多模态数据，呈现高上行带宽、强突发性和多模态交织的特点；下行方向则主要表现为流式文本或语音回应的短包传输，呈现高频小包特征。上述特征已引起IEEE 802.11等无线标准化组织的高度关注\cite{huawei2025wireless,IEEE_HUAWEI_Post_bn,IEEE_HUAWEI_bn_for_ai}。与此同时，智能服务正从传统文本交互向持续感知、在线理解和实时决策演进，基于视觉语言模型（Vision-Language Model, VLM）和视觉语言动作模型（Vision-Language-Action Model, VLA）的实时视觉模型业务逐渐从云端下沉至边缘，支撑具身智能、机器人控制、实时视频对话和远程巡检等应用。作为边缘场景的核心无线接入技术，Wi-Fi网络的传输能力直接决定了上述业务的部署可行性与服务质量。为此，IEEE 802.11标准化组织已成立AI Offload研究小组，探索将计算密集型AI推理任务卸载到边缘Wi-Fi接入点及其他支持Wi-Fi的边缘计算设备\cite{IEEE_80211_AIO_SG_agenda}。由于终端侧算力和能耗受限，此类业务通常需要持续上传摄像头视频至边缘AP，基于推理结果做出决策\cite{ahmad_vision-language_2026,wang_runespoor_2021}。在这一过程中，视频传输质量直接决定模型"看到"了什么、何时看到，从而深刻影响推理准确率和响应及时性；而WebRTC作为承载实时音视频交互的关键协议，其与Wi-Fi之间的协同效率将直接影响传输效果。因此，研究面向视觉模型推理质量的WebRTC–Wi-Fi视频传输优化机制，具有紧迫的理论意义和实际价值。
|
||||
|
||||
然而，实时视觉模型推理对视频传输提出了不同于传统视频会议、云游戏和虚拟现实等业务的新要求。传统实时视频应用主要面向人类观看体验，通常关注清晰度、卡顿率、端到端时延和交互流畅性；而实时视觉模型业务的最终目标并不是让人“看得更清楚”，而是让模型在限定时间内获得对任务有用的视觉信息，从而提高任务准确率、响应及时性和推理稳定性。不同视觉任务对视频传输的敏感因素可能存在显著差异：例如，文字识别、细粒度目标识别等任务可能更依赖图像清晰度和空间细节，动态事件理解和机器人感知任务可能更依赖帧率、时序连续性和视频帧新鲜度。因此，传统网络服务质量（Quality of Service, QoS）或面向人类观看体验的体验质量（Quality of Experience, QoE）指标，未必能够准确反映实时视觉模型的服务质量。现有实时视觉大模型研究虽然已经开始关注连续视频输入、在线理解和低时延推理\cite{chen_videollm-online_2024,niu_ovo-bench_2025,zou_codecsight_2026}，但对无线网络状态、WebRTC传输行为和视频质量变化如何影响模型推理效果，仍缺少系统分析。
|
||||
|
||||
与此同时，现有WebRTC优化研究和Wi-Fi实时业务优化研究也难以直接满足上述需求。一方面，现在还少有研究面向模型服务质量。另一方面，WebRTC和Wi-Fi协议分属不同网络层，两者存在天然的不透明性。在Wi-Fi网络中，信道竞争、无线重传、链路速率变化和队列积压会显著影响时延和丢包表现，但WebRTC仅依赖端到端反馈时，难以及时准确地区分真实网络拥塞和无线链路波动，也难以利用Wi-Fi内部状态优化拥塞控制和FEC（Forward Error Correction）策略。而WiFi同样无法感知WebRTC的帧类型和帧级截止时间，难以做优先级调度和过期包清理。现有研究大多分别从WebRTC侧或Wi-Fi侧进行优化，仅有少量工作尝试引入跨层信息。并且现有引入跨层信息的工作通常只引入了单方面的跨层感知，并以一个协议为主体进行优化，尚未形成 WebRTC、Wi-Fi 之间的双向协同机制\cite{yi_athena_2024, shen_law_2026}。也就是说，WebRTC通常不了解Wi-Fi内部的信道竞争和队列状态，Wi-Fi也不了解WebRTC数据包所属视频帧的重要性、截止时间和冗余属性，二者难以围绕视觉模型QoE进行联合优化。
|
||||
|
||||
针对上述问题，本文拟研究面向实时视觉模型推理质量的WebRTC–Wi-Fi跨层协同传输方法。
|
||||
\begin{itemize}
|
||||
\item 首先，本文拟基于ns-3和ns3-ai构建闭环联合仿真平台，将真实视频客户端、WebRTC传输机制、ns-3 Wi-Fi网络仿真和实际部署的VLM/VLA推理服务连接起来，实现视频上传、无线传输、模型推理和结果返回的完整业务闭环。
|
||||
\item 其次，本文拟利用该平台系统分析Wi-Fi网络状态、WebRTC视频传输行为和视觉模型推理质量之间的关联关系，明确不同网络状态和视频传输指标对模型准确率、响应时延和信息新鲜度的影响。
|
||||
\item 在上述分析的基础上，本文拟设计WebRTC–Wi-Fi双向跨层协同优化方法：一方面使WebRTC能够感知Wi-Fi的信道竞争、无线重传、链路速率和队列状态，并据此优化码率选择、发送节奏和FEC策略；另一方面使Wi-Fi能够感知WebRTC提供的视频帧类型、帧级截止时间、数据重要性和冗余属性，并据此进行优先级调度、关键帧保障和过期帧清理。
|
||||
\end{itemize}
|
||||
与传统更关注人类视觉体验的优化机制不同，本文提出的WebRTC–Wi-Fi跨层协同优化方法将以视觉模型推理质量为核心指标，并尝试建立两者之间的双向协同机制，旨在提升实时视觉模型推理的准确率和响应速度，从而更好地支撑边缘AI业务的发展。
|
||||
@@ -0,0 +1,65 @@
|
||||
\chapter{国内外研究概况及发展趋势}
|
||||
|
||||
|
||||
面向实时视觉模型推理的无线传输优化涉及模型任务、视频传输和无线接入等多个层面的协同。现有研究尚未形成完整的WebRTC–Wi-Fi–视觉模型闭环优化框架，但已从四个相关方向展开探索：一是实时视觉大模型的流式推理与通信需求研究，主要关注连续视频输入、在线理解和边缘推理；二是面向视频类AI的视频传输优化研究，主要关注如何根据视频内容和模型反馈调整帧率、分辨率、传输区域与带宽分配；三是WebRTC优化研究，主要围绕拥塞控制、速率调节和FEC等传输机制展开；四是Wi-Fi实时业务优化研究，主要关注无线状态感知、资源调度和低时延保障。本章按照上述顺序梳理相关工作的主要进展，并在此基础上归纳现有研究在跨层协同和模型任务导向优化方面的不足。
|
||||
|
||||
|
||||
\section{实时视觉大模型通信需求研究}
|
||||
随着多模态大模型的发展，视觉理解任务正在从离线图像理解和离线视频问答，逐渐转向连续视频流上的在线感知、实时问答和具身交互。在传统离线视频理解任务中，模型通常可以在完整视频已经采集和存储之后再进行推理；而在实时视觉大模型业务中，视频数据仍在不断产生，模型需要在有限时延内持续接收最新视觉输入，并结合当前场景、历史上下文和用户指令生成响应。因此，这类业务不再只是模型结构或推理效率问题，而是同时依赖视频采集、编码压缩、无线传输、边缘计算和模型推理之间的协同。本节将从流式模型能力、在线视频理解评测和边缘具身应用三个方面梳理相关研究，并进一步说明实时视觉模型业务对无线视频传输提出的新需求。
|
||||
|
||||
从模型能力演进来看，近期研究已经开始从离线视频理解转向连续视频输入和在线响应能力。VideoLLM-online提出Learning-In-Video-Stream框架，使视频大语言模型能够在持续接收视频流的过程中进行时间对齐理解和实时对话\cite{chen_videollm-online_2024}。LiveVLM和StreamingVLM等工作进一步面向实时或近无限视频流提出流式KV缓存和紧凑记忆机制，以支持模型在长时间视频输入下维持较低响应延迟\cite{ning_livevlm_2025,xu_streamingvlm_2025}。VideoScan和Mobile-VideoGPT则分别从帧级语义压缩、关键帧选择和视觉token裁剪等角度降低视频理解过程中的计算和显存开销\cite{li_videoscan_2025,shaker_mobilevideogpt_2025}。这些研究共同说明，实时视觉大模型已经不再只关注“能否理解完整视频”，而是开始关注“能否在视频持续到达的过程中及时理解和响应”。相应地，模型对输入视频帧的新鲜度、连续性和有效信息保留提出了更高要求。
|
||||
|
||||
从评测基准和数据集的发展来看，实时视觉大模型的研究目标也正在由离线长视频理解转向在线、流式和时间敏感的视频理解。Video-MME、LongVideoBench和MLVU等基准主要推动多模态大模型处理更长、更复杂的视频输入，要求模型能够在长时间、多事件和多语义线索的视频中进行检索与推理\cite{fu_video-mme_2025,wu_longvideobench_2024,zhou_mlvu_2025}。在此基础上，OVBench、OVO-Bench和StreamingBench进一步强调在线视频理解中的当前场景感知、历史信息记忆、未来事件预测和时间点触发响应能力\cite{huang_ovbench_2025,niu_ovo-bench_2025,lin_streamingbench_2024}。这些基准的变化表明，实时视觉模型的能力评估已经不再局限于“看完整段视频后回答问题”，而是逐渐转向“边看边理解、边交互边响应”。因此，视频帧是否能够及时、连续、稳定地传输到模型侧，将直接影响模型在线感知和实时响应能力的发挥。
|
||||
|
||||
从应用场景来看，实时视觉大模型正在向机器人、移动终端、可穿戴设备和具身智能系统扩展，这进一步强化了其通信需求。RT-2和OpenVLA将视觉语言模型扩展到机器人动作决策和通用操作策略，使模型能够根据视觉观测和语言指令生成控制行为\cite{brohan_rt2_2023,kim_openvla_2024}；EgoLife面向AI眼镜和第一人称日常生活助手构建长时间、多模态视频数据集，反映了视觉模型持续感知环境并提供实时辅助的应用趋势\cite{yang_egolife_2025}。由于VLM/VLA通常具有较高计算和显存开销，许多应用需要借助边缘或云端算力。Ahmad等人在O-RAN/MEC环境中部署VLM，并设计基于WebRTC的多模态数据流传输管线，将机器人采集的视频传输到边缘节点进行实时感知推理\cite{ahmad_vision-language_2026}。这些应用说明，实时视觉模型的输入往往需要经过无线网络传输到边缘或云端，传输时延、连续性和视频质量会直接影响模型获得的视觉信息及其输出质量。
|
||||
|
||||
总体而言，实时视觉大模型正在从离线视频理解走向连续视频流上的在线感知、实时问答和具身交互，并越来越多地依赖边缘或云端推理。与面向人类观看的视频业务相比，这类业务更关注任务准确率、响应及时性和输入信息新鲜度，不同任务对清晰度、帧率和时序连续性的敏感程度也可能不同。因此，传统网络QoS或人类视频QoE指标未必能够准确反映模型任务质量。现有研究的重点仍主要集中在模型结构、视觉token压缩、流式记忆和推理效率，对无线网络状态及传输自适应行为如何影响模型任务质量缺少系统分析。
|
||||
|
||||
\section{面向视频类 AI 的视频传输优化研究}
|
||||
除实时视觉大模型本身的流式推理研究外，近年来也有一类工作开始从“机器理解视频”而非“人类观看视频”的角度重新设计视频传输机制。早期面向视频分析的研究已经指出，传统视频流传输通常以人类观看体验为目标，难以直接适配目标检测、识别和场景理解等 DNN 推理任务。Pakha 等人较早提出应面向分布式视觉分析重新设计视频流传输协议，使其优化目标从人眼感知质量转向分析准确率与带宽开销之间的权衡\cite{pakha2018reinventing}。AWStream 进一步面向广域流式分析场景，通过在帧率、分辨率和数据压缩等多个维度上进行自适应降级，在带宽受限时维持应用级分析准确率和数据新鲜度\cite{zhang2018awstream}。Chameleon 则针对大规模视频分析系统，利用时间和跨摄像头相关性动态选择视频分辨率、帧率和模型配置，以在资源消耗和分析准确率之间取得平衡\cite{jiang2018chameleon}。这些工作表明，视频类 AI 业务中的传输优化不能简单等同于传统视频 QoE 优化，而应结合模型任务对输入质量的敏感性进行设计。
|
||||
|
||||
在边缘视频分析场景中，后续研究进一步将视频传输与服务端模型推理过程结合起来。DDS 提出服务端驱动的视频流传输机制，先传输低质量视频流，由服务端 DNN 根据检测结果决定哪些区域需要以更高质量重新传输，从而在降低带宽消耗的同时保持或提升推理准确率\cite{du2020dds}。CASVA 则针对实时视频分析中的配置选择问题，根据视频内容、网络带宽和推理准确率之间的关系，自适应选择分辨率、帧率和模型配置，以提升实时分析任务在带宽变化下的稳定性\cite{zhang2022casva}。Runespoor 面向机器人边缘-云视觉分析提出内容自适应数据率控制机制，在受限带宽下改善机器人视觉任务的尾部准确率\cite{wang_runespoor_2021}。这些研究共同说明，面向视频类 AI 的传输优化已经逐渐从单纯压缩视频码流，发展为结合视频内容、模型反馈和任务准确率的联合优化问题。
|
||||
|
||||
近期，多模态大模型视频助手的出现进一步推动了面向 MLLM 的实时视频通信优化研究。Wu 等人指出，在 AI Video Chat 场景中，实时通信的一端不再是人类用户，而是部署在云端或边缘侧的多模态大模型，因此传统 RTC 中以人眼感知质量、播放流畅性和卡顿率为核心的 QoE 指标不再完全适用，系统更应关注 MLLM 响应准确率和端到端交互时延\cite{wu2025chatwithai}。在此基础上，Artic 提出面向 MLLM Video Assistant 的 AI-oriented RTC 框架，通过响应能力感知的自适应码率控制限制不必要的视频码率，并利用上下文感知流式传输将有限码率分配给与当前问题最相关的视频区域，同时构建 DeViBench 评估 RTC 引起的视频退化对 MLLM 准确率的影响\cite{wu2026artic}。这类工作与传统 WebRTC 优化的差异在于，其优化目标已经从“让人看得清楚和流畅”转向“让模型及时获得足够有用的视觉信息”。
|
||||
|
||||
总体来看，面向视频类AI的传输优化已经从视频参数自适应发展到结合内容、模型反馈和任务准确率的联合控制。然而，现有工作大多侧重应用层视频配置或端到端传输策略，对Wi-Fi信道竞争、链路层重传和队列积压等底层状态考虑不足，因而尚未充分揭示无线传输行为对视觉模型任务质量的影响。
|
||||
|
||||
|
||||
\section{WebRTC优化研究}
|
||||
|
||||
WebRTC是当前低时延实时音视频通信中的重要技术框架，被广泛应用于低延迟流媒体传输、视频会议多码率优化、边缘计算通信和实时监控等场景\cite{JDCP202406008,XXWX202308018,JSJA202410013,DZQJ202504022,FJDN202504015}。与传统视频点播业务不同，WebRTC业务通常需要在严格时延约束下持续传输音视频流，因此其优化目标不仅包括提高链路利用率和视频清晰度，还包括控制排队时延、抖动、丢包恢复开销和帧级传输稳定性。围绕这些问题，现有WebRTC优化研究主要可以分为三类：一是以GCC为代表的端到端拥塞控制研究，二是面向无线动态网络的状态感知与速率控制增强研究，三是面向视频QoE的码率、分辨率、帧率和FEC等多维联合优化研究。这些研究为实时视频传输提供了重要基础，但其优化目标主要仍然面向视频传输质量和人类观看体验，尚未充分考虑实时视觉模型推理业务的特殊需求。
|
||||
|
||||
WebRTC优化的基础是端到端拥塞控制机制，其代表性方案为谷歌拥塞控制（Google Congestion Control, GCC）。Carlucci等人系统研究了GCC机制，指出GCC通过端到端单向时延变化、丢包反馈和带宽估计判断网络拥塞状态，并结合接收端延迟控制器和发送端丢包控制器对视频发送速率进行调节\cite{carlucci_congestion_2017}。该类方法的优点在于不依赖网络内部设备支持，具有较好的端到端部署性，因而成为WebRTC实时媒体传输中的典型拥塞控制方案。然而，GCC的核心输入仍然是端到端传输反馈。当网络状态快速变化，尤其是在Wi-Fi和蜂窝等无线网络中出现信道竞争、链路速率变化和突发排队时，仅依赖端到端时延和丢包信号容易产生状态判断滞后或误判，从而影响视频码率调整的及时性和稳定性。
|
||||
|
||||
针对无线网络环境中端到端反馈不足的问题，已有研究开始尝试增强WebRTC或实时视频传输系统对动态网络状态的适应能力。Carlucci等人研究了GCC在Wi-Fi网络中的表现，指出Wi-Fi信道中断结束后的分组突发到达会影响GCC延迟估计，并提出基于分组聚合的改进方法，以降低无线突发行为对拥塞判断的干扰\cite{carlucci_making_2016}。Dai等人进一步引入数据驱动方法，通过学习端到端时延、发送速率和网络状态之间的关系，提高实时视频通信在无线链路中的适应能力\cite{dai_learning-based_2018,dai_statistical_2020}。Yu等人针对移动网络中RTT和丢包反馈难以准确反映视频播放体验的问题，提出Mustang以改善高抖动场景下的实时视频控制效果\cite{Encheng}。Karimi等人提出Vidaptive，指出GCC等实时视频速率控制机制在网络快速变化时可能存在响应滞后，并通过解耦传输控制与编码器目标码率调节，提高动态网络中的链路利用率和时延表现\cite{karimi_vidaptive_2024}。此外，PBE-CC、ABC和Mortise等工作虽然并非全部专门针对WebRTC设计，但从无线跨层拥塞控制和网络感知参数优化角度说明，引入物理层测量、显式网络反馈或网络状态感知参数调优，有助于减少仅依赖端到端探测带来的控制滞后\cite{xie_pbe-cc_2020,goyal_abc_2021,Shen2026}。这些研究共同表明，无线状态感知能够改善动态网络中的实时视频传输性能，但多数方法仍主要从传输层或单向网络状态感知角度出发，尚未形成WebRTC与Wi-Fi之间的双向跨层协同。
|
||||
|
||||
除拥塞控制外，WebRTC优化研究还逐渐从单一发送速率控制扩展到面向用户体验质量（Quality of Experience,QoE）的多维联合优化。传统GCC主要依据端到端反馈调节目标码率，但实际视频质量还与分辨率、帧率、量化参数、FEC冗余和视频内容复杂度等因素密切相关。Li等人提出Mamba，将WebRTC中的自适应码率问题扩展为多维决策问题，通过多智能体强化学习协同调整量化参数、分辨率和帧率，以提升视频会议场景下的用户体验质量\cite{LiYueheng}。Smirnov等人面向5G网络下的WebRTC视频流，利用深度强化学习进行实时速率控制，以改善动态网络条件下的QoE\cite{Smirnov}。在丢包恢复方面，Lee等人提出R-FEC，利用强化学习联合调整视频码率和FEC冗余，在丢包恢复能力、带宽开销和视频质量之间进行权衡\cite{RFEC}；Cheng等人提出ABRF，将自适应码率控制与FEC控制联合建模，根据网络状态和丢包模式动态调整码率与纠错冗余\cite{Cheng2023}。这些工作说明，WebRTC优化已经不再局限于拥塞控制本身，而是逐渐发展为码率、分辨率、帧率、冗余和视频QoE之间的多维联合控制问题。
|
||||
|
||||
综上所述，现有WebRTC研究提供了码率调整、发送节奏控制、FEC配置和编码参数调节等控制手段，也表明更准确的网络状态有助于改善动态网络中的实时视频传输。然而，现有方法主要依赖端到端反馈或单向网络状态感知，难以直接获得Wi-Fi内部的信道竞争、无线重传和队列积压等状态；其优化目标也主要是清晰度、流畅度、卡顿率和端到端时延，尚未充分考虑模型任务准确率、输入信息新鲜度和响应及时性。
|
||||
|
||||
|
||||
\section{Wi-Fi实时业务优化研究}
|
||||
|
||||
|
||||
Wi-Fi是移动终端、机器人、增强现实、边缘智能和室内实时视频传输中常见的无线接入方式。与有线网络相比，Wi-Fi链路更容易受到信道竞争、无线干扰、终端数量变化、物理层速率自适应、链路层重传和队列积压等因素影响。总体来看，相关研究主要可以分为三类：一是面向实时业务的Wi-Fi QoS保障机制，二是Wi-Fi配置、视频业务特征与应用QoE之间关系的测量分析，三是通过Wi-Fi与应用层的跨层感知进行优化设计，分为将Wi-Fi状态引入应用层和将应用层信息引入Wi-Fi两大类。
|
||||
|
||||
早期Wi-Fi实时业务优化主要依托IEEE802.11e中的增强型分布式信道接入机制（Enhanced Distributed Channel Access, EDCA）。EDCA通过为不同业务类型配置不同的AIFS、竞争窗口和TXOP参数，使语音、视频等实时业务能够获得高于普通数据流的信道接入优先级。然而，传统EDCA参数多为静态配置，难以适应实时视频流的码率波动、帧大小变化和无线竞争环境变化。随着Wi-Fi6/7的发展，研究者进一步从OFDMA资源分配、TXOP限制、预先信道接入以及多链路传输等角度支持实时业务。Bankov等人面向Wi-Fi7实时应用研究了限制非实时业务信道占用时间和预先信道接入等机制，以满足实时业务对时延和丢包率的严格要求\cite{bankov_tuning_2020}。Adame等人则从时间敏感网络（Time-Sensitive Networking,TSN）角度分析IEEE802.11be支持低时延高可靠业务的机制，为Wi-Fi7/8面向实时业务的标准演进提供了参考\cite{adame_tsn_2021}。这类研究说明，Wi-Fi侧已经具备通过接入优先级、空口资源分配和低时延机制保障实时业务的技术基础，但其优化粒度通常仍停留在业务类别或链路层参数层面，难以直接反映具体视频帧或模型推理任务的实时价值。
|
||||
|
||||
在基础QoS机制之外，相关研究进一步关注Wi-Fi底层配置、视频业务特征和应用QoE之间的关系。Kulkarni等人研究了信道宽度、接入类别、优先级队列和硬件配置等Wi-Fi参数对体积视频流应用QoE的影响，指出底层Wi-Fi配置会显著影响视频业务的稳定性和最终体验\cite{kulkarni_understanding_2023}。Casasnovas等人构建了基于Unity Render Streaming、WebRTC和Wi-Fi6的边缘/云端虚拟现实实验系统，分析WebRTC视频帧发送批次、Wi-Fi分组聚合和空口占用之间的关系，发现WebRTC视频帧的周期性批量发送会影响Wi-Fi空口效率和完整视频帧到达时延\cite{casasnovas_experimental_2024}。这类工作表明，实时视频业务的性能不仅由平均吞吐量决定，还与视频帧发送节奏、MAC层聚合方式、信道占用和完整帧到达时延密切相关。因此，Wi-Fi实时业务优化需要从单纯链路层参数配置，逐步转向结合应用层帧结构和业务体验质量的跨层分析。
|
||||
|
||||
近年研究进一步开始为应用层引入Wi-Fi物理层和MAC层状态，以辅助实时业务传输控制。Du等人提出Cupid，重新审视Wi-Fi网络中的拥塞控制问题，利用接收端Wi-Fi物理层测量信息感知空口占用、并发传输和物理层速率等状态，从而更准确地判断Wi-Fi瓶颈并进行速率调节\cite{du_revisiting_2024}。Yi等人提出Athena，通过从物理层到应用层的高分辨率跨层测量，分析无线网络事件对视频会议QoE的影响，并指出当前视频会议拥塞控制算法看到的往往只是网络状态的表象，缺乏对无线底层事件的可解释感知\cite{yi_athena_2024}。这些研究说明，仅在应用层被动观察端到端反馈已经难以满足低时延实时业务的稳定性需求，为应用层主动引入Wi-Fi底层状态有助于解释和改善无线环境下的视频传输性能。
|
||||
|
||||
除向上层提供Wi-Fi状态外，部分研究通过给Wi-Fi引入业务信息，以实现更加精准的优先级调度和拖尾时延控制。Shen等人提出LAW，引入WebRTC的尾帧信息，并通过重塑队列结构和细粒度传输机会控制降低WebRTC应用中的尾帧时延和卡顿率\cite{shen_law_2026}。Guo等人提出BLADE，面向云游戏和XR等下一代实时通信业务，通过动态调整竞争窗口来降低Wi-Fi分组尾时延和视频卡顿率\cite{guo_blade_2026}。Gong等人提出Flick，在Wi-Fi侧引入视频帧边界等信息，以进行帧感知分组调度，从而降低完整视频帧的到达时延\cite{gong_flick_2025}。这些工作共同表明，为Wi-Fi层引入应用层的帧级信息，可以实现更细粒度的调度和优先级控制，从而改善实时视频业务的传输稳定性和体验质量。
|
||||
|
||||
总体来看，Wi-Fi实时业务优化已经从静态QoS配置发展到无线状态感知和帧级跨层调度。现有工作证明了信道竞争、链路层重传、发送节奏和队列管理会显著影响实时业务，也说明Wi-Fi侧可以利用部分上层信息进行优先级控制和队列管理。不过，多数方法仍面向视频会议、云游戏和VR/XR等人类感知业务；已有跨层方法通常只引入局部、单向的信息，尚未同时结合WebRTC传输状态与视觉模型任务需求形成双向闭环。
|
||||
|
||||
|
||||
\section{总结与讨论}
|
||||
|
||||
综上所述，四类相关研究分别为本文问题提供了不同基础。实时视觉大模型研究推动了连续视频理解、在线响应和边缘推理的发展，明确了新型智能业务对视频时效性和任务质量的需求；面向视频类AI的传输研究证明了视频内容、传输参数和模型任务质量之间存在耦合关系；WebRTC研究提供了拥塞控制、速率调节和冗余配置等端到端自适应机制；Wi-Fi实时业务研究则揭示了无线配置、发送节奏和MAC层竞争对应用体验的影响，并提供了网络侧调度与低时延保障手段。
|
||||
|
||||
然而，从本文研究问题出发，现有工作之间仍缺少进一步的协同。首先，已有研究一方面尝试将Wi-Fi物理层或MAC层状态提供给WebRTC及其他实时传输机制，以改善拥塞判断和速率控制；另一方面也尝试将视频帧边界、尾帧状态等应用层信息提供给Wi-Fi，以指导队列管理和资源调度。但这两类工作通常分别优化信息传递的单一方向，尚未形成WebRTC与Wi-Fi相互感知、联合决策的双向协同机制。其次，面向视频AI的研究已经提出了多种由视频内容、模型反馈和任务准确率驱动的端到端传输优化方法，但其控制对象大多集中在帧率、分辨率、区域选择和带宽分配等应用层参数，较少进一步结合WebRTC的拥塞控制、发送节奏与FEC机制以及Wi-Fi的信道竞争、链路层重传和队列调度。因而，现有研究尚未将模型任务需求、WebRTC传输控制和Wi-Fi底层状态贯通起来，形成以视觉模型任务质量为目标的跨层闭环优化框架。
|
||||
|
||||
针对上述不足，本文拟开展三个方面的研究：首先，基于ns-3和ns3-ai构建闭环联合仿真平台，连接真实视频客户端、WebRTC传输、Wi-Fi网络仿真和实际VLM/VLA推理服务；其次，系统分析Wi-Fi状态、WebRTC传输行为和视觉模型任务性能之间的关联，明确传统QoS与视频QoE指标在实时视觉模型业务中的适用边界；最后，设计面向视觉任务需求的WebRTC–Wi-Fi跨层协同传输方法，综合利用无线链路状态、端到端传输状态和模型任务反馈，对视频传输和无线资源进行联合调整。
|
||||
|
||||
上述研究将把模型任务目标、WebRTC传输控制与Wi-Fi底层状态连接起来，使无线传输优化由传统网络质量或人类观看体验进一步面向模型任务效果，并为多模态智能体、具身智能和边缘视觉推理场景下的无线网络优化提供实验与方法基础。
|
||||
@@ -0,0 +1,225 @@
|
||||
\chapter{研究内容与方法}
|
||||
|
||||
|
||||
本文围绕 Wi-Fi 网络中实时视觉模型推理业务的传输优化问题展开研究。具体而言，本文研究内容包括四个层次：首先构建能够运行真实视觉模型业务的系统级联合仿真平台，为后续实验提供可控、可重复的环境；其次利用该平台分析Wi-Fi网络状态、WebRTC 传输行为和视觉模型任务性能之间的跨层关联；然后在关联分析的基础上设计面向视觉任务需求的 WebRTC–Wi-Fi 联合优化方法；最后通过在不同场景下的实验验证所提出方法的有效性。接下来将详细介绍每个层次的研究内容和方法。
|
||||
|
||||
\section{系统模型}
|
||||
|
||||
|
||||
|
||||
\begin{figure}[!h]
|
||||
\centering
|
||||
\includegraphics[width=0.6\linewidth]{figure/毕业论文-系统场景.pdf}
|
||||
\caption{面向实时视觉模型推理的WebRTC–Wi-Fi联合优化系统模型}
|
||||
\label{fig:system_model}
|
||||
\end{figure}
|
||||
|
||||
|
||||
|
||||
\section{面向实时视觉模型业务的闭环联合仿真平台}
|
||||
|
||||
% 本文首先研究如何构建一个能够支撑真实实时视觉模型业务的无线通信联合仿真平台。
|
||||
\subsection{研究内容}
|
||||
实时视觉模型业务具有视频持续输入、模型在线推理和结果实时返回等特点，如果仅使用预先生成的流量模型或离线网络轨迹，难以准确反映网络变化对模型任务结果的影响，并且考虑到可复现性和可分析性，本研究最终决定使用半实物仿真来支撑后续的分析和研究。现有仿真平台难以同时满足真实业务闭环、Wi-Fi 细粒度仿真和可复现实验需求，因此本研究决定首先建立一个能够同时包含真实业务逻辑、WebRTC传输过程和Wi-Fi网络仿真的闭环仿真实验平台。
|
||||
|
||||
该平台以ns-3作为Wi-Fi网络仿真基础，用于模拟客户端与服务端之间的无线通信过程。ns-3能够较细粒度地描述Wi-Fi网络中的信道竞争、调制编码方式、无线重传、队列变化和多终端接入等现象，适合用于研究无线网络状态对实时业务的影响。同时，平台使用ns3-ai模块提供的共享内存通信机制，将ns-3仿真进程与外部真实应用进程连接起来，使仿真网络不再只是处理预设模型产生的流量，而是可以承载真实应用产生的视频流和业务请求。本研究力求将该框架构建成一个通用的联合仿真平台，因此并不假定GenAI客户端和GenAI服务端的具体实现，而是提供标准化的接口。这意味着GenAI客户端可以是任何能够发送请求的仿真器（例如Maniskill等机器人仿真器）或实物，GenAI服务端可以是任何能够接收请求并返回结果的模型——这意味着本研究既可以部署LLM/VLM等真实模型，也可以使用现成的流量模型，甚至可以支持LLM ServingSim等专门的模型推理仿真器。通过这种设计，平台能够适应不同的研究需求和实验场景，具有较强的灵活性和扩展性。
|
||||
|
||||
\subsection{技术路线}
|
||||
|
||||
\begin{figure}[!h]
|
||||
\centering
|
||||
\includegraphics[width=0.6\linewidth]{figure/ns3agent-overview-zh.pdf}
|
||||
\caption{面向GenAI业务的联合仿真平台}
|
||||
\label{fig:ns3agent-overview}
|
||||
\end{figure}
|
||||
|
||||
如图~\ref{fig:ns3agent-overview}所示，在平台运行过程中，客户端连接视频采集与请求程序，将实时视频流以及任务请求送入 ns-3仿真的网络中。ns-3将视频流通过WebRTC协议发送到Wi-Fi网络中，并模拟视频分组在无线链路中的传输过程，包括排队、竞争、重传、丢包和时延变化。服务端连接已经部署好的视觉语言模型或视觉语言动作模型服务，在接收到视频流和请求后完成推理，并将模型生成的文本响应、决策结果或控制指令通过同一仿真网络返回客户端。由此，平台形成从客户端输入、无线网络传输、模型推理到结果返回的完整闭环。
|
||||
|
||||
该平台的关键难点在于联合仿真的时间同步和时序因果一致性。ns-3采用离散事件仿真机制，内部按照仿真时间推进，而外部视频客户端和模型服务器运行在真实时间中。如果两者之间缺少严格的同步机制，就会出现事件的时序因果错误。以GenAI客户端与ns-3网络之间的二分交互为例：假设初始时间点为$t_0$，客户端计划在未来的时间点$t_1$向ns-3发送请求。为避免因果性违规，客户端必须在$t_1$准确暂停，并确保ns-3的仿真时间尚未推进到$t_1$之后，然后在客户端和ns-3的时间都到达$t_1$时，客户端才能将请求发送到ns-3中。
|
||||
|
||||
作为联合仿真的一个经典问题，本研究参考High Level Architecture(HLA)同步机制的实现，设计了一种基于前瞻量的保守时间同步机制。此机制要求GenAI客户端/服务端和ns-3仿真器在每次同步事件中交换当前时间和前瞻承诺（Lookahead）参数，以独立计算下一个安全同步点，从而确保双方都能安全地推进时间而不违反时序因果性。所谓前瞻量可以理解为一个严格的时间承诺，即在当前时间点$T_k$加上前瞻值$TL_{k}$之前，相关仿真器绝对不会生成任何面向另一个仿真器的新事件或数据。
|
||||
|
||||
\begin{figure}
|
||||
\centering
|
||||
\includegraphics[width=0.6\linewidth]{figure/time_syn.pdf}
|
||||
\caption{联合仿真时间同步示意图}
|
||||
\label{fig:time_syn}
|
||||
\end{figure}
|
||||
|
||||
如图~\ref{fig:time_syn}所示，在每次同步事件中，外部仿真器（如GenAI客户端）与ns-3网络环境之间会进行一次双向数据交换。客户端将其当前仿真时间记为$T_k$，并将其前瞻承诺记为$TL_{k}^{(c)}$发送给ns-3。前瞻值$TL_{k}^{(c)}$作为一项严格保证，确保客户端在$T_k + TL_{k}^{(c)}$之前绝对不会生成任何面向ns-3网络的新事件或数据。与此同时，ns-3仿真器也将其当前时间$T_k$及其前瞻值$TL_{k}^{(n)}$发送给客户端。基于这些交换的参数，系统使用以下公式独立计算所有交互域之间的下一个安全同步点$T_{k+1}$：
|
||||
\begin{equation}
|
||||
T_{k+1}=T_k+\min\left(TL_{k}^{(c)}, TL_{k}^{(n)}\right),
|
||||
\end{equation}
|
||||
从而确保两个仿真器可以安全地将各自本地时钟推进至$T_{k+1}$，而不会违反时序因果性。
|
||||
|
||||
该研究产出一个面向通用智能体AI工作流的跨平台联合仿真框架，支持真实视觉模型业务的闭环仿真。该平台不仅能够用于分析Wi-Fi网络状态、WebRTC传输行为和视觉模型任务性能之间的关系，还能够为后续设计多种GenAI业务场景提供支持。因此后续本文可以利用该平台模拟出具身智能、AI视频问答等多种GenAI业务场景，并在此基础上分析不同网络状态下视觉模型任务的性能表现，为后续的优化方法设计提供数据支持和理论依据。
|
||||
|
||||
\section{Wi-Fi、WebRTC和视觉模型任务性能的跨层关联分析}
|
||||
在完成联合仿真平台的基础上，本文进一步研究Wi-Fi网络状态、WebRTC视频传输行为和视觉模型任务性能之间的关联关系。该部分的核心目标不是立即提出优化算法，而是先回答一个基础问题：动态Wi-Fi网络中的链路变化究竟会通过什么机制影响WebRTC视频传输，并进一步影响实时视觉模型的QoE指标。在本文中，模型QoE指标用于描述实时视觉模型业务的最终服务质量，为了定量描述，本文将模型 QoE 定义为由准确性、TTFT（首 token 响应时间）、ITL（Token 间隔）和输入帧新鲜度（以视频帧的传输时延衡量）共同构成的综合指标。
|
||||
|
||||
\subsection{研究内容}
|
||||
|
||||
本文拟首先分析 Wi-Fi 状态对 WebRTC 传输行为的影响。在 Wi-Fi 网络中，信道竞争、链路速率变化、无线重传和队列积压会改变端到端时延、丢包率、抖动和可用带宽，从而影响 WebRTC 的带宽估计、码率调整、FEC 冗余配置和视频帧传输时延。本文将通过实验分析不同 Wi-Fi 底层状态变化是否会导致 WebRTC 拥塞控制产生滞后、误判或过度保守等现象。
|
||||
|
||||
其次，本文拟分析 WebRTC 视频传输行为对视觉模型任务性能的影响。对于实时视觉模型业务，视频质量下降并不一定直接等价于模型性能下降，不同任务对视频分辨率、帧率、关键帧丢失、帧完成时延和输入帧新鲜度的敏感程度可能不同。例如，文字识别和细粒度目标识别任务可能更依赖空间细节，异常事件识别任务可能更依赖时间连续性，实时视频问答和机器人感知任务则可能更加关注输入帧新鲜度和模型响应及时性。因此，本文将比较不同视频传输质量和不同任务类型下模型准确率、任务成功率、TTFT 和 ITL 分布的变化规律。
|
||||
|
||||
最后，本文拟分析传统网络 QoS、视频 QoE 指标与模型 QoE 之间的对应关系。本文将重点判断吞吐量、RTT、丢包率、抖动、视频码率、帧率和帧完成时延等传统指标，是否能够稳定解释模型任务准确率和响应时延变化。如果发现传统指标与模型 QoE 之间存在不一致现象，则进一步说明面向视觉模型业务进行专门跨层优化的必要性。
|
||||
|
||||
\subsection{技术路线}
|
||||
本文将基于联合仿真平台开展多因素控制实验。实验中将 Wi-Fi 网络条件、WebRTC 传输配置和视觉任务类型作为主要实验变量，并同步采集 Wi-Fi 层、WebRTC 层和模型任务层的观测指标。具体实验变量与观测指标如表~\ref{tab:3} 所示。
|
||||
|
||||
\begin{table}[htbp]
|
||||
\centering
|
||||
\small
|
||||
\caption{跨层关联分析的实验变量与观测指标}
|
||||
\label{tab:3}
|
||||
\begin{tabular}{p{0.18\textwidth} p{0.36\textwidth} p{0.36\textwidth}}
|
||||
\hline
|
||||
层次 & 实验变量或观测指标& 分析目的 \\
|
||||
\hline
|
||||
Wi-Fi 层 & 信道质量、背景流量强度、竞争终端数量、信道忙碌比例、MCS、无线重传率、队列长度、竞争时延等 & 分析无线链路状态和接入竞争对端到端传输行为的影响 \\
|
||||
\hline
|
||||
WebRTC 层 & 发送码率、目标码率、带宽估计值、RTT、丢包率、抖动、FEC 冗余率、视频帧大小、关键帧比例、帧完成传输时延、发送队列状态等 & 分析 WebRTC 自适应传输行为及其对视频帧质量、时延和新鲜度的影响 \\
|
||||
\hline
|
||||
模型任务层 & 任务准确率、任务成功率、TTFT、ITL 均值、ITL 高分位数、模型响应完成时延、输入帧新鲜度、过期帧比例等 & 分析网络和视频传输变化对最终模型服务质量的影响 \\
|
||||
\hline
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
在数据分析方法上，本文拟采用统计分析和数据驱动建模相结合的方式。首先，通过相关性分析、分组对比和敏感性分析，识别哪些 Wi-Fi 状态和 WebRTC 传输指标与模型准确率、TTFT 和 ITL 变化关系最为密切。其次，通过多变量回归、决策树或轻量级机器学习模型，建立从跨层状态到模型 QoE 的预测关系，用于判断不同网络状态和传输行为对模型任务效果的影响程度。最后，针对不同视觉任务分别分析关键影响因素，形成任务类型与传输敏感因素之间的对应关系。
|
||||
|
||||
该部分研究预期形成三类结果。第一，获得 Wi-Fi 底层状态对 WebRTC 拥塞控制、码率调整和视频帧传输时延的影响规律；第二，获得视频传输质量、帧新鲜度和模型任务准确率、TTFT、ITL 之间的关联关系；第三，筛选出对模型 QoE 影响显著的跨层状态和控制变量，为后续强化学习优化方法中的状态空间、动作空间和奖励函数设计提供依据。通过该部分研究，本文将从实验数据层面说明为什么需要进行 WebRTC--Wi-Fi 双向跨层协同优化，以及联合优化应重点关注哪些网络状态、视频传输参数和模型服务质量指标。
|
||||
% 本文将利用联合仿真平台搭建视频传输与边缘视觉推理实验场景，在不同Wi-Fi信道质量、背景流量强度、竞争终端数量和视频配置下运行实验。实验中将同时采集Wi-Fi层、WebRTC层和模型任务层的信息。Wi-Fi层主要反映无线链路和接入竞争状态，包括信道忙碌程度、调制编码方式、无线重传、信号质量、发送队列和竞争时延等。WebRTC层主要反映端到端传输行为，包括带宽估计、往返时延、丢包率、抖动、发送速率、视频帧大小、视频帧传输时延和发送队列状态等。模型任务层则用于反映最终业务效果，包括输入视频分辨率、帧率、视频帧新鲜度、模型推理时延、模型响应时延、任务准确率和任务成功率等。
|
||||
|
||||
% 通过这些跨层数据，本文将分析Wi-Fi状态对WebRTC传输行为的影响。例如，当无线竞争加剧时，WebRTC观测到的RTT、丢包、抖动和带宽估计会如何变化；当信道质量下降或背景流量增加时，WebRTC会如何调整视频码率、帧率和分辨率；当发送队列发生积压时，视频帧是否会出现明显的长尾时延或过期现象。这一部分分析有助于判断WebRTC仅依靠端到端反馈是否能够及时、准确地反映Wi-Fi内部状态。
|
||||
|
||||
% 进一步地，本文将分析WebRTC视频传输变化对视觉模型任务性能的影响。对于实时视觉模型而言，视频质量下降并不一定等同于任务性能下降，不同任务对视频输入的敏感性可能不同。例如，细粒度识别或文字理解任务可能更依赖图像分辨率和空间细节，动态事件理解任务可能更依赖帧率和时间连续性，而交互式视觉问答或机器人感知任务则可能更加关注视频帧的新鲜度和响应及时性。因此，本文将比较不同视频配置、不同网络损伤和不同任务类型下模型性能的变化，分析哪些网络和视频指标更能反映模型任务质量。
|
||||
|
||||
% 该部分研究的产出是Wi-Fi、WebRTC和视觉模型任务性能之间的跨层影响规律。它将回答为什么需要进行跨层联合优化，以及联合优化应重点关注哪些状态和参数。换言之，该部分为后续方法设计提供数据依据和问题边界。
|
||||
|
||||
\section{面向视觉模型服务质量的WebRTC–Wi-Fi联合优化方法}
|
||||
|
||||
在完成跨层关联分析之后，本文将进一步研究面向视觉模型服务质量的 WebRTC–Wi-Fi 双向跨层协同优化方法。与传统实时视频传输优化主要关注网络吞吐量、端到端时延、丢包率或人类观看体验不同，本文拟将视觉模型任务的QoE作为最终优化目标。在此基础上，本文拟从研究内容和技术路线两个方面开展工作。
|
||||
|
||||
\subsection{研究内容}
|
||||
本文拟建立 WebRTC 与 Wi-Fi 之间的双向跨层信息交互机制。
|
||||
|
||||
\textbf{（1）Wi-Fi状态辅助的WebRTC拥塞控制与FEC策略: }使 WebRTC 能够感知 Wi-Fi 层的信道竞争、无线重传、链路速率变化和队列积压等底层状态，从而辅助其进行码率调整、发送节奏控制和 FEC 冗余配置。相比仅依赖端到端 RTT、丢包率和带宽估计的传统 WebRTC 控制方式，引入 Wi-Fi 显式状态有助于减少无线环境下拥塞判断的滞后和误判。
|
||||
|
||||
% 现有WebRTC拥塞控制主要依赖往返时延、丢包率、分组到达时间和带宽估计等端到端反馈判断网络状态。在Wi-Fi网络中，信道竞争、无线重传、链路速率变化和队列积压都会影响WebRTC观测到的时延和丢包，但WebRTC难以判断这些变化究竟来自真实网络拥塞、无线竞争加剧还是短时链路波动。因此，本文拟建立Wi-Fi状态到WebRTC的上行反馈机制，使WebRTC能够直接获取信道忙碌程度、调制编码方式、无线重传次数、链路速率、发送队列长度等Wi-Fi的MAC层和物理层状态。
|
||||
|
||||
% 基于这些显式Wi-Fi状态，WebRTC可以更加准确地判断当前无线链路的可用能力，并据此调整拥塞控制策略。当Wi-Fi状态显示信道竞争加剧或链路速率下降时，WebRTC可以提前降低发送码率、调整视频帧率或改变发送节奏，避免持续向无线队列注入超过链路承载能力的数据；当无线重传和丢包风险上升时，WebRTC可以结合视频帧重要性和模型服务需求动态调整FEC冗余率，而不是对所有数据采用相同的冗余保护强度。通过这种方式，WebRTC的传输控制不再只依赖端到端试探，而是能够结合Wi-Fi内部状态进行更加及时和有针对性的自适应调整。
|
||||
|
||||
\textbf{（2）WebRTC帧级信息驱动的Wi-Fi队列管理: }使 Wi-Fi 层能够感知 WebRTC 提供的视频帧级信息，包括帧类型、帧级截止时间、数据重要性、FEC 冗余属性和过期状态等。基于这些信息，Wi-Fi 层可以在队列管理和分组调度过程中对不同数据进行差异化处理。例如，对关键帧和高重要性数据包给予更高传输优先级，对已经超过任务截止时间的过期帧进行及时清理，对 FEC 冗余数据根据当前链路状态和主数据包传输情况动态调整优先级。通过这种方式，Wi-Fi 层不再无差别传输所有视频数据，而是能够围绕视觉模型任务需求进行无线资源分配。
|
||||
|
||||
% 因此，本文拟将WebRTC中的视频帧类型、帧级截止时间、数据包所属帧的重要性、冗余数据标识和过期状态等信息传递给Wi-Fi层，使Wi-Fi能够根据视频数据的实时价值进行差异化处理。在无线队列资源有限或信道竞争严重时，Wi-Fi可以优先保障关键帧和高重要性数据包；对于已经超过截止时间的过期帧，可以将其对应的数据包从Wi-Fi队列中清除，以减少无效传输和队列阻塞；对于FEC冗余数据，可以根据当前链路状态和主数据包传输情况动态调整其优先级。这样，Wi-Fi层不再只是被动传输WebRTC注入的所有数据，而是能够根据WebRTC提供的帧级语义、时限和冗余信息进行更加有效的无线资源分配。
|
||||
|
||||
\textbf{（3）模型QoE驱动的跨层联合决策: }在双向跨层信息交互的基础上，本文拟将 Wi-Fi 状态感知、WebRTC 帧级信息下传和模型服务质量反馈结合起来，形成面向实时视觉模型推理业务的跨层协同优化机制，使系统能够在视频质量、传输时延、帧新鲜度和无线资源利用之间进行联合权衡，从而提升模型任务准确率并降低模型任务响应时延。
|
||||
|
||||
|
||||
% 在双向跨层信息交互的基础上，本文将视觉模型的QoE作为联合优化目标。这里的QoE主要包括模型任务准确率、响应时延、输入信息新鲜度、任务成功率和推理稳定性等指标。本文将模型QoE作为上层反馈信号，用于指导WebRTC在码率、FEC冗余率等方面进行调整。通过这种方式，系统能够使跨层传输策略更接近实时视觉模型服务的最终需求。具体而言，如果任务本身对图像清晰度并没有很高的要求，那么系统就不必追求高码率视频，而分配更多资源满足模型对实时性的需求，反之亦然。
|
||||
|
||||
% 具体而言，当模型准确率对空间细节较为敏感时，系统可以在网络允许的范围内优先保障较高分辨率或关键帧质量；当模型任务更加依赖实时性时，系统可以优先降低排队时延和过期帧比例，而不是盲目提高视频码率；当网络状态恶化时，系统可以根据模型QoE下降程度判断码率、冗余率和队列策略的调整幅度。由此，WebRTC和Wi-Fi的联合优化不再仅以吞吐量、丢包率或传统视频QoE为目标，而是直接围绕实时视觉模型的最终服务效果进行决策。
|
||||
|
||||
\subsection{技术路线}
|
||||
本文拟将 WebRTC–Wi-Fi 联合优化问题建模为一个面向模型 QoE 的序贯决策问题。系统以固定控制周期运行，在每个控制周期内采集 Wi-Fi 层、WebRTC 层和模型任务层的跨层状态，并根据当前状态选择下一阶段的传输控制和无线调度动作。该问题可表示为马尔可夫决策过程，其中状态空间、动作空间和奖励函数分别设计如下。
|
||||
|
||||
首先，状态空间 $s_t$ 由 Wi-Fi 层状态、WebRTC 层状态和模型任务层状态共同组成：
|
||||
|
||||
\begin{equation}
|
||||
s_t = \left[s_t^{wifi}, s_t^{rtc}, s_t^{model}\right]
|
||||
\end{equation}
|
||||
|
||||
|
||||
|
||||
其中，Wi-Fi 层状态 $s_t^{wifi}$ 用于描述无线链路和接入竞争情况，主要包括信道忙碌比例、物理层速率或 MCS、无线重传率、发送队列长度、队列等待时延、竞争时延和背景流量强度等。WebRTC 层状态 $s_t^{rtc}$ 用于描述端到端视频传输行为，主要包括当前发送码率、目标码率、带宽估计值、RTT、丢包率、抖动、FEC 冗余率、视频帧大小、关键帧比例、视频帧完成传输时延和发送队列状态等。模型任务层状态 $s_t^{model}$ 用于描述视觉模型业务的服务质量，主要包括近期模型任务准确率、首 token 响应时间（Time to First Token, TTFT）、输出 token 间隔（Inter-Token Latency, ITL）的均值和高分位数等。
|
||||
|
||||
其次，动作空间 $a_t$ 由 WebRTC 侧控制动作和 Wi-Fi 侧调度动作组成：
|
||||
|
||||
\begin{equation}
|
||||
a_t = \left[a_t^{rtc}, a_t^{wifi}\right]
|
||||
\end{equation}
|
||||
|
||||
其中，WebRTC 侧动作 $a_t^{rtc}$ 主要包括目标码率调整、发送节奏调整、FEC 冗余率调整、视频帧率调整和分辨率等级调整等。Wi-Fi 侧动作 $a_t^{wifi}$ 主要包括关键帧优先级调整、普通帧优先级调整、FEC 冗余包优先级调整、过期帧清理阈值调整以及不同队列的调度权重调整等。考虑到连续动作空间会增加训练难度，本文初步拟采用离散化动作集合，例如对码率、FEC 冗余率、帧率和队列优先级分别设置“提高、保持、降低”三类动作，并根据后续实验结果进一步扩展为更细粒度的连续控制。
|
||||
|
||||
最后，奖励函数以模型 QoE 为核心进行设计。本文重点关注模型任务准确率和模型任务响应时延，其中响应时延包括 TTFT 和 ITL 的分布特征。对于第 $t$ 个控制周期，奖励函数可设计为：
|
||||
|
||||
\begin{equation}
|
||||
r_t =
|
||||
\alpha \widetilde{A}t
|
||||
-\beta_1 \widetilde{L}{t}^{TTFT}
|
||||
-\beta_2 \widetilde{L}{t}^{ITL}
|
||||
-\beta_3 \widetilde{F}{t}^{stale}
|
||||
-\beta_4 \widetilde{C}_{t}^{overhead}
|
||||
\end{equation}
|
||||
|
||||
其中，$\widetilde{A}t$ 表示归一化后的模型任务准确率或任务成功率，$\widetilde{L}{t}^{TTFT}$ 表示归一化后的 TTFT 时延惩罚，$\widetilde{L}{t}^{ITL}$ 表示归一化后的 ITL 时延惩罚，$\widetilde{F}{t}^{stale}$ 表示输入视频帧过期或新鲜度下降带来的惩罚，$\widetilde{C}_{t}^{overhead}$ 表示过高码率、过高 FEC 冗余或过度占用无线资源带来的系统开销。$\alpha,\beta_1,\beta_2,\beta_3,\beta_4$ 为权重参数，可根据不同任务类型进行设置。
|
||||
|
||||
由于 ITL 的尾部时延会直接影响模型输出的连续性和交互稳定性，本文不仅考虑 ITL 的平均值，也将考虑其高分位数，例如 90 分位数或 95 分位数。因此，$\widetilde{L}_{t}^{ITL}$ 可以设计为 ITL 的均值和高分位数的加权组合，以同时反映整体时延水平和长尾时延风险。
|
||||
|
||||
基于上述建模，本文拟采用强化学习方法学习跨层控制策略。强化学习智能体以跨层状态 $s_t$ 作为输入，以联合控制动作 $a_t$ 作为输出，并通过奖励函数 $r_t$ 引导策略优化。训练阶段将在联合仿真平台中构建多种 Wi-Fi 网络条件和视觉任务场景，使智能体学习不同网络状态和任务需求下的传输控制策略；验证阶段将与原生 WebRTC/GCC 和 BBR（瓶颈带宽与往返传播时间）基线方法进行对比，并通过消融实验分析 Wi-Fi 状态反馈、WebRTC 帧级信息下传和模型 QoE 反馈对系统性能提升的贡献。
|
||||
|
||||
\section{基于联合仿真平台的多场景实验验证}
|
||||
|
||||
\subsection{研究内容}
|
||||
|
||||
本文将基于前述闭环联合仿真平台，对所提出的WebRTC–Wi-Fi双向跨层协同优化方法进行实验验证。实验将围绕多类实时视觉模型业务场景展开，以验证所提出方法相比其他方案的有效性和泛化能力。具体而言，本文将设计以下几个典型的实时视觉模型业务场景：
|
||||
|
||||
\begin{itemize}
|
||||
\item \textbf{具身智能场景}：在该场景中，机器人作为客户端，通过Wi-Fi连接到VLA服务端。机器人将上传自身摄像头拍摄的第一视角视频，服务端模型根据当前画面生成环境理解、动作建议或控制指令，使得机器人可以完成各种任务。
|
||||
\item \textbf{实时视频对话场景}：在该场景中，用户使用的对话终端作为客户端，VLM作为服务端。用户通过摄像头与模型进行连续交互，模型需要根据当前视频内容及时生成文本回答。
|
||||
\item \textbf{异常事件识别场景}：在该场景中，监控摄像头作为客户端，VLM作为服务端。系统需要在连续视频流中及时发现关键事件并返回结果，例如识别异常行为、检测安全隐患或监测设备状态。
|
||||
\end{itemize}
|
||||
|
||||
\subsection{技术路线}
|
||||
|
||||
本文拟使用对比实验和消融实验开展实验验证。本文将基于联合仿真平台构建可控的实时视觉模型业务实验环境，构建上述三个不同的场景，并统计模型QoE指标。
|
||||
|
||||
在对比实验方面，本文拟将所提出的 WebRTC--Wi-Fi 双向跨层协同优化方法与典型的 GCC 和 BBR 类拥塞控制基线方案进行比较，如表~\ref{tab:1} 所示。通过该组实验，可以评估本文方法相较于当前经典方案的整体优势。
|
||||
|
||||
\begin{table}[htbp]
|
||||
\centering
|
||||
\caption{对比实验设计}
|
||||
\label{tab:1}
|
||||
\begin{tabular}{p{0.18\textwidth} p{0.34\textwidth} p{0.38\textwidth}}
|
||||
\hline
|
||||
实验方案 & 方法说明 & 对比目的 \\
|
||||
\hline
|
||||
GCC & 采用 WebRTC 默认拥塞控制机制，仅依据端到端 RTT、丢包率和到达时间反馈进行码率调整 & 评估仅依赖端到端反馈的传统实时视频传输方法在动态 Wi-Fi 环境下的性能 \\
|
||||
\hline
|
||||
BBR & 采用基于瓶颈带宽和往返时延估计的拥塞控制方法，通过估计网络可用带宽和最小 RTT 来调节发送速率 & 作为模型式拥塞控制基线，评估不依赖传统丢包驱动机制的速率控制方法在实时视觉模型业务中的适用性 \\
|
||||
\hline
|
||||
本文方法 & 同时引入 Wi-Fi 状态反馈、WebRTC 帧级信息下传和模型 QoE 驱动的联合决策机制 & 验证双向跨层协同优化相较于传统方法的综合优势 \\
|
||||
\hline
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
在消融实验方面，本文将分别去除或简化所提出方法中的关键模块，以分析不同机制对最终性能提升的贡献。具体消融实验设计如表~\ref{tab:2} 所示。
|
||||
|
||||
\begin{table}[htbp]
|
||||
\centering
|
||||
\caption{消融实验设计}
|
||||
\label{tab:2}
|
||||
\begin{tabular}{p{0.22\textwidth} p{0.34\textwidth} p{0.34\textwidth}}
|
||||
\hline
|
||||
消融方案 & 去除或简化的模块 & 分析目的 \\
|
||||
\hline
|
||||
去除 Wi-Fi 状态反馈 & WebRTC 不再获取信道忙碌比例、无线重传率、链路速率和队列状态等 Wi-Fi 底层信息 & 分析 Wi-Fi 显式状态感知对拥塞判断、码率控制和 FEC 调整的贡献 \\
|
||||
\hline
|
||||
去除 WebRTC 帧级信息下传 & Wi-Fi 层不再获取视频帧类型、帧级截止时间、数据重要性和冗余属性等信息 & 分析帧级语义信息对 Wi-Fi 队列管理、关键帧保障和过期帧清理的贡献 \\
|
||||
\hline
|
||||
去除模型 QoE 反馈 & 优化目标退化为传统网络 QoS 或视频传输质量指标，不再直接考虑模型准确率、TTFT 和 ITL & 分析模型 QoE 驱动优化相较于传统网络指标优化的必要性 \\
|
||||
\hline
|
||||
完整方法 & 保留 Wi-Fi 状态反馈、WebRTC 帧级信息下传、模型 QoE 反馈、过期帧清理和 FEC 自适应机制 & 作为消融实验中的完整方案，用于衡量各模块叠加后的综合效果 \\
|
||||
\hline
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
通过这种方式，可以判断性能提升究竟主要来自Wi-Fi显式状态感知，还是来自WebRTC向Wi-Fi提供的帧级时限和重要性信息，或者来自模型QoE对联合决策的引导，从而解释各个跨层模块对最终性能提升的具体作用。
|
||||
|
||||
|
||||
% 首先，在实验场景构建方面，本文将基于联合仿真平台搭建可控的实时视觉模型业务实验环境。客户端侧负责视频采集、WebRTC 发送和任务请求生成；ns-3 侧负责模拟 Wi-Fi 网络中的信道竞争、速率变化、重传、排队和丢包过程；服务端侧部署 VLM/VLA 推理服务，接收视频输入并返回模型响应。通过调整 Wi-Fi 信道条件、背景流量数量、竞争终端数量和视频输入配置，构建从轻载到重载、从稳定链路到动态链路的多种实验场景。
|
||||
|
||||
% 在每类场景中，本文将设置不同Wi-Fi网络条件，包括信道质量变化、背景流量干扰、多终端竞争、链路容量波动和队列拥塞等，以模拟实时视觉业务在无线接入环境中可能遇到的典型问题。实验首先将本文方法与现有代表性方案进行对比，包括原生WebRTC/GCC方案、传统基于端到端反馈的WebRTC优化方案，以及面向实时业务的Wi-Fi侧QoS或队列优先级优化方案。通过这些对比，可以评价本文方法相比传统传输层自适应方法和单独Wi-Fi侧优化方法，在网络传输、视频质量和模型服务效果方面是否具有整体优势。
|
||||
|
||||
% 在完成与外部基线方案的总体对比后，本文将进一步开展消融实验，用于分析本文方法内部不同机制的贡献。消融实验将分别去除或简化Wi-Fi状态反馈、WebRTC帧级信息下传和模型QoE反馈三个模块，观察系统性能变化。通过这种方式，可以判断性能提升究竟主要来自Wi-Fi显式状态感知，还是来自WebRTC向Wi-Fi提供的帧级时限和重要性信息，或者来自模型QoE对联合决策的引导。这样既能够证明本文方法相较于现有方案的有效性，也能够解释各个跨层模块对最终性能提升的具体作用。
|
||||
|
||||
@@ -0,0 +1,26 @@
|
||||
\chapter{可行性分析与预期成果}
|
||||
|
||||
|
||||
\section{前期工作与研究基础}
|
||||
本研究已经开展了一系列前期工作，包括实验平台搭建以及研究设备的采购等。
|
||||
|
||||
在Wi-Fi研究和ns-3仿真平台的使用上，本文作者已经有了一定的研究基础，在ICNS3 2025会议上发表了题为“ns3-WiMacStat: Enabling In-Depth WiFi MAC Performance Analysis via RadioTap-Based Statistics”的论文，介绍了一个基于ns-3的Wi-Fi性能分析工具，能够提供丰富的MAC层统计信息，为本研究中Wi-Fi状态感知和优化提供了技术积累\cite{ns3_wimac}。
|
||||
|
||||
另外，本文作者已经设计并完成了本文研究内容中说明的联合仿真平台的初步版本，能够支持真实视觉模型业务的闭环仿真，并实现了基于前瞻量的保守时间同步机制，确保了仿真过程中事件的时序因果一致性。这为后续的跨层关联分析和联合优化方法设计提供了坚实的实验基础。
|
||||
|
||||
最后，本课题组已经专门采购了边缘算力平台和Wi-Fi开发板，为本课题的实验提供了必要的硬件支持。这些设备将用于部署和测试实时视觉模型推理业务，并验证所提出的WebRTC–Wi-Fi联合优化方法在实际场景中的效果。
|
||||
|
||||
综上所述，本文在研究基础与实验准备方面已具备扎实条件，且在 ns-3 仿真平台与 Wi‑Fi 研究上取得了阶段性成果，足以支撑本课题的开展。
|
||||
|
||||
\section{预期成果}
|
||||
本研究的预期成果主要包括以下几个方面：
|
||||
\begin{itemize}
|
||||
\item 本文预期形成一套面向GenAI业务无线网络分析的通用闭环联合仿真平台。该平台能够在ns-3仿真Wi-Fi网络中接入真实视频客户端和实际部署的VLM/VLA服务，支持视频流上传、模型推理和结果返回的完整业务闭环。与传统使用预设流量模型的网络仿真相比，该平台能够直接观察无线网络状态变化对真实智能业务性能的影响，可为后续研究GenAI业务、实时视觉模型推理、具身智能和边缘多模态服务的无线网络性能提供可靠实验基础。
|
||||
|
||||
\item 本文预期形成面向实时视觉模型推理业务的跨层传输优化研究成果。相关成果有望推动无线网络优化目标从传统网络QoS和视频QoE进一步扩展到模型服务质量层面，为实时视觉模型、具身智能和多模态智能体等新型GenAI业务提供更加有效的网络支撑。同时，相关研究将有助于揭示Wi-Fi网络状态、实时视频传输行为与模型任务性能之间的关系，为后续开展面向智能业务的跨层协同优化研究提供参考。
|
||||
|
||||
\item 本课题预期完成两篇学术论文。其中一篇围绕面向实时视觉模型业务的联合仿真平台展开，重点介绍平台设计、时间同步机制、闭环业务接入和无线网络实验能力；另一篇围绕WebRTC–Wi-Fi双向跨层协同优化方法展开，重点介绍跨层信息交互机制、模型QoE驱动的传输控制方法以及多场景实验验证结果。
|
||||
|
||||
\item 本文预期申请发明专利一项，内容可围绕面向实时视觉模型推理的WebRTC–Wi-Fi跨层协同传输方法。
|
||||
\end{itemize}
|
||||
|
||||
@@ -0,0 +1,40 @@
|
||||
\chapter{研究计划}
|
||||
|
||||
本课题研究计划如下：
|
||||
|
||||
第一阶段（2026年6月-2026年8月）
|
||||
|
||||
完善并测试本项目所用的联合仿真平台，撰写其设计与实现相关的学术论文，并投稿至相关会议或期刊，同时准备开源事宜。
|
||||
|
||||
第二阶段（2026年9月-2027年2月）
|
||||
|
||||
基于联合仿真平台，完成Wi-Fi网络状态、WebRTC传输行为和视觉模型任务性能之间的跨层关联分析，本阶段预期明确Wi-Fi状态如何影响WebRTC拥塞控制和视频传输行为，以及WebRTC传输质量变化如何进一步影响实时视觉模型服务效果。通过该阶段研究，确定后续联合优化方法需要重点关注的跨层状态、控制对象和评价指标。
|
||||
|
||||
第三阶段（2027年3月-2027年8月）
|
||||
|
||||
本阶段将在跨层关联分析结果基础上，调研并探索其实现路径，设计面向视觉模型服务质量的WebRTC–Wi-Fi联合优化方法。本阶段预期完成优化方法设计、主要功能模块实现和初步调试。
|
||||
|
||||
第四阶段（2027年9月-2028年2月）
|
||||
|
||||
本阶段将对所提出的联合优化方法进行全面实验验证，评估其在不同Wi-Fi网络条件、不同视觉任务类型和不同模型服务质量指标下的性能表现，并与现有方法进行对比分析。本阶段预期形成完整的实验结果和分析，并撰写相关学术论文和相关专利。
|
||||
|
||||
第五阶段（2028年3月-2028年6月）
|
||||
|
||||
完成毕业论文撰写并准备毕业答辩。
|
||||
|
||||
|
||||
\begin{table}[h]
|
||||
\centering
|
||||
\caption{研究计划}
|
||||
\begin{tabular}{cc}
|
||||
\hline
|
||||
\textbf{时间} & \textbf{任务} \\
|
||||
\hline
|
||||
2026年6月-2026年8月 & 完善联合仿真平台，撰写论文并投稿 \\
|
||||
2026年9月-2027年2月 & 跨层关联分析，确定优化重点 \\
|
||||
2027年3月-2027年8月 & 设计并实现联合优化方法 \\
|
||||
2027年9月-2028年2月 & 实验验证与对比分析，撰写论文和专利 \\
|
||||
2028年3月-2028年6月 & 完成毕业论文与答辩准备 \\
|
||||
\hline
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
@@ -0,0 +1,3 @@
|
||||
\chapter{总结}
|
||||
|
||||
本文面向实时视觉模型推理业务中的无线传输问题，围绕WebRTC视频传输、Wi-Fi链路状态与视觉模型QoE之间的跨层关系展开研究。本文首先构建基于ns-3和ns3-ai的闭环联合仿真平台，为真实VLM/VLA业务的无线网络分析提供可控实验环境。在此基础上，本文拟通过实验分析Wi-Fi状态、WebRTC传输行为与模型服务质量之间的关联，并提出一种面向视觉模型QoE的WebRTC–Wi-Fi双向跨层协同优化方法，使Wi-Fi状态能够辅助WebRTC拥塞控制和FEC策略，同时使WebRTC帧级信息能够指导Wi-Fi队列管理、优先级保障和过期帧清理。预期本文能够为GenAI业务的无线网络分析提供可靠平台，为实时视觉模型推理提供有效的跨层传输优化方案，并形成相关论文和专利成果。
|
||||
Reference in New Issue
Block a user