相关链接arXiv论文https://arxiv.org/abs/2508.13434代码仓库https://github.com/WinfredGe/EventTSF思路及改进视频讲解https://space.bilibili.com/51422950?spm_id_from333.1007.0.0摘要时序预测在能源、交通等领域至关重要这些场景中非平稳动态与文本等其他模态的外部事件深度纠缠。然而用基于自然语言的外部事件改进非平稳预测仍基本未被探索多数方法仍依赖单一模态上下文知识有限、模型性能不佳。实现时序与文本数据的细粒度多模态交互面临两个根本问题①在统一框架中建模离散外部事件与连续时序的交互存在鸿沟②经典均匀扩散时间步忽视事件引起的非平稳变化导致各扩散阶段去噪难度不均衡。作者提出事件感知非平稳时序预测EVENTTSF一个通过逐步扩散整合历史时序与文本事件的自回归扩散框架为缓解均匀时间步采样的去噪难度不均衡EVENTTSF使用以事件语义为条件的事件感知flow matching时间步。在7个合成与真实数据集上的大量实验表明EVENTTSF超过12个非平稳时序预测基线概率预测在全部评估指标上平均提升41.3%、确定性预测平均提升27.5%。Q1这个模型试图解决什么问题核心问题是真实时序的分布变化与节假日、计划促销、大型直播等外部事件深度纠缠这些未来事件在预测前往往已知、是无法仅从历史观测推断的可执行外生先验但以往方法要么只靠单模态、要么只用粗粒度全局文本、且只产出确定性点预测无法细粒度刻画事件引起的分布偏移与不确定性。图注动机示意。(a)事件不感知的预测会退化GroundTruth、EventTSF与w/o event-aware对比去掉事件感知后难以跟上事件引起的突变(b)事件引起不同段的时序分布寒冷/炎热等事件对应不同噪声与分布(c)EVENTTSF通过自回归扩散联合建模事件与时序。1.事件先验被浪费RevIN归一化、Koopa分解、OneNet在线学习等只在单模态上处理非平稳忽视变化与文本等外部事件纠缠近期用LLM做多模态的工作又只用通用、粗粒度文本上下文难捕捉细粒度事件偏移且依赖确定性事件表示、只产点预测无法建模事件引起的不确定性2.挑战一细粒度时序-事件交互现有方法依赖静态全局“元上下文”无法在段级把离散事件与连续时序同步对齐把按时间排序的离散事件段与固定长度时序窗口对齐才能实现逐步事件-时序交互、捕捉级联与滞后依赖而非只条件于单一全局上下文3.挑战二事件不感知的时间步采样现有扩散预测模型从固定均匀分布采样扩散时间步但去噪难度与去噪目标的信噪比SNR紧密相关外部事件引起量级与方差的非平稳变化、产生异质SNR均匀采样无法适应导致训练难度不均衡、去噪器优化不稳。Q2相关研究非平稳时序预测深度学习通过归一化、模型设计、学习理论三条路线应对非平稳①归一化插件来自时域RevIN等与频域②定制架构如频率分解、统计分解与动态系统建模Koopa等③学习理论方法通过域生成、自适应与在线学习处理分布偏移。但引入外部模态做非平稳预测仍基本未被探索。时序预测的多模态把文本等外部信息引入时序预测基于LLM的外生信息与代理交互、检索增强等。这类方法多用粗粒度全局上下文、确定性表示难以刻画事件引起的细粒度分布偏移与不确定性。EVENTTSF通过事件同步、自回归扩散与事件感知时间步填补多模态事件感知非平稳预测的缺口。Q3模型如何解决这个问题问题定义给定长度L的单变量时序X1:L定义N个按时间排序的细粒度文本事件嵌入C{c1,…,cN}每个事件嵌入cs对应一个对齐、非重叠、一致的时序段xs{xl}(js,lis)。多模态数据集D{(xs,cs)}满足①∪xs⊆X完整覆盖②xs∩xs′∅段间不重叠。不同事件类别下时序分布发生事件条件偏移P(X|ci)≠P(X|cj)。给定p个历史时序/事件对Hx、Hc与q个未来事件描述Fc目标预测q步未来Fx即Fx帽Gθ(Hx,Hc,Fc)。整体架构EVENTTSF是面向事件感知非平稳预测的自回归扩散架构解决事件与时序的同步、联合建模并通过事件感知扩散时间步让事件信息调制去噪过程。图注EVENTTSF总览。(左)连续时序经固定长度窗口化与离散事件同步前向扩散以事件感知时间步注入噪声(中)自回归扩散架构联合建模事件与时序每步以观测历史与对齐事件嵌入为条件、用Diffusion Transformer加Cross Attention逐步去噪未来段(右)由于SNR刻画去噪难度且随事件变化把均匀采样的基础时间步t帽重参数化为事件感知时间步tφ(t帽,c)。事件同步为弥合连续时序与随机离散事件长期被当作两个课题时序与时序点过程的模态鸿沟按选定窗口把时序切成非重叠段xs每段对齐同一区间内发生的事件嵌入cs若某段窗口无事件则赋NULL事件。同步后的事件-时序对D{(xs,cs)}作为自回归扩散模型输入。文本事件由冻结的OpenAI text-embedding-3模型编码。多模态自回归扩散1.段生成视角把概率预测视为自回归的细粒度段生成预测步s通过条件扩散去噪生成段xs去噪由汇总历史时序与事件观测的潜状态Zh初始化潜状态Zs每步经时序段与事件语义交互自回归更新2.训练自回归优化以潜状态Zs−1、含噪时序段xts、事件感知扩散时间步t、文本事件嵌入cs为条件的flow matching去噪器学习速度场vts与更新潜状态Zs(vts,Zs)Mθ(Zs−1,xts,cs,t)去噪器Mθ跨所有自回归步共享步间动态由演化的潜状态与事件表征承载3.推理先由干净历史Hx与历史事件Hc算出历史状态Zh作为初始Z0每步以噪声ns与外生事件cs为输入结合ODE求解器、经学到的去噪器生成去噪段xs。flow matching与事件感知时间步1.最优传输路径式1用Rectified Flow把简单先验N(0,I)样本变换到目标分布xts(1−t)x0stx1s2.速度场式2vtsdxdtx1s−x0s由神经网络vθ(xts,Zs−1,cs,t)逼近采样时从N(0,I)采样噪声、用数值ODE求解速度场3.SNR量化难度式3SNR(t;c)t²σ²x|c/((1−t)²σ²n)σ²x|c为干净信号方差、随事件变化σ²n为噪声方差因此同一t在不同事件下去噪难度可能不同SNR随t非线性变化、且时间步-SNR曲线随事件变化4.Beta重参数化式4把均匀采样的基础时间步t帽∈[0,1]映射为事件自适应时间步t其分布服从Beta律t|c∼Beta(α(c),β(c))tφ(t帽,c)F逆Beta(α(c),β(c))(t帽)保证t∈[0,1]、φ对t帽严格单调递增保留扩散步内在顺序、形状可由(α,β)灵活调节5.参数预测式5Beta参数由事件表示c经两个轻量线性网络加softplus预测α(c)softplus(fΘα(c))ε、β(c)softplus(gΘβ(c))ε。训练与采样算法图注Algorithm 1训练流程。对每个自回归步s从U(0,1)采样基础时间步t帽、经φ得到事件感知时间步t按OT定义含噪样本与速度经去噪器联合更新潜状态与预测速度最后用MSE损失更新参数。图注Algorithm 2采样/预测流程。先用历史p对( xs,cs)以t1预热潜状态对未来每步s采样噪声沿去噪网格用φ计算事件感知步长Δt经去噪器与ODE逐步精修输出未来段并汇总。去噪器多模态U形扩散Transformer去噪器Mθ采用多模态U形扩散Transformer M-U-DiT把事件与多分辨率时序模式对齐输入历史时序经交叉注意力、当前含噪段与时间步/条件一起送入U形网络编码器下采样、瓶颈层、解码器上采样并加捷径最终解码器预测速度场更新的潜状态由输出与原潜状态Zs−1交叉注意力得到。图注多模态U形扩散Transformer M-U-DiT。上下两个Cross Attention分别融合Memory ZK,V与当前Input XQ中间U形Diffusion Transformer经Downsample红、Upsample蓝、Shortcut绿处理附加Timestep T与Condition C输出预测与更新记忆。Q4实验效果如何在7个数据集、12个模型上评估配置遵循NsDiff与标准TSF协议结果为三次独立运行平均。实验围绕五个研究问题RQ1确定性与概率预测效果、RQ2基线能否用事件达到可比性能、RQ3组件有效性、RQ4训练效率、RQ5有无事件的可视化。数据集与指标在1个合成数据集与6个真实数据集上评估覆盖交通、天气、大气物理领域Synthetic、Atmospheric Physics-Weather Events、Traffic-Public Events、Temperature-Rainfall EventsHouston、San Francisco、New York三城市、Traffic-News Events。确定性预测用MSE、MAE、RMSE概率预测用CRPS、WQL并报告点预测MAE。图注数据集统计。Synthetic 26280点、每波24点、1095波事件为正弦35.6%/三角32.2%/方波24%/锯齿8.2%描述均长2.14词Atmospheric 52743点、10分钟、3.64词Traffic-Pub 4704点、小时、4.21词三个温度城市各45216点、小时、降雨为单token降雨率Houston 24.26%、NewYork 24.58%、SanFran 30.94%Traffic-News 35088点、30分钟描述均长280.04词。基线概率扩散基线含CSDI、TimeDiff、TMDM、DiffusionTS、NsDiff确定性深度模型含iTransformer、Koopa、NSTransformer、PatchTST、TimesNet等其中NsDiff、Koopa、NSTransformer专为非平稳预测设计。RQ1概率与确定性主结果EVENTTSF在两类任务上均显著领先全部数据集与指标上概率预测平均提升41.3%、确定性预测平均提升27.5%。图注概率预测结果CRPS、WQL、MAE越低越好。EVENTTSF在7数据集几乎全部最优Avg为CRPS .2747、WQL .1438、MAE .3254远优于NsDiff.5496/.3168/.7289、TMDM.6001/.3187/.7344等Synthetic上CRPS从TMDM的.1842降到.0776提升58.4%Atmospheric Physics上从DiffusionTS的.7151降到.2857提升65.1%。图注确定性预测结果MAE、MSE、RMSE。EVENTTSF Avg为MAE .3254、MSE .4046、RMSE .5846一致最优Synthetic上MAE .0812、较Autoformer的.3141降低74.1%平均RMSE .5846、较DLinear的.9088降低35.8%。Traffic-News上各确定性模型竞争激烈因长文本低信息事件表示使事件感知收益明显减弱。RQ2事件增强的基线仍不及EVENTTSF多数基线无法原生使用事件作者对概率基线把去噪器Transformer块替换为Crossformer块以支持事件交叉注意力对确定性基线把事件嵌入线性投影到输入嵌入空间、作为残差条件信号加入。图注事件插入基线对比左为概率CRPS、右为确定性MAE浅色W/o event、深色W/ event。加入事件一致改善两类基线但即使能访问事件所有基线仍明显逊于EVENTTSF概率上TMDM加事件CRPS降.0711.7%而EVENTTSF降.1027.1%.37→.27确定性MAE上EVENTTSF平均降.2845.9%.49→.33。说明简单注入事件嵌入不足以实现真正的事件感知建模。RQ3消融实验在3个数据集上、用3个指标评估文本事件条件与事件感知扩散时间步。图注消融对比W/o Event、Uni Timestep、Full三配置。去掉文本事件使性能退化Temperature-New York上WQL增加10.71%把均匀时间步换成事件感知时间步带来一致收益CRPS降低9.21%、WQL降低12.50%、MSE降低10.42%。完整模型在各数据集一致最优证明每个组件都不可或缺。RQ4训练效率图注训练效率。左为训练时间vs平均MAEEVENTTSF训练时间最短、误差最低在Synthetic上较第二好基线训练快1.13倍、误差低4.85倍右为训练时间随预测horizon的扩展NSTransformer随horizon线性增长、NsDiff在各horizon都居高EVENTTSF训练时间更低且呈亚线性增长因按段而非按点生成利于长horizon场景。RQ5事件感知预测可视化图注事件感知预测可视化Synthetic与Traffic-Public含Context、Ground Truth、Mean Forecasting与Range。Synthetic上事件感知模型准确捕捉突变过渡事件不感知模型只产生平滑响应Traffic-Public上事件信息在噪声条件下改善了与真实值的对齐合成数据上提升更明显说明事件为精确预测提供了关键语义线索。案例分析Traffic-News为何表现受限Traffic-News在主实验中表现次优主要源于其文本模态质量与结构问题。图注Traffic-News文本事件示例。前40词为直接相关信息区域、日期、星期、最高温、湿度、气压等后275词多为背景新闻某地锂电建厂、行业趋势等过度冗长、与交通序列弱相关。约87.3%的事件描述由缺乏直接关联的背景新闻构成削弱了文本事件与时序段建立清晰时间、语义对齐的能力。作者据此强调文本事件的信息量与相互关联才是事件感知预测的关键纳入文本本身并不保证性能提升其效用取决于语义清晰度及与时序动态的相关性这也为更审慎的数据集设计与事件标注提供动机。事件嵌入空间图注事件嵌入空间t-SNE对比。Synthetic呈清晰分离的波形簇Atmospheric Physics、Traffic Public中心有明确聚类三个温度城市均呈两个分离的二值降雨簇唯独Traffic-News聚类弱、嵌入大量重叠说明长新闻描述稀释了核心事件语义、语义可分性有限。ΔVJ-FTSD能量化文本事件的可预测性增益为严格量化文本事件对预测的贡献作者提出ΔνJ-FTSDJ-FTSD评估真实与生成的时序-元数据联合分布的对齐越低越好比较纳入与排除文本事件输入时的改善。图注ΔνJ-FTSD结果浅色Without Event、深色With Event。加入事件在多数数据集一致降低J-FTSDTraffic-Pub降50.0%.04→.02、Temp-Houston降34.5%2.35→1.54、Temp-NewYork降27.4%1.64→1.19、Synthetic降22.7%.97→.75唯独Traffic-News从4.19升到6.14、反而恶化再次印证冗余低相关长文本会引入噪声、损害预测。事件感知时间步的有效性图注学到的事件感知扩散时间步Synthetic与Traffic Public。黑色虚线为均匀时间步彩色为各事件类别的重参数化曲线tφ(t帽,c)Synthetic上同一t帽下映射以明显非线性方式重分配采样位置、不同事件类别曲线系统性分化Traffic Public上曲线也被事件调制。这与定性动机和定量消融一致事件引起量级与方差变化、改变有效SNR事件条件重参数化把去噪预算投向各事件类型的难度关键阶段使各扩散阶段训练信号更均衡。Q5有哪些可以继续探索的点1.文本事件质量治理Traffic-News案例表明简单纳入冗长、低相关文本反而损害预测如何自动筛选、压缩高信息事件描述、构建语义紧凑的事件标注是提升多模态预测的关键方向2.细粒度多模态交互的扩展当前以固定窗口做事件同步可探索更灵活的事件-段对齐、事件级联与长滞后依赖建模以及图像、音频等更多模态3.事件感知调度的理论与泛化Beta重参数化有效平衡去噪难度可进一步研究其与SNR分布的理论关系以及在不同扩散骨干、不同领域数据集上的泛化。Q6总结EVENTTSF首次把非平稳时序预测系统刻画为整合多模态事件信息的范式通过事件同步在共享时间粒度下对齐离散事件与连续时序用自回归扩散多模态U形DiT去噪器、跨步共享、潜状态演化实现细粒度段生成并用基于Beta分布的事件感知flow matching时间步把均匀采样重参数化为事件相关时间步、平衡各扩散阶段去噪难度。在7个合成与真实数据集上EVENTTSF概率预测平均提升41.3%、确定性预测平均提升27.5%超过12个非平稳基线研究同时揭示文本事件的语义清晰度与相关性才是事件感知建模成败的关键。