爱游戏体育官网|爱游戏官网-手机APP下载
栏目分类
热点资讯
项目管理

你的位置:爱游戏体育官网|爱游戏官网-手机APP下载 > 项目管理 > 以及该领域的将来商量契机爱游戏体育官网

以及该领域的将来商量契机爱游戏体育官网

发布日期:2024-06-10 07:22    点击次数:203

#TSer#爱游戏体育官网

时期数据,特别是时期序列和时空数据,在现实宇宙的应用中渊博存在。这些数据拿获动态系统的测量值,并由物理和捏造传感器大量产生。分析这些数据类型对于愚弄它们所包含的丰富信息至关要害,从而成心于各式卑劣任务。连年来,妄语语模子和其他基础模子的跨越促使这些模子在时期序列和时空数据挖掘中的使用不竭加多。这些身手不仅增强了跨多个领域的模式识别和推理能力,况兼为大概贯串和处理常见时期数据的东谈主工通用智能奠定了基础。

本文先容一篇对于时期序列和时空数据的大模子的侦察综述。在该论文中, 作家强调了分析这些数据类型的要害性以及对各式卑劣任务的潜在克己。他们将现存文件分为两大类:时期序列分析的大模子(LM4TS)和时空数据挖掘(LM4STD)。此外,作家还提供了全面的资源网罗,包括数据集、模子金钱和器用,按主流应用分类。论文强调了以大模子为中心的时期序列和时空数据的最新商量进展,以及该领域的将来商量契机。

图片

论文地址:https://arxiv.org/abs/2310.10196

图片

论文布景

大模子在当然话语处理、狡计机视觉和其他领域取得了显赫效果,但在传统的时期序列和时空数据分析身手中,大模子的应用相对较少。

尽管最近在为时期序列和时空数据的大模子开发铺平了谈路,但在许厚情况下,大鸿沟数据集的枯竭仍然是一个要紧的遣散。即便如斯,咱们照旧目睹了在不同任务和领域中收效尝试数目的急剧加多,这充领悟释了大模子在时期序列和时空数据分析中尚未发掘的后劲。

在本文中,作家通过提供一个团结的、全面的和最新的综述,得志了这个需要,该综述故意针对时期序列和时空数据分析的大模子,包括不同的数据类型、范围、应用领域和代表性任务中的LLMs和PFMs。

此综述的孝敬点总结如下:

首个全面且最新的综述

团结和结构化的分类法

丰富的资源编译

将来的商量契机

图片

与其他侦察比拟,这份侦察更为全面,不仅涵盖了多个领域和数据模态,还对面前最为热点的大型模子和预查验计谋进行了深远的探讨。它为读者提供了一个更为广宽的视线,有助于更全面地贯串时期序列、时空数据等领域的最新商量进展。

模子先容

本文的主要责任集合于追想近期接管大模子处罚时期序列和时空数据任务的进展。具体来说,作家关注大模子中的两个主流:妄语语模子和预查验的基础模子。以下是作家对这两个模子过头联系内容的先容:

01

妄语语模子(LLMs) 

话语建模是好多当然话语处理任务的基础,而妄语语模子(LLMs)的初志是为了提升话语建模的性能。与传统的神经话语模子(NLMs)和袖珍预查验的话语模子(PLMs)比拟,LLMs以其在处罚各式复杂任务时的突发能力、高下文体习能力而为东谈主所知,并重塑了咱们使用AI的形式。跟着多模态妄语语模子(MLLMs)的发展,LLMs的卑劣任务远远超出了传统的当然话语范围,袖珍PLMs无法疲塌处罚这些问题。在最近的使用LLMs对时期序列和时空数据进行建模的经过中,咱们将其分为两大类:可见镶嵌型LLMs和不成见镶嵌型LLMs。前者平方开源,具有公开可拜访的里面景色,典型的例子包括BLOOM、Llama、Alpaca、Vicuna和Falcon等,这些模子平方不错在不同的贪图任务上进行微调,并炫耀出有出路的少样本和零样本能力,无需额外的再查验。后者平方是闭源的,莫得公开的里面景色,如PaLM、ChatGPT1和GPT-4,它们平方通过API调用中的领导进行推断。下图提供了一个对于大模子的简要阶梯图,详细了它们的发展历程和商量焦点,明晰地揭示了妄语语模子和预查验基础模子之间的商量和各异。

图片

见证了多模态妄语语模子(MLLMs)的巨大收效后,作家主要的商量风趣之一是怎样改换LLMs来处罚时期序列和时空数据分析任务。在现存的文件中,这平方不错通过多模态再愚弄或基于API的领导来完好意思。

这种身手平方用于激活镶嵌可见LLMs的任务联系功能,通过在贪图和预查验(源)任务中对皆不同的模态来完好意思。这与LLMs的微调密切联系爱游戏体育官网,举例适配器调融合低秩允洽,以及模子重编程,这取决于在允洽经过中LLMs是微调照旧冻结。这种身手允许更深远地愚弄LLMs的里面景色和任务联系功能,但可能需要更多的狡计资源和拜访权限。

另一方面,这种身手更径直,将贪图模态包装成当然话语领导,并将其输入到LLMs中进行生成推理。这访佛于话语模子即劳动(LMaaS)的黑盒调优。凭证标明,这种身手在跨多个领域的不同贪图任务中都适用,并炫耀出有但愿的斥逐,包括时期序列和时空数据的学习。

02

预查验基础模子 

预查验基础模子是指那些大鸿沟预查验的模子,这些模子可允洽处罚各式卑劣任务。从广义上讲,LLMs(以及MLLMs)也属于PFMs,但它们更常用于处罚当然话语导向的任务。PFMs组成了一个更粗犷的模子类别,其特色是其突发能力和同质化,可灵验处罚不同任务,并整合了构建AI系统的身手论,与特定任务的模子有显赫不同。

PFMs的能力主要表当今三个要津维度:模态桥接、推理和贪图以及交互。

模态桥接:触及多模态模子,举例视觉-话语模子等MLLMs,这类模子在团结话语和视觉模态方面取得了显赫效果。举例,CLIP当先提倡弥合图像和文本之间的差距,SAM进一步延伸了文本领导的办法到视觉领导。其他最近的责任,如NExT-GPT,进一步扩大了畛域,致使允许桥接多种不同的模态。

推理和贪图:PFMs也被想象用于进行复杂的推理和贪图任务。这些模子不错从大量的预查验数据中学习怎样推理和处罚复杂问题。

交互:这些模子还大概以更当然的形式与东谈主类用户进行交互,从而提供更好的用户体验。

在现实宇宙中,数据本体上是多模态的,举例在临床医学中,频繁触实时期序列和时空数据。这也激励了最近对多模态时期序列和时空数据的商量风趣。尽管这些商量仍处于早期发展阶段,但它们代表了PFMs的一个要害且充满但愿的分支。

第二个方面凸起了PFMs的推理和权术能力。LLMs中的典型例子包括CoT、ToT和 GoT,以及任务权术代理。这些模子具备在不同任务和情境中进行逻辑推理和制定贪图的能力。

临了一个方面界说了PFMs的交互能力,包括举止和通讯。交互能力使得PFMs大概与用户或其他系统进行实时的信断换取,并根据需求进行相应的举止。在本侦察中,作家主要关注用于时期序列和时空数据的PFMs。这些模子在发展中大多仍处于早期阶段,远未达到上述的第二和第三方面。对于PFMs的更多细节,咱们建议读者参考。

总之,PFMs行为一种前沿的AI时候,它们的多模态桥接、推理权术以及交互能力为咱们处罚复杂的问题提供了新的可能性。但是,对于时期序列和时空数据的PFMs商量仍处于低级阶段,将来还有很大的发展空间。跟着时候的不竭跨越,咱们期待看到更多的立异和冲突,以股东东谈主工智能领域的发展。

03

时期序列和时空数据 

时期序列和时空数据行为时期联系的数据类别,在无数现实宇宙应用中行为基础数据出现。时期序列平方被界说为按期间规则陈设的数据点序列。这些序列不错是单变量的,也不错是多变量的。举例,一个城市每天的温度读数将酿成一个单变量时期序列,而联接每天的温度和湿度数据将创建一个多变量时期序列。时期序列数据:这是按期间规则陈设的数据,平方用于分析和预测某一征象随时期的变化情况。代表任务包括时期序列预测、极度检测等。时空数据:这类数据不仅包含时期信息,还包含空间信息。它们被粗犷用于地舆位置联系的商量和应用中。代表任务包括时空数据插补、时空预测等。1. 时期序列任务这个领域平方包括四个主要的分析任务:预测、分类、极度检测和填充。在预测中,贪图是预测时期序列的将来值,根据预测范围,不错进一步分为短期和长久预测。在分类中,贪图是将输入的时期序列分类到不同的类别中。时期序列的极度检测也不错被贯串为一种特殊的分类任务,咱们的贪图是从正常的时期序列中识别出极度的时期序列。在填充当务中,贪图是填充时期序列中的缺失值。2. 时空图任务时空图的主要卑劣任务是预测,该任务旨在通过参考历史属性和结构信息来预测将来的节点特征。典型的例子包括交通预测和一些按需劳动。其他常见任务包括联贯预测和节点/图分类,其中联贯预测的贪图是基于历史信息预测边的存在,而节点/图分类的贪图是将节点或图分类到不同的类别中。3. 时期学问图任务时期学问图中有两个要害任务:补全和预测。前者主要旨在填充图中的缺失关系,此后者关注预测将来的关系。4. 视频任务在狡计机视觉领域,视频数据包含几个中枢任务,如检测、标注、预测和查询。检测的主张是识别视频中的特定物体或动作。标注试图为视频内容生成当然话语形貌。预测触及预测视频序列中的将来帧。临了,查询的主张是检索与特定查询联系的视频片断。值得谛视的是,这些任务频繁跨越多种模态,与前边提到的数据类型比拟,它们受到了相当大的关注。

详细与分类

作家对时期序列和时空数据的大模子进行详细和分类。侦察结构遵命四个主要维度:数据类别、模子架构、模子范围和应用领域或任务。联系责任的详确节录不错在图3和表2中找到。作家主要将现存的文件分为两大类:时期序列数据的大模子(LM4TS)和时空数据的大模子(LM4STD)。

01

时期序列数据的大模子(LM4TS) 

在LM4TS类别中,作家将商量细分为两类:时期序列数据的LLMs (LLM4TS)和时期序列数据的PFMs (PFM4TS)。前者指的是愚弄LLMs处罚时期序列任务,不管在允洽经过中LLMs是微调照旧冻结。后者,另一方面,关注为各式时期序列任务显式想象的PFMs的开发。值得谛视的是,PFM4TS领域相对较新;现存模子可能莫得迷漫封装界说在第2.2节的通用PFMs的后劲。但是,它们为这个领域的将来发展提供了有价值的见解。因此,作家还将它们包括在这个侦察中,并将它们分类为PFM4TS。对于这些细分,作家进一步将它们分类为通用或特定领域的模子,取决于这些模子是想象用来处罚一般时期序列分析任务照旧限于特定领域,包括但不限于交通、金融和医疗保健。

02

时空数据的大模子(LM4STD) 

在LM4STD类别中,作家接管访佛的分类法,界说时空数据的LLMs (LLM4STD)和时空数据的PFMs (PFM4STD)。与时期序列数据不同,时空数据包含多个领域的更粗犷的实体数组;因此作家明确地按照它们联系的领域分类LLM4STD和PFM4STD。在此,作家关注三个最凸起的领域/模态,使用它们行为子类别:时空图、时态学问图和视频数据。对于其中的每一个,作家总结代表性的任务行为叶节点,这与LM4TS相似。值得谛视的是,与当时期序列对应物比拟,PFM4STD照旧得到了更粗犷的发展。面前的商量主要针对STGs和视频数据,平方具有如多模态桥接和推理等PFMs的增强功能。

图片

时期序列数据大模子爱游戏体育官网

连年来,妄语语模子和预查验基础模子在时期序列分析中的应用取得了显赫的进展。这些模子具有强劲的学习能力和暗示能力,大概灵验地捕捉时期序列数据中的复杂模式和长久依赖关系。本节中,作家将分别商量妄语语模子和预查验基础模子在时期序列分析中的进展,并进一步根据模子的通用性和领域特异性进行分类商量。

01

妄语语模子在时期序列分析中的应用 

1. 通用模子跟着时期的推移,妄语语模子(LLMs)缓缓在时期序列分析领域展现出自后劲。行为从LLM角度处理通用时期序列预测的早期致力之一,有商量谨慎引入了一个新任务:基于领导的时期序列预测——PromptCast。由于输入和输出都是当然话语句子,PromptCast为时期序列预测提供了一种新颖的“无代码”处罚决策,这提供了一个全新视角,而不单是是专注于想象复杂的架构。此外,为了应付枯竭大鸿沟查验数据的挑战,有商量提倡了一个基于部分冻结LLMs的团结框架,即只微调镶嵌和归一化层,同期保持自注见识和前馈层不变。这种身手在系数主要的时期序列分析任务中都达到了首先进或可比的性能,包括时期序列分类、短期/长久预测、插补、极度检测、少样本和零样本预测。其他商量则更专注于时期序列预测的特定方面。举例,TEMPO专注于时期序列预测,但联接了额外的时期序列领悟和软领导等细腻想象。还有商量愚弄LLMs进行时期序列预测,接管两阶段的微调经过:伊始使用有监督的微调率领LLM朝向时期序列数据,随后转向针对时期序列预测的卑劣微调。另有商量通过新的镶嵌身手激活了LLM在时期序列上的能力,该身手通过实例、特征和文本原型对皆的形式进行数据的token化和编码,然后创建领导传递给LLMs来实施任务。2. 特定领域模子交通输送领域:时期序列预测在智能交通系统(Intelligent Transportation Systems,简称ITS)中认识着要津作用。为了充分发掘妄语语模子在交通输送领域的应用后劲,有商量提倡了一种新颖的AuxMobLCast管谈,愚弄LLM进行交通数据挖掘,举例东谈主类转移性预测任务。AuxMobLCast将东谈主类转移性数据飘浮为当然话语句子,使得预查验的LLM不错径直应用于微调阶段来预测东谈主类转移性。这项责任是初次尝试微调现存的LLM,以预测交通输送领域的数据,为LLM在交通输送领域的应用提供了新的想路和身手。金融领域:连年来,一些专注于金融领域的妄语语模子(LLMs)的商量已在文件中报谈。其中一项商量提倡了一种通俗而灵验的指示调优身手,用于金融领域的情态分析。通过这种身手,基于分类的情态分析数据集被飘浮为生成任务,从而使LLMs大概更灵验地应用其粗犷的查验和不凡的分析能力。除了NLP任务外,愚弄LLMs的不凡学问和推理能力进行金融时期序列预测也很蛊惑东谈主。有商量使用GPT-4进行零样本/少样本推理,以及使用Llama进行基于指示的微调来进行可解释的预测,尽管与GPT-4比拟性能相对较差,但仍取得了合理的性能。还有商量使用了访佛的身手来基于文本数据预测股票价钱变动。这些商量展示了LLMs在金融领域的后劲和千般性,为将来的金融应用和商量提供了新的视角和器用。事件预测:与具有相当采样间隔的同步(章程)时期序列数据不同,事件序列是具有不章程时期戳的异步时期序列。事件序列在现实宇宙中饰演细心要脚色,如金融、在线购物、酬酢鸠合等。时期点经过(Temporal Point Processes,简称TPPs)已成为建模此类数据的模范身手。事件预测旨在根据畴昔预测将来的时期和事件类型。举例,在在线购物领域,作家想要树立用户的时期戳拜访序列模子,并根据他们畴昔的购物评价来预测他们将来的购物举止。妄语语模子(LLMs)在这种树立中潜在地有用,因为事件序列平方伴有丰富的文本信息,而LLMs擅所长理这些信息。医疗健康领域:医疗健康领域是事件序列中最要害的领域之一,临床模子可匡助医师和行政东谈主员在日常实践中作念出决策。基于结构化数据的临床模子使用受限,但GatorTron和NYUTron等临床LLM的延伸和改良,为医学提供了与医师沿路阅读和在照料点提供带领的后劲。LLMs还不错通过少样本领导调优,将来自可一稔开导和临床级传感开导的数值时期序列数据行为基础,在健康任务上带来大的改良。

02

预查验基础模子在时期序列分析中的应用 

除了愚弄LLMs进行时期序列分析外,时期序列预查验和联系基础模子的发展也充满了但愿。这些模子有助于识别在各式领域和后续任务中保持一致的一般时期序列模式。

1. 通用模子

自2021年以来,照旧提倡了大量的预查验基础模子,其中大多数是通用模子。Voice2Series愚弄了预查验的语音处理模子的暗示学习能力,使用语音数据行为单变量时期信号进行时期序列分类,它是大概为时期序列任务进行重新编程的第一个框架。

继Voice2Series之后,基于对比学习时候的时期序列数据的预查验基础模子接踵裸露,包括TF-C、TS2Vec和CLUDA。TF-C包含一个基于时期的组件和一个基于频率的组件,每个组件都通过对比推断进行单独查验,自监督信号由时期和频率组件之间的距离提供,即时期-频率一致性。TS2Vec提倡了一种通用的对比学习框架,用于学习时期序列领域中纵情子序列在各式语义级别的高下文暗示,通过分层形式对增强的高下文视图进行处理。该框架撑持多元输入,可用于时期序列领域的各式任务。

CLUDA是一种基于对比学习的无监督时期序列域允洽模子。CLUDA有两个新颖的组件,定制对比学习和最隔壁对比学习。使用抵御学习将它们在源域和贪图域之间进行对皆。CLUDA的对比学习组件旨在学习一个暗示空间,其华文义相似的样本更接近,不相似的样本更远。因此,CLUDA不错学习多元时期序列中的域不变高下文暗示,以允洽不同的领域。这些模子的出现为时期序列分析提供了更丰富和强劲的器用。

除了上述的模子和时候外,该领域还接管了好多其他时候。举例,STEP模子包含了一个预查验模子和一个时空图神经鸠合(STGNN)。预查验模子被想象用于从长久历史时期序列中高效学习时期模式,并生成片断级暗示。这些暗示为STGNNs的短期时期序列输入提供了高下文信息,并有助于建模时期序列之间的依赖关系。MTSMAE是一种多元时期序列预测的自监督预查验身手。基于装束自编码器(MAE)的预查验身手触及一种新的块镶嵌,不错减少内存使用,并允许模子处理更长的序列,以处罚处理高信息密度的多元时期序列的挑战。SimMTM也基于装束建模时候,通过揭示流形的局部结构,将预查验身手延伸到时期序列。为了提升装束建模的性能,装束的时期点通过流形外的多个邻居的加权团员进行复原,这使得SimMTM大概从多个装束序列中组合互补的时期变化,并提升重建序列的质地。PatchTST是一个基于Transformer的长久时期序列预测模子。为了克服其他模子在捕捉局部语义信息方面的局限性,PatchTST引入了一种用于索求局部语义信息的补丁机制,并想象了一种通谈安闲性,使每个序列都能学习我方的注见舆图以进行预测。它也被应用于预查验任务中。另外,TSMixer是一个轻量级的MLP-Mixer模子,用于多元时期序列预测。它引入了两个新颖的在线调处头,愚弄分层补丁团员的内在时期序列属性和跨通谈联系性来改换和改良预测。与基于Transformer的模子不同,TSMixer显赫增强了通俗MLP结构的学习能力。

2. 特定领域模子

PromptTPP 提倡了一种通用身手来预查验事件序列的基础模子,并通过接管无间学习(Continual Learning,CL)来处罚连气儿模子监控的问题。这使得 PromptTPP 大概在现实管理下连气儿学习一系列任务,而不会发生横祸性渐忘。相应地,PromptTPP 将基础模子与连气儿时期检索领导池相集成。这些领导是可学习的小参数,存储在内存空间中,并与基础模子连合优化,确保模子大概规则学习事件流,而无需缓冲畴昔的样本或任务特定属性。通过这种形式,PromptTPP 不仅能允洽不竭变化的数据环境,还能灵验地愚弄内存资源,幸免在无间学习经过中出现信息渐忘的问题。这种身手的提倡为事件序列的连气儿学习开辟了新的可能性,也为处罚联系的推行问题提供了灵验的器用。

时空数据的大模子

在本节中,作家探讨了大模子在时空数据分析中的跨越,这些跨越跨越了三个主要的数据类别:时空图、时期学问图和视频。每一种都具有粗犷的现实宇宙应用。

01

时空图 

在深度学习的时间,时空图神经鸠合(STGNNs)照旧成为时空图预测事实上最受接待的身手。它们主要愚弄图神经鸠合捕捉极点之间的空间联系性,并愚弄其他模子(如RNN和CNN)学习不同期间步之间的时期依赖性。

连年来,LLM(妄语语模子)和PFM(预查验特征模子)的出现为时空暗示学习领域的STGNN(时空图神经鸠合)提供了可贵的撑持。这些模子在处理和高下文化文本数据方面阐扬出色,使它们具备从各式文蓝本源(包括新闻著作、酬酢媒体内容到叙述)中索求瞻念察力的能力。这些瞻念察力不错无缝地整合到时空结构中,提升其高下文的丰富性。此外,它们促进了多种模态的交融,包括文本、图像和结构化数据,从而扩大了时空贯串的深度和广度。这些模子具有生成东谈主类可解释解释的能力,提升了透明度和可靠性,特别是在城市权术或灾害应付等应用中。此外,它们通过神圣暗示编码高等信息,促进了狡计效能,简化了查验和推理经过。

1. 妄语语模子在时空图中的应用

与PFMs比拟,愚弄LLMs增强STGNNs学习能力的文件相对较少。第一种身手是使用LLMs学习极点之间的关系。早期的一项商量不错在参考文件[122]中找到,它提倡了一个新颖的框架,愚弄LLM令东谈主陈赞的图推理能力来增强STGNNs对股票价钱变动的预测。在这种身手中,ChatGPT被用来从逐日财经新闻中索求不竭演变的鸠合结构,这些推断出的图结构然后被无缝集成到GNNs中,为每个公司生成节点镶嵌。这些镶嵌解释了对提升与股票变动联系的卑劣任务的性能是有匡助的。此外,第二系列商量愚弄LLMs的先验学问来撑持STGNNs的卑劣应用,如用于东谈主类举止识别的LA-GCN。在LA-GCN中,LLM孳生的学问被飘浮为先验全局关系(GPR)拓扑和先验类别关系(CPR)拓扑,界说了节点之间的互联。GPR行为生成新颖骨骼暗示的带领框架,其主要贪图是凸起从基础数据中索求的要津节点信息。

2. 预查验基础模子在时空图中的应用

咱们目下正在目睹为掌合手各式现实宇宙应用中的STGs(时空图)而定制的预查验机器学习模子的激增。这些模子通过学问转移显赫促进了STG学习。换句话说,它们完好意思了已学习暗示形式的转移,从而提升了STGs拿获复杂模式的能力,导致了更灵验和更高效的学习。一般领域的PFMs:对比学习是一种在图像和文身手域被粗犷应用的暗示学习身手,它在时空图学习领域也被解释口舌常灵验的。其中一种代表性身手是STGCL,它通过对比正样本对与负样本对,从复杂的时空图数据中索求丰富和有道理的暗示。这种身手使得对比学习在诸如交通预测和电力奢靡预测等千般化领域的推行应用中变得可行。为了学习极点间的有信息量的关系,SPGCL最大化了正邻居和负邻居之间的分辩畛域,并用一种自我轨范计营生成了最优图。风光领域的PFMs:接头到狡计效能的紧要需求以及实时表象预测的需求,Pathak等东谈主引入了FourCastNet,这是一个愚弄自允洽傅里叶神经算子完好意思高分辨率预测和快速推断的表象PFM。它的查验经过包括两个阶段——预查验和微调。在预查验期间,FourCastNet经受监督查验,以获取从前一步到后一步的映射。在微调阶段,它基于预查验模子进行构建,将其优化为以自追想形式预测接下来的两个时期步。PanGu通过多时期模范模子组称身手,展示了比FourCastNet更强的中期预测能力,愚弄新颖的3D地球特定Transformer。这个3D深度鸠合,增强了地球特定先验,灵验地处理复杂的风光数据模式。ClimaX是一个允洽性强的深度学习模子,应用于表象和天气科学,查验于千般化数据集。它延伸了Transformer架构,带有立异组件,优化了狡计效能。当先在CMIP6表象数据上进行预查验,ClimaX不错针对各式表象和天气任务进行微调,致使触及未见过的变量和时空模范。

W-MAE将自监督预查验身手(即Masked Autoencoder)整合到表象预测任务中。这种整合使得模子大概从大量的无标签风光数据中索求要津的风光联系特征和通用学问,有助于改善对千般化数据源的处理。与上述身手不同,FengWu通过多模态和多任务身手处罚中期表象预测问题。它接管了一种深度学习架构,具有模子特定的Transformer和跨模态交融计谋。这种想象经心制作,纳入了不细目性亏空,用于各式预测器的区域自允洽优化。

交通输送领域

在交通输送领域,CPPBTR是一个基于Transformer的新框架,用于东谈主群流量预测,其特色是两阶段的解码经过。在第一解码阶段,生成一个初步序列。随后,在第二解码阶段,系统地瞒哄这个开动序列的每一个时期步,并将其输入到Transformer编码器中,以预测每个瞒哄位置的细腻流量。在交通流量预测领域,TrafficBERT愚弄了受BERT启发的要津特征。它接管与BERT访佛的双向Transformer结构,不错预测全体交通流量,而不是单个时期步。与需要对每条特定谈路进行单独查验的常鸿沟型比拟,TrafficBERT通过使用来自多条谈路的数据进行预查验,增强了模子的泛化能力。此外,Wang等东谈主引入了交通基础模子(TFM),它将交通模拟纳入到交通预测的领域中。TFM愚弄图结构和动态图生成算法,奥妙地拿获交通系统内参与者之间的复杂动态和交互。这种数据驱动和无模子的模拟身手灵验地处罚了传统系统在结构复杂性和模子精度方面长久存在的问题,为使用真确宇宙数据处罚复杂的交通问题奠定了坚实的基础。

02

时期学问图 

结构化学问推理的应用,如搜索引擎、问答系统、对话系统和酬酢鸠合等一系列应用都需要对基础结构化学问进行推理。特别是,学问图谱(KGs) 、行为商量这类学问的复杂多关系树立的要害模子,照旧引起了粗犷关注。KGs以三元组(s, p, o)的形式暗示事实(事件),平方从文本数据中索求,其中s和o分别暗示主体和客体实体,p行为关系类型暗示谓词。但是,在现实宇宙中,学问是不竭发展的,这激励了时期学问图谱(TKGs) 的构建和应用,其中事实从三元组(s, p, o)延伸到带无意期戳t的四元组,即(s, p, o, t)。通过灵验拿获事实之间的时期依赖性和结构依赖性,TKGs有助于更好地贯串实体的举止以及它们怎样跟着时期的推移促成事实的生成。因此,TKGs的应用和改良对于提升这些系统的性能和准确性具有要害的道理。由于连年来LLMs在好多文本推理任务中阐扬出惊东谈主的性能,因此很当然地会主动商量LLMs在TKGs中的灵验性。根据所实施的任务,基于LLM的TKG模子可分为两类:预测和补全。

03

视频 

视频是视觉信息的数字暗示,平方由一系列图像或帧组成,共同传达动作和时期变化。这些数据在各式推行应用中变得无处不在,包括监控系统、文娱平台、酬酢媒体和驾驶员援助系统。对于视频贯串的老例深度学习身手主要触及两个要津范式:(1) 2D CNNs:在这个范式中,每个视频帧通过2D卷积分别处理,然后在鸠合顶部沿时期轴团员。这种身手主要关注空间特征,时期特征的处理较为通俗。(2) 3D CNNs:这种身手通过学习3D卷积来团员空间和时期特征,从而学习视频的时空暗示。与2D CNNs比拟,3D CNNs大概更好地拿获视频中的时期动态。连年来,Transformers也因其拿获长距离依赖的能力而被粗犷应用于建模视频的时空依赖,进行视频识别。这种身手不依赖于卷积操作,而是通过自注见识机制来拿获全局的时空依赖关系。但是,连年来LLMs(妄语语模子)和PFMs(多模态模子)的发展为愚弄视频固有的多模态性质增强视频贯串铺平了谈路。这些模子,如OpenAI的CLIP和DALL-E,大概通过连合处理视觉和文本模态,灵验地从视频数据中索求丰富的高下文信息,完好意思对复杂场景和事件的更全面贯串。此外,这些模子有后劲促进不同领域之间的灵验转移学习,提升视频分析任务的泛化能力和鲁棒性。

资源与应用

本节汇总了与时期序列和时空数据联系的各式应用中常见的数据集、模子和器用。这些数据集、模子和器用不才表中逐个列出,为商量东谈主员和实践者提供了可贵的资源和参考。通过这些数据集、模子和器用,咱们大概更深远地贯串和分析时期序列和时空数据,进一步股东联系领域的发展和跨越。

图片

预测与将来机遇

本节商量了面前商量的潜在局限性,并凸起六个将来商量标的,旨在开发更强劲、更透明、更可靠的时序数据分析大模子。

01

大模子的表面分析 

由于文本数据和时序数据的规则性质,最近的商量照旧延伸了LLMs以处理时期序列和时空任务。这意味着不错从LLMs的文本数据中学习到的暗示不错微调以拿获时序数据的模式。但是,这仍然是一个特别高等的贯串。与其他深度学习模子雷同,LLMs也由于其复杂性而被视为“黑箱”,这使得东谈主们难以贯串是哪些数据影响了其预测和决策。需要对LLMs进行更深远的表面分析,以商量话语和时序数据之间的潜在模式相似性,以及怎样灵验地将它们用于特定的时期序列和时空任务,如预测、极度检测、分类等。

02

多模态模子的发展 

在现实宇宙的应用中,好多时期序列和时空数据频繁附带有补充信息,如文本形貌。这在经济和金融领域等场景中尤其有用。举例,经济预测不错愚弄文本(如新闻著作或推文)和数值型经济时期序列数据的信息来进行。因此,LLMs不错允洽学习连合暗示,既接头时序数据的规则性质,又接头其他模态的突出特征。此外,不同的模态可能具有不同的时期分辨率。LLMs不错允洽处理来自具有不同期间分辨率的多个模态的时序数据各异。因此,来自不同期间分辨率的系数信息都不错被充分愚弄,以提升性能。

03

无间学习与允洽 

现实宇宙的应用频繁濒临不竭变化的场景。因此,有必要商量模子允洽非庄重环境的能力,幸免对旧学问的横祸性渐忘。尽管一些商量照旧在普通的机器学习和深度学习模子中商量了这些问题,但怎样使大模子无间允洽不竭变化的时序数据,包括在线学习计谋、允洽办法漂移和容纳数据中不竭演变的模式等方面的商量仍然是一个探索不及的问题。

04

可解释性和可贯串性 

贯串模子为何作念出特定的预测或预告对于时期序列分析也至关要害,尤其是在医疗和金融等要津领域。目下,对LLMs的里面贯串仍然有限。因此,为贯串LLMs所学内容以及怎样将其应用于时期序列数据进行预测,开发表面框架特别要害。可解释性和可贯串性不错提升LLMs的透明度,为时期序列分析提供基本道理,举例凸起炫耀为何预测将来值,怎样将特定点视为极度,或解释特定分类的原因。商量怎样增强劲模子以实施时期推理和推断时期序列数据中的因果关系。这包括开发身手来识别因果关系,这对于诸如根蒂原因分析和抑遏贪图等应用至关要害。

05

大模子上的苦衷和抵御性抨击 

时序数据可能具有高度敏锐性,尤其是在医疗和金融等应用场景中。当LLMs在此类数据上进行查验或微调时,它们可能会记取查验数据中的特定细节,从而带来露出特稀有据的风险。因此,怎样愚弄苦衷保护时候,如差分苦衷和联邦学习,在确保数据苦衷的同期,仍然受益于LLMs在时期序列和时空分析上的强劲能力,存在大量的商量契机。

06

模子泛化与脆弱性 

LLMs平方在通用数据上进行预查验,然后在特定任务上进行微调。要是微调数据中包含抵御性或噪声样本,这个经过可能会引入脆弱性。要是用于微调的时序数据莫得得到仔细的处理,模子可能会从这些数据中秉承偏见或脆弱性,导致在现实应用中的鲁棒性受损。此外,尽管LLMs在繁多的数据集上进行查验,但它们可能无法很好地泛化到未见过的或溜达外的数据。时期序列和时空数据可能会阐扬出倏得的变化或趋势。要是LLM在查验经过中莫得遭遇过访佛的模式,它可能会产生不成靠的输出,这就强调了对鲁棒泛化的需求。

总结

本文对适用于时期序列和时空数据分析的大模子进行了粗犷且最新的综述。作家的贪图是通过引入一种新的分类法来分类所审查的模子,为这个动态领域提供一个新的视角。作家不单是停留在形貌层面,还对每一类中的最凸起时候进行了总结,深远探讨了它们的优点和局限性,临了照亮了将来商量的有出路的蹊径。在这个令东谈主答允的话题中,冲突性侦察的范围是无尽的。这项综述将行为催化剂,激励东谈主们的酷好心,并培养对时期序列和时空数据分析领域大模子商量的弥远温和。作家但愿这篇综述能为商量者们提供一个全面而深远的参考,股东该领域不竭上前发展,并催生更多的立异和应用。

图片

本站仅提供存储劳动,系数内容均由用户发布,如发现存害或侵权内容,请点击举报。

友情链接:

Powered by 爱游戏体育官网|爱游戏官网-手机APP下载 @2013-2022 RSS地图 HTML地图