大家好，如果您还对时间序列算法不太了解，没有关系，今天就由本站为大家分享时间序列算法的知识，包括时间序列预测模型有哪些的问题都会给大家分析到，还望可以解决大家的问题，下面我们就开始吧！
本文目录
一、时间序列分析的具体算法
1、用随机过程理论和数理统计学 *** ，研究随机数据序列所遵从的统计规律，以用于解决实际问题。由于在多数问题中，随机数据是依时间先后排成序列的，故称为时间序列。它包括一般统计分析（如自相关分析、谱分析等），统计模型的建立与推断，以及关于随机序列的更优预测、控制和滤波等内容。经典的统计分析都假定数据序列具有独立性，而时间序列分析则着重研究数据序列的相互依赖关系。后者实际上是对离散指标的随机过程的统计分析，所以又可看作是随机过程统计的一个组成部分。例如,用x(t)表示某地区第t个月的降雨量，{x(t)，t=1，2，…}是一时间序列。对t=1，2，…，T，记录到逐月的降雨量数据x(1)，x(2)，…，x(T)，称为长度为T的样本序列。依此即可使用时间序列分析 *** ，对未来各月的雨量x(T+l)(l=1,2,…)进行预报。时间序列分析在第二次世界大战前就已应用于经济预测。二次大战中和战后，在军事科学、空间科学和工业自动化等部门的应用更加广泛。
2、就数学 *** 而言，平稳随机序列（见平稳过程）的统计分析，在理论上的发展比较成熟，从而构成时间序列分析的基础。
3、频域分析一个时间序列可看成各种周期扰动的叠加，频域分析就是确定各周期的振动能量的分配，这种分配称为“谱”，或“功率谱”。因此频域分析又称谱分析。谱分析中的一个重要是统计量,称为序列的周期图。当序列含有确定性的周期分量时，通过I(ω)的极大值点寻找这些分量的周期，是谱分析的重要内容之一。在按月记录的降雨量序列中，序列x(t)就可视为含有以12为周期的确定分量，所以序列x(t)可以表示为,它的周期图I(ω)处有明显的极大值。
4、当平稳序列的谱分布函数F（λ）具有谱密度ƒ(λ)（即功率谱）时，可用(2π)-1I(λ)去估计ƒ(λ)，它是ƒ(λ)的渐近无偏估计。如欲求ƒ(λ)的相合估计（见点估计），可用I(ω)的适当的平滑值去估计ƒ(λ),常用的 *** 为谱窗估计即取ƒ(λ)的估计弮(λ)为,式中wt(ω)称为谱窗函数。谱窗估计是实际应用中的重要 *** 之一。谱分布F(λ)本身的一种相合估计可由I(ω)的积分直接获得，即。研究以上各种估计量的统计性质，改进估计 *** ，是谱分析的重要内容。时域分析它的目的在于确定序列在不同时刻取值的相互依赖关系,或者说,确定序列的相关结构。这种结构是用序列的自相关函0,1,…)来描述的,为序列的自协方差函数值,m=Ex(t)是平稳序列的均值。常常采用下列诸式给出m，γ(k),ρ(k)的估计：,通(k)了解序列的相关结构,称为自相关分析。研究它们的强、弱相合性及其渐近分布等问题，是相关分析中的基本问题。模型分析 20世纪70年代以来，应用最广泛的时间序列模型是平稳自回归-滑动平均模型(简称ARMA模型)。其形状为：式中ε(t)是均值为零、方差为σ2的独立同分布的随机序列;和σ2为模型的参数,它们满足：对一切|z|≤1的复数z成立。p和q是模型的阶数，为非负整数。特别当q=0时，上述模型称为自回归模型；当p=0时,称为滑动平均模型。根据x(t)的样本值估计这些参数和阶数，就是对这种模型的统计分析的内容。对于满足ARMA模型的平稳序列，其线性更优预测与控制等问题都有较简捷的解决 *** ,尤其是自回归模型,使用更为方便。G.U.尤尔在1925～1930年间就提出了平稳自回归的概念。1943年,Η.Β.曼和Α.瓦尔德发表了关于这种模型的统计 *** 及其渐近性质的一些理论结果。一般ARMA模型的统计分析研究，则是20世纪60年代后才发展起来的。特别是关于p，q值的估计及其渐近理论，出现得更晚些。除ARMA模型之外,还有其他的模型分析的研究,其中以线性模型的研究较为成熟，而且都与ARMA模型分析有密切关系。回归分析如果时间序列x(t)可表示为确定性分量φ(t)与随机性分量ω(t)之和，根据样本值x(1)，x(2)，…,x(T)来估计φ(t)及分析ω(t)的统计规律，属于时间序列分析中的回归分析问题。它与经典回归分析不同的地方是，ω(t)一般不是独立同分布的，因而在此必须涉及较多的随机过程知识。当φ(t)为有限个已知函数的未知线性组合时，即，式中ω(t)是均值为零的平稳序列,α1,α2,…,αs是未知参数,φ1(t),φ2(t),…,φs(t)是已知的函数,上式称为线性回归模型，它的统计分析已被研究得比较深入。前面叙述的降雨量一例，便可用此类模型描述。回归分析的内容包括:当ω(t)的统计规律已知时，对参数α1,α2,…,αs进行估计,预测x(T+l)之值；当ω(t)的统计规律未知时，既要估计上述参数，又要对ω(t)进行统计分析，如谱分析、模型分析等。在这些内容中,一个重要的课题是:在相当广泛的情况下，证明α1,α2,…,αs的最小二乘估计，与其线性最小方差无偏估计一样，具有相合性和渐近正态分布性质。最小二乘估计姙j(1≤j≤s)不涉及ω(t)的统计相关结构，是由数据x(1)，x(2)，…，x(T)直接算出，由此还可得(t)进行时间序列分析中的各种统计分析，以代替对ω(t)的分析。在理论上也已证明，在适当的条件下，这样的替代具有满意的渐近性质。由于ω(t)的真值不能直接量测，这些理论结果显然有重要的实际意义。这方面的研究仍在不断发展。
5、时间序列分析中的更优预测、控制与滤波等方面的内容见平稳过程条。近年来多维时间序列分析的研究有所进展，并应用到工业生产自动化及经济分析中。此外非线性模型统计分析及非参数统计分析等方面也逐渐引起人们的注意。
二、什么是平稳的时间序列
问题一：如何深入理解时间序列分析中的平稳性声明：本文中所有引用部分，如非特别说明，皆引自Time Series Analysis with Applications in R.
接触时间序列分析才半年，尽力回答。如果回答有误，欢迎指出。
对之一个问题，我们把它拆分成以下两个问题：
Why stationary?（为何要平稳？）
Why weak stationary?（为何弱平稳？）
Why stationary?（为何要平稳？）
每一个统计学问题，我们都需要对其先做一些基本假设。如在一元线性回归中（），我们要假设：①不相关且非随机（是固定值或当做已知）②独立同分布服从正态分布（均值为0，方差恒定）。
在时间序列分析中，我们考虑了很多合理且可以简化问题的假设。而其中最重要的假设就是平稳。
The basic idea of stationarity is that the probability laws that govern the behavior of the process do not change over time.
平稳的基本思想是：时间序列的行为并不随时间改变。
Strict stationarity: A time series{} is said to be strictly stationary if the joint distribution of,,・・・, is the same as that of,,・・・,for all choices of natural number n, all choices of time points,,・・・, and all choices of time lag k.
强平稳过程：对于所有可能的n，所有可能的,,・・・,和所有可能的k，当,,・・・,的联合分布与,,・・・,相同时，我们称其强平稳。
Weak stationarity: A time series{} is said to be weakly(second-order, or co-variance) stationary if:
① the mean function is constant over time, and
②γ(t, t? k)=γ(0, k) for all times t and lags k.
弱平稳过程：当①均值函数是常数函数且②协方差函数仅与时间差相关，我们才称其为弱平稳。
此时我们转到第二个问题：Why weak stationary?（为何弱平稳？）
两种平稳过程并没有包含关系，即弱平稳不一定是强平稳，强平稳也不一定是弱平稳。
一方面，虽然看上去强平稳的要求好像比弱平稳强，但强平稳并不一定是弱平稳，因为其矩不一定存在。
例子：{}独立服从柯西分布。{}是强平稳，但由于柯西分布期望与方差不存在，所以不是弱平稳。（之所以不存在是因为其并非绝对可积。）
另一方面，弱平稳也不一定是强平稳，因为二阶矩性质并不能确定分布的性质。
例子：,,互相独立。这是弱平稳却不是强平稳。
知道了这些造成差别的根本原因后，我们也可以写出两者的一些联系：
一阶矩和二阶矩存在时，强平稳过程是弱平稳过程。（条件可简化为二阶矩存在，因为）
当联合分布服从多元正态分布时，两平稳过程等价。（多元正态分布的二阶矩可确定分布性质）
而为什么用弱平稳而非强平稳，主要原因是：强平稳条件太强......>>
问题二：什么是平稳时间序列，能举个生活中的平稳时间序列的例“平稳时间序列”是天文学专有名词。来自中国天文学名词审定委员会审定发布的天文学专有名词中文译名，词条译名和中英文解释数据版权由天文学名词委所有。
英文原名/注释stationarytime series：小波消噪与时间序列分析 *** 在预测领域中应用十分广泛,但是在降雨量的预测中应用不多。在基于小波消噪的基础上应用时间序列中平稳时间学列 *** 对降雨量进行预测,结果显示,应用该 *** 有效地提高了降雨量的预测精度。用丹东地区1971-2006年的降雨量作为历史数据,建立降雨量预测模型,结果表明新模型算法简单、精度较高,比传统的拓扑预测模型效果更好,为降雨量预测提供了一种行之有效的 ***
问题三：平稳时间序列和非平稳时间序列的区别要对非平稳时间序列进行平稳化处理有利于资源的合理利用
问题四：检验时间序列平稳性的 *** 有哪两种 1、时间序列取自某一个随机过程，如果此随机过程的随机特征不随时间变化，则我们称过程是平稳的；假如该随机过程的随机特征随时间变化，则称过程是非平稳的。 2、宽平稳时间序列的定义：设时间序列，对于任意的,和，满足：则称宽平稳。 3、Box-Jenkins *** 是一种理论较为完善的统计预测 *** 。他们的工作为实际工作者提供了对时间序列进行分析、预测，以及对ARMA模型识别、估计和诊断的系统 *** 。使ARMA模型的建立有了一套完整、正规、结构化的建模 *** ，并且具有统计上的完善性和牢固的理论基础。 4、ARMA模型三种基本形式：自回归模型（AR：Auto-regressive），移动平均模型（MA：Moving-Average）和混合模型（ARMA：Auto-regressive Moving-Average）。（1）自回归模型AR(p)：如果时间序列满足其中是独立同分布的随机变量序列，且满足：，则称时间序列服从p阶自回归模型。或者记为。平稳条件：滞后算子多项式的根均在单位圆外，即的根大于1。（2）移动平均模型MA(q)：如果时间序列满足则称时间序列服从q阶移动平均模型。或者记为。平稳条件：任何条件下都平稳。（3） ARMA(p,q)模型：如果时间序列满足则称时间序列服从(p,q)阶自回归移动平均模型。或者记为。特殊情况：q=0,模型即为AR(p)，p=0,模型即为MA(q)。二、时间序列的自相关分析 1、自相关分析法是进行时间序列分析的有效 *** ，它简单易行、较为直观，根据绘制的自相关分析图和偏自相关分析图，我们可以初步地识别平稳序列的模型类型和模型阶数。利用自相关分析法可以测定时间序列的随机性和平稳性，以及时间序列的季节性。 2、自相关函数的定义：滞后期为k的自协方差函数为：，则的自相关函数为：，其中。当序列平稳时，自相关函数可写为：。 3、样本自相关函数为：，其中，它可以说明不同时期的数据之间的相关程度，其取值范围在-1到1之间，值越接近于1，说明时间序列的自相关程度越高。 4、样本的偏自相关函数：其中，。 5、时间序列的随机性，是指时间序列各项之间没有相关关系的特征。使用自相关分析图判断时间序列的随机性，一般给出如下准则：①若时间序列的自相关函数基本上都落入置信区间，则该时间序列具有随机性；②若较多自相关函数落在置信区间之外，则认为该时间序列不具有随机性。 6、判断时间序列是否平稳，是一项很重要的工作。运用自相关分析图判定时间序列平稳性的准则是：①若时间序列的自相关函数在k>3时都落入置信区间，且逐渐趋于零，则该时间序列具有平稳性；②若时间序列的自相关函数更多地落在置信区间外面，则该时间序列就不具有平稳性。 7、 ARMA模型的自相关分析 AR(p)模型的偏自相关函数是以p步截尾的，自相关函数拖尾。MA(q)模型的自相关函数具有q步截尾性，偏自相关函数拖尾。这两个性质可以分别用来识别自回归模型和移动平均模型的阶数。ARMA(p,q)模型的自相关函数和偏相关函数都是拖尾的。三、单位根检验和协整检验 1、单位根检验①利用迪基―福勒检验（ Dickey-Fuller Test）和菲利普斯―佩荣检验（Philips-Perron Test）,我们也可以测定时间序列的随机性，这是在计量经济学中非常重要的两种单位根检验 *** ，与前者不同的事，后一个检验 *** 主要应用于一阶自回归模......>>
问题五：如果时间序列平稳,那该做什么检验我们计算自相关系数，如果有18组数据，则有17个自相关系数的数据，如果时间序列是平稳的，那么服从一个正态分布。所以我们根据每一个自相关系数的值，对应置位区间即可。
也可检验对所有k>0，自相关系数都为0的联合假设，这可通过如下QLB统计量进行
该统计量近似地服从自由度为m的c2分布（m为滞后长度）。因此:如果计算的Q值大于显著性水平为a的临界值，则有1-a的把握拒绝所有rk(k>0)同时为0的假设。
注意利用QLB统计量，原假设是平稳的，根据更大的滞后项来判断即可。
三、时间序列分类算法
欧式距离不能很好地针对时间序列的波动模式进行分类，研发更适合时间序列分类的距离度量就成为关键，这其中最经典的时间序列距离度量就是Dynamic Time Warping（DTW）。 DTW的原理如下：
比如说，给定一个样本序列X和比对序列Y,Z：
请问是X和Y更相似还是X和Z更相似？
DTW首先会根据序列点之间的距离(欧氏距离)，获得一个序列距离矩阵 MM，其中行对应X序列，列对应Y序列，矩阵元素为对应行列中X序列和Y序列点到点的欧氏距离：
DTW通过对时间序列波动模式的分析可得到更好的时间序列分类结果。研究表明，在时间序列分类问题上，DTW距离度量配合简单的最小距离分类法（nearest neighbor）就可以取得较传统欧式距离算法（如SVM、经典多层神经 *** 、决策树、Adaboost）压倒性的优势。
DTW更进一步衍生出多种不同的变种，例如由Keogh和 Pazzani提出的基于序列一阶导数的改进便取得了良好的效果；其中一种简单的 *** 叫Complexity Invariant distance(CID)，其利用一阶导数信息对DTW距离做计算，在某些问题上具有突出效果。
除了DTW，还有其他考量时间序列的波动模式算法。例如Ye和Keogh提出的Shapelet *** ：考察序列中具有代表意义的子序列来作为Shapelet特征而进行分类。Lin等人提出了基于字典的 *** ，将序列根据特定的字典转化为词序列，从而进行分类。Deng提出了基于区间的 *** ，从区间中提取波动的特征。
除了上述 *** 外，聚合算法（将多种不同算法聚合在一起）的研究也有了长足的进步。最近提出的COTE算法几乎将上述所有不同分类算法聚合在一起，得到了优异的分类效果。
这一类的 *** 都是一些通过某种度量关系来提取相关特征的 *** ，如词袋法，通过找到该时间序列中是否有符合已有词袋中的特征（序列的样子），将一个序列用词来表示，再对词进行分类。而其他的基于特征的 *** 都是利用了类似的 *** ，如提取统计量，基于规则等，再通过分类模型进行分类。
MLP的输入是一个向量（数组），通过全连接的形式对整体数组的每一个元素逐层赋予权重，并求得最后的分类，这种 *** 是一种比较粗暴的学习 *** ，直接学习所有元素直接的线性或非线性相关关系，但是并没有去深度挖掘数组中更好的表现特征，分类效果不佳。
FCN是将MLP中的全链接层用卷积层进行替代，Resnet也是，但是其中的卷积层都用一维卷积核进行了替代。
来自于Time Series Classifification from Scratch with Deep Neural Networks: A Strong Baseline.可以看到深度学习的 *** 效果基本上与传统 *** 相接近，甚至有所超过，其中整体表现更好的是FCN。
LSTM_FCN的 *** 比较简单，是将输入分别输入到两个分支中，LSTM和FCN，并在最后将两个输出分支进行concat进行softmax获得分类结果。在这篇论文中，作者说这种 *** 取得了比FCN更好的效果。
在其他的一些比赛方案中，也有resnet+LSTM+FC的组合形式，通过Resnet的一维卷积先提取相关特征，然后通过LSTM学习一维特征向量的相关关系，再进行分类，可能针对于不同的问题还是要试试才知道哪个的效果更加好。
BiGRU-CNN与以上 *** 相比实际上并没有做什么大的改进，就是将LSTM分支替换成双向的GRU分支。
OK，本文到此结束，希望对大家有所帮助。
