花了一个周读了一下这篇论文，是最近接受在IJCAI上的一篇关于股票涨跌预测的模型，驳斥了传统方法基于静态输入的局限性，原因是由于股票的价格会在市场内随着时间不短变化，基于价格的特征实际上是随机变量。方法是采用对抗训练，在训练过程中加入随机噪声模拟股票在实际中收外界干扰的过程，模型是采用常规的深度学习模型LSTM+attention.达到的效果是比其他方法的准确率提高了3.11%。
Improving Stock Movement Prediction with Adversarial Training
ABSTRACT:This paper contributes a new machine learning solution for stock movement prediction, which aims to predict whether the price of a stock will be up or down in the near future. The key novelty is that we propose to employ adversarial training to improve the generalization of a recurrent neural network model. The rationality of adversarial training here is that the input features to stock prediction are typically based on stock price, which is essentially a stochastic variable and continuously changed with time by nature. As such, normal training with stationary price-based features (e.g., the closing price) can easily overfit the data, being insufficient to obtain reliable models. To address this problem, we propose to add perturbations to simulate the stochasticity of continuous price variable, and train the model to work well under small yet intentional perturbations. Extensive experiments on two real-world stock data show that our method outperforms the state-of-the-art solution (Xu and Cohen 2018) with 3.11% relative improvements on average w.r.t. accuracy, verifying the usefulness of adversarial training for stock prediction task. Codes will be made available upon acceptance1 .
中文：本文提出了一种新的股票运动预测的机器学习解决方案，旨在预测股票价格在不久的将来是上涨还是下跌。关键的创新之处在于，我们提出采用对抗性训练来改进递归神经网络模型的泛化。这里对抗性训练的合理性在于，股票预测的输入特征通常是基于股票价格的，股票价格本质上是一个随机变量，本质上是随时间不断变化的。因此，具有固定价格特征(如收盘价)的正常训练很容易对数据进行过度拟合，不足以获得可靠的模型。为了解决这一问题，我们建议增加扰动来模拟连续价格变量的随机性，并训练模型在小而有意的扰动下很好地工作。对两个真实股票数据的大量实验表明，我们的方法优于最先进的解决方案(Xu和Cohen 2018)，平均w.r.t.的相对准确度提高了3.11%，验证了对抗性训练在股票预测任务中的有效性。代码将在接受时提供。
一、研究内容
传统的方法是将训练样本的特性看做是从特定时间步长的输入变量分布中抽取的样本，该方法没有正确处理输入变量的随机性，容易导致训练数据过拟合，泛化性能弱等问题。为了解决这个问题，我们在模型的高级预测特性上增加了扰动，例如直接投射到在最终预测的最后一层，由于大多数深度学习方法都是在较高的层中学习抽样表示，因此他们的大小远远小于输入的大小，因此在高层特征中加入扰动更有效，同时也能保持随机性。
1.研究了股票运动预测的泛化困难，强调了处理输入特征随机性的必要性。
2.针对随机挑战提出了一种对抗性训练方法，并将其应用于股票运动预测的深度学习模型中。
3.我们在两个公共基准上进行了广泛的实验，验证了对几种最先进方法的改进，并表明对抗性学习使分类器更健壮和更通用。（ACL，KDD,ACC,MCC）
引入方法：随机变量+LSTM+注意力机制
1.注意机制的目的是对不同时间步长的数据对整个序列表示的贡献不同这一事实进行建模。
ATTENTIVE LSTM
1.feature mapping layer
2.LSTM layer
3.Temporal Attention Layer
注意力机制是将不同时间步长的隐层表示压缩为具有自适应权值的输入序列的整体表示，是对不同的时间步长的数据对整个序列表示的贡献不同这一事实进行建模计算。例如：最高价和最低价落在滞后期的日子可能对总的代表性有较高的贡献。
二、实验过程
Baseline:RAND,LSTM,ALSM,STOCKNET.
其中stocknet:采用变分子编码器对股票输入进行编码，以捕捉股票的随机性，并利用时间注意力对不同的时间步长的重要性进行建模。
与Stocknet相比，Adv_ALSTM实现了显著的改进，该网络捕获了股票输入的随机性，我们假设的原因是stocknet在训练过程中以来Montecarlo采样，无法明确地建模随机扰动的尺度和方向。