机器学习与数据挖掘
范式 监督学习 無監督學習 線上機器學習 元学习（英语：Meta-learning (computer science)） 半监督学习 自监督学习 强化学习 基于规则的机器学习（英语：Rule-based machine learning） 量子機器學習
问题 统计分类 生成模型 迴歸分析 聚类分析 降维 密度估计（英语：density estimation） 异常检测 数据清洗 自动机器学习 关联规则学习 語意分析 结构预测（英语：Structured prediction） 特征工程 表征学习 排序学习（英语：Learning to rank） 语法归纳（英语：Grammar induction） 本体学习（英语：Ontology learning） 多模态学习（英语：Multimodal learning）
监督学习 (分类 · 回归) 学徒学习（英语：Apprenticeship learning） 决策树学习 集成学习 Bagging 提升方法 随机森林 k-NN 線性回歸 朴素贝叶斯 人工神经网络 邏輯斯諦迴歸 感知器 相关向量机（RVM） 支持向量机（SVM） 迁移学习 微调
聚类分析 BIRCH CURE算法（英语：CURE algorithm） 层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维 因素分析 CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA PGD（英语：Proper generalized decomposition） t-SNE（英语：t-distributed stochastic neighbor embedding） SDL
结构预测（英语：Structured prediction） 圖模式 貝氏網路 條件隨機域 隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子（英语：Local outlier factor） 孤立森林（英语：Isolation forest）
人工神经网络 自编码器 認知計算 深度学习 DeepDream（英语：DeepDream） 多层感知器 RNN LSTM GRU（英语：Gated recurrent unit） ESN（英语：Echo state network） 储备池计算（英语：reservoir computing） 受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision transforme（英语：Vision transformer） 脉冲神经网络（英语：Spiking neural network） Memtransistor（英语：Memtransistor） 电化学RAM（英语：Electrochemical RAM）（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD） 多智能体（英语：Multi-agent reinforcement learning） Self-play（英语：Self-play (reinforcement learning technique)） RLHF
与人类学习 主动学习（英语：Active learning (machine learning)） 众包 Human-in-the-loop（英语：Human-in-the-loop）
模型诊断 学习曲线（英语：Learning curve (machine learning)）
数学基础 内核机器（英语：Kernel machines） 偏差–方差困境（英语：Bias–variance tradeoff） 计算学习理论（英语：Computational learning theory） 经验风险最小化 奥卡姆学习（英语：Occam learning） PAC学习（英语：Probably approximately correct learning） 统计学习 VC理论
大会与出版物 NeurIPS ICML（英语：International Conference on Machine Learning） ICLR ML（英语：Machine Learning (journal)） JMLR（英语：Journal of Machine Learning Research）
相关条目 人工智能术语（英语：Glossary of artificial intelligence） 机器学习研究数据集列表（英语：List of datasets for machine-learning research） 机器学习概要（英语：Outline of machine learning）
查 论 编

时序差分学习（英語：Temporal difference learning，TD learning）是一类无模型强化学习方法的统称，这种方法强调通过从当前价值函数的估值中自举的方式进行学习。这一方法需要像蒙特卡罗方法那样对环境进行取样，并根据当前估值对价值函数进行更新，宛如动态规划算法。^[1]

和蒙特卡罗法所不同的是，时序差分学习可以在最终结果出来前对其参数进行不断地调整，使其预测更为准确，而蒙特卡罗法只能在最终结果产生后进行调整。^[2]这是一种自举式的算法，具体的例子如下：

假設你需要預測星期六的天氣，並且手頭上正好有相關的模型。按照一般的方法，你只有到星期六才能根據結果對你的模型進行調整。然而，當到了星期五時，你應該對星期六的天氣有很好的判斷。因此在星期六到來之前，你就能夠調整你的模型以預測星期六的天氣。^[2]

时序差分学习与动物学领域中的动物认知存在一定的关联。^{[3][4][5][6][7]}

${\displaystyle TD(0)}$表格法是最简单的时序差分学习法之一，为随即近似法的一个特例。这种方法用于估计在策略${\displaystyle \pi }$之下有限状态马尔可夫决策过程的状态价值函数。现用${\displaystyle V^{\pi ))$表示马尔可夫决策过程的状态价值函数，其中涉及到状态${\displaystyle (s_{t})_{t\in \mathbb {N} ))$、奖励${\displaystyle (r_{t})_{t\in \mathbb {N} ))$、学习折扣率${\displaystyle \gamma }$以及策略${\displaystyle \pi }$^[8]：

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}r_{t}(a_{t}){\Bigg |}s_{0}=s\right\}.}$

为了方便起见，我们将上述表达式中表示动作的符号去掉，所得${\displaystyle V^{\pi ))$满足哈密顿-雅可比-贝尔曼方程：

${\displaystyle V^{\pi }(s)=E_{\pi }\{r_{0}+\gamma V^{\pi }(s_{1})|s_{0}=s\},}$

因此${\displaystyle r_{0}+\gamma V^{\pi }(s_{1})}$乃是${\displaystyle V^{\pi }(s)}$的无偏估计，基于这一观察结果可以设计用于估计${\displaystyle V^{\pi ))$的算法。在这一算法中，首先用任意值对表格${\displaystyle V(s)}$进行初始化，使马尔可夫决策过程中的每个状态都有一个对应值，并选择一个正的学习率${\displaystyle \alpha }$。我们接下来要做的便是反复对策略${\displaystyle \pi }$进行评估，并根据所获得的奖励${\displaystyle r}$按照如下方式对旧状态下的价值函数进行更新^[9]：

${\displaystyle V(s)\leftarrow V(s)+\alpha (\overbrace {r+\gamma V(s')} ^{\text{The TD target))-V(s))}$

其中${\displaystyle s}$和${\displaystyle s'}$分别表示新旧状态，而${\displaystyle r+\gamma V(s')}$便是所谓的TD目标（TD target）。

TD-λ算法是理查德·S·萨顿基于亚瑟·李·塞谬尔的时序差分学习早期研究成果而创立的算法，这一算法最著名的应用是杰拉尔德·特索罗开发的TD-Gammon程序。该程序可以用于学习双陆棋对弈，甚至能够到达人类专家水准。^[10]这一算法中的${\displaystyle \lambda }$值为迹线衰减参数，介于0和1之间。当${\displaystyle \lambda }$越大时，很久之后的奖励将越被重视。当${\displaystyle \lambda =1}$时，将会变成与蒙特卡罗强化学习算法并行的学习算法。^[11]

时序差分学习算法在神经科学领域亦得到了重视。研究人员发现腹侧被盖区与黑质中多巴胺神经元的放电率和时序差分学习算法中的误差函数具有相似之处^{[3][4][5][6][7]}，该函数将会回传任何给定状态或时间步长的估计奖励与实际收到奖励之间的差异。当误差函数越大时，这意味着预期奖励与实际奖励之间的差异也就越大。

多巴胺细胞的行为也和时序差分学习存在相似之处。在一次实验中，研究人员训练一只猴子将刺激与果汁奖励联系起来，并对多巴胺细胞的表现进行了测量。^[12]一开始猴子接受果汁时，其多巴胺细胞的放电率会增加，这一结果表明预期奖励和实际奖励存在差异。不过随着训练次数的增加，预期奖励也会发生变化，导致其巴胺细胞的放电率不再显著增加。而当没有获得预期奖励时，其多巴胺细胞的放电率会降低。由此可以看出，这一特征与时序差分学习中的误差函数有着相似之处。

目前很多关于神经功能的研究都是建立在时序差分学习的基础之上的^[13][14]，这一方法还被用于对精神分裂症的治疗及研究多巴胺的药理学作用。^[15]

• Sutton, Richard S.; Barto, Andrew G. Reinforcement Learning: An Introduction 2nd. Cambridge, MA: MIT Press. 2018 [2023-04-04]. （原始内容存档于2023-04-26）. 

• Meyn, S. P. Control Techniques for Complex Networks. Cambridge University Press. 2007. ISBN 978-0521884419.  See final chapter and appendix.
• Sutton, R. S.; Barto, A. G. Time Derivative Models of Pavlovian Reinforcement (PDF). Learning and Computational Neuroscience: Foundations of Adaptive Networks. 1990: 497–537 [2023-04-06]. （原始内容存档 (PDF)于2017-03-30）. 

• Connect Four TDGravity Applet （页面存档备份，存于互联网档案馆） (+ mobile phone version) – self-learned using TD-Leaf method (combination of TD-Lambda with shallow tree search)
• Self Learning Meta-Tic-Tac-Toe （页面存档备份，存于互联网档案馆） Example web app showing how temporal difference learning can be used to learn state evaluation constants for a minimax AI playing a simple board game.
• Reinforcement Learning Problem, document explaining how temporal difference learning can be used to speed up Q-learning
• TD-Simulator （页面存档备份，存于互联网档案馆） Temporal difference simulator for classical conditioning