为了研究布朗运动和了解金融市场（赌博机制），人们在19世纪后期开始了随机过程的研究。Brownian Motion命名来自于丹麦植物学家Robert Brown；他在1827年用显微镜观察了一种名叫Clarkia Pulchella的植物的花粉沉入水中时的运动情况。在1905年，将近80年之后，阿尔伯特·爱因斯坦把花粉粒子的运动描述为受到水分子的趋动。他先是推出了花粉粒子的扩散方程；扩散系数与粒子的均方速度有关，再用一些物理量去表示扩散系数。
具体来说，爱因斯坦把粒子的位移（位置函数的增量）看作一个随机变量Δ；它具有一定的概率密度f(Δ，Δt); 即粒子从时空位置（t, x）移到另一位置（t + Δt, x + Δ）的概率密度【要求位移与时刻t无关，即分布密度布不具有记忆】。另一方面，假设粒子的分布密度为g(x, t)；按照粒子数目的守恒，应当有g(x, t + Δt) = Integral{g(x + Δ，t) f(Δ，Δt) dΔ：Δ从负无穷到正无穷}。把g(x + Δ，t)作泰勒展开，再忽略Δ的二阶以上的项，便导出了扩散方程。爱因斯坦据此可以确定原子和分子的大小，以及1摩尔即Avogadro常数的值。
在布朗运动中，每秒钟就有多达10^14的互撞，经典力学的方法无法确定粒子的位移。在微观世界里，没有了确定的运动定律，留给人们的只有一个个的随机过程；多体运动的方程式无法求解，我们只能探寻其概率分布规律。1923年，美国数学家Norbert Weiner完全解释了一维布朗运动，因此有了以他的名字命名的一种特殊随机过程—Weiner过程。第一个用数学语言描述布朗运动的是数学家Thorvald N. Thiele；他在1880年发表了第一篇关于布朗运动的文章。在1900年， Louis Bachelier的博士论文 “投机理论” 提出了股票和期权市场的随机分析。
现在对随机过程的一般数学定义如下。给定一个样本空间O，O的部分或全部子集构成一个随机事件空间R（要求满足三条公理：包含全集O、包含子集A的补集、包含可数个子集的并集），在R上有一个概率模型P，即从R到实数区间 [0, 1] 的一个函数，也满足三条公理：全概率性P(O) = 1，可数可加性，事件独立性。（O，R，P）称为一个概率空间。
对于样本空间O上的任何实值函数X(o), o为O的子集，如果对任意实数r，集合A = {o: X(o) ≦r}属于R（即是一个随机事件），那么X(o)就称为一个随机变量。如果X的值域是可数的，X称为离散型的；如果X的值域具有连续基数，那就称为连续型的。它的概率分布函数定义为cdf(X, r) = P{X ≦ r}。对于连续型随机变量，其概率密度函数pdf(X, r) 定义为cdf的导函数（可以是广义的导数）；对于离散型随机变量，其概率密度定义为cdf的差分。这样，cdf(X, r)可以用积分或者级数表出。
实际上，任何一个非负实值函数f(r)都是某个随机变量X的分布函数（在某个概率模型P下），只要它满足：（1）非单调减少，（2）右连续，（3）在负无穷大的值为0，在正无穷大的值为1。此时可以定义一个随机变量X，使得概率P(X ≦ r) = f(r)。
一个随机变量的分布由它的各阶矩Sigma{r^k pdf(X，r)：r遍历全体实数}, k = 0, 1， 2， 。。。唯一确定。这些矩都可以积分化，无论是连续型或是离散型。一些常见的随机分布，如正态分布、指数分布、泊松分布、二项分布等，其pdf可以由一阶矩和二阶矩完全确定。人们因此把一个概率模型写为{P(c): c是一些参数} 。c可以由一些矩完全确定。但由于pdf的表达式通常是未知的，人们只能用抽样去估计各阶矩，这便有了大数定律与中心极限定理。
一个随机过程是一族依赖于时刻的随机变量：{X(t，o): t属于某个参数集T}；这些随机变量的取值范围称为状态空间S（每一个可能的取值称为一个状态）；在S上具有某种概率分布P。这里的参数集T可以是离散的，标记为整数集N = {0， 1， 2， 。。。}; 也可以是连续的，如某个非负的实数区间。这个时刻参数不同于随机变量自身所包含的参数c, 它是记录过程变化的参数，比如随机游动、布郎运动（Brownian Motion）中的时刻。在前者，X(t)是一个赌徒在时刻t时所处的位置（直线或闭路上的一个点）; 在后者，X(t)可以是一个粒子在时刻t的位置、状态等等。随机过程的实例还有、股票和汇率的波动、波的频率波动、能量的波动等。
作为随机游动的一个例子，我们考虑一个赌博的进程。假设开始时的本金为$a > 0，每次赌注为$1, 每轮赢的概率为p, 输的概率为q = 1 – p. 第n轮时的全部身家（Fortune）Fn是一个随机变量；可以表示为Fn = a + X1 + X2 + … + Xn, 其中Xk 是第k轮的输赢，即+1如果赢了，-1如果输了。Xk的平均值（期望值）是p – q = 2p – 1。Fn的概率分布是P(Fn = a + m) = nC((n+m)/2) p^((n+m)/2) q^((n-m)/2), 若 m与n同奇偶性；否则P(Fn = a + m)的值为零；m的取值范围从-n到+n。
人们关心的一个问题是：何时身家清零？我们定义一个正整数N0 = min {n > 0: Fn = 0} 。可以算出N0为有限数的概率 P(N0 ½, 则这一概率为 (q/p)^a。计算方法是，用递推法找出在清零之前达到某个值b > a的概率P(Nb
处理随机过程的方法通常是有限维度化，因为时刻总是无穷多的（可数或连续），我们只能通过有限维度去窥探无穷维度。选取有限个时刻t1
指数型分布具有时刻的无记忆性：P(X > t + s|X > s) = P(X > t)与时刻s无关，Markov过程延续了这一要求：X下一时刻所处的状态，只与当前时刻有关，而与再往前的时刻无关。我们先假设状态空间S是离散的：S = {s1, s2, …, sk, …} (圆周上的随机游走还是有限状态的)。先定义一个状态转移概率P(i, j) 为从状态si转移到状态sj的概率（例如老鼠走迷宫，走进相邻房间的概率）；P(i, i) = pi表示保持状态si的概率，是状态空间S上的一种概率分布。无时刻记忆的要求可表示为
P(X(t(n+1)) = s*|X(tn) = s(kn), X(t(n-1)) = s(k(n-1)), …, X(t1) = s(k1)) = P(X(t(n+1)) = s*|X(tn) = s(kn)).
离散时刻T = {0， 1， 2， 。。。} 的Markov过程可以用转移矩阵M = (P(j, i)),以及初始状态的分布P(X0 = si) = π(i) 完全确定：在时刻t = n时的概率函数(行矢量) {P(Xn = si), i = 1, 2, …. } = {P(x0 = si), i = 1, 2, …} M^n。我们希望当n趋向于无穷大时， {P (Xn= si): I = 1, 2, …} 有极限：极限分布就是稳定分布。一种概率分布{ m(i)：i = 1, 2, …}称为是稳定的（Stationary）, 如果有{m(i), i = 1, 2, …. } = {m(i), i = 1, 2, …} M；即{m(i): I = 1, 2, …} 为矩阵M的特征向量；
一个Markov过程称为是不可约的，如果从任何一个状态si可以到达任何状态sj。也就是说，对于两个状态si和sj，总存在一个正整数n, 使得在M^n = (P^n (i, j)) 中【无穷阶矩阵的运算按照无穷级数进行】，项P^n (i, j) > 0; 也有另一个m(或同于n)，使得P^m (j, i) > 0。
一个状态si的周期定义为使得 P^n (i, i) > 0 的所有正整数n的最大公约数p。如果每个状态的周期都是1，那么这个Markov过程就称为无周期的（或者遍历的）。可以证明，如果所有的P(i, j) > 0，那么Markov链一定是无周期、不可约的。如果它还具有稳定分布，那么它的极限分布一定是那个稳定分布，不论初始分布{ π(i)} 如何。
对于连续时刻T={t ≥ 0}及离散状态空间S的随机过程{X(t): t ≥ 0}，无时刻记忆性可表示为 P{X(t + s) = sj|X(s) = si} = Pij(t) 与时刻s无关(只与时间t有关)，Pij(t)称为状态转移概率函数，它满足Sigma{Pij(t): j = 1, 2, ….} = 1 对所有t > 0, i = 1, 2, 3, … 成立。对所有的t, s > 0，Pij(t + s) = P{X(t + s + r = sj|X(r) = si)} = Sigma{P{X(t + τ) = sj|X(τ) = sk} P{X(r + s) = sk|X(r) = si} = Sigma{Pik(t) Pkj(s): k = 1, 2, 3, ….}，此即Chapman--Kolmogorov方程。
为了保证Pij(t)的连续性，即要求当s趋向于0时有Pij(t) = Sigma{Pik(t)Pkj(0): k = 1, 2, …}对所有t > 0成立，必须且只需Pkj(0) = 0对k ≠ j, 而Pjj(0) = 1。在此条件下，当t趋向于0时，极限lim{Pij(t)-Pij(0)}/t) = Qij存在；矩阵Q = [Qij]称为Markov过程的Q矩阵。由此可以推出转移概率的微分方程：dPij(t)/dt = Sigma{QikPkj(t): k = 1, 2, …} = Sigma {Pik(t)Qkj: k = 1, 2, …} 。
最简单的一个例子是Poisson过程。它通常表示等待某个事件发生的时间；如通过路边一个检查点的第n辆汽车；一个城市发生第n次火警的时刻。它的转移概率为Pij(t) = (ct)^(j – i) Exp(-ct)/(j – i)! 如果j ≥ i；如果 j 0, 有Sigma {pi Pij(t): i = 1, 2, …} = pj。不可约的定义也与离散时刻类似。
一类最常见的随机过程是Weiner过程，即一维布朗运动的模型。随机变量B(t), t ≥ 0，满足以下条件：（1）B(0) = 0，B(t)满足正态分布N（0，t）对所有t > 0；（2）B(t)具有独立的增量，即对任意有限个时刻0 s > 0, B(t) – B(s)满足正态分布N(0, t – s)。布朗运动可以通过一维的随机游走取极限来进行模拟。通过布朗运动B(t)，可以构造各种扩散过程。如令X(t) = a + bt + cB(t)，a是初始值，b是平均增长率，c表示扩散的随机程度。容易算出，E(X(t)) = a + bt，Var(X(t)) = c^2 t，X(t)满足正态分布。
对于一般的连续时刻T、连续状态空间S的随机过程{X(t): t属于T}，为了展开分析（定义方差、独立性、相关性、各阶矩等），首先必须要求平方均值是有限的：E{|X(t)|^2} = Integral{|X(t)|^2 dP(|X(t)|
目的是要探寻稳定的随机过程。如果均值m(t) = m为常数（与时刻t无关），协方差函数B(t, s)只依赖于时间t – s: B(t, s) = R(t – s)，则称{X(t): t属于T}为一个平稳过程（Stationary）；R(t)称为相关函数。它具有积分表示：R(t) = Integral{Exp(itu) dF(u)}, F(u)是一个右连续、有界、非降的实函数，称为平稳过程的谱函数。对于离散时刻，积分区间从—π到π; 对于连续时刻，积分区间是整个实轴。平稳过程{X(t)}具有谱表示：X(t) = Integral{Exp(itu) dZ(u)}，Z(u) 是一个具有正交增量的随机过程：E{|Z(u) – Z(v)|^2} = F(u) – F(v), u > v。
谱密度dF(u)/du代表谱系的分布；电磁波的谱系本质上是能量算子的特征值，这与转移矩阵或Q矩阵的特征值相关。能量包含动能与势能，动能为正，势能为负。在宏观世界里，引力势能起主导作用；在微观世界，电势能起主要作用。Schrodinger的电子运动方程其实只是动能+电势能作用下的一个随机过程。在超微观世界里，是一种色势能或者光势能在起主要作用，可惜的是，人类物理界对此尚无一种谱表示。
看来，我们还要加强随机游走，增加负能量，而不要动态清零，这样才能当上这个宇宙的永世皇帝。
