觥筹交错的国企改革

昨天财经杂志发了一篇文章,缅怀国资委首任主任李荣融,并回顾了他力推的国企治理制度改革,但我认为文中过分强调了治理制度在国企改革中扮演的角色。国企尤其是央企,代理人问题在此类超大型企业中是普遍存在的,并非是“社会主义特色”,现代公司治理制度只能说是大大改善了这一问题,并没有彻底解决。国企的效率低于私营企业,这在全球的国有企业中也是普遍现象。

政企不分的主要问题在于国企承担了很多如国家安全、民生稳定等政策性负担,如果不能剥离这些政策性负担,国家也就必须对国企的这类亏损负责,加上信息不对称,国家要承担的亏损要远远更多。财政补贴,垄断保护,价格扭曲,金融畸形,这些都是国家为之付出的代价,这些领域往往也是寻租腐败的集中高发区和利益集团角逐的主战场。国企改革表面上看只是企业治理结构的转变,实际上是目前改革的核心区,也是利益交错的深水区。

明晰和剥离政策性负担,国家只对政策性负担买单,其余市场化运作,现代治理制度才有用武之地,财政资金效率,垄断保护都会有效解决。国企市场化程度提高,不再是拿着免死金牌的“铁憨憨”,金融改革中的核心问题,利率市场化改革也会迎刃而解,民营企业、中小企业的融资问题自然也会得到纾困。资金作为现阶段经济生产中最重要的要素,当其价格也就是利率实现市场化的时候,才能说我们的市场化改革真正取得了一些成果,我相信也一定会带来新一轮制度改革释放的红利。

虽然中美贸易战暂告一段落,但我对明年的经济形势仍然十分悲观。中美贸易摩擦是新旧国际秩序交替的一个外在表现,注定是一个长期而不确定的过程,我们是否能做好自己才是关键。但同时我又对国家的未来充满希望,因为正是改革中错综复杂的挑战,蕴育着明天生机盎然的机遇。

平民情怀

高铁途中看了呦呦鹿鸣关于北大附中空气质量的发声以及后续所引发的各界反应,看完之后总想说点什么。可我既不是教育专家,也没有为人父母,更像一个热衷于抹黑北大的南大人,但我确是对文中孩子们的反应感到震惊。我们到底需要什么样的教育?

我的高中母校的培养目标中说是“有平民情怀的人”。什么是平民情怀?我的一位老师是这么解释的,“莫春者,春服既成,冠者五六人,童子六七人,浴乎沂,风乎舞雩,咏而归。”,老师说,如果我们培养的每个人都是曾希而不是子路,那么世界将春暖花开。我想老师和我一样,都没有否认国家仍然需要商鞅一般的死士,用近乎冷酷的理性权衡取舍。但更多人,或者四舍五入下来,所有人,都是普通人吧。

前两天我看了周浩导演的《差馆》,是2009年广州火车站派出所的一个纪录片,没什么艺术加工,更像是一个旁观者随意的记录,一个派出所里的众生百态。09年的广州,火车站的派出所,这四个元素无疑让镜头里的每一个人都成为二十一世纪初中国底层奋斗者最典型的缩影,他们用力的活着,但仍旧摆脱不了生活的窘态。就像我喜欢贾樟柯的电影一样,我享受这种真实。我想将来我为人父母,无论她成绩如何,我一定要带她在我长大的小县城住上一段时间,带他去坐最廉价的火车来一次长途旅行,看看车上的人生百态。我当然也会带她去领略世界的美好,努力为她创造优渥的生活,但我希望她知道,北京上海并不是中国的全部,高铁的B面还有另外一个中国,两千八百多个县城和四万个乡镇才是沉默的大多数。生活不只有星巴克纪梵希,我希望我们在享受美好的同时保有一颗怜悯之心。

为什么我等的公交车总是迟到?

为什么我等的公交车总是迟到?这如果不是一种错觉,那我就像拥有了超能力一样,因为我的等待而产生了神秘的力量让公交车迟到。仿佛是量子力学在宏观世界的表现,因为我的观测而对公交车产生了扰动。如果不是衰神附体,那这股神秘的力量究竟是什么?本文将使用严格的数学证明来解释这一神秘的力量。

数学证明

要使用严格的数学证明,首先我们需要用数学语言来定义问题。

首先我们定义计数过程 \(N(t)\),表示直至 \(t\) 时刻为止(含)到达的公交车的数量;第 \(n\) 辆公交车到达的时刻记作 \(S_n\),第 \(n-1\) 辆公交车与第 \(n\) 辆公交车的到达间隔记作 \(X_n\);并且我们假设公交车到达的时间间隔 \(X_n\) 是相互独立的并且都服从相同的分布 \(F\),这样的假设也符合实际的生活经验。通过以上的定义,我们便得到了一个更新过程 \(\{N(t), t \geq 0\}\)。

下面我们证明 \( P\{X_{N(t)+1} \geq x\} \geq \bar{F}(x) \),包含 \(t\) 的区间长度大于 \(x\) 的概率比普通的区间大于 \(x\) 的概率更大,也即假设我们在 \(t\) 时刻到达公交车站开始等公交车,那么我们所处的这个区间,公交车的到达间隔相较于平常为更大的概率会更大。

$$\begin{align}
P\{X_{N(t)+1} \geq x\} &= \int_0^{\infty} P\{X_{N(t)+1} \geq x | S_{N(t)} = s \}dF_{S_{N(t)}}(s)\\
&= \int_0^{\infty} P\{X_{N(t)+1} \geq x | X_{N(t) + 1} > t – s \}dF_{S_{N(t)}}(s) \\
&= \int_0^{\infty} \frac{P\{X_{N(t)+1} \geq x, X_{N(t) + 1} > t – s \}}{P\{X_{N(t) + 1} > t – s \}}dF_{S_{N(t)}}(s) \\
&= \int_0^{\infty} \frac{1 – F(max\{x, t-s\})}{1 – F(t-s)}dF_{S_{N(t)}}(s) \\
&= \int_0^{\infty} min\{\frac{1 – F(x)}{1 – F(t-s)}, \frac{1 – F(t-s)}{1 – F(t-s)}\}dF_{S_{N(t)}}(s) \\
&= \int_0^{\infty} min\{\frac{1 – F(x)}{1 – F(t-s)}, 1\}dF_{S_{N(t)}}(s) \\
&\geq \int_0^{\infty} 1 – F(x)dF_{S_{N(t)}}(s) \\
&= \bar{F}(x)
\end{align}$$

如果更加具体的假设公交车的到达间隔服从均值为 \(\lambda\) 的指数分布,也即
$$F(x) = 1 – e^{-\lambda x}$$

那么我们可以得到:

$$\begin{align}
P\{X_{N(t)+1} \geq x\} &= \int_0^{\infty} \frac{e^{-\lambda x} }{e^{-\lambda(t-s)}}dF_{S_{N(t)}}(s) \\
&= \int_0^{t-x} dF_{S_{N(t)}}(s) + \int_{t-x}^t e^{-\lambda x} dm(s) \\
&= – e^{-\lambda t} + (1 + x/\lambda)e^{-\lambda x} \\
& = – e^{-\lambda t} > \bar{F}(x)
\end{align}$$

至此我们严格证明了我们等待公交车的时间更可能比一般公交车到达的间隔要长!这看起来似乎不可理喻,然而数学不会撒谎,这就是随机过程中的检验悖论(inspection paradox)

问题出在哪?

我们的等待区间倾向于更长,这似乎与我们初始的假设独立同分布相矛盾,那么问题究竟出在哪呢?下面我们用更加直观的方式去理解这个问题。

我们将公交车的到达想象为时间轴上的一系列点,我们到达公交车站的时刻就是随机的在这个时间轴上取一点,那么很显然,我们的到达时刻落在更长的区间里的概率更大。也就是说我们的到达实际上并没有等可能地落在所有区间中,而是更加倾向于较长的区间。那么我们等待的区间更长也就不足为奇了,因为这并非是一个无条件概率,本质是一个条件概率,即在我们“随机”选中某个区间进行等待的条件下,该区间长度的分布,而我们忽略的这个条件中的“随机”并没有真的随机,因为他实际上已经为我们筛选了更长的区间。

一个更加著名也更加易于理解的例子是“飞机问题”中的幸存者偏差。在二战期间,人们发现幸存的轰炸机中,机翼中弹的数量很多,而机身中弹的却很少。因此人们认为我们应该加固飞机的机翼。其实不然,就是因为机翼中弹多还能飞回来,所以机翼中弹并没有影响飞机返航;而机身中弹的少则说明了子弹打中机身对飞机的影响更大,导致飞机不能返航。

我更喜欢用另外一个更具哲学意味的例子去阐述这个问题。产生生命的条件是如此之苛刻和机缘巧合,人类这么精巧的生命产生是几乎不可能的,为什么又会有人类产生呢?那么正是因为产生了人类,才会有人去思考这样一个问题,那么这个概率也从不可能变成了必然。

经济学的困境

这就像量子力学的测不准原理一样,因为我们的观测而对被观测对象产生的影响,从而对观测结果产生了干扰。好在与这个不同是,我们可以在公交车站等一天甚至等一年的车,通过多次观测来保证采样的无偏性,大数定律会给你答案。

然而不幸的是,并非所有的实验都可以多次进行,尤其是在社会科学比如经济学的语境下。我们很多时候只能观测和解释,并不能设计和实施实验。经济学中很多理论都是基于对经济现象的观测,根据时间的先后关联和一系列的抽象和假设对现象进行解释。然而时间的先后关联并不能代表逻辑的因果关系,更何况我们的观测反过来又会影响其本身的概率分布。就像明代思想家王阳明的那朵花一样,“你未看此花时,此花与汝心同归于寂。你来看此花时,则此花颜色一时明白起来”。

虽然这样未免太过于唯心,周遭的世界并不会由于我们的意识而存在或消失或改变,然而我想没人可以证伪我们所感受到的一切只是心中的意识,我所唯一能确定的是此刻这个宇宙中有一个人正在思考这个问题,而当我不思考的时候,这个也变得不确定起来。这就是笛卡尔所言的“我思故我在”吧。


Reference:

Ross, S. M., Kelly, J. J., Sullivan, R. J., Perry, W. J., Mercer, D., Davis, R. M., … & Bristow, V. L. (1996). Stochastic processes (Vol. 2). New York: Wiley.

Mission Impossible:Rank类损失函数的直接优化

本文将对 Rank 类指标如 AUC-ROC,设计损失函数,从而实现直接优化。读到这我觉得就像当年学高数一样会有两类反应:这也要证?这也能证?如果你是第一种,那么文章的开头介绍了背景知识,看完你会变成第二种反应的。如果你是第二种,说明你对这个问题已经有了一些研究,那么可以直接从第三部分阅读。本文主要参考 Eban et al. (2016)

Background

对于分类问题,为了度量一个模型的性能,我们构造出了很多指标,比如准确率、查全率(recall,有些地方翻译为召回率,我觉得还是查全率更直观一些)、\(F_{\beta}\)、ROC曲线等等,根据应用场景的不同,我们使用不同指标进行衡量,比如疾病筛选的时候我们认为把病人诊断为健康人的代价要远远大于把健康人诊断为病人,我们会更加强调查全率,或者我们希望使用\(P@R\),在规定查全率下尽量提高准确率。同时为了比较不同的模型,标量我们可以直接进行数值比较,为了处理如ROC曲线之类的指标,我们又构造了如平衡点(Break-Even Point)、AUC(Area Under Curve)等指标。

当我们根据场景选定指标后,就会将指标转化为损失函数,通过对损失函数的优化来达到指标的最大化。比如我们希望对准确率进行优化,实际上我们希望最小化
$$\frac{1}{m}\sum_{i=1}^{m} \mathbb I (f(x_i) \neq y_i)$$
其中 \(m\) 是样本个数,\(x_i, y_i\) 分别是第 \(i\) 个样本和其真实标记,\(f\) 是我们的学习器。通常我们希望我们的损失函数是可微的,从而可以很方便的使用 BP 算法对整个学习器的参数进行梯度下降。所以这时候我们做一些近似,使用 Cross Entropy 等替代示性函数,这样我们就将实际应用场景的要求转化为对一个可微函数的梯度下降求最优解的数学问题。随着数据的增加,我们的训练集动辄几十万上百万数据,没有办法一次性计算出损失再进行下降,但是从上式可以看出,不同样本之间的损失计算并没有依赖关系, 所以我们使用 mini-batch 的方式,每次使用一部分数据进行梯度下降,我们通过局部最小,来期望达到累加的和最小,从而实现海量数据分批的梯度下降。将批大小设置在 GPU 的处理宽度内,通过GPU最擅长的矩阵运算,大大加快了模型的收敛速度。这也是机器学习最基本的套路。

当然,事情远没有那么简单。我们以 AUC-ROC 为例来看一下 AUC 类的指标。关于 AUC 的详细介绍可以参考 周志华. (2016). 网上也有很多资料,这个比较基础,我就不介绍了。我们假定任意两个样本的预测值都不相同,那么 ROC 之上的面积可以表示为
$$1 – AUC = l_{rank} = \frac{1}{m^+m^-}\sum_{x^+\in D^+} \sum_{x^-\in D^-}( \mathbb I (f(x^+) < f(x^-))) $$
其中,\(x^+, m^+, D^+\) 分别代表正样本、正样本个数和正样本集合。我们希望这个函数最小。 即考虑每一对正反例,若正例的预测值小于反例则记一个罚分。若一个正例在 ROC 曲线上对应的坐标点是 \((x,y)\),那么 \(x\) 恰是排序其之前的反例所占的比例。AUC 实际上是随机选取一个正例和一个反例,正例的预测值高于反例的概率。

那么问题来了,这个损失函数既不可微,而且跟所有样本的排序有关(所以我们叫 Rank 类指标),也就是讲他既不能使用BP算法进行梯度下降,也不能像准确率一样分成小批,因为每个样本的损失不是孤立的,而是需要全局的排序才能计算。这一类的指标我们称之为 Non-Decomposable Measure。那么如何进行优化呢?尤其是对海量数据进行优化呢?这似乎是一个 Mission Impossible。

现行的做法是什么呢?我称之为随缘优化。

业界普遍的做法是对准确率这一类 Decomposable 的指标进行优化,以期待准确率上表现较好的学习器在 AUC 这类指标上也表现较好。翻遍所有的框架,包括 Keras、Pytorch、TensorFlow 等等,都只提供了一个 AUC 的度量指标,也就是对学习好的模型进行评测一下,并没有提供直接对 AUC 优化的损失函数。实际上这种做法很随缘,我们假设训练集中有5个数据,三个正例两个反例,学习器1和学习器2对这个5个样本的打分分别为
$$S_1 = \{0.9, 0.8, 0.3, 0.7, 0.6\}\\ S_2 = \{0.8, 0.7. 0.6, 0.9, 0.3\}$$
以0.5为阈值,则学习器1的准确率为50%,学习器2为75%。但是很容易看出来,\(AUC_1 = \frac{2}{3}, AUC_2 = \frac{1}{2}\)

过去几十年,大家都是这么做的,并不直接对 AUC 类指标进行优化,默认准确率较高的分类器在AUC等指标上也表现较好,将精力集中在模型结构的创新上。当然也有一些工作,前期的工作主要集中在对函数的近似,也即示性函数近似成可微的函数,比如 Yan et al. (2003),但并没有解决数据之间的全局依赖,从而也就无法应对越来越多的大规模数据的divide and conquer,最近的一些工作如 Narasimhan, H., Kar, P., & Jain, P. (2015, June) 开始在一些特定模型,如广义线性模型上进行优化,下面我们介绍 Google 在最近发表的 Eban et al. (2016) 中的方法,通过分析损失函数的上下界,来对 AUC 构造出可微可分解的损失函数。

Preliminary

首先我们定义一个二分类学习器 \(f_b, f: X \to R, b \in R\),当\(f(x) \geq b\)时,样本被分类为正例。那么我们可以计算出真正例(tp, true-positive)和假正例(fp, false-positive)的个数 $$tp = \sum_{i \in Y^+} \mathbb I (f(x_i) \geq b)\\
fp = \sum_{i \in Y^-} \mathbb I (f(x_i) \geq b) $$
如果我们使用0-1损失函数,那么上式即
$$\begin{align} tp &= \sum_{i \in Y^+} 1 – l_{01}(f_b, x_i, y_i)\\
fp &= \sum_{i \in Y^-} l_{01}(f_b, x_i, y_i) \end{align}$$
如果使用hinge loss:\(l_h(f_b, x_i, y_i)\),那么很明显的\(l_h \geq l_{01}\)。所以我们定义 \(tp\) 的下界 \(tp_l\) 和 \(fp\) 的上界 \(fp^u\):
$$ \begin{align} tp_l &= \sum_{i \in Y^+} 1 – l_h(f_b, x_i, y_i) \leq tp\\
fp^u &= \sum_{i \in Y^-} l_h(f_b, x_i, y_i) \geq fp \end{align} $$
使用 log loss、smooth hinge loss 等其他的函数去构造 0-1 loss 的上界原理相同,都将 \(tp_l, fp^u\) 化为了凸函数,后面我们将利用他们的凸性,将AUC等指标转化为凸优化问题。

Maximize R@P

下面我们先对 \(R@P\) 进行优化,即在保证准确率的情况下最大化查全率。即:
$$R@P_{\alpha} = \max R(f) \quad s.t. \quad P(f) \geq \alpha$$
同时,我们看到
$$\begin{align} P &= \frac{tp}{tp+fp} \\
R &= \frac{tp}{tp + fn} = \frac{tp}{|Y^+|}
\end{align}$$
所以原优化问题变为:
$$\max \frac{1}{|Y^+|} tp \quad s.t. \quad tp \geq \alpha(tp + fp)$$
使用上面我们得到的上界和下界对优化问题进行缩放,我们得到缩放后的问题:
$$\overline{R@P_{\alpha}} = \max \frac{1}{|Y^+|}tp_l \quad s.t. \quad (1 – \alpha)tp_l \geq \alpha fp^u$$
不难看出,我们可以通过对 \(\overline{R@P_{\alpha}} \) 优化,来实现原问题的优化。

我们定义在所有正例上的loss:
$$\mathcal{L}^+ = \sum_{i \in Y^+} l_h(f, x_i, y_i)$$
同理定义\(\cal L^-\),并将 \(tp_l, fp^u\) 显式代入,我们得到:
$$ \overline{R@P_{\alpha}} = \max 1 – \frac{\mathcal{L}^+}{|Y^+|} \\ s.t. \quad (1 – \alpha)(|Y^+| – \mathcal{L}^+) \geq \alpha \mathcal{L}^- $$
忽略一些常数项,变形后得到:
$$\begin{align}&\min \mathcal{L}^+\\
&s.t. \alpha \mathcal{L}^- + (1 – \alpha)(\mathcal{L}^+ – |Y^+|)\end{align}$$
使用推广的拉格朗日乘数法,我们得到:
$$\min_{f} \max_{\lambda \geq 0} \mathcal{L}^+ + \lambda[ \alpha \mathcal{L}^- + (1 – \alpha)(\mathcal{L}^+ – |Y^+|) ]$$
整理后有:
$$ \min_{f} \max_{\lambda \geq 0} [1 + \lambda(1 – \alpha)]\mathcal{L}^+ + \lambda \alpha \mathcal{L}^- – \lambda(1 – \alpha)|Y^+|$$
这时候我们就可以分别对 \(f, \lambda\) 进行梯度下降和“梯度上升”进行优化。而当 \(\cal L^+, L^-\) 为凸函数时,Nedić, A., & Ozdaglar, A. (2009) 证明了这个过程会收敛到一个固定点。上式也可以看做分别对正例和反例添加了\( [1 + \lambda(1 – \alpha)]\),\(\lambda \alpha \) 两个权重,不同的是 \(\lambda\) 在一直进行梯度上升。

Here We Go

有了上面的基础,下面我们分析AUCPR。AUCPR实际上就是在 \(\alpha\) 上对\(R@P_{\alpha}\) 进行积分,即:
$$AUCPR = \max_f \int R@P_{\alpha} d\alpha$$
自然而然的我们想到使用分段求和进行近似,那么我们有:
$$ \min_{f,b_1,\dots, b_k} \max_{\lambda_1,\dots, \lambda_k \geq 0}\sum_{t=1}^k \Delta_t [1 + \lambda_t(1 – \alpha_t)]\mathcal{L}^+(f, b_t) + \lambda_t \alpha_t \mathcal{L}^-(f, b_t) – \lambda_t(1 – \alpha_t)|Y^+|$$
上式同样可以使用 (min-batch) SGD 进行优化,从而我们完成了Mission Impossible。将被积函数替换成true positive rate at fixed false positive rate,那么就可以实现文章前面我们所讲到的AUCROC。

Performance

作者对这个算法的性能进行了测试,并对比了传统的对准确率进行优化的loss函数,测试结果就特别好,然后收敛很快,这里我贴下图,就不详细解释了,可以阅读原文。

What’s More

之所以不对结果再详细解释,还有一个原因就是我在kaggle的一个任务上使用上述算法,性能非但没有提升,而是有显著下降。所以文章虽然提出了一个很好的算法,但是在性能的测试上是否有 data snooping?算法的稳定性或者适用条件(比如准确率已经高达95%以上是否还能通过这种优化达到一个提升)我认为是后续的一个研究方向。

Pytext Tensorflow Research 中实现了文中的算法。源码的注释非常完善,我这里就不做解读了,可以直接点开链接阅读。值得注意的是,TensorFlow Research 中对AUCROC的实现并非是按照原文的思路进行的,而是将AUCROC视为我们前面所讲的正确排序的概率,在每个 batch 中使得这个概率最大,以期达到全局最优。

另外,Sanyal et al. (2018) 是非常不错的延伸阅读材料。利用对偶理论提出了新的算法。

Some Thoughts

最后插些题外话,上个月参加了在南京举办的全球人工智能大会,我特别去听了下人工智能金融科技的分论坛,包括平安集团的技术负责人等很多业界大佬都参与了分享,目前人工智能在金融领域的发展更多的是应用场景的拓展,对人工的替代,对效率的提升,比如智能客服、保险欺诈预警等等。当然这些都是很棒的应用,但我觉得多少是令量化交易者有些失望,我们并没有看到人工智能选股、人工智能交易,诸如此类,是大家对此都秘而不宣吗?

在我看来,机器学习只是用计算机模型的形式降低了统计科学的应用门槛,使其更加便利地应用于各个行业,但是在数学或者所在的行业没有突破的前提下,不能指望机器学习成为解决所有问题的银弹。尤其对于量化的研究人员要更加警惕,看着机器学习在NLP、CV领域不断大放异彩,难免会产生错觉,就像和有钱人一起相处久了,总觉得自己也是有钱人了。人本身在语言处理和图像识别上就是专家,或者说人类证明了这些东西是有模式可循,机器朝着 Human-Baseline 去努力,而对量化交易而言,我们甚至不知道Human-Baseline在哪,我想这就是为什么很多人对于机器学习直接应用于量化交易而感到迷茫的原因吧。我也推荐一下之前很火的一篇文章,张钹院士关于人工智能的一个访谈

令人矛盾的是,对比宏观的时间跨度,在高频尺度下,数据的模式往往更加清晰,相对于使用高深的数学硬刚,我们或许可以通过机器学习训练出更加准确的模型来预测未来的方向,但这些优势又可能被笨重的模型带来的延时所拖累。如果能将模型的黑盒打开,精简出模型的精髓,那么一定会为高频交易交易翻开新的篇章,遗憾的是,这也是机器学习所面临的最大的瓶颈,倘若能打开黑盒,高频交易、机器学习乃至整个人类的科学认知都将进入一个完全不同的维度,这可能才是真的 Mission Impossible。


Reference:

Eban, E. E., Schain, M., Mackey, A., Gordon, A., Saurous, R. A., & Elidan, G. (2016). Scalable learning of non-decomposable objectives. arXiv preprint arXiv:1608.04802.
Narasimhan, H., Kar, P., & Jain, P. (2015, June). Optimizing non-decomposable performance measures: A tale of two classes. In International Conference on Machine Learning (pp. 199-208).
Nedić, A., & Ozdaglar, A. (2009). Subgradient methods for saddle-point problems. Journal of optimization theory and applications142(1), 205-228.
Sanyal, A., Kumar, P., Kar, P., Chawla, S., & Sebastiani, F. (2018). Optimizing non-decomposable measures with deep networks. Machine Learning107(8-10), 1597-1620.
Yan, L., Dodier, R. H., Mozer, M., & Wolniewicz, R. H. (2003). Optimizing classifier performance via an approximation to the Wilcoxon-Mann-Whitney statistic. In Proceedings of the 20th International Conference on Machine Learning (ICML-03) (pp. 848-855).
周志华. (2016). 机器学习. 清华大学出版社.

金融高频数据计量——理论与实证(三)

本篇为市场微观结构下篇,主要对市场微观结构的研究方法和方向做一个简要的介绍。更加深入和全面的研究可以参考 O’Hara (1995), Madhavan (2000), Biais et al. (2005)Hasbrouck (2007)

市场微观结构 (market microstructure) 理论主要关注的是投资者潜在的需求是如何被最终反映在价格和交易量上的这一过程。所以,市场微观机构理论的核心主题就是关于价格形成 (price formation)、价格发现 (price discovery)、库存 (inventory)、流动性 (liquidity)、交易成本 (transaction cost)、信息扩散与传播 (information diffusion and dissemination)。传统的市场微观结构理论在解释价格行为上分为两大方向:信息不对称模型 (asymmetric information based model) 和库存模型 (inventory model)。前一模型从信息不对称和逆向选择的视角对市场的动态和价格的修正过程进行建模,有顺序交易模型 (sequential trade model) 和策略交易模型 (strategic trade model) 两大主要研究方向。库存模型则主要研究订单流的不确定性,以及流动性提供商的库存风险,和在一定的风险厌恶下的优化问题。最后我们还会对关于交易行为、订单簿均衡市场 (equilibria limit order book market) 的最近的一些研究成果做一个简要的介绍。

1. 信息不对称模型

1.1 顺序交易模型

在顺序交易模型中,随机的交易者会依次到达市场中。这一框架的是基于这一个假设:市场中的交易者拥有信息的程度不同,并依此划分为知情交易者 (“informed traders”),他们根据自己拥有的关于资产价值的信息来交易;和流动性交易者 (“liquidity traders”),他们因为外在的驱动交易,比如资产组合的调整或者流动性原因等等。根据这一 对交易者不同类型划分的假设派生了大量信息不对称模型,其中开创性的论文包括 Copeland and Galai (1983)Glosten and Milgrom (1985)

Glosten and Milgrom (1985) 的模型中,证券有一个支付 (payoff, 这个payoff与期权定价模型中的payoff含义是一样的,可以粗略的理解为回报,但并不准确),以某个概率可能高也可能低,只有在交易结束后才能最终知道。所有交易者被分为知情交易者,和不知情交易者,知情交易者拥有证券支付的信息,他们会在支付高的情况下买入证券,支付低的情况下卖出证券,而不知情交易者等概率地买入或者卖出证券。市场中的知情交易者的比例是给定的。交易商属于不知情交易者,他们根据交易历史来推断资产的真实价值。当交易商收到一个买入或者卖出的订单后,他会计算这时资产价值的条件期望,然后根据这一条件期望来报出买价和卖价,从而使得自己的期望收益能够抵消与知情交易者交易产生的损失。当下一交易完成后,交易商会再重新进行一次上面的操作,这实际上就是一个适应过程 (adoption process)。按照这个过程,买卖价差变成了资产潜在价值及其相对应的概率(或者两者合起来是数学期望)和市场中知情交易者的比例这三个变量的函数。这一模型的基本假设包括:交易价格是一个鞅;订单流是自相关的(买(卖)单之后倾向于还是买(卖)单),随着时间的推移,交易商的不确定在减少,买卖价差也随之缩小;每笔交易都有价格冲击。

这一模型随后被扩展和修改成很多版本,Easley and O‘Hara (1992) 假设在每个交易日的开始是否有“有价值的信息”出现是随机的,在没有信息出现的情况下,知情交易者并不会交易,只有不知情交易会参与交易;他们还假设不知情交易者也不必一直交易,不知情交易者也可能不参与交易。所以没有交易的间隔,同样informative。其他版本的模型还包 Easley
and O’Hara (1987)
的模型中允许订单的大小可以不同,Easley and O‘Hara (1991) 的模型还考虑了不同类型的订单。

Easley et al. (1997)Easley et al. (2002) 扩展了 Easley and O‘Hara (1992) 的模型,影响资产真实价值的事件是按照泊松过程到达的,这样交易者的顺序到达的时间就不必是离散时间而是连续时间了。知情交易者和不知情交易者的到达过程是两个速率不同的泊松过程,每天买和卖的交易次数的联合分布就变成了混合的泊松分布,那么基于事件到达的速率、知情交易者的到达速率、非知情交易者的到达速率,知情交易者概率 PINprobability of informed trading, 随机选定一个交易者是知情交易者的概率)就可以算出来了。Easley et al. (2008) 又将模型扩展为动态(非齐次泊松过程),用以估计时变 (time-varing) PIN 。

1.2 策略交易模型

在顺序交易模型中,每个交易者只会参与市场一次,所以他们不会考虑他的交易会对后续的交易者产生什么样的影响,知情交易者总是会一次性交易所有数量,因为他们不必考虑将来交易中可能出现的不利价格。在策略交易模型中则不是这样,交易者需要重复参与到市场中,所以也必须依照策略行动。在这个领域的开创性的工作是 Kyle (1985)。Kyle模型中,资产的真实价格是随机的,但是知情交易者知晓资产的真实价格,不知情交易者独立于资产真实价格提交随机的订单(噪声交易,noise trading)。做市商会收到知情交易者和不值钱交易者的订单请求,需要据此报价使得所有交易的盈亏互相抵消。知情交易者可能会采用很激进的交易策略,所以做市商为了防止自己在市场趋势的对立面,需要将报价设置为总净订单量(知情交易者和非知情交易者的所有买单减去卖单后的申买量) 的线性函数。这个过程也需要知情交易者的参与,他们根据对做市商价格设置的猜测和自己的需求(申买/卖量)来计算自己的利润。需要注意的是,与顺序交易模型不同,不知情交易者的交易可能会导致做市商的价格设置使得知情交易者出现亏损。知情交易者的最优下单策略问题变成了选择一个最优的需求使得他的期望利润最大,需求就变成了资产真实价值的线性函数。

当做市商猜测知情交易者的优化问题时,他可以依据自己的价格设置规则来计算知情交易者的需求函数。这样知情交易者的需求函数又会反过来影响做市商的价格设置。做市商价格设置的斜率(即净订单量对价格的影响)又被称作为 “Kyle’s lambda”。

Kyle利用二元正态变量的性质,使用总需求与资产实际价格间的协方差和噪声交易的方差以及他们的函数进行了数值计算。Kyle模型的一个结果是,知情交易者的期望利润随着资产实际价格与做市商无条件报价(与总净订单量无关的报价)的发散,以及噪声交易方差的扩大而增加。后面一个结果表明知情交易者在流动性更好的市场中通常会获得更好的收益。

Kyle模型也被扩展成很多不同的模型,比如 Admati and Pfleiderer (1988)Foster and Viswanathan (1990) 允许不知情交易者也有自己的策略,Foster and Viswanathan (1996), 允许多期模型。

2. 库存模型

库存模型主要考虑在面对异步到达的买方和卖方所造成的库存问题。最初由 Garman (1976) 提出,他用泊松过程对买方和卖方的到达进行建模,他们的到达速率取决于价格。所以当两者速率相同时,做市商处于动态平衡之中。做市商通过买卖价差赚取利润,当买卖价差增大时,单次交易的利润扩大,但是交易的速率下降。 Garman (1976) 将库存问题描述为做市商必须维持所持证券和现金不低于特定水平。如果买卖报价的设置使得买方和卖方的到达速率相等,那么所持证券的库存是一个无漂移的随机游动 (zero-drift random walk),所持现金是正漂移的随机游动(只要买卖价差是正的)。这会导致做市商所持证券会以概率1破产,因为对无漂移的随机游动以概率1到达任意有限水平。因此,只要做市商保持买价和卖价不变,那么他(所持证券)迟早要破产。Amihud and Mendelson (1980) 提出了一个类似的模型,做市商的库存被限制在一个上下限之内。他们的模型表明,当库存水平达到临界值时需要更新报价,从而相应地增加或者降低买方和卖方的到达速率。从而买卖报价随着库存水平的增加单调递减,同时买卖报价并不一定要对称地分布在资产的真实价值两侧。

做市商价格的设置也可以在做市商风险厌恶,希望通过买卖报价适当地平衡自己的资产这一框架下来分析。这些工作包括 Stoll (1978), Ho and Stoll (1981), Stoll (1989)Huang and Stoll (1997) 等等。

3. 交易变量的主要结论

关于微观市场变量的一些主要结论:

交易量:在 Easley and O’Hara (1987) 的模型中,交易者可以选择订单的大小,但是不能不参与交易,订单的大小表明了市场信息的存在。Blume et al. (1994) 研究了交易者在不同时间收到不同质量的信息会对交易量产生什么影响,他分析了交易量与市场价格相关的统计性质,表明交易者可以通过交易量来推断市场中存在的信息的数量与质量。一个重要的结果是,交易量提供的额外信息是无法单纯通过价格推断出来的,交易量和波动性是相关联的。

买卖价差:Glosten and Milgrom (1985) 的模型中,做市商通过对决定买卖价差来补偿自己所面对的逆向选择的风险。做市商与知情交易者交易所产生的潜在损失越高,买卖价差越大。此外,买卖价差与做市商的库存风险与风险厌恶程度相关。在 Easley and O‘Hara (1992) 的模型中,做市商通过交易间时间间隔来推断是否新的信息。因此,滞后的间隔时间和买卖价差是负相关的 (lagged durations and the size of spreads are negatively correlated),因为当间隔时间变小时代表了新信息的出现,做市商的风险上升,买卖价差要相应增加。

交易间隔:Diamond and Verrecchia (1987) 提出了一个合理期望模型,模型对做空进行了限制。他们认为交易的缺失是由于“坏”消息的出现,所以交易的缺失提供了有用的信息并且与价格的波动性相关。在这一模型中,由于对做空进行了限制,所以时间间隔是有信息的。在 Easley and O‘Hara (1992) 模型中,当出现信息时,知情交易者会进入市场,没有得到信息的交易者并不会交易,所以较短的交易间间隔表明了信息的出现。Admati and Pfleiderer (1988) 为交易间隔的在时间轴的聚集提供了一种解释,在他们的模型中,流动性交易者倾向于最小化自己的交易成本,在其他交易者在市场中的时候进行交易。在均衡状态下,对知情交易者来说,知情交易者的行为都相似的时候是最优的。这就导致了交易会聚集,交易间隔是正自相关的。

4. 订单簿模型 (Models for Limit Order Book Markets)

A seminal paper to model limit order markets is Glosten (1994). In this model, all market participants have access to an electronic screen. Posting limit orders is done costlessly and the execution of a trade against the book occurs in a “discriminatory” fashion. That is, each limit order transacts at its limit price. Investors are rational and risk averse and maximize a quasi-concave utility function of their cash and share position as well as personal preferences. The trading behavior of market order traders depends on their marginal valuation functions and the prevailing terms of trade, i.e., the list of bid and ask quotes available, which influence the changes in investors’ cash and share positions. It is assumed that an investor chooses the trade quantity such that her marginal valuation equals the marginal price corresponding to the price paid for the last share in a transaction. There is informed trading if an investor’s marginal valuation is associated with the future payoff. Then, incoming market orders reveal information about the unknown “full information value” of the traded security. Due to the anonymity of the electronic market, the underlying marginal valuation implied by an arriving market order can be assessed by the liquidity suppliers only through the observed limit price and the traded quantity given the terms of trades offered by the book.

Glosten assumes that there is a large number of uninformed, risk-neutral and profit-maximizing limit order submitters who set limit prices and quantities on the basis of their “upper tail expectation”. The latter corresponds to the conditional expectation of the asset’s full information liquidation value given that the next arrival’s marginal valuation is greater than or equal to the traded quantity. In the presence of private information, liquidity suppliers protect themselves against adverse selection by setting the limit price at least equal to the upper tail expectation given a market order trading at the corresponding price. It is shown that such a strategy leads to a Nash equilibrium which is characterized by a zero-profit condition for prices at which positive quantities are offered.

Glosten’s model is extended in several directions by Chakravarty and Holden (1995), Handa and Schwartz (1996), Seppi (1997), Kavajecz (1999), Viswanathan and Wang (2002) and Parlour and Seppi (2003). However, while static equilibrium models provide insights into the structure of the limit order book, they do not allow to analyze (dynamic) interactions between the order flow and the state of the limit order book. For this reason, Parlour (1998) proposes a dynamic game theoretical equilibrium model where traders have different valuations for the asset and choose between submitting a market order, a limit order or refraining from trading. Since the expected future order flow is affected by their own order submission strategies, the execution probabilities of limit orders are endogenous. This leads to systematic patterns in traders’ order submission strategies even when there is no asymmetric information in the market. The basic underlying mechanism is a “crowding out” effect whereby market orders and limit orders on the individual market sides crowd out one another when the ask or bid queue is changed. In particular, the probability of the arrival of a buy (sell) trade after observing a buy (sell) trade is higher than after observing a sell (buy) trade. This results from a buy transaction reducing the depth on the ask side which in turn increases the execution probability for limit sell orders. Hence, for a potential seller, the ttractiveness of limit orders relative to market orders rises inducing a crowding out of market sell orders in favor of limit sell orders. Handa et al. 2003 extend this approach by introducing an adverse selection component due to the presence of privately informed traders.

An alternative dynamic game theoretical equilibrium model has been proposed by Foucault (1999) in order to study the cross-sectional behavior of the mix between market orders and limit orders and the implied trading costs. He analyzes the influence of the risks of being picked off and of non-execution on traders’ order submission strategy and derives testable implications regarding the relationship between the proportion of limit orders and market orders in the order flow, the fill rate (i.e., the percentage of executed limit orders), the trading costs and the volatility of the asset price. Handa et al. (2003) extend the approach by Foucault (1999) by introducing private information in his model. While in Foucault’s model trading occurs because of differences in traders’ valuation for the security, Handa et al. introduce an adverse selection component due to the presence of privately informed traders. As a result, the size of the spread is a function of the differences in valuation among investors and of adverse selection. Further extensions of these frameworks are, among others, oucault et al. (2005) and Goettler et al. (2005, 2009). Recent literature focuses on the theoretical analysis on automated trading and smart order routing in electronic trading platforms. See, e.g., Foucault and Menkveld (2008), Hendershott et al. (2011) or Biais et al. (2010), among others.

最后一部分我并没有看的十分明白,为了严谨起见,我暂时没有翻译,将原文直接贴出来,欢迎交流!
这一篇我在查阅相关文献的过程中,能明显的感到到这一篇的信息量很大,首先参考文献的数量很多,其次引用的出处大都为JF、JFE这样的顶级期刊,而且按照 google scholar 上的引用数据,文章动辄引用量都是几百,还有很多篇引用量上千。有志于这方面研究的朋友,这篇文章是个不错的索引。


Reference:

Admati, A. R., & Pfleiderer, P. (1988). A theory of intraday patterns: Volume and price variability. The Review of Financial Studies1(1), 3-40.
Amihud, Y., & Mendelson, H. (1980). Dealership market: Market-making with inventory. Journal of Financial Economics8(1), 31-53.
Biais, B., Glosten, L., & Spatt, C. (2005). Market microstructure: A survey of microfoundations, empirical results, and policy implications. Journal of Financial Markets8(2), 217-264.
Biais, B., Hombert, J., & Weill, P. O. (2010). Trading and liquidity with limited cognition (No. w16628). National Bureau of Economic Research.
Blume, L., Easley, D., & O’hara, M. (1994). Market statistics and technical analysis: The role of volume. The Journal of Finance49(1), 153-181.
Chakravarty, S., & Holden, C. W. (1995). An integrated model of market and limit orders. Journal of Financial Intermediation4(3), 213-241.
Copeland, T. E., & Galai, D. (1983). Information effects on the bid‐ask spread. the Journal of Finance38(5), 1457-1469.
Easley, D., Engle, R. F., O’Hara, M., & Wu, L. (2008). Time-varying arrival rates of informed and uninformed trades. Journal of Financial Econometrics6(2), 171-207.
Easley, D., & O’hara, M. (1987). Price, trade size, and information in securities markets. Journal of Financial economics19(1), 69-90.
Easley, D., & O’HARA, M. A. U. R. E. E. N. (1991). Order form and information in securities markets. The Journal of Finance46(3), 905-927.
Easley, D., & O’hara, M. (1992). Time and the process of security price adjustment. The Journal of finance47(2), 577-605.
Foster, F. D., & Viswanathan, S. (1990). A theory of the interday variations in volume, variance, and trading costs in securities markets. The Review of Financial Studies3(4), 593-624.
Foster, F. D., & Viswanathan, S. (1996). Strategic trading when agents forecast the forecasts of others. The Journal of Finance51(4), 1437-1478.
Foucault, T. (1999). Order flow composition and trading costs in a dynamic limit order market. Journal of Financial markets2(2), 99-134.
Foucault, T., Kadan, O., & Kandel, E. (2005). Limit order book as a market for liquidity. The review of financial studies18(4), 1171-1217.
Foucault, T., & Menkveld, A. J. (2008). Competition for order flow and smart order routing systems. The Journal of Finance63(1), 119-158.
Garman, M. B. (1976). Market microstructure. Journal of financial Economics3(3), 257-275.
Glosten, L. R. (1994). Is the electronic open limit order book inevitable?. The Journal of Finance49(4), 1127-1161.
Glosten, L. R., & Milgrom, P. R. (1985). Bid, ask and transaction prices in a specialist market with heterogeneously informed traders. Journal of financial economics14(1), 71-100.
Goettler, R. L., Parlour, C. A., & Rajan, U. (2005). Equilibrium in a dynamic limit order market. The Journal of Finance60(5), 2149-2192.
Goettler, R. L., Parlour, C. A., & Rajan, U. (2009). Informed traders and limit order markets. Journal of Financial Economics93(1), 67-87.
Handa, P., & Schwartz, R. A. (1996). Limit order trading. The Journal of Finance51(5), 1835-1861.
Handa, P., Schwartz, R., & Tiwari, A. (2003). Quote setting and price formation in an order driven market. Journal of financial markets6(4), 461-489.
Hasbrouck, J. (2007). Empirical market microstructure: The institutions, economics, and econometrics of securities trading. Oxford University Press.
Hendershott, T., Jones, C. M., & Menkveld, A. J. (2011). Does algorithmic trading improve liquidity?. The Journal of Finance66(1), 1-33.
Ho, T., & Stoll, H. R. (1981). Optimal dealer pricing under transactions and return uncertainty. Journal of Financial economics9(1), 47-73.
Huang, R. D., & Stoll, H. R. (1997). The components of the bid-ask spread: A general approach. The Review of Financial Studies10(4), 995-1034.
Kavajecz, K. A. (1999). A specialist’s quoted depth and the limit order book. The Journal of Finance54(2), 747-771.
Kyle, A. S. (1985). Continuous auctions and insider trading. Econometrica: Journal of the Econometric Society, 1315-1335.
Madhavan, A. (2000). Market microstructure: A survey. Journal of financial markets3(3), 205-258.
O’hara, M. (1995). Market microstructure theory (Vol. 108). Cambridge, MA: Blackwell Publishers.
Parlour, C. A. (1998). Price dynamics in limit order markets. The Review of Financial Studies11(4), 789-816.
Parlour, C. A., & Seppi, D. J. (2003). Liquidity-based competition for order flow. The Review of Financial Studies16(2), 301-343.
Seppi, D. J. (1997). Liquidity provision with limit orders and a strategic specialist. The Review of Financial Studies10(1), 103-150.
Stoll, H. R. (1978). The supply of dealer services in securities markets. The Journal of Finance33(4), 1133-1151.
Viswanathan, S., & Wang, J. J. (2002). Market architecture: limit-order books versus dealership markets. Journal of Financial Markets5(2), 127-167.