金融高频数据是科学发现和理论创立的新源泉.doc

金融高频数据是科学发现和理论创立的新源泉金融孤子（非欧几何）构造及其实验马金龙1,2，马非特2（1 中国科学院广州地球化学研究所 广州 510640；2 长沙非线性特别动力工作室 长沙 410013）摘 要：金融高频数据是金融市场内秉特性的表征，正在成为科学理论及发现的新源泉。本文基于复杂系统理论和非线性动力学原理，通过对金融交易市场高频数据进行相空间重构、数据挖掘和数值分析获得非线性特别动力因子金融孤子，发现其价格波动规律，建立与市场相适应的前瞻性的演化博弈模型，进而提出金融孤子的（非欧几何）构造新概念。经实盘交易股票G广控和期货燃油实践，实现了在价格波动演化过程中的可重复性实验，达到了验证金融孤子理论及模型正确性的目的。金融孤子（非欧几何）构造有可能成为有限理性主体的社会和经济演化行为范式。关键词：金融高频数据；金融市场；金融孤子；非欧几何1 引言科学数据是自然界客观事物特性的表征。现代科学领域的数据都开始以越来越精细的时间刻度来收集，在频率上向可微分方向发展，在数量上正以指数级增长。自上世纪90年代以来，随着现代计算机科技手段在金融交易中的广泛使用，交易系统可以实时地提供市场参与者的交易数据，包括股票、汇兑、期货及其金融衍生品等，并且全部交易过程被实时的逐笔交易或逐秒记录（如中国证券市场交易系统具备每分钟出10个数据的能力）和储存下来，这样就形成了金融高频数据(financial high frequency data)，即达到可微程度，而且金融高频数据具有海量性，如分钟数据，在十年内可以达到1 000 000数量级 1。目前国内外高频数据研究主要是从统计物理学和数理统计学这两个途径展开的。金融物理学家基于非线性动力学（混沌、分形）原理取得了以下认识，在金融时间数据中建立了确定性混沌动力学系统，金融市场价格的多变是多种因素非线性相互作用导致的，具有混沌、分形的特性，提出了分形市场假说、偏离高斯分布的列维分布和渐近幂率以及标度性等，揭示了金融市场现象中的普适性、规律2-4。数学家和经济家基于线性的、完全理性的均衡范式，建立了如自回归条件异方差（ARCH）类模型、自回归条件持续性（ACD）模型等5,6，但因假设这个系统是可计系统，相当于热力学第二类永动机7，在实际上无助于发现运动的机制。尽管这些模型从不同角度和层面考虑了金融高频数据的基本要素和主要特征，揭示了一些异常的市场微观现象，但仍处于描述和分析的基础层面。本文基于复杂系统理论，应用非线性动力学（混沌、分形、孤子）原理，采用问题导向研究方法（数据模型概念实践），让数据说话，并不事先假设数据的模型，而是通过对金融交易市场高频数据进行相空间重构、数据挖掘和数值分析获得非线性特别动力因子金融孤子8，发现其价格波动规律，建立与市场相适应的前瞻性的演化博弈模型，进而提出金融孤子的（非欧几何）构造新概念，经实盘交易股票G广控和期货燃油实践，实现价格波动演化过程中的可重复性实验，同时达到验证金融孤子理论及模型正确性的目的。2金融高频数据建模波动演化过程的重复再现性在信息社会中，面临浩渺无际的金融高频数据, 如何才能不被信息的汪洋大海所淹没, 并将数据转换成有用的知识，大多数数据挖掘工具目前仍无法提供必备的功能来“有效”支持海量数据的探索，人类期望着有一些能从数据汪洋中提取各种知识的理论和技术。社会科学经济系统的金融市场交易系统提供的各种高频数据与物理学研究体系在时空结构上具有相当程度的严格对称性，不仅可反应出系统的演化过程和行为特征，包括所有的非线性效应，而且能够有效地描述参与者的行动过程，这些交易活动就是群体的高阶逻辑思考过程（信息）的反映8。同时，为应用数学和物理学方法研究金融市场提供了切入途径，为开展金融市场复杂介质结构及其动力学响应奠定了前所未有的技术基础。事实上，金融高频数据为验证或推翻任何相关理论提供了手段和直接证据，并正在成为科学发现及理论创建的新源泉。建模基本思想是：各类市场参与者及其策略结构共同构成了开放的市场生态环境，且在混沌的市场状况下不断调整彼此关系及局部的非线性相互作用，而自发地涌现出的系统总体性状、结构与动力学行为。支配金融市场体系的相互作用力又是相对稳定的交易体系的供大于求和供不应求产生一个指向该体系均衡价格方向的驱动力。因此，正确地解决金融交易市场是个力学应用问题：金融市场的涨落的物理本质是在某一区域的构成介质（市场参与者和策略结构）发生失稳，并伴随有应变能的加速释放（价格波动、暴涨、暴跌）。从力学角度，金融市场的涨落的孕育过程实质上是市场中参与者和策略结构发生相互作用，导致失稳的演化过程，即发生对称破缺过程，这个过程是一个力学过程。但是，解决金融市场演化有关的力学问题与工程中的力学问题有许多不同之处，通常力学问题的解决需要知道：本构关系、边界条件、初始条件以及某些物理量的变化历史。但是，金融市场的涨落的孕育过程中它们却是未知的或者不完全知道的。我们知道的只是市场中某些物理量的变化。根据这一思路我们提出了一个定量地表征金融市场涨落的孕育过程的动力因子金融孤子。对现代金融市场交易数据（包括历史的和实时的所有盘面数据），如价格、成交量、时间区间等，进行多种特定的相空间重构和时间序列处理，在重构的高维空间中，构造非线性算子（因其追随价格波动的特性，此处被称为非线性特别动力因子，即金融孤子），并以连续数据不断支持着建模，实际上这是一种演化博弈模型。将无规则可寻的锯齿状价格波动映射成较光滑的函数曲线，运用鞅方法和不动点理论，以动力因子处理连续时间的市场价格波动（即所谓布朗运动），随机逼近股票、期货价格波动的相应低或高点，结合资金头寸管理的动态规划，最优化建仓、出货时机，最终实现在市场博弈中通过学习进化争当少数获胜者8。金融市场是一个演化着的复杂系统，具有每时每刻都进行信息(data)、能量（多空力量）与物质（信用、资金）的转换的属性。因此，该系统可以看成是由能量流、物质流、信息流所构成，这种结构具有演化的特性，它要靠消化能量、信息和物质来维持，可以说是更高层次的自然现象。而每一个事件的涨落（波动）从孕育到发生，就是能量、信息和物质三要素的相互变化、协调和统一的结果，其演化过程的一种表示形式就是价格波动。作为一个事物，金融市场在运动形式上表现出的波动性是永恒不变的，而波动是可以重复再现的。且波动过程中存在一个守恒量孤波（孤子），这是复杂系统体系下，相互作用之中的涌现（emergence）。作为非线性动力学三个主体（混沌、分形及孤子）之一，孤子具有宏观的波动粒子两重性。由于现代金融市场具有典型的非线性动力学属性，显然，对其价格进行描述只能是一个非线性方程组，而非线性科学研究表明，孤波正是非线性方程的解。可积系统的孤波是非线性方程的行波解。又由于孤子有保持能量、动量不变而运动过一个宏观距离的特性，从而使它能把所吸收的能量和信息无损耗地传递下去，因此，金融市场中存在着一种新的物质与能量孤子。不管金融市场怎么变化，只要找到孤子，并应用鞅方法和不动点理论，就可对价格波动进行有效跟踪。由此，可以应用与自然科学研究同样的方法和标准来研究金融市场价格波动（社会现象），绕开金融市场在时间的演化过程中可重复性实验的困难问题，实现在波动的演化过程中可重复性实验的目的。当然这一切是在弯曲的金融时空结构层面上来认识和实现的。3 弯曲的金融时空3.1 丘成桐紧致空间理想 “我相信非线性微分方程，几何稳定性和几何结构的交汇是一个很基本的问题，在未来的几十年里将会有深入的互动，更可以想象的是它跟物理学上的renormalization flow会有密切关系。当结构稳定后，我们希望将全部完成一个紧致空间，因此要引进半稳定结构的观念，而这些结构可以看做模空间的边界，也因此一般来说它们有奇异点，这种自然产生的奇异点是微分几何学里重要的奇异点，在这些空间上，研究它们的几何结构，规范场和子流形是很有意思的事情，往往经过singular perturbation后，我们对原来光滑的几何结构会有更深入的了解。”93.2 流形的金融市场市场参与者的有限理性、羊群效应以及策略结构的改变等因素导致了金融市场价格变化的时滞、过反应现象，实质上是微观部分的交互作用和变化导致了宏观系统的演变。Robert J. Aumann建立了完全经济状态下参与者连续统模型（Continuum Model），证明了价格的瓦尔拉斯竞争均衡（Walrasian Competitive Equilibrium）的存在10。我们根据金融交易市场数据记录中的其他变量分析某个连续变量的值，即建立物理问题的数学模型对流形的金融市场系统的演变过程作出定量化的结论。3.2.1 主纤维丛上的联络由流形上复向量丛酉群上丛，定出上的联络，联络引出其曲率形式，表示为陈示性类，该示性类是上同调代数的生成元，上同调类。模是微分流形的示性类拓扑不变性存在的充分必要条件。设是维光滑流形上的-主丛，。李群是自由地右作用在丛空间上的李氏变换群，而且，在上的这种右作用保持的纤维不变。是丛空间上的一个维光滑分布，即是上的一个光滑的维切子空间场。在一定条件下，则是-主丛上的一个联络。主丛上的一个联络就是在丛空间上在李群的右作用下保持不变的一个水平分布。3.2.2发现金融市场的Yang-Mills泛函设是紧致黎曼流形上的主纤维丛，是它的伴随丛，是结构群的李代数。在上取定一个不变内积，则有向量丛上的黎曼结构，使得对于任意的的任意的， ， （1）其中，是上的单位正交标架场，。由于是不变的，（1）式右端与的取法无关。于是，对于任意的，它们的（整体）内积可以定义如下： ， （2）同时，如果令，则有。现设是由主丛上的所有联络构成的空间，是联络的曲率形式，则是主丛上的型2次张量形式，因而可以视为向量丛的光滑截面。定义，则由确定了一个映射（泛函）。对于给定的，若是Yang-Mills泛函的临界点，则是主丛上的Yang-Mills联络。的曲率形式即为黎曼流形上的一个Yang-Mills场，且众所周知，其满足泛函所对应的Euler-Laglange方程。设定存在某些卡拉比丘空间形式及其间的特殊超弦振动，且其对应相互间的长程作用力场；运用鞅方法、上同调理论及倒向随机微分方程等数学技巧，求解杨米尔斯泛函孤波解。4 金融高频数据的应用上述研究是通过对海量的金融高频数据的数量关系，进行有效的数据挖掘；在重构的高维空间形式中应用了微分流形的描述语言；构筑了由连续数据不断支持的演化博弈模型；并基于广义庞加莱猜想和Yang-Mills规范理论，求得了梦寐以求的、极具穿透力而又富含信息价值的孤子解；由此，似乎已经进入到了真实的金融世界。然而，任何好的金融理论模型应符合基本理论原理也应符合经验事实，并经得起实践的检验和验证。对金融市场交易价格波动带锯齿状的K线走势轨迹进行映射（Hm）,可获得比较光滑的波动曲线。在其波动曲线上存在有谷转捩点（B）、峰转捩点（D）和拐点（C），即皮卡不动点存在。现代金融交易市场海量的高频数据确保了函数的连续性，以金融孤子处理连续时间（t）的市场价格波动（即所谓布朗运动），随机逼近其波动的相应低或高点（图1）。一个事件涨落从孕育到发生的波动演化过程可以描述为：假设现在所跟踪的金融孤子在波动曲线A点，且市场演化将继续保持下降趋势。由A点给出的数据可以求出此处的斜率值，同理，由连续时间内的数据可以求得过A点后的连续斜率值，其值将是越来越接近于零，下降动力越来越减弱；B点（谷转捩点）处斜率，此处的下降动力耗尽；过B点，演化趋势将发生反转，由下降趋势转变为上升趋势，随着继续上升演化，其连续斜率值越来越远离零，上升动力不断增强；随后，到达C点（可能存在），即拐点，此处上升动力最强；过C点，继续上升，连续斜率值又开始逐渐变小，越来越接近于零，上升动力也越来越变弱；最后到达D点（峰转捩点），此处，上升动力已经耗尽，过D点演化趋势发生反转，开始变成下降走势，随后进入下一个非周期性波动循环；在B点和C点区间，为时滞（有限理性）；在C点和D点区间，为过反应（羊群效应）。结合资金头寸管理的动态规划，最优化建仓、出货时机，最终实现在市场博弈中通过学习进化争当少数获胜者。DCBAHm时滞过反应0t图1 价格波动轨迹映射：几个关键点及波动曲线其演化示意图长期以来，受莫里斯肯德尔（1950）股价随机游走11观念的影响，人们将股票（期货）市场价格波动看成是连续时间内的布朗运动。应用金融孤子可以得出了一些不同结果，即价格波动的有限尺度布朗运动，它是指在证券期货市场中，追踪价格波动的一种操作性概念，具体来说，是根据交易市场高频数据所构造的空间时序结构，选择与其相匹配的尺度并进行划分和变换，应用分形原理发掘标准布朗运动中的关联增量过程，从而发现相应尺度的有偏随机游走的趋势（上鞅或下鞅）。本文对中国金融市场股票G广控（广州控股）和期货燃油进行了实盘交易测试，应用金融孤子有效地跟踪价格波动趋势，波动峰、谷值可推算逼近、辨识和确认，实现“低买高卖”（表1，图2，表2，图3）。表1 股票G广控实盘测试成交数据股票名称买卖成交数量成交价盈亏发生日期G广控买入100004.1700.0020050913G广控卖出100004.660490020050920G广控买入50003.9400.0020051128G广控卖出50004.07065020051216G广控买入84004.1600.0020060118G广控卖出84004.280100820060216表2 股票G广控实盘交易结果及结果统计交易结果买卖最高价（元）最低价（元）均价（元）振幅（）换手率（）总交易量（股）总交易金额（元）买入4.1703.9404.160262340097352买出4.6604.0704.3982623400102902结果统计交易成本：(97352+102902)0.8=万元；收益：130,300-87,833.6-1745.07=40,721.33万元；收益率：40,721.3387,833.6=46.36；运作期：030930-040205共计127天.买G广控（600098）买卖买卖卖买图2 股票G广控（600098）实盘交易测试示意图表3 期货燃油060306040605实盘测试成交数据交易日合约买卖投保成交价手数开平平仓盈亏20051130Afu0603卖投2911.0015开0.0020051202Afu0603买投3070.7645开0.0020051202Afu0603买投2980.0015平10350.0020051212Afu0603卖投3107.1435平23400.0020051229Afu0603买投3055.145开0.0020060106Afu0603卖投3103.0015平9400.0020060106Afu0604买投3107.0015开0.0020060206Afu0604卖投3585.4715平71770.0020060206Afu0605卖投3589.0010平今400.0020060206Afu0605买投3562.5735开0.0020060207Afu0605卖投3504.005开0.0020060207Afu0605买投3530.005平今1300.0020060207Afu0605卖投3499.005平4300.0020060216Afu0605卖投3318.2520平45500.00燃油060306040605卖平卖平买开卖平买开卖平买开图3 期货燃油实盘交易测试示意图本实验实际上是一种在市场自然状况下，作为主体（市场参与者）的直接参与体验，这种参与确实对其市场结构有所改变（相互作用），尽管在整体（宏观）上是微小的。金融孤子之所以能够有效跟踪股票和期货的价格波动，是因为充分考虑了以下因素：（1）被研究体系的对称性破缺、临界性以及量子凝聚。（2）体系的能量自陷，即孤子的出现总是伴随着系统的能量降低，且此能量转化为孤子形成的束缚能。（3）孤子的形式完全依赖于系统的运动状态，色散效应，非线性作用，关联耗散。也就是说金融孤子具有各自相对的独立个性。这一市场机理，可能决定于市场操作者的有限理性、羊群效应等因素，因此而导致价格变化的时滞、过反应现象。从而永恒的市场波动的神秘面纱正在被揭开，完全市场经济环境中投机获利机会将长期存在。当然，如果市场存在过度的信息操纵和内幕交易，导致金融生态环境恶化的情况下，其有效应用将受到相当程度的限制。5 结语作者应用金融孤子新概念对中国股市和期市的实验研究中发现，在市场经济体系下，信息价值（投机）淹没在市场盘面的高频数据之中，通过有效的数据挖掘（Data Mining）从而实现数据库中的知识发现（Knowledge Discovery in Database），具有信息不对称情况下的信息黑箱可视化（Information Black Box Visualization）意义。金融孤子（非欧几何）构造理论及其中国金融市场实盘可重复性实验证实了，社会科学与自然科学没有本质的不同，它们适用同样的方法和标准。金融孤子（非欧几何）构造是架通自然科学与社会科学的桥梁。金融孤子的发现，表明金融交易市场（证券、期货）有一种新的物质与能量存在形式，这是复杂系统体系下，相互作用之中的涌现（emergence）。更为深刻的意义是，自爱因斯坦统一场论以来，相互作用统一理论思想的令人震惊的延拓，可能预示着物理学以外的经济与社会领域新的科学范式，金融孤子（非欧几何）构造有可能成为有限理性主体的社会和经济演化行为范式。迄今，复杂系统领域诸如气象、地震、航天、军事等的发展说明了这样一个事实，复杂系统理论和应用问题的解决必须依赖于非线性动力学建模，而非线性动力学建模的关键是高频数据。目前，高频数据应用最为成功的案例是气象领域，由于构建了卫星、气球等先进的数据采集系统，使得连续高频数据不断支持着建模，因此，现在已经可以成功地进行短期的天气预报了。而地震领域由于缺乏这样的数据采集系统，无法获得高频数据，而不能有效地支持建模，估计在相当长的时间内都难以实现地震预报。令人庆幸的是，当代电子计算机交易系统使得金融市场随时间的演化可以被连续地大量地观察记录，并已经存在大量记录的高频数据和金融数据仓库。金融市场交易数据的海量性、高频性、共享性、统一性及经济性等已经发展到了相当高的水平层次，且不存在全球化信息的垄断问题，也不存在发达国家与不发达国家之间的“数字鸿沟”问题，这是其它任何学科领域都不可比拟的，可能存在几十年，甚至上百年的差距。因此，我们可以将金融市场比作为一个高能物理粒子加速器（另文论述），由此看来，金融高频数据将成为科学发现和理论建立的新源泉。杨振宁先生说: “21世纪的物理学将有长足发展，可是将与20世纪的物理学重点大大不同。” 12 事实上，现在物理学从自然科学领域向社会科学领域（金融市场）扩展正已成为必然趋势，人类将面临着全新机遇和挑战，科学将进入一个新时代。致谢 本工作得到孤子基金的项目资助。参考文献1张建玮，王正行. 经济物理学一瞥，物理照亮世界M.赵凯华编. 北京：北京大学出版社. 2005,第一版，154.2埃德加E彼得斯. 资本市场的混沌与秩序M.王小东译.北京：经济科学出版社，1999: 64-83.3埃德加 E彼得斯. 分形市场分析将混沌理论应用到投资与经济理论上M.储海林，殷勤译.北京：经济科学出版社，2002: 38-47.4Mantegna R N, Stanley H E. An introduction to econophysics: Correlations and complexity in financeM. Cambridge, England: Cambridge University Press, 1999.5Engle R.F., Autoregressive conditional heteroscedasticity with estimates of the variance of United Kingdom inflationJ. Econometrica. 1982, 50:987-1007.6Engle R.F. and Russell J.R. Auto-regressive conditional duration: A new model for irregularly spaced transaction dataJ. Econometrica, 1998, 66:1127-1162.7陈平. 文明分岔、经济混沌和演化经济动力学M.北京：北京大学出版社，2004: 249-389.8马金龙，马非特. 孤立波、非线性动力与价格波动投机金融市场凯恩斯“选美问题”有解可求N.期货日报，2005年11月10日，第三版.9丘成桐，孙理察.微分几何讲义M. 北京：高等教育出版社，2004，第1版，400.10Robert J. Aumann. Existence of competitive equilibria in markets with a continuum of tradersJ. Econometrica.1966, 34(1): 1-17.11Maurice Kendall. The analysis of economic time series, part I: pricesJ. Journal of the Royal Statistical Society. 1953:96.12北京大学校报N，2003年10月20日，第1002期，第1版.Financial High Frequency Data Is A New Source of Science Discovered and Theory Found: Financial Soliton (Noneuclidean Geometry) Structure and its experimentMA Jinlong1,2, MA Feite2 (1. Guangzhou Institute of Geochemistry Chinese Academy of Science, Guangzhou 510640, China 2. Changsha Workroom of Nonlinear Special Dynamics, Changsha 410013, China,)Abstract: Financial high frequency data are the token of the intrinsic characteristic in financial market and have become a new source of scientific theory and discovery. We, in this paper, obtain the nonlinear specialties facts (financial soliton) by the phase space recon