《基于机器学习的上市公司高送转预测系统设计》8000字（论文）

绪论1.1研究背景20世纪90年代，投资理财这一词语开始出现，人们开始对投资理财有了一定的概念。根据资料记载，个人投资理财最早是在美国兴起并且有了质的发展。到了2012年，我国开始逐渐推行一系列财经政策并逐步实施到位，这为我国股票债券市场的扩容和的发展提供了很大的帮助，也吸引了更多的投资者参与到投资理财当中。其中,最令投资者追捧的是具有“高送转”行为的上市公司。为什么会出现这种现象呢？研究表明，“高送转”行为在公司层面上不能给股东的权益和盈利带来有效的回报，而且投资者还不能拿到真实现金利益回报。但这种现象却赢得了各大上市公司和投资者的喜爱。盘和林教授曾表示：“分红是指分到手的现金，高送转是指将股票打散”。这其实也是一个互惠互利的过程，各大上市公司都可以通过低价地方式打散自己的股票,低价地出售自己的股份以此方式吸引更多投资者进行投资,而且这些投资者能够以最少的成本买到自己最低价值的股份[[][]据去年南方财经网报道，2020年9月左右，“美股高送转”成为股票市场上的议论纷争的话题，特斯拉和苹果两大企业是投资者讨论的重点对象，都参与到“美股高送转”中，特斯拉把一支股票拆分为5股，苹果一支股票拆分为4股，使得股票大涨。事实上，美国并没有高送转，而是叫“拆股”，其本质意义和“高送转”差不多，都是通过拆分股票，降低股票价格，来增强市场上流动性。1976年,法玛(fama)优先地站了出来,他提出了通过股份分割方式来传递公司收益的一种信号,他们认为拆股后所传递的信息就是收益。到了1988年，布伦南与可普兰德(Brennan&Copeland)根据该信号的传递建立了分割模型(BC模型)。这些理论为我国学者研究上市公司“高送转”的准确率提供了有力的支撑。据了解国外证券市场是一个半强式有效的市场,而我国的证券市场是一个弱式有效的市场[[]],我国研究者对国外股市总结得出关于上市公司“高送转”的结论对我国股市的适用度不高。而且对于我国上市公司“高送转”预测，logistic、svm、BP神经网络模型和Probit这些模型都比较受研究者的喜爱，并且通过这些模他们找到了影响上市公司“高送转行为”的指标。2005年，杨一文等人基于支持向量机对上证综指序列趋势展开了研究[[][][]1.2研究意义从历史数据看，我国股市也发展了有30年了，在1990年12月，我国沪深股市才正式有了生意业务，而且规模还很小，当时上市的股票数量还少得可怜，并且市道上流通的股票还很少。但却很受股民的喜爱，由于我国股市的市民较多，曾经还出现求过于供的现象。现如今，我国股市也有了质的发展，上市的公司也有3000多家，不再出现供不应求的现象，而是开始流行上市公司实施“高送转”的行为。那么，为什么许多家企业都热衷于实施“高送转”行为呢？从实际意义上来讲，不能够为公司的股东权益和盈利带来有效的回报，但是它能够促进公司股价上涨，并且可以提高公司在市面的价值、形象和影响力，同时也给企业在未来的发展带来了更多的信心。进而能够带来更多投资者的关注，吸引更多的投资者参与到投资中来[[]]。而股民则可以以最优的价钱买到心仪的股票，“高送转”不管是对企业还是投资者来说，都是一个两全其美的事情。又因为股民缺乏相应的专业知识，对便宜的股票没有抵制力，股票操作技术和知识等能力不够丰富，存在许多不够理性的投资行为[[[][]1.3指标相关内容根据历史数据，本文总结了影响了上市公司“高送转”行为的6个指标，包括总市值total_mv、每股公积金capital_rese_ps、基本每股收益eps、流通股本float_share、每股未分配利润undist_profit_ps、每股净资产bps。表1.1指标说明字段名称字段中文名称字段说明total_mv总市值总股本数/当时股价得出的股票总价值capital_rese_ps每股公积金公积金/股票总股数。eps每股收益净利润本期值/实收资本期末值float_share流通股本在交易所有权利进行场内流通的股票undist_profit_ps每股未分配利润企业当前未分配利润总额/总股本，也就是具备每10股送10股bps每股净资产代表公司净资产价值2案例目标即实现思路2.1实现思路本案例的主要目标是基于年度财务数据及其每日指标数据，对上市公司进行“高送转”预测。基于支持向量机模型预测上市公司是否有“高送转行为”。选择的总体规模指标包括上市公司的总市值total_mv、每股公积金capital_rese_ps、基本每股收益eps、流通股本float_share、每股未分配利润undist_profit_ps、每股净资产bps，设置指标总市值total_mv<300亿、每股公积金capital_rese_ps>5、每股收益eps>0.5、流通股本float_share<3亿、每股未分配利润undist_profit_ps>、每股净资产bp>2来预判高送转公司，如果指标同时满足以上条件，则记为1，否则记为0，最后将处理好的数据和原始数据合并保存到excel中。利用筛选出具有高送转可能性的上市公司的各年度数据作为训练集数据，2014-2020每一年度数据作为预测数据，利用支持向量机、BP神经网络和逻辑回归三种模型分析方法预测上市公司是否有“高送转行为”，如果有“高送转行为”则记为1，否则记为0。当预判的结果与训练的结果都等于1时，则将具有高送转行为的上市公司的股票代码和名称都展示在tableview中。2.2流程图上市公司高送转预测系统上市公司高送转预测系统指标选择，包括总市值、每股公积金、每股收益、流通股本、每股未分配利润、每股净资产。查找资料，寻找影响上市公司高送转的因素。根据预测结果和准确率进行分析。指标数据处理，设定指标标准预判具有高送转行为的上市公司。划分训练集和测试集，将预判后的数据作为训练集，2014-2020每一年度的数据作为预测数据。基于支持向量机、神经网络和逻辑回归模型分析方法预测上市公司是否有高送转行为，有则记为1，无则记为0。3研究方法3.1分类模型3.1.1支持向量机支持向量机（也称svm）模型，它是一种二分类模型的机器学习算法，也就是预测训练集和类型之间的对应关系[[][]3.1.2BP神经网络BP神经网络算法是当今机器学习领域中颇为受欢迎的学习算法，1989年，有学者表示BP神经网络在输入层、隐藏层以及输出层这三层可以拟合任意连续的有界函数[[][]3.1.1逻辑回归逻辑回归LR是一种比较常用的分类算法[[][]3.2模型的应用3.2.1训练集和测试集的划分3.2.11支持向量机样本训练集：M={(x1,y1),(x2,y2),...,(xn,yn)}\in(X\timesY)^n其中x1,x2,...xn均表示向量，xi∈X=Rn，yi∊(+1,-1)，且i表示第i个样本，n表示容量。其最终目的是寻找到最优超平面。根据以往的历史经验，使用支持向量机进行分类预测时，需要调节有关的参数，特别是惩罚参数和核函数参数，这样才可以获得比较满意的预测分类结果[[]]。[]3.2.12BP神经网络在机器学习算法中，一个神经网络一般分为三层（即输入层、隐含层和输出层），在构建BP神经网络的过程中，假设有n个输入样本x(n)=(x1(n),x2(n),...,xn(n)),有对应的期望输出为y(n)=(y1(n),y2(n),...,yn(n)),需要计算每个神经元的输入和输出，并且能够利用期望输出和实际输出计算出误差函数结果，修正权值之后得到最终的权值。该模型在本文中采取了人为方式划分训练集和测试集。3.2.13逻辑回归样本训练集：即特征数据为x={x1,x2,…,xm}，分类数据为y={y1,y2,…,ym}。该模型也是获取2014-2020年度数据，使用机器学习算法（Sklearn）中的逻辑回归模型人为划分训练集和测试集。最终实现y={0,1}为分类结果。3.3模型的评估本文根据影响上市公司高送转的特征因子，即总市值total_mv、每股公积金capital_rese_ps、基本每股收益eps、流通股本float_share、每股未分配利润undist_profit_ps、每股净资产bps，预测因变量本年度上市公司是否高送转，基于2014-2020年度数据，对于训练集和测试人为来划分。根据预测结果，本文利用AUC方法来衡量本次的预测结果。AUC常用于衡量机器学习分类结果的有效程度，主要是将训练集中的label分为{0，1}这两类，意思是当随机选择一个分类结果为1的样本数据和随机挑选一个分类结果为0的样本数据，出现1的概率要大于0的概率，即AUC=0.8,AUC值越大表明，预测的结果越好。公式为Z=R-y，Rs=len(Z[Z==0])/len(Z)，R表示模型分类的结果，也表示测试数据，RS则为最终的得分结果。4数据分析4.1数据来源数据来源于tushare金融大数据社区提供免费开源的各类金融数据，通过注册社区会员及获得积分，在个人中心找到Tushare金融大数据社区提供的PythonAPI即可获取所需的数据，提取权限与积分有关，本案例是基于学生权限（积分值大于2000）获取2014--2020的年度数据。4.2指标选择本案例预选的上市公司指标有总市值total_mv、每股公积金capital_rese_ps、基本每股收益eps、流通股本float_share、每股未分配利润undist_profit_ps、每股净资产bps，,一共6个指标。4.3数据获取过程安装Tushare，Tushare现如今已经是Python的一个扩展包，利用Python安装扩展包的方法：在清华镜像网直接下载安装，即pipinstall-i/simpleTushare，如图4.1所示：图4.1安装Tushare扩展包将Tushare安装完成之后，登录tushare，与管理员联系获得相应的积分，积分是用来获取数据的权限，在个人中心即可查询自己的接口token。如图4.2所示：图4.2获取tushare接口token利用_api（token）接口，通过for循环获取数据；获取2014年至2020年上市公司的股票基本信息，并保存为年份+年度股票代码.xlsx文件，从每日指标数据表和财务指标表中获取每一年的总市值total_mv、每股公积金capital_rese_ps、基本每股收益eps、每股未分配利润undist_profit_ps、流通股本float_share、每股净资产bps指标数据，一共获取6年的数据，并保持为年份+年度.xlsx文件。代码示例如图4.3所示：图4-3数据获取过程代码截图4.4数据获取结果在Tushare获取了2014年至2020年的数据，已2018年度指标数据的为例，获取了3505个股票代码数据，结果如表4.2：表3-2股票代码数据ts_codefloat_sharetotal_mvepscapital_rese_psundist_profit_psbps000001.SZ1717024.67716105845.861.393.28865.535112.8182000002.SZ971517.004326295260.073.060.72528.30914.1102000004.SZ8301.3184134614.6245-0.24140.01110.15971.3008000005.SZ95122.246283687.87370.14060.6502-0.28061.4069000006.SZ134830.7972699297.43380.64760.35882.1334.5909000007.SZ30894.8044279237.1235-0.570.4532-0.92870.5505000008.SZ254319.03751096330.2960.1160.99680.60032.6298000009.SZ211978.9066926367.68250.10.38410.91912.4522000010.SZ52217.1348267272.6364-0.89221.8239-2.3230.5115获取的上市公司的股票基本信息也是已2018年度的数据为例，本次获取了3856上市公司的基本信息，部分结果如表4.3：表4.3上市公司基本信息ts_codesymbolnameareaindustry0000001.SZ000001平安银行深圳银行1000002.SZ000002万科A深圳全国地产2000004.SZ000004国农科技深圳生物制药3000005.SZ000005世纪星源深圳环境保护4000006.SZ000006深振业A深圳区域地产5000007.SZ000007全新好深圳酒店餐饮6000008.SZ000008神州高铁北京运输设备4.5数据处理训练集中缺失值与异常值往往会导致模型准确率低或训练效果不明显。这会导致预测的结果不准确。所以要先去掉NAN空值，即将存在指标取值缺失的公司排除在外。利用dropna()去掉空值的行，利用dropna(inplace=True)查看是否还有空值。结果为True，表示没空值，说明去空值完成。利用iloc切除对应列，做单位转换，将万元单位转化成亿元单位。设定指标总市值total_mv<300亿、每股公积金capital_rese_ps>5、每股收益eps>0.5、流通股本float_share<3亿、每股未分配利润undist_profit_ps>2元、每股净资产bps>2元，如果指标同时满足以上条件，则记为1，表示该公司有高送转行为，否则记为0，则没有高送转行为，将处理好的指标数据和是否高送转的结果合并到原始数据中并保存为excel文件。部分代码如图4.4所示，结果如图4.5所示：图4.4数据处理图4.5数据处理4.6结果分析本文通过Tushare获取上市公司的6个指标数据作为研究对象，将每一年年度预判的数据作为训练集，2014年至2020年的数据作为预测数集，将支持向量机模型划分为主要模型，神经网络和逻辑回归模型为辅来做对比，计算模型的准确率。以2018年年度数据为例，模型的准确率如图4-6所示图4.6预测结果得到的结果，三个模型的预测准确率都高达0.8以上，说明三个模型预测的结果可靠率都比较高。5GUI可视化系统设计与实现5.1需求分析20世纪开始，我国股票市场有了质的飞跃，国内股票市场有了很好的条件环境，人们开始学习如何去投资理财，这也就是为什么证券投资成为了人们日常生活中理财的一种方式。也逐渐演变成为了上市公司的一种炒作手段，而每年年初上市公司“高送转”的股利分配受到了股民的追捧。本文基于支持向量机（svm）、BP神经网络和逻辑回归机器学习算法，建立回归模型。本文预测系统基于PyCharm和配置QtDesigner和PyUCI代码生成工具开发环境，通过设计GUI可视化界面，，将其保存为.ui，再用PyUCI代码.py文件，最后生成.exe文件，运行.exe文件即完现GUI可视化系统。开发具有预测我国的上市公司高送转的功能系统，帮助投资者最大化预先了解要进行高送转的上市公司，本次预测结果仅供参考。5.2系统设计首先在pycharm中配置界面设计师（QtDesigner）和PyUCI代码生成工具，点击File选择Settings如图5.1所示：图5.1代码生成工具配置在菜单栏单击File选择“Tools/ExternalTools”选项，点击“+”号，在弹出的外部工具CreateTool配置窗口中，输入外部工具名称（可自定义），一般用QtDesigner表示，再Program配置PyQt界面设计师可执行文件完整路径以及工作路径，点击“ok”按钮，即可完成QtDesigner外部工具的配置。“Tools/ExternalTools”栏中增加了QtDesigner。如图5.2所示：图5.2代码生成工具配置和配置QtDesigner外部工具操作一致，在“Tools/ExternalTools”中继续单击“+”按钮，名称为PyUCI，配置好路径即可点击“ok”按钮，便可发现“Tools/ExternalTools”栏中会新增选项PyUCI，最后点击“ok”即可完成如图5.3所示：图5.3代码生成工具配置QtDesigner是一个辅助开发工具，能够快速地设计程序界面，它能够有效地提高开发效率和降低开发过程中的难度。本文中的上市公司高送转预测案例可视化演示系统是展示每一年份的原始数据和预测的结果，根据自己的想法，参考他人的界面设计，独立完成程序的GUI界面,最后把我们设计好的演示系统yan.ui文件转化为Python程序可读的代码，便可完成设计好相关功能的开发。我们可以根据已经配置好的界面代码生成工具，在Pycharm环境下，选择设计好的yan.ui界面文件，右击找到“Tools/ExternalTools/Py”即可自动生成Python程序代码。如图5.4所示：图5.4系统ui界面样式5.3系统的实现本系统实现的功能是“combobox”和“treewidget”控件，点击树结构控件“treewidget”和下拉框“combobox”中的任何一个目录，在控件“tableview”中都会展示其相关的数据。年度和模型都在界面设计中提前部分代码如图55所示:图5.5界面设计代码这是控件互相关联的代码，通过定义函数传入参数，如图5.6所示：图5.6界面设计代码5.4生成EXE文件在AnacondaPrompt下使用命令安装pyinstaller编译包，，命令为“pipinstall–userpyinstaller”。等待pyinstaller编译包安装完成，再安装其它三个依赖包（即pywin32-ctypes、altgraph和pefile）。安装好几个依赖包之后，在AnacondaPrompt下通过命令cd切换至项目文件夹下的路径“C:\Users\lenovo\Desktop\高送转”（放置.ui和.py文件的位置）。如图5.7所示图5.7生成EXE文件过程使用命令：“pyinstaller-F+编译文件”即可进行编译，注意程序文件根据自己的文件名而定，本文项目编译的程序文件名为main.py”,如图5.8所示:图5.8生成EXE文件过程若项目文件编译显示成功，并且编译过程时，没有出现报错，但是当我们运行编译成功的EXE文件时会提示以下错误，如图5.9所示：图5.9生成EXE文件过程这个报错提示原因为编译过程中部分开发包不兼容，不能够自动导入。解决办法是只需要对编译时产生的main.spec文件中的hiddenimports这一模块进行修改即可。参考：hiddenimports=['cython','sklearn','sklearn.ensemble','sklearn.neighbors.typedefs','sklearn.neighbors.quad_tree','sklearn.tree._utils','scipy._lib.messagestream'],修改完成之后，再次运行命令编译main.spec文件即可，如图5.10所示:图5.10生成EXE文件过程等待编译完成，即可把项目的数据文件和运行需要的开发环境文件拷贝到该目录下就可以完成所有的编译了，如图5.11和5.12所示，文件main.exe即为可独立运行的程序。图5.11生成EXE文件过程图5.12生成EXE文件过程5.5系统演示运行代码文件，会出现第一个窗口，点击按钮跳转到第二个窗口，窗口显示有年份目录、模型选择下拉框和退出系统按钮，如图5.3和5.14所示：图5.13系统演示图5.14系统演示只要点击树结构目录中的任意一年份，原始数据将会在tableview中展示出来，本次演示选择的2014年度的数据，结果如图5.15所示：图5.15年度数据显示结果当选择下拉框中的任意一个模型，预测的高送转上市公司也将会在tableview中展示出来，本次选取2014年度逻辑回归模型的结果，如图5-16所示：图5.16预测结果显示6分析与总结近年来，国家发展迅速，人们的生活水平也逐渐上升，也多出了很多散钱。投资理财也成为了人们生活中的一部分，“钱生钱”这种不需要出力就能够获得许多收入的好事，这对市民有很大的诱惑力，而年初的“高送转”股利分配方式是众多投资者最为关注的话题之一，毕竟进行能买到低价股票可以省好多的资本，人们开始收集数据，作报告分析，互相讨论哪些上市公司股票有可能是高送转，是否会成为潜力股等等，而这样的现象，也逐渐演变成了上市公司的一种炒作方式[[]