拓尔思的大数据行业应用案例分享

施水才《拓尔思的大数据行业应用案例分享》2014-08-09嘉宾介绍：施水才，北京拓尔思信息技术股份有限公司副董事长兼总裁。在科研领域主持了二十几项国家级项目包括自然科学基金、

863

计划、国家支撑计划、国家信息安全专项等，涉及信息检索、文本智能处理、跨媒体搜索、舆情分析、非结构化数据管理和大数据管理分析等多个领域，是

863

计划重点项目专家组成员，获国家科技进步二等奖、上海市科技进步一等奖、

2012

年全国优秀科技工作者等荣誉和称号。是北京信息科技大学教授、南京大学兼职教授。担任中国中文信息学会副理事长、中国语音产业联盟副理事长、中国非结构化数据管理系统标准工作组副组长，中国计算机学会和中国电子学会大数据专家委员会委员，中关村大数据产业联盟副理事长。

2011

年领导拓尔思在创业板上市。以下为分享实景全文：施水才

各位群友，大家好！很高兴借中关村大数据产业联盟的平台和大家进行交流切磋。这个平台是我目前参加的感觉最有价值的大群。新河秘书长和我约了几次，我很高兴有这个机会，而且前几个月每天晚上的分享让我学到了很多东西，我也得贡献一点吧。因为拓尔思是上市公司（股票代码

300299

），在信息披露方面要符合上市公司的规范，所以我尽量做到准确全面，全面开放！实在不好回答的问题请大家谅解。我个人情况就不多介绍了，因为实在单调，我

1989

年从西安电子科技大学研究生毕业后到现在只做了一份工作，从大学到企业，没有挪过地方。我服务的公司叫拓尔思，前身叫“易宝北信”，行业中大家还俗称

TRS

。拓尔思发源于北京信息工程学院（现在叫北京信息科技大学），

93

年学校和一香港公司成立了易宝北信，

2001

年进行了一次股权改造，

2003

年我们进行了一次

MBO

把外资股份买过来了

,2007

年引入了几家风险投资，

2011

年在创业板上市。现在是混合所有制公司，民营为主，就算民营企业吧。先介绍下公司，做个广告：北京拓尔思信息技术股份有限公司是国家规划布局内重点软件企业，公司注册资本

2.05

亿元，

2011

年

6

月在深圳证券交易所创业板上市，股票代码

300229

，公司资产超过人民币

10

亿元，拥有

5

家全资或控股子公司，并在全国设立了

20多个分支机构。

公司是中国知名的大数据技术和服务提供商，在信息检索、大数据管理和挖掘等方面具有国内外领先的自主核心技术和尖端产品；在内容管理、知识管理、互联网舆情分析等领域具有先进成熟的软件产品线，在新一代电子政务、信息安全、新媒体、智慧城市、企业互联网创新、金融电信等垂直行业提供了具有独特价值的解决方案。公司产品和服务已被国内外

4000

多家机构用户广泛使用。多年来，公司始终保持良好的发展势态，并和国内外知名厂商建立了战略合作关系，在云计算、大数据和移动互联网的发展浪潮中，公司致力于大数据技术和服务的持续创新，为用户提供自主可控、以数据驱动和云服务为特征的新一代信息技术服务。这两年我们收购和投资的企业有：2014

年，拓尔思收购北京天行网安信息技术有限责任公司

100%

股权。天行网安是国内最早一批从事网络安全及数据交换技术研发的企业，公司以安全支撑应用，让数据更有价值”的使命，

2000

年发明了国内第一款安全隔离网闸，近年来相继推出了数据交换系统、视频交换系统、应用安全监测系统、共享服务平台等系列产品，形成了面向政府及行业客户的数据处理、安全交换一系列的数据平台产品线。

2013

年，拓尔思投资广州科韵信息股份有限公司，成为广州科韵第一大股东，科韵公司在结构化数据的分析处理领域具有强大的技术实力，在政府社会管理信息化、人口管理、公安业务、税收系统、大型体育赛事等领域具有一批成功案例。目前致力于多个垂直领域的结构化大数据分析挖掘产品的研发和实施。2013

年，拓尔思和中国领先的市场研究公司慧聪研究（

HCR

）合资成立一站式全媒体信息服务公司

-

北京慧思拓信息服务有限公司

（

H&T

），为客户提供舆情监测、危机预警、媒体研究、网络口碑研究、营销效果评估五大产品线的综合分析服务与决策建议，主要致力于汽车、

ICT

、快销、医药、游戏、通信、金融、房地产等行业。帮助企业有效提升自身信息传播的效能，提高产品与营销决策的准确性，及时发现和规避外部的风险。2014

年，拓尔思投资设立北京金信网银金融信息服务有限公司，拓尔思为控股股东。公司定位于金融大数据分析挖掘系统和风险管理综合服务平台的研发、销售。国际上和我们业务比较类似的公司是

autonomy,

该公司

2011

年底已经

100

多亿美元卖给惠普了，拓尔思的产品线和他比较类似。05

年差一点卖给

autonomy拓尔思是一个比较标准和传统的软件产品企业，和所有的软件公司一样，目前也面临着很多机遇和挑战，尤其是挑战。软件产品公司如何面对开源、软件产品公司要不要搞行业应用、软件产品公司如何面对互联网公司的挑战，我觉得是软件产品公司目前面临的三大问题。对此我有很多的思考，不过这不是今天交流的主题，以后有机会再展开讨论。经常有人问“拓尔思”三个字什么意思，怎么来的？拓尔思是

TRS

中文翻译过来的，

TRS

是

TextRetrievalSystem

的首字母缩写。我们

1996

年在国家商标局注册下来的，因为以前工商规定不能用英文注册公司名称，所以就取了这个名。在行业内

TRS

知道的人更多些，不过上市后，因为要面对公众，所以拓尔思宣传得多一些。

根据以上拓尔思及关联企业的介绍，可以看出拓尔思目前的战略定位是

“大数据技术平台

+

行业应用”。大数据的其他变现模式尚未成气候，所以尚不放到公司的宣传中。但是是非常感兴趣的！今天和大家分享一下拓尔思在大数据领域的一些思考、业务和案例。主要包括三个方面，拓尔思大数据相关技术和产品，我们对大数据的一些思考，拓尔思的大数据应用案例。3+5+8

：

3

个产品，

5

点思考，

8

类案例。一、拓尔思的大数据相关技术和产品拓尔思从事大数据技术研发是由脉络的，从最早的全文检索到内容管理协作平台（

2000

年），再到文本智能（

2001

年开始），再到非结构化数据管理平台（2006

年开始），然后大数据来袭，我们也就自然进入了。所以不是赶时髦啊。我们所涉及到的主要技术包括中文信息处理、搜索引擎、大规模数据管理和分析挖掘等。产品方面，今天主要介绍一下

TRS

海贝大数据管理系统、

TRS

机器数据挖掘引擎

TRS

大数据舆情分析服务平台。其他东西以后有机会再介绍。TRS

海贝大数据管理系统是一款基于弹性扩展架构的海量数据存贮和检索系统，定位为企业级的

NoSQL,

企业级检索平台和大数据管理集成平台。我们在给海贝定位时，主要的口号是“数据库方式的管理便捷性，搜索引擎模式的卓越体验”，这是我们讨论很久定下来的，也是企业级应用要使用大数据平台的核心诉求，也是这个产品的卖点。主要的创新思路是希望在我们传统的非结构化数据管理平台基础上

融入hadoop

生态的某些东西，以及结构化数据的管理能力，所以提出了“柔性多引擎的概念”。柔性

在制造业用得比较多。这个产品

2013

年已经进入市场，从目前的使用效果看，技术上达到了设计要求，管理的数据量和性能很好，因为是弹性架构，所以也没有规模什么限制，管理几百亿上千亿记录不是问题。目前实际用户的使用节点差不多

100

多个。关于

海贝

hybase

的介绍就先告一段落。下面再介绍一下第二个产品，

TRS

机器数据挖掘引擎如果大家知道

splunk

就不用我介绍了。

TRS

这个产品具有

splunk

的差不多80%

的功能。这个产品主要进行用户日志分析和用户画像。第三个要介绍的产品是“

TRS

大数据舆情分析平台”搞舆情的人肯定不少，多说点，呵呵！感兴趣吗？舆情的介绍，貌似口气比较大“基于云服务模式实现对互联网的智能洞察”。用大数据认识世界、用大数据预测未来、用大数据引领管理创新。TRS大数据舆情分析平台架构这个平台采用的是云架构，用户不用安装什么东西，直接购买服务即可。目前有几百个付费客户（按照年费订阅）。下一步我们会加大数据中心建设、希望建立数据工厂，并对数据进行深度加工，在垂直行业，我们还通过投资的合资公司利用这些数据进行市场研究，提供高端的咨询服务。以下是一个

2014

年北京汽车展效果分析的一个例子：这是我们的合资公司慧思拓做的。卖报告的模式。目前

TRS

大数据舆情分析平台的服务器接近

1000

台。和互联网大公司相比，我们还需要不断积累运营经验。3

个产品分享完了。下面谈谈我对大数据的一些看法。5

个看法和思考1

、现在互联网公司在互联网大数据方面做得比较成功，未来在产业大数据和政府大数据领域发展潜力更大，而且这不能想当然地通过把产业数据和政府数据放到

BAT

平台中去实现。互联网公司非常觊觎这个未来，如现在阿里到处圈地和政府签署各种战略合作协议，真正要落地，我预测还需要和传统企业包括软件企业、集成商、解决方案供应商建立联盟和合作。因为这里面不仅仅是关系问题，还有行业和业务知识的问题。现在对互联网外是否存在大数据还有争论呢，我想这不用争论吧。贵阳市经信委黄明峰主任

:@

施水才

，我赞同政府行业的大数据应用绝不是

BAT

随随便便进入的观点。2

、跨行业、跨应用的数据整合和挖掘，能真正挖掘出大数据的价值。比如通过人口和社保的数据库对比，已经发现很多问题。比如上市公司的高管投资和兼职情况，我们分析过，已经说有不少问题，有些根本不去按照证监会的犯规要求主动披露或者仅仅披露部分，而没有披露的可能就存在问题。3

、开放数据（

OpenData

）的问题是绕不过去的，这个题目可以专门讲一天。我们认为开放数据具有行业特点，如金融大数据是产业环境对信息环境的倒逼，科技大数据是信息环境助推产业市场化，产业融合将带来信息的融合和共享（如互联网金融），现在新成立的网信办权力很大，可以说在各部委之上，建议他们去专门研究推动这个问题吧！他们具有跨部们的协调和推动力，他们现在还在琢磨大数据云计算信息安全自主可控，这些很重要但是有很多部门已经在做，我觉得他们去研究推动数据开放的立法和产业推动更加有价值。请问这里有网信办的领导吗？4

、中国的大数据技术产业需要建立良性发展的生态圈。国外有个著名的大数据技术全景图（

），我们没有！尽管很多大数据技术是开源的，但是在美国近几年仍然出现了

Splunk,Tableau,Cloudera

,palantir等大数据技术公司。中国的互联网大公司很少输出技术，他们摧毁了一个旧世界（如去

IOE

），也建设了一个新世界（建的不错），但是这个新世界仅仅为自己服务（从公司的角度没错），不能复制，不能输出。同时他们很少输出数据（不能说数据是核心资产不能输出，人家

twitter

不也在探索开放数据吗？），我们或许将继续成为大数据的消费大国，而不是大数据技术创新大国。呵呵这一点似乎不应该是我要关心的，太监替皇上操心了。5

、大数据的变现模式，除了精准营销、广告是一个大的市场，还存在其他好的变现模式吗？征信服务？数据交易？金融终端？目前像我们做大数据技术服务的，有点苦哈哈的。我觉得应该有其他也能赚大钱的模式。5

个思考谈完了，不对的请拍砖，有共鸣的请点赞！现在进入第三章

8

类案例三、拓尔思大数据行业应用案例下面我主要和大家分享一下拓尔思在大数据领域的一些实践案例，涉及到的领域和应用包括媒体业、信息安全、科技、舆情分析、信息交易、社交网络、公共事务管理、智慧城市和智慧企业等

8

个方面。拓尔思在媒体行业有长期的实践和积累，也是通讯社、报社和媒体网站的主要技术供应商之一，目前在新华社、人民日报、中央电视台、各大报业集团都提供以数据和信息处理为核心的技术服务。目前在该领域主要研发和推广重点是基于大数据的创新型新媒体平台。大数据全媒体资源中心建设和数据新闻产品（

Datajournalism

），我认为是媒体业未来的重要发展方向。有关数据新闻大家可以看看这个网站：/

。在此领域我们已经做了一些案例，比如中国汽车报的案例：这里有前方正的领导啊首先中国汽车报建设了一个国家级的汽车产业信息数据平台，叫“有数”，如下图：数据新闻的再一个例子就是

CCTV2

今年的两会大数据，我们也提供了不少的服务，做了不少没有留名的工作：（真希望留名啊）人家开玩笑说你没有公关部，呵呵。这样的报纸大家是否更爱看？我们认为：全媒体资源中心、基于大数据的个性化营销、新媒体产品的研发、舆情服务和信息服务平台建设、自媒体平台是媒体业未来技术建设的重点，这里面大数据，特别是数据挖掘和可视化技术非常关键。数据新闻介绍完了。下面介绍第二个案例2

、国家信息安全领域这个大家都知道，也不能在这里说太多。大家可以关注几个，一是大家知道的斯诺登事件，二是有个叫

i2

的软件，这不是美国那个供应链软件

i2,

而是用于情报分析和作战的分析软件，这个软件过了几个手，现在被

ibm

收购了，在国内还得到比较多的应用，实际上主要是数据的分析关联和展现技术，这个软件业务性很强，很难使用和进行定制开发，目前我们已经开发出类似的产品：下面展示几个功能和界面：最后一个界面是展现的拓尔思相关公司的情况，如果用在安全领域，可以从很细粒度，全景展现“画像”

-

你懂的。在安全领域，第三个要关注的是最近谈得比较多的

那个叫

palantir

的公司，号称估值

80-90

亿美元，什么帮助美国政府抓到拉登等等，很神奇的公司，被誉为特立独行的印钞机，有关报道可以，可以看看/p/1324.html。安全领域是大数据技术的试验场，都说互联网数据大，其实安全领域数据量远远超出你的想象，如

BAT

主要处理自己可以控制的数据，而信息安全是要处理互联网数据的“总和”，还有加上大量的非互联网数据（语音、视频、。。。。。。。），这些数据量更大，技术难度极大。当然我们这里可以谈的也就是技术。总之应用面广、技术难度大。现在说说第三个案例北京市科委大约在

3

、

4

年前启动了一个项目，叫做北京市科技情报系统，现在正在打造一个叫做“科技立方”的品牌。这是一个科技资源整合的概念。目前，“科技立方”有效的整合了来自权威部门的上亿条科技数据，包括全国各地区、各行业经省、市、部委登记认定的科技成果，中外专利，期刊论文、学位论文、会议论文、中外标准、法律法规等科技文献，规模企业、对外贸易等国家统计数据，来自

800

多份大陆平面媒体、

200

多份外电媒体、论坛、

BBS

等科技新闻资讯以及新浪、腾讯等微博资讯。下面是基本的数据情况，请注意“整合方式”。这个系统有三个主要的特点：1.OPENDATA

：通过远程调度和检索代理的方式对多维度科技资源进行有效整合2.

实体挖掘：汇集专家、机构、成果、项目、专利等科技要素，并进行有效关联3.

图形化表达

：通过图形化方式展现搜索结果和分析结果当时做这个系统的时候，大数据还没有热起来，我们认为这是大数据最早的案例之一。因为他把重点放在了信息资源的挖掘、关联

和可视化。这个系统可以在线访问。地址：/web_Portal_New.do;jsessionid=fuv42222w1fwAAAR9K.worker1同志们，感兴趣的现在就去测试下比如你输入“人工智能”，再查一下“关联图”。可以出现如下画面：这个服务的功能和数据还在不断的丰富中。赵刚

:TRS

的发展是水到渠成啊！还可以从产业链、区域

等多维的展现第三个案例讲完了，现在讲第四个。4

、舆情监测领域舆情监测我们有几个主要的观点：λ

我们认为舆情监测和国家信息安全不完全是一个事情。舆情监测不是秘密警察。而且不仅仅用于政府，更广阔的市场在企业。λ

我们在

TRS

大数据舆情分析平台中表达的一个主要观点是：“数据、技术、服务”是衡量舆情平台的三大标准λ

服务化（云）和行业化（必须加入知识）是发展方向。做垂直行业也许更靠谱一些λ

目前这个领域很乱，既有“国家队”

-

人民网为代表，也有大量的草根和屌丝（基本上我认为发展空间有限，因为大同小异），中间的是我们这样所谓比较专业的公司，未来趋势需要整合。λ

用户体验和满意度存在巨大的改进空间，因为无论是发现、还是分析和预测，在技术上也存在巨大的难度。我们一个客户在合同中提出一个条款，漏一个，罚款

5

万，我们发现罚不起，续签合同时坚决要求拿掉。λ

TRS

目前也是两条腿走路，既有在线的服务平台，也有落地的

OM

系统，但基本上我们认为数据资产的建设是未来的重点。工信部情报所的李总，您觉得如何？您可是舆情专家啊。前面已经给大家发了

TRS

大数据舆情分析平台的资料，下面再给大家展示几个案例：张涵诚

:��

这些系统都在运营吧这些案例

说明：

1

、不仅仅是政府部门有用。

2

、在一个云平台上对。每个用户用不同的账号登陆进去。感觉有点

salesforce

之类的模式，而且可以和

salesforce

之类的平台集成在一起。在舆情类应用，我们还演化出一些特定的应用，比如互联网金融打击非法集资平台，这是在北京市金融局的指导下，搞出来的一个东西。叫“金融打击非法集资监测预警平台”，提出了一个冒烟指数的概念。还专门投资

1000

万成立了一个“北京金信网银信息服务有限公司”，我们占

70%

股份。关于这个项目，我公司陈宝仁在群里专题分享过，我就不多介绍了。以下是两个图示：张涵诚

:它不提供数据。你们提供另外，我们做的互联网金融风控在几个国家级银行业得到了应用。有关

冒烟指数

的概念

比较新颖。5

、

传统的以信息经营为核心的行业客户比如新华通讯社，国家知识产权局，他们的数据资产很值钱，目前也都在朝大数据的方向去发展，这两个客户是拓尔思的战略客户，已经服务了十多年。新华社瞄准的是路透汤姆森集团和布隆伯格集团。因为他们的大部分信息资产是非结构化的，所以拓尔思在这方面还是比较合适的。我认为他们未来的重点要加强的是对用户的分析。6

、社交网络大数据挖掘社交媒体的分析挖掘做的人就太多啦。什么热点事件、热点地图、关系挖掘、转发分析、情感分析等等，在这个领域中文信息学会下面有个新的分会，叫社会媒体与语言处理专业委员会。主任是哈工大刘挺教授，第三届会议在北京理工大学召开

2014

年11

月

1-2

日，张华平教授负责（华平老弟应该在这个群里），每年都盛况空前。会议有关信息在这里，

/index.html

因为我是中国中文信息学会副理事长，得帮这个会议做点广告。欢迎交流、欢迎赞助！我们

TRS

每年都赞助的，呵呵。这方面我们自己做的东西呢，给大家介绍一个有点特色的

app

，叫“焦点快报”，在苹果和安卓市场都有下载，聚合社交媒体的信息，自动产生每时每刻的热点。主要技术是采集、聚类和倾向性分析，也集成了

TRS

搜索引擎和讯飞语音识别技术。看个界面：（焦点快报

1

和焦点快报

2

）前几天有人看了一下，批评我

看看人家“今日头条”。融资

1

亿美金。你们的东西不是比他们强多了。我只能呵呵。这个

app

是我们的一个“实验性”产品，目前没有什么商业模式。7

、公共事务管理大家都知道这个网站吧。

著名的预测网站，涉及的大数据预测领域包括政治、体育和娱乐PredictWiseaggregates,analyzes,andcreatespredictionsonpolitics,sports,finance,andentertainment.WecreatedPredictWisebecausewethoughtitwouldbeinterestingandinformativeforpeopletobetterunderstandthelikelihoodofcertainmajoreventsoccurring,andtohavethatinformationpresentedinamannerthatiseasytocomprehend.ThiswebsiteismanagedbyDavidM.RothschildandAndrewS.Leonard.在食品卫生、民意调查等领域我们也做了不少的工作和案例，特别是和亿赞普合作做的厄瓜多尔总统选举，结果还是比较理想的。旅游、交通、流感等领域的预测目前做的人很多，包括百度等企业都在做。我个人觉得有些领域的预测可能还是比较难的。包括上次和百度的人讨论过关于高考作文题的预测。周六参加百度的一个会议，他们举的一个案例预测数据中心的硬盘损坏，印象很深刻。所以预测还有不少的潜力和花样可以挖掘。下午北邮的高教授还说过地震灾害预测的事情。8

、智慧城市和智慧企业大数据下一阶段肯定要在政府和传统企业领域大显身手，我们目前主要关注两方面，一是基于大数据感知的一站式公共服务平台，已经在“爱厦门”得到验证和应用，我们自己把他提升到智慧城市应用新标杆的高度。目前智慧城市很多人觉得很虚，规划了很多顶层设计，但是落地很难。最近潘云鹤院士写了一篇大数据和智慧城市方面的文章，相信大家也看了。在智慧企业领域，我们在家电行业有几个重量级的客户，他们在互联网转型过程中，都非常强调大数据的作用。核心是知道用户是谁，都干了啥？用户画像在哪里都是最本质的。不过这方面我们也刚开始，需要向大家学习。以上

8

个方面是我们涉及和参与比较多的领域，我觉得电信大数据及金融大数据

的挖掘和商业价值会很大。这方面我们尚没有完整的解决方案，所能提供的也就是一些技术、工具和部件。很多解决方案公司也在找我们合作，需要跟进。再重复一下：

3+5+8拓尔思在大数据领域目前也在寻找一个合作伙伴，主要面向几个方面，一个是BI

领域，因为我们擅长非结构化数据，结构化数据要加强；二是数据可视化技术，大数据不能没有可视化，三是垂直行业的大数据应用，四、大数据的新变现模式。既可以技术和产品合作，也可以资本层面合作。既可以现金投资，也可以发行股份收购，希望得到大家的支持和帮助！谢谢。

张涵诚

:金融客户是

splunk

案例最多最赚钱的客户，电信次之对，得找有钱的互动交流：张涵诚:前面说的柔性多引擎这个能在说说吗张涵诚:@施水才前面说的柔性多引擎这个能在说说吗施水才:柔性就是开放，不同的需求，用不同的引擎施水才:可以接入第三方的引擎，如图像视频施水