大数据存储技术与应用案例教程教学案例

2100万癌症新发病例，用大数据解肿瘤诊疗之难癌症是严重威胁人类健康的重大疾病。世卫组织数据显示，全球每年有1400多万癌症新发病例，预计到2030年，这一数字将超过2100万。在中国，肿瘤发病形势十分严峻，最新数据显示，2015年肿瘤新发病例430万，由此估算每天约有1万余人被确诊为癌症。国家癌症中心主任、中国医学科学院肿瘤医院院长赫捷院士表示，由于人口老龄化，肿瘤患病率预计将不断提高。肿瘤之难如何破?迅速发展的大数据技术正在提供可实行的应对之策。近日，新华网专访了中国医学科学院肿瘤医院特需医疗部主任医师、中国卫生信息学会健康医疗大数据肿瘤专业委员会副秘书长惠周光，让肿瘤大数据专家来告诉你，大数据在肿瘤诊疗领域如何施展?前景如何?又面临着哪些难题待解?大数据之“大”解肿瘤诊疗之“难”“大数据不仅仅指数据量之大，还包括数据的复杂性和多维度。”惠周光表示，肿瘤是具有高度复杂和个体化的疾病，即便是单一患者也涉及到大量医疗数据，而肿瘤大数据的应用，让更为全面地分析肿瘤的复杂性，并找出有针对性的治疗方案成为可能。惠周光认为，由于以往缺乏有效的分析工具，难以对数据进行综合性地分析和提炼，再加上肿瘤数据复杂，涉及到影像、病理、分子诊断等多组学信息，医疗机构之间又存在信息壁垒，大量宝贵的肿瘤相关数据被束之高阁，实用价值无法完全发挥。而随着统计分析工具和网络平台的快速发展，数据整合和处理能力不断增强，可以从复杂、繁琐、断续的疾病数据中找出规律，有效分析肿瘤致病因素和相关因素，有针对性地开展肿瘤研究和防治。“研究的针对性很重要，除了知晓病因外，还要有效缩小目标人群，降低对正常人群的干扰，实现降低成本、提高效能。”大部分肿瘤，如果能在早期发现并采取有效治疗，能显著提高生存期。如可广泛用于图像识别、语音识别和语言翻译等应用的DeepRack深度学习一体机，凭借最大可提供每秒176万亿次的单精度计算能力，通过病理切片的训练，可以将前列腺癌的预测率大幅度提升（在二分类下），此后还可从二分类向多分类发展，实现由有无患癌确定到癌症恶性等级以及严重程度的划分细化。惠周光表示，大数据技术在早诊早治领域能发挥重大作用，使得肿瘤可以在早期被监测到，使治疗更容易和有效。同时，还能实现对特定个人或人群的健康和医疗管理。在卫生政策制定领域，大数据也有用武之地。据惠周光介绍，通过大数据，可以预测和估计特定肿瘤或人群的某些未来趋势，从而制定合理的医疗卫生政策。在医学研究领域，大数据可以加强临床信息与分子生物学、基因组学、代谢组学等多学科的融合，帮助人们发现疾病背后的秘密，提高靶向药物、免疫治疗的研究效率，实现“同病异治”和“异病同治”。除了肿瘤外，对少见病和罕见病研究也有突破作用。“通过先进合理的分析方法，能帮助研究者在分散的、不完善的数据中寻找规律和发展趋势，有目的地展开研究和制定方案政策，对于科研和临床研究至关重要。”惠周光说。以共享、协作为基础，搭建肿瘤大数据平台肿瘤大数据有着广阔的应用前景，然而机遇与挑战从来都是并存的。赫捷院士也曾表示，我国肿瘤大数据仍处于刚刚起步阶段，还有很多事情要去做，面临着一系列困难和挑战。首先是数据收集方面的难题。据惠周光介绍，我国目前尚未建立起系统完整的肿瘤监查网络，缺乏全国肿瘤发病与诊疗的权威数据，导致肿瘤防治、临床研究、指南制定、政府决策都带有一定盲目性。“由于缺乏信息共享机制和平台，临床研究管理成本增加，效率低下，不利于整合资源。”惠周光认为，通过建立肿瘤大数据临床研究平台，可以提高管理效率、避免盲目低水平的重复，节省宝贵的卫生资源，同时也能降低管理成本。“在大力推广肿瘤大数据平台建设的同时，要注意将数据共享需求与协作机制之间相互联系，尽力破除各机构之间的信息壁垒。”惠周光表示，可以通过制定数据采集、存储、交换、提取等一系列相关标准，以及制定政策和相应的奖惩机制来规范数据共享和协作。其次，在技术层面上也有瓶颈待突破。惠周光以临床病例为例，目前所录的大部分病例、病史都是非表格、非结构化的。以腹痛为例，可能会存在腹痛、腹部疼痛、肚子疼等多种表述，给数据的进一步处理带来困难。因此，惠周光建议，要建立症状标准化字典、治疗同义词字典，规范数据采集标准，尽量给予规范化的描述，让计算机能“读”懂数据。“此外，多组学间的数据如何融合、临床数据与生物样本平台如何管理、网络系统安全如何保证等问题，都是肿瘤大数据发展面临和必须解决的关键问题。”惠周光说。

Hadoop的RPC设计分析之前鼓捣Hbase的时候，觉得单机和伪分布式模式太low了，就在笔记本上用三个虚拟机搭建了一个“完全分布式”的Hbase环境(心疼破本子一秒钟)。刚好趁这个元旦假期，我就研究了一下\o""hadoop。Hadoop也算是个巨无霸了，涉及了很多方面的功能。个人工作中有多个RPCclient管理以及交互的场景，一直觉得设计的不太好。所以心里一直想研究一下优秀项目的多路RPC是如何实现的，然后计划一直搁置到现在。难得小假期，就拿手上的Hadoop开刀吧！1.宏观背景Hadoop的RPC确实挺复杂的，就单单以HDFS为例，client与NameNode,client与DataNode,NameNode与DataNode以及DataNode与其他DataNode。如果要提到Hadoopmap/reduce，那么事情就更不简单了。虽然Hadoop的RPC如此复杂，但是这些RPC都是基于同一个RPC框架，这个RPC框架是Hadoop自己实现的。不同的RPC只需要在这个RPC框架上实现自己的通信协议即可。这篇文章里，我打算主要分析这个底层的RPC框架是如何实现的。2.Client实现RPC的client端实现在org.apache.hadoop.ipc这个包里面。至于这个包为啥叫ipc，我也不太明白，这个ipc也该不是interprocesscommunication的缩写。前文已经说过了，一个Client(不仅仅是Hadoop的客户端，也可能是DataNode等等)会存在多个客户端连接。这个情况下，Hadoop的Client的内部会持有多个连接。Client有Connection、ConnectionId这样的一些内部类。其中ConnectionId包含IntetSocketAddress和一些配置信息；而Connection则就是一个Thread的子类，负责接收和发送消息。privateConcurrentMap<ConnectionId,Connection>connections=newConcurrentHashMap<>();这个connections就是Client的成员变量，代表着Client所建立的所有连接。此外Client还有一个叫Call内部类。Call代表一次RCP调用，虽然Hadoop的RPC是直接基于TCP的，但上层使用起来和REST之类的RPC还是非常相似的。Call的代码片段如下：/***ClassthatrepresentsanRPCcall*/staticclassCall{finalintid;//callidfinalintretry;//retrycountfinalWritablerpcRequest;//theserializedrpcrequestWritablerpcResponse;//nullifrpchaserrorIOExceptionerror;//exception,nullifsuccessfinalRPC.RpcKindrpcKind;//RpcEngineKindbooleandone;//truewhencallisdoneprivatefinalObjectexternalHandler;privateCall(RPC.RpcKindrpcKind,Writableparam){this.rpcKind=rpcKind;this.rpcRequest=param;finalIntegerid=callId.get();if(id==null){this.id=nextCallId();}else{callId.set(null);this.id=id;}finalIntegerrc=retryCount.get();if(rc==null){this.retry=0;}else{this.retry=rc;}this.externalHandler=EXTERNAL_CALL_HANDLER.get();}}id表示这次RPC的调用的编号，因为这里的TCPRPC是全双工的，所以需要一个序列标识。为了保证Call的id在单个连接中唯一，Client定义了几个AtomicInteger变量。每个RPCCall都会把这个id带上，call的response里面也会带上这个id，这样客户端可以分发消息了。一个Client主要的数据结构如下图所示：其实这个逻辑结构显得挺简单的，主要的工作还是在Connection类中完成的。Connection作为一个Thread的子类，它的run()方法其实就是不断的read，然后根据Response中的Callid分发返回消息。在具体实现中，Connection的run方法就是在while循环中不断receiveRpcResponse()。privatevoidreceiveRpcResponse(){if(shouldCloseConnection.get()){return;}touch();try{ByteBufferbb=ipcStreams.readResponse();RpcWritable.Bufferpacket=RpcWritable.Buffer.wrap(bb);RpcResponseHeaderProtoheader=packet.getValue(RpcResponseHeaderProto.getDefaultInstance());checkResponse(header);intcallId=header.getCallId();if(LOG.isDebugEnabled())LOG.debug(getName()+"gotvalue#"+callId);RpcStatusProtostatus=header.getStatus();if(status==RpcStatusProto.SUCCESS){Writablevalue=packet.newInstance(valueClass,conf);finalCallcall=calls.remove(callId);call.setRpcResponse(value);}//verifythatpacketlengthwascorrectif(packet.remaining()>0){thrownewRpcClientException("RPCresponselengthmismatch");}if(status!=RpcStatusProto.SUCCESS){//RpcRequestfailedfinalStringexceptionClassName=header.hasExceptionClassName()?header.getExceptionClassName():"ServerDidNotSetExceptionClassName";finalStringerrorMsg=header.hasErrorMsg()?header.getErrorMsg():"ServerDidNotSetErrorMsg";finalRpcErrorCodeProtoerCode=(header.hasErrorDetail()?header.getErrorDetail():null);if(erCode==null){LOG.warn("Detailederrorcodenotsetbyserveronrpcerror");}RemoteExceptionre=newRemoteException(exceptionClassName,errorMsg,erCode);if(status==RpcStatusProto.ERROR){finalCallcall=calls.remove(callId);call.setException(re);}elseif(status==RpcStatusProto.FATAL){//ClosetheconnectionmarkClosed(re);}}}catch(IOExceptione){markClosed(e);}}看了接收逻辑，那么发送RPCcall的逻辑也必不可少。有一点值得注意的是，发送RPCcall都不是connection线程，所以这里需要一些线程同步方法。一般来说，会使用消息队列的方式来缓存call，然后一个发送线程不断发送call。不过Hadoop不是这样做的，它使用的是一个线程池，然后传输给线程池的是一个包装发送Call的Runnable。为什么采用这种完全taskbase的方法，我也没太明白。不过话说回来，也没有明显的缺点，反而是把消息队列的工作扔给线程池了，减少了一定工作量。这里简单的贴一点代码：publicvoidsendRpcRequest(finalCallcall)throwsInterruptedException,IOException{if(shouldCloseConnection.get()){return;}//Serializethecalltobesent.Thisisdonefromtheactual//callerthread,ratherthanthesendParamsExecutorthread,RpcRequestHeaderProtoheader=ProtoUtil.makeRpcRequestHeader(call.rpcKind,OperationProto.RPC_FINAL_PACKET,call.id,call.retry,clientId);finalResponseBufferbuf=newResponseBuffer();header.writeDelimitedTo(buf);RpcWritable.wrap(call.rpcRequest).writeTo(buf);synchronized(sendRpcRequestLock){Future<?>senderFuture=sendParamsExecutor.submit(newRunnable(){@Overridepublicvoidrun(){try{synchronized(ipcStreams.out){if(shouldCloseConnection.get()){return;}if(LOG.isDebugEnabled()){LOG.debug(getName()+"sending#"+call.id);}//RpcRequestHeader+RpcRequestipcStreams.sendRequest(buf.toByteArray());ipcStreams.flush();}}catch(IOExceptione){//exceptionatthispointwouldleavetheconnectioninan//unrecoverablestate(eghalfacallleftonthewire).//So,closetheconnection,killinganyoutstandingcallsmarkClosed(e);}finally{//thebufferisjustanin-memorybuffer,butitisstillpoliteto//closeearlyIOUtils.closeStream(buf);}}});}}3.Server实现前面大致分析了一遍Client，然后这里就轮到了Server的实现了。Server和Client在一个包，不过这个Server是个抽象类。Server唯一的一个抽象方法就是call方法，这个方法就是处理具体请求的。不同功能的Server会有不同的业务逻辑，所以它们需要实现这个函数。通过之前的Client分析，Server的实现也应该能猜出一二了。Server类的逻辑结构图如下：Server类的Connection、Call与Client的非常相似，所以这里就不再赘述。相对Client来说，Server的线程模型更复杂一些。Server类有很多内部类，Listener，Responder，Handler这几个内部类都是Thread的子类。privateCallQueueManager<Call>callQueue;//maintainsthesetofclientconnectionsandhandlesidletimeoutsprivateListenerlistener=null;privateResponderresponder=null;privateHandler[]handlers=null;从代码片段中可以看出，一个Server类会存在一个Listener线程，一个Responder线程以及多个Handler线程。其中Listener线程是一个使用NIO的线程，接收所有的连接请求都是由Listener线程处理的。其实Listener线程内部还有多个Reader线程，Reader线程的功能是处理Accept之后的连接，构造出RpcCall请求，然后扔到CallQueueManager<Call>callQueue这个队列中。然后Handler线程们从callQueue中取出Call并执行具体的RPC。Handler处理完之后，会以NIOchannel的方式发送给Responder，Responder再实际发送给Client端。由于Hadoop实际的通信协议有很多种，这里也就不探讨RpcInvoker的具体逻辑了。主要就是通过反射调用对应的call方法实现，也不是很难理解。OK！这篇博客就到这了。再过几个小时就是2018年了，真的是时光如梭啊！未来的路通向哪里，我不知道，但我会加快脚步追寻光明。

大数据和AI怎么与现代教育相结合？比尔·盖茨曾预言，“5年以后，你将可以在网上免费获取世界上最好的课程，而且这些课程比任何一个单独大学提供的课程都要好。”现在看来，虽然并不是每个网上课程都能强过大学教程，但是在线教育已经成为现实，据业内人士估算，目前中国在线教育用户数量过亿，市场规模达数千亿元，而且线上学习者也是受益良多。不仅在线教育成为了新的风口，同时在大数据与人工智能的加持下，教育行业的相关应用正在进入深水期，现代教育的形式正在悄然改变。大数据+AI赋能教育目前，大数据+AI正在赋能各行各业，教育也不例外，人脸识别、语音识别等智能技术开始用于语文、英语、音乐等学科，为教育提供更加智能化、个性化的解决方案。从教学过程来看，落实到授课、学习、考评、管理等各个方面，大数据+人工智能可以使教育在形式和内容方面都能趋于多样化。授课“不得不承认，对于学生，我们知道得太少。”这是卡耐基·梅隆大学教育学院的一句经典名言，同时也是教育领域普遍存在的议题。对于80、90以及更早的几代，从小学到大学接受的都是生产线教育，一代学生应用同一套教材，一个学科由一个老师负责，并通过同一套标准进行考核，因为个性化的私人教育仍属奢侈品。现在，大数据与AI可以帮助轻松实现自适应教育与个性化教学。在教学方式方面，智慧课堂可以为老师提供更为丰富的教学手段，全时互动、以学定教，老师上课时也不再是只有一本教科书，而是可以任意调取后台海量的优质学习资源，以多种形式展现给学生。比如，语音识别和图像识别在教育上的应用，大大提高了师生的教学体验。对于某个英语句子，可以通过手机拍照上传到云端，系统会根据海量的语音素材，用合适的语气和语调阅读这句话，还可以与语音测评技术结合，让学生跟读这句话，并由系统做出测评并反复朗读打分。同时，通过虚拟现实、增强现实与大数据的珠联璧合，尽可能还原教育场景，让学生爱学、乐学，学习效果也能有质的飞跃。比如谷歌通过引入AR与VR技术，创造教学应用“实境教学”，正在悄然改变课堂的活动方式。在教学过程中，通过收集和分析学生日常学习和完成作业过程中产生的数据，老师即能准确知晓每个学生的知识点掌握情况，为每一位学生有针对性地布置作业，达到因材施教的效果。此外，未来机器人教学也将成为一种趋势，此前在乔治亚理工学院的一个300多人的课堂上，人工智能机器人教吉尔·沃森(JillWatson)担任了一个月助教，会在第一时间回复邮件，而且口吻并不机械，因此并没有人发现她其实是一个机器人。学习对于学生而言，在学习过程中，一方面可应用大数据技术，根据知识点的相互关系，制作知识图谱，制定学习计划，另一方面，数据挖掘技术可以帮助进一步分析学生个人的学习水平，并建立与之相匹配的学习计划，并由AI系统确定如何为学生提供个性化补充指导，以帮助高效学习，避免题海战术。比如，过去需要3个小时练习的考题，也许真正需要掌握的知识点只需要花费半个小时。那么应用大数据与人工智能，就可以不断对学生的学习成果进行评估，并有针对性地推荐适合每个学生的练习，节约时间，却能达到更好的学习效果。同时，利用图像识别技术，也能进一步提高学习效率。如今，学生们可以通过手机拍摄教材内容或作业题目，分析照片和文本，并显示相应的要点与难点。随后，在线课堂、百科链接，以及教师上传的PPT以及PDF文件等，为自主学习提供了更多可能性，整个过程运用机器学习和自然语言处理技术来收集处理。另外，在线教育发展得如火如荼，通过提供视频教学、谜语、游戏等灵活多样的课程形式以及优质丰富的课程内容，使学习不只限于某时某地，可以灵活有效地安排学习计划。其中，就编程而言，越来越多孩子通过在线教育进行学习。如编程猫依靠人工智能和数据挖掘系统，为6~16岁青少年提供了图形化编程平台，并针对不同学生进行差异化课程推送。学生在平台上通过使用图形化编程语言创作游戏、软件、动画、故事等作品，可以同步锻炼提升逻辑思维能力、任务拆解能力、跨学科结合能力和团队协作能力等。考评在传统教育中，考试与评价可以说耗费了老师们的大量时间。如今，大数据、文字识别、语音识别、语义识别等技术的日趋成熟，使得规模化的自动批改和个性化反馈走向现实。通过应用大数据与人工智能，老师只需将需要批阅的试卷进行扫描，就能实时统计并显示扫描过的试卷份数、平均分、最高分，以及最集中的错题和对应知识点，一目了然，方便进行全面、实时分析。如果需要对几十万、几百万份考试试卷进行分析，也能通过精准的图文识别以及海量文本检索技术，快速核对检查所有试卷与目标相似的文本，并迅速提取并标注出可能存在问题的试卷，帮助实现智能测评。在这方面，科大讯飞可以说走在行业前沿，其英语口语自动测评、手写文字识别、机器翻译、作文自动评阅技术等已通过教育部鉴定并应用于全国多个省市的高考、中考、学业水平的口语和作文自动阅卷。管理如果说学习者大多只是关注“学”的部分，那么学校教育则需要在教学之外，进一步分析教育行为数据，做好管理工作。通过智能技术，充分考虑包括教务处、学生处、校办、校务处等部门在内的校园管理需求，学校可进一步采集、记录、分析教与学及其相关教育行为，更好地勾勒出教育教学的真实形态，有效推进教学信息化。目前，一些高校已经建立了学生画像、学生行为预警、学生家庭经济状况分析、学生综合数据检索、学生群体分析等功能应用，帮助更好地分辨学生在专业学习或就业方向上的潜能，从而为学生提供个性化的管理与培养方案。例如，面对多样的选课需求，如何合理排课成为一个亟待解决的难题，而在没有人工智能的时候，老师排课往往需要几周时间，还不能保证让学生都满意。现在用人工智能算法进行排课，学生只需提交自己的课程选择，系统可以结合课程、教室、师资进行快速的排课，大大提高效率与学生满意度。在教育领域，这只是开始，大数据、人工智能对教育的变革还将持续发酵。未来，以大数据实现教育个性化，用人工智能赋能教育，在成倍放大教育产能的同时，将使得优质教学资源得到充分利用，从而做到因材施教、因人施教。对此，我们不仅要仰望星空，更要脚踏实地。正如教育家叶圣陶先生所言，教育是农业，而非工业。不仅教育需要一个发展过程，同时孩子们也如农作物一般需要成长时间，而大数据与人工智能则将成为其生长期重要的养分与辅助力量。

大数据架构师必看：常见的七种Hadoop和Spark项目案例如果你的\o""hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的\o""大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。项目一：数据整合称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行\o""数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步;有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成。未来，HBase和Phoenix在大数据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。销售人员喜欢说“读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么(Hive模式不会看起来与你在企业数据仓库中所做的不一样)。真实的原因是一个数据湖比Teradata和Netezza公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython笔记本作为前端。项目二：专业分析许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险/蒙特卡罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭受一个有限的功能集(大部分是因为软件厂商不可能像专业机构那样了解的那么多)。在Hadoop和Spark的世界，看看这些系统大致相同的数据整合系统，但往往有更多的HBase，定制非SQL代码，和更少的数据来源(如果不是唯一的)。他们越来越多地以Spark为基础。项目三：Hadoop作为一种服务在“专业分析”项目的任何大型组织(讽刺的是，一个或两个“数据整理”项目)他们会不可避免地开始感觉“快乐”(即，疼痛)管理几个不同配置的Hadoop集群，有时从不同的供应商。接下来，他们会说，“也许我们应该整合这些资源池，”而不是大部分时间让大部分节点处于资源闲置状态。它们应该组成云计算，但许多公司经常会因为安全的原因(内部政治和工作保护)不能或不会。这通常意味着很多Docker容器包。我没有使用它，但最近Bluedata(蓝色数据国际中心)似乎有一个解决方案，这也会吸引小企业缺乏足够的资金来部署Hadoop作为一种服务。项目四：流分析很多人会把这个“流”，但流分析是不同的，从设备流。通常，流分析是一个组织在批处理中的实时版本。以反洗钱和欺诈检测：为什么不在交易的基础上，抓住它发生而不是在一个周期结束?同样的库存管理或其他任何。在某些情况下，这是一种新的类型的交易系统，分析数据位的位，因为你将它并联到一个分析系统中。这些系统证明自己如Spark或Storm与Hbase作为常用的数据存储。请注意，流分析并不能取代所有形式的分析，对某些你从未考虑过的事情而言，你仍然希望分析历史趋势或看过去的数据。项目五：复杂事件处理在这里，我们谈论的是亚秒级的实时事件处理。虽然还没有足够快的超低延迟(皮秒或纳秒)的应用，如高端的交易系统，你可以期待毫秒响应时间。例子包括对事物或事件的互联网电信运营商处理的呼叫数据记录的实时评价。有时，你会看到这样的系统使用Spark和HBase——但他们一般落在他们的脸上，必须转换成Storm，这是基于由LMAX交易所开发的干扰模式。在过去，这样的系统已经基于定制的消息或高性能，从货架上，客户端-服务器消息产品-但今天的数据量太多了。我还没有使用它，但Apex项目看起来很有前途，声称要比Storm快。项目六：ETL流有时你想捕捉流数据并把它们存储起来。这些项目通常与1号或2号重合，但增加了各自的范围和特点。(有些人认为他们是4号或5号，但他们实际上是在向磁盘倾倒和分析数据。)，这些几乎都是Kafka和Storm项目。Spark也使用，但没有理由，因为你不需要在内存分析。项目七：更换或增加SASSAS是精细，是好的但SAS也很贵，我们不需要为你的数据科学家和分析师买存储你就可以“玩”数据。此外，除SAS可以做或产生漂亮的图形分析外，你还可以做一些不同的事情。这是你的“数据湖”。这里是IPython笔记本(现在)和Zeppelin(以后)。我们用SAS存储结果。当我每天看到其他不同类型的Hadoop，Spark，或Storm项目，这些都是正常的。如果你使用Hadoop，你可能了解它们。几年前我已经实施了这些项目中的部分案例，使用的是其它技术。如果你是一个老前辈太害怕“大”或“做”大数据Hadoop，不要担心。事情越变越多，但本质保持不变。你会发现很多相似之处的东西你用来部署和时髦的技术都是围绕Hadooposphere旋转的。

大数据破解经济犯罪，为平安城市“加分”1872年，英国学者希尔在伦敦进行的预防与抵制犯罪的国际会议上，做了题为“犯罪的资本家”的演讲。在演讲中，希尔首次使用了“经济犯罪”这个词，他认为，这是伴随市场经济而产生的一种犯罪形态，所有犯罪都与经济相关，包括贪污、贿赂、玩忽职守、徇私舞弊以及企业内发生的与经济相关的犯罪行为等。作为市场经济的“伴生物”，经济越发展，经济犯罪也随之越复杂。一百多年过去了，在经济腾飞的现代社会，经济全球化大势所趋，各国积极打击、严密防范各类经济犯罪，护航经济社会发展。在中国，随着市场经济体制的建立和不断发展完善，经济建设取得了巨大成就。经济类犯罪在此时也随之产生，扰乱了市场经济秩序，损害了市场参与者的合法利益。诸如“泛亚”“e租宝”等一批涉及非法集资的重特大案件，涉案金额高，造成损失大;假币犯罪、信用卡诈骗、骗取贷款、金融诈骗犯罪大幅攀升;操纵市场、内幕交易和利用未公开信息交易等涉及证券期货犯罪活跃，非法经营证券期货业务犯罪多发，利用高科技手段操纵期货市场犯罪初步显现;投资理财、涉外劳务、房地产中介等领域涉众型犯罪欺诈手段升级，侵害对象多、挽损难度大……经济犯罪案件不仅在数量上大幅增长，犯罪的复合化、智能化、专业化、国际化趋向也日趋明显。目前，经济犯罪已侵入国民住房、就业、环保、教育、养老、医疗、食药品安全等方方面面，不少涉众型经济犯罪案件动辄涉及上万人。打击严惩经济犯罪，迫在眉睫。犯罪形势严峻复杂，大数据决策辅助责无旁贷近年来，我国大数据产业飞速发展，大数据应用深入政府治理。经济犯罪侦查拥抱新的技术革命，通过大数据算法来研究经济犯罪，决策辅助公安部门打击犯罪，为经济健康发展带来了深远的影响。以大数据为基础，数据化实战是公安经侦部门打击经济犯罪最重要的工作之一。通过大数据对过去经年案件的数据进行研究、分析，能够使过去点对点的个案侦办，转到从宏观的、中观的、微观的数据层面来研究经济犯罪。用大数据技术能发现经济犯罪的DNA，这对传统公安经侦工作是一场颠覆。在江苏省南通市，以大数据为依据的数据融合、共享、应用，正在为“智慧南通公安”创造出一条提升行政服务水平、打击经济犯罪的创新智慧发展之路。过去，针对经济犯罪，公安部门对于企业研判的传统做法是：调查、评估、建议等“一条龙”式的流程，通过内因到外因的分析、个案到类案的研判、企业到企业的调查。2017年初，南通市公安局与九次方大数据合作，设计研发企业风险预警平台，通过大数据技术发现经济犯罪的苗头，实现了更科学更高效的经侦决策，给当地警务工作带来了深远变化。基于南通公安数字信息化建设水平处于全国领先位置，公安部将南通经侦作为企业风险预警平台的试点单位。企业风险预警平台作为公安部下发的标杆平台，在科信处和经侦支队的双重检验下投入实行，无论从数据、技术还是业务上都属于全国首例，为其他地区应用大数据打击经济犯罪做出范本。大数据风险预警，让经济犯罪防控走到事前大数据打击经济犯罪，首先从数据源切入。在南通，企业风险预警平台的作用主要是针对企业进行画像，需要用到大量的企业基本信息、税务信息、银行信息、信用信息等;九次方大数据针对客户需求进行企业信息建模，将企业与经侦相关的信息以可视化的形式展现，并做智能分析预测。同时，企业风险预警平台通过整合各警种信息系统资源，采集、引进各类社会资源数据，重视并强化资源应用，利用大数据技术，对各类犯罪线索数据进行数量化分析和关联挖掘，实现预警信息的多库联查、多点碰撞，实现犯罪线索自动扩线串并、自我完善和自动报警，提升主动发现案源、主动侦查进攻、多地协同作战能力。让经侦部门根据工作需要方便使用平台，真正发挥大数据在打击经济犯罪中的效能。企业发展管理的风险，贯穿于企业管理生产经营的方方面面，在筹措资金、生产、投资、日常交易、利润的分配中都可能产生，造成企业营收的不确定性。与传统危机相比，信息时代的企业危机具有更强的突发性、更难以彻底消除且扩散速度更快。因而尽早的发现危机或危机的苗头，对有效保护企业利益起到了重要作用。另一方面，现代企业风险的复杂性和网状结构，使得探寻事件根源变得更加困难，给事件的善后工作和预防带来了严重干扰。南通市公安局通过大数据手段对企业风险进行预警，让公安执法更精准、更有效。作为全国首个试点，企业风险预警平台将经侦支队的企业预警、企业研判等各个业务应用场景逐个部署，整个过程中，无论是数据、业务、分析模型都处于螺旋增长的状态，前景可期。打击经济犯罪刻不容缓。目前，企业风险预警平台是强化经侦情报体系建设、打击经济犯罪的重要一步，未来，作为数字化治理“经济犯罪”的重要平台，企业风险预警平台还将逐步在其他省市推广，使全体经侦力量知数据、懂数据，更会用数据，维持市场经济健康有序发展。与此同时，用大数据惩治包含经济犯罪的各类案件，将成为公安系统新的工作方向。大数据时代下，社会治理和犯罪防控将进行深刻的数字化转型。

大数据学习系列之三-----HBaseJavaApi图文详解引言在上一篇中

大数据学习系列之二—–HBase环境搭建(单机)

中，成功搭建了\o""hadoop+HBase的环境，本文则主要讲述使用Java对HBase的一些操作。一、事前准备1.确认hadoop和hbase成功启动2.确认防火墙是否关闭3.maven所需要的依赖架包<!--hadoop相关架包--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-yarn-common</artifactId> <version>2.8.2</version> </dependency><!--HBase相关jar--> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-hadoop-compat</artifactId> <version>1.3.1</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.1.2</version> </dependency><dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.1.2</version> </dependency><dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-common</artifactId> <version>1.1.2</version> </dependency>4.修改hosts文件（可选）修改WindowsC:\Windows\System32\drivers\etc目录下的hosts文件，添加hbase的主机ip和主机名做关系映射。28master注:如果不使用映射，那么将代码中的主机名改成IP即可。5.HBase的原理这篇文章介绍得很详细:/woshiwanxin102213/article/details/17584043二、测试示例1.创建表创建两张表t_student、t_student_info这两张表，并添加两个列族创建成功之后可以在hbaseshell和16010界面中看到。2.添加数据成功创建表之后，在这两张表中插入数据。因为HBase是动态数据库，所以列是可以新增的。HBase的新增和修改是一个方法，数据相同的，后来的数据会将前面的覆盖掉！3.查询数据分别根据表名、行健、列族、列来查询4.删除数据删除其中的一条数据三、代码示例工具类importjava.io.IOException;importjava.util.ArrayList;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.Cell;importorg.apache.hadoop.hbase.CellUtil;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.Admin;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.client.ConnectionFactory;importorg.apache.hadoop.hbase.client.Delete;importorg.apache.hadoop.hbase.client.Get;importorg.apache.hadoop.hbase.client.Put;importorg.apache.hadoop.hbase.client.Result;importorg.apache.hadoop.hbase.client.ResultScanner;importorg.apache.hadoop.hbase.client.Scan;importorg.apache.hadoop.hbase.client.Table;importorg.apache.hadoop.hbase.util.Bytes;importcom.alibaba.fastjson.JSONObject;/****Title:HBaseUtil*Description:HBase工具类*Version:1.0.0*@authorpancm*@date2017年12月6日*/publicclassHBaseUtil{ /**hadoop连接*/ privatestaticConfigurationconf=null; /**hbase连接*/ privatestaticConnectioncon=null; /**会话*/ privatestaticAdminadmin=null; privatestaticStringip="master";privatestaticStringport="2181";privatestaticStringport1="9001"; //初始化连接static{ //获得配制文件对象conf=HBaseConfiguration.create();//设置配置参数 conf.set("hbase.zookeeper.quorum",ip); conf.set("perty.clientPort",port); //如果hbase是集群，这个必须加上 //这个ip和端口是在hadoop/mapred-site.xml配置文件配置的 conf.set("hbase.master",ip+":"+port1);} /** *获取连接 * *@return */ publicsynchronizedstaticConnectiongetConnection(){ try{ if(null==con||con.isClosed()){ //获得连接对象 con=ConnectionFactory.createConnection(conf); } }catch(IOExceptione){ System.out.println("获取连接失败!"); e.printStackTrace(); } returncon; } /** *连接关闭 */ publicstaticvoidclose(){ try{ if(admin!=null){ admin.close(); } if(con!=null){ con.close(); } }catch(IOExceptione){ System.out.println("连接关闭失败！"); e.printStackTrace(); } } /** *创建表 * *@paramtableName *表名 *@paramcolumnFamily *列族 */ publicstaticvoidcreatTable(StringtableName,String[]columnFamily){ if(null==tableName||tableName.length()==0){ return; } if(null==columnFamily||columnFamily.length==0){ return; } //创建表名对象 TableNametn=TableName.valueOf(tableName); //a.判断数据库是否存在 try{ //获取会话 admin=getConnection().getAdmin(); if(admin.tableExists(tn)){ System.out.println(tableName+"表存在，删除表...."); //先使表设置为不可编辑 admin.disableTable(tn); //删除表 admin.deleteTable(tn); System.out.println("表删除成功....."); } //创建表结构对象 HTableDescriptorhtd=newHTableDescriptor(tn); for(Stringstr:columnFamily){ //创建列族结构对象 HColumnDescriptorhcd=newHColumnDescriptor(str); htd.addFamily(hcd); } //创建表 admin.createTable(htd); System.out.println(tableName+"表创建成功！"); }catch(IOExceptione){ e.printStackTrace(); }finally{ close(); } } /** *数据单条插入或更新 * *@paramtableName *表名 *@paramrowKey *行健(主键) *@paramfamily *列族 *@paramqualifier *列 *@paramvalue *存入的值 *@return */ publicstaticvoidinsert(StringtableName,StringrowKey,Stringfamily, Stringqualifier,Stringvalue){ Tablet=null; try{ t=getConnection().getTable(TableName.valueOf(tableName)); Putput=newPut(Bytes.toBytes(rowKey)); put.addColumn(Bytes.toBytes(family),Bytes.toBytes(qualifier), Bytes.toBytes(value)); t.put(put); System.out.println(tableName+"更新成功!"); }catch(IOExceptione){ System.out.println(tableName+"更新失败!"); e.printStackTrace(); }finally{ close(); } } /** *数据批量插入或更新 * *@paramtableName *表名 *@paramlist *hbase的数据 *@return */ publicstaticvoidinsertBatch(StringtableName,List<?>list){ if(null==tableName||tableName.length()==0){ return; } if(null==list||list.size()==0){ return; } Tablet=null; Putput=null; JSONObjectjson=null; List<Put>puts=newArrayList<Put>(); try{ t=getConnection().getTable(TableName.valueOf(tableName)); for(inti=0,j=list.size();i<j;i++){ json=(JSONObject)list.get(i); put=newPut(Bytes.toBytes(json.getString("rowKey"))); put.addColumn(Bytes.toBytes(json.getString("family")), Bytes.toBytes(json.getString("qualifier")), Bytes.toBytes(json.getString("value"))); puts.add(put); } t.put(puts); System.out.println(tableName+"更新成功!"); }catch(IOExceptione){ System.out.println(tableName+"更新失败!"); e.printStackTrace(); }finally{ close(); } } /** *数据删除 *@paramtableName表名 *@paramrowKey 行健 *@return */publicstaticvoiddelete(StringtableName,StringrowKey){ delete(tableName,rowKey,"","");} /** *数据删除 *@paramtableName表名 *@paramrowKey 行健 *@paramfamily 列族 *@return */publicstaticvoiddelete(StringtableName,StringrowKey,Stringfamily){ delete(tableName,rowKey,family,"");} /** *数据删除 *@paramtableName表名 *@paramrowKey 行健 *@paramfamily 列族 *@paramqualifier列 *@return */publicstaticvoiddelete(StringtableName,StringrowKey,Stringfamily,Stringqualifier){ if(null==tableName||tableName.length()==0){ return; } if(null==rowKey||rowKey.length()==0){ return; } Tablet=null;try{t=getConnection().getTable(TableName.valueOf(tableName));Deletedel=newDelete(Bytes.toBytes(rowKey));//如果列族不为空 if(null!=family&&family.length()>0){ //如果列不为空 if(null!=qualifier&&qualifier.length()>0){ del.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier)); }else{ del.addFamily(Bytes.toBytes(family)); } }t.delete(del);}catch(IOExceptione){ System.out.println("删除失败!");e.printStackTrace();}finally{close();}} /** *查询该表中的所有数据 * *@paramtableName *表名 */ publicstaticvoidselect(StringtableName){ if(null==tableName||tableName.length()==0){ return; } Tablet=null; List<Map<String,Object>>list=newArrayList<Map<String,Object>>(); try{ t=getConnection().getTable(TableName.valueOf(tableName)); //读取操作 Scanscan=newScan(); //得到扫描的结果集 ResultScannerrs=t.getScanner(scan); if(null==rs){ return; } for(Resultresult:rs){ //得到单元格集合 List<Cell>cs=result.listCells(); if(null==cs||cs.size()==0){ continue; } for(Cellcell:cs){ Map<String,Object>map=newHashMap<String,Object>(); map.put("rowKey",Bytes.toString(CellUtil.cloneRow(cell)));//取行健 map.put("timestamp",cell.getTimestamp());//取到时间戳 map.put("family",Bytes.toString(CellUtil.cloneFamily(cell)));//取到列族 map.put("qualifier",Bytes.toString(CellUtil.cloneQualifier(cell)));//取到列 map.put("value",Bytes.toString(CellUtil.cloneValue(cell)));//取到值 list.add(map); } } System.out.println("查询的数据:"+list); }catch(IOExceptione){ System.out.println("查询失败!"); e.printStackTrace(); }finally{ close(); } } /** *根据表名和行健查询 *@paramtableName *@paramrowKey */ publicstaticvoidselect(StringtableName,StringrowKey){ select(tableName,rowKey,"",""); } /** *根据表名、行健和列族查询 *@paramtableName *@paramrowKey *@paramfamily */ publicstaticvoidselect(StringtableName,StringrowKey,Stringfamily){ select(tableName,rowKey,family,""); } /** *根据条件明细查询 * *@paramtableName *表名 *@paramrowKey *行健(主键) *@paramfamily *列族 *@paramqualifier *列 */ publicstaticvoidselect(StringtableName,StringrowKey,Stringfamily, Stringqualifier){ Tablet=null; List<Map<String,Object>>list=newArrayList<Map<String,Object>>(); try{ t=getConnection().getTable(TableName.valueOf(tableName)); //通过HBase中的get来进行查询 Getget=newGet(Bytes.toBytes(rowKey)); //如果列族不为空 if(null!=family&&family.length()>0){ //如果列不为空 if(null!=qualifier&&qualifier.length()>0){ get.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier)); }else{ get.addFamily(Bytes.toBytes(family)); } } Resultr=t.get(get); List<Cell>cs=r.listCells(); if(null==cs||cs.size()==0){ return; } for(Cellcell:cs){ Map<String,Object>map=newHashMap<String,Object>(); map.put("rowKey",Bytes.toString(CellUtil.cloneRow(cell)));//取行健 map.put("timestamp",cell.getTimestamp());//取到时间戳 map.put("family",Bytes.toString(CellUtil.cloneFamily(cell)));//取到列族 map.put("qualifier",Bytes.toString(CellUtil.cloneQualifier(cell)));//取到列 map.put("value",Bytes.toString(CellUtil.cloneValue(cell)));//取到值 list.add(map); } System.out.println("查询的数据:"+list); }catch(IOExceptione){ System.out.println("查询失败!"); e.printStackTrace(); }finally{ close(); } }}测试代码importjava.util.ArrayList;importjava.util.List;importcom.alibaba.fastjson.JSONObject;/****Title:hbaseTest*Des