区块链在大数据管理中的应用方案

区块链在大数据管理中的应用方案目录不够完美的大数据区块链简介区块链在大数据管理中的应用不够完美的大数据——用户隐私问题Facebook用户隐私数据泄露事件：3月份媒体揭露称一家服务特朗普竞选团队的数据分析公司CambridgeAnalytica获得了Facebook五千万用户的数据，并进行违规滥用。Facebook违背了用户协议，对用户隐私造成了侵犯，遭到了舆论的强烈批评。Facebook股价一度暴跌8%以上，扎克伯格的个人净资产在当日锐减60.6亿美元。不够完美的大数据——用户隐私问题李彦宏的逻辑：“中国用户更倾向于用隐私换取便捷性。”不够完美的大数据——数据质量与监管问题魏则西事件：2016年4月12日，西安电子科技大学21岁学生魏则西因滑膜肉瘤病逝。他去世前在知乎网站撰写治疗经过时称，在百度上搜索出武警北京第二医院的生物免疫疗法，随后在该医院治疗后致病情耽误，此后了解到，该技术在美国已被淘汰。不够完美的大数据——应用逻辑问题大数据杀熟：不够完美的大数据：数据安全问题中国中药材价格指数：全部数据被国内某咨询公司非法获取。不够完美的大数据——数据采集问题价格采集的数据不真实：价格属于企业的商业秘密数据集中在中心化的平台不够完美的大数据——数据交易模式不够完美的大数据——数据交易的痛点数据交易可以存留、复制、转发，数据交易中的数据所有权没有因交易发生根本改变。大数据交易可以划分为大数据分析、大数据产品和交易中介三种模式，其中，交易中介可以进步分为托管模式和聚合模式。无论哪种模式，交易中心都可以存留交易的数据，无法自证清白。不够完美的大数据目录不够完美的大数据区块链简介区块链在大数据管理中的应用引言区块链的概念源于比特币，比特币2009年面世，成为区块链最完美的应用。2015年开始，部分国家认识到区块连技术的巨大因果那个前景2018年，不管是文艺圈、科技圈，还是最早嗅到先机的投资圈，区块链都已成为新的风口。“拿互联网与区块链类比，区块链的颠覆性将是互联网的十倍，是互联网十倍的机遇。如果说互联网是信息高速公路，区块链则是资产高速公路。”什么是区块链？技术语言定义狭义来讲，区块链是一种按照时间顺序将数据块以顺序相连的方式组合成的一种链式数据结构，并以密码学方式保证的不可篡改和不可伪造的分布式账本。广义来讲，区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算范式。要点1：区块链是一种按照时间顺序将数据块（页）以顺序相连的方式组合成的一种链式数据结构(账本)区块示例要点2：账本是非中心化存储的！共识机制共识机制：指所有的分布式节点之间达成共识，通过算法来生成和更新数据，去认定一个记录的有效性。是区块连系统中实现不同节点之间建立信任、获得权益的数学算法。PoW（工作量证明ProofofWork）依赖机器进行数学运算来获得记帐权，所有节点都平等的计算一个数学难题，谁最先找到答案说获得记帐权。全网算力形成区块链防火墙，降低攻击风险。PoS（权益证明ProofofStake）

股份制，通过持有币的数量和时间决定记帐权。DPoS（股份授权证明DelegatedProof-of-Stake）

民主议会制，通过选举决定记帐权，被选中的代表在一定时间内依次具有记帐权PBFT（实用拜占庭容错PracticalByzantineFaultTolerance）

拜占庭容错算法，通过数学算法实现，不需要代币，33%容错。共识机制——PBFT拜占庭将军问题：古罗马帝国疆土辽阔，军队驻地远，只能依靠信使传递军令，战争时，将军们必须制定统一的行动计划，但是，军中有叛徒，叛徒会通过影响统一行动计划的制定和传播，破坏忠诚将军们的行动计划。因此，将军们必须有一个预定的方法协议，使得所有的将军达成一致，而少数举个叛徒不能使忠诚的将军做出错误的行动计划。实质：寻找一个方法，使得在一个有叛徒的非信任环境中建立对战争计划的共识。在分布式系统中，有正常的服务器（将军），有故障的服务器，也有破坏者的服务器（叛徒）共识算法的核心是在正常的节点间形成对等网络状态的共识。共识机制——PBFT其中C为发送请求端，0123为服务端，3为宕机的服务端，具体步骤如下：1.Request：请求端C发送请求到任意一节点，这里是02.Pre-Prepare：服务端0收到C的请求后进行广播，扩散至1233.Prepare：123,收到后记录并再次广播，1->023，2->013，3因为宕机无法广播4.Commit：0123节点在Prepare阶段，若收到超过一定数量的相同请求，则进入Commit阶段，广播Commit请求5.Reply：0123节点在Commit阶段，若收到超过一定数量的相同请求，则对C进行反馈

根据上述流程，在N≥3F+1的情況下一致性是可能解決，N为总计算机数，F为有问题的计算机总数要点3：数字签名+非对称加密的记帐过程区块链：怎样建立信用体系的？区块链：如何防伪？防篡改？保证数据一致性、完整性哈希算法，SHA256.一段内容经过哈希处理，变成哈希值内容的任何修改，哪怕是一个标点符号，哈希值都不同哈希值不可逆上一个区块的哈希值（唯一的），放在本区块的区块头上。挖矿的算法就是去通过随机数的比对来配出哈希值。区块链：如何加密？保证交易的安全性、来源可靠非对称加密算法公钥公开，私钥是私有的私钥做数字签名，只要拥有签名人的公钥就可以验证签名，保证数据来源可靠。以“交易单二”为例，“交易单二”的签名过程是付款人（用户1）来完成的。用已经公开的收款人（用户2）的公钥加密上一交易数据，算出哈希值X，付款人（用户1）用付款人私钥对X进行加密，得到付款人（用户1）的签名，将付款人签名附加在交易单中，发给收款人（用户2）“交易单二”的验证过程是收款人（用户2）来完成的，用公开的付款人（用户1）的公钥来解密用户1的私钥，进一步解密用户1的签名，得到哈希值X。收款人（用户2）利用自己的公钥和上一交易单的数据，也得到另一个哈希值Y。如果X=Y，交易单有效。交易单一交易单二交易单三区块链的主要特征区块链的分类区块链的发展与应用场景数字货币资产交易（价值）组织协作（信任）资产数字化与交易发币跨组织协作技术成熟度模型目录不够完美的大数据区块链简介区块链用于大数据管理数据共享：一定程度的私密性基于区块链的数据脱敏技术能保证数据私密性，为隐私保护下的数据开放提供了解决方案。数据脱敏技术主要是采用了哈希处理等加密算法。数据存储：不可篡改的、全历史的、强背书

网络中所有节点共同参与计算互相验证其信息的真伪以达成全网共识是不可篡改的、全历史的、也使数据的质量获得前所未有的强信任背书。数据分析：区块链确保数据安全性

有效保护个人隐私和防止核心数据泄露区块链技术可以通过多签名私钥、加密技术、安全多方计算技术来防止这类情况的出现通过私钥保证数据私密性使用数字签名技术，就能够让那些获得授权的人们才可以对数据进行访问。数据流通：区块链保障数据相关权益

对于个人或机构有价值的数据资产，可以利用区块链对其进行注册，交易记录是全网认可的、透明的、可追溯的，明确了大数据资产来源、所有权、使用权和流通路径，对数据资产交易具有很大价值。一方面，区块链能够破除中介拷贝数据威胁，有利于建立可信任的数据资产交易环境。另一方面，区块链提供了可追溯路径，能有效破解数据确权难题基于区块链的大数据采集平台基于区块链的数据交易模型传统模型区块链基于区块链的数据交易基于双链结构的数据交易流程基于区块链的数据资产交易平台的构成BNC：首个基于区块链的市场指数上线可以将市场指数、报价和交易数据被安全的放置在区块链上，提供不可篡改的证明。指数提供商在区块链上注册，当他们在进行结算、销售或者其他需要使用指数时，任何人或者允许的第三方能够校验合法性。