智慧商城精细化运营平台建设方案

智慧商城精细化运营平台建设方案大数据云平台用户画像市场数据精确管理活跃人数访问次数页面浏览量访问时长外部接触点单一页面浏览次数页面停留时间访问深度浏览路径评论次数使用APP次数登录网站次数时间/频率浏览/收藏评论/互动品牌偏好产品偏好贡献率客单价连带率回头率流失率活动转化率唤醒率

网络行为数据站内行为数据用户交用户偏好数据整体应用架构库存客服用户支付源数据层CBSHPLESNTalk…数据平台数据收集数据存储某省市多维度查阅数据更新数据个性化数据权限控制运营数据可视化数据预警供应链预警销量预测智能供应链库存预测数据规约数据集成数据交换数据清洗数据建模价值挖掘ROI收集投入计算投入预测投入分配营销管理用户行为分析会员活动会员机制用户画像会员消息会员推荐智能商品排序关联商品推荐热销商品推荐智能推荐数据接口订单市场数据精确管理运营精细化业务处理平台生产预测配送预测精准营销基础数据分析营销分析用户分析运营分析市场负责人营销负责人运营负责人库存管理员……其他数据分析系统章节01需求理解02业务分析03建设方案05相关案例04实施方案需求理解商城运营所需订单、客服、售后、物流、流量等数据存储在不同系统中，数据查看不便，连贯性差01020304各数据源数据无统一存储地址,数据标准不统一，对业务运营后期数据挖掘和模型建立无统一可用的数据库没有成熟的销售预测产品，人工预测工作量巨大，，无法完成供应链数据的可视化用户行为数据收集不全面，不能支撑用户画像，无法实现用精确营销及站内个性化推荐业务现状数据分析-总结经验指导未来分析销售指导采购优化仓储销量预测对整个供应链的影响影响因素和预测方法神经网络预测分析季节性品牌价格多元线性预测投入产出预测指数平滑预测趋势分析预测活动地域预测方法影响因素某著名企业加权预测展现量点击量访问量订单量点击率访问转化率订单转化率销量暴增无货可卖地区差异调拨成本高手工操作占用人员预测不准无法预警计划失准影响排产产品积压产品淘汰销量减少超期库存问题多维分析预测差异化供需平衡自动修正预测自动化阶梯预测规避风险提升提升销售预测准确率因素变化预测困难个性化会员营销首页搜索页商品页过渡页订单页支付页商品/产品店铺/品牌活动合适的内容合适的地方合适的渠道合适的时机合适的用户进入首页搜索浏览购物车收藏交易企业用户个人用户不同人群PCAPP个性化解决方案建设目标外部数据搭建XXX商城精细化业务运营平台，满足XXX商城业务发展需要，实现智能供应链管理、运营数某省市市场数据精确管理以及相关的数据采集、存储和等平台功能。搭建数据平台1数据采集数据存储某省市实现运营数据可视化管理2双端打通数据透视时效性可迭代、可定制实现智能供应链管理3协同计划协同预测协同补货某省市场数据精确化管理要求交营销分析用户分析运营分析3业务分析

精细化业务运营平台数据整合精细运营感知识别获取数据共享数据收集某省市数据采集数据共享数据可视化智能供应链营销管理会员机制站内推荐数据整合、精细运营数据使用指导运营加工展示销售预测可视化会员画像数据加工采购KPI考核精确营销积累挖掘指引提升归集Bi分析数据应用持续优化智能供应链要解决的问题精准预测精准生产根据历史数量利用神经网络算法精确预测下一地区产品销量。促进供应链体系全面升级精准配货精准运营精准营销根据预测产量精准安排工厂生产，提高产能利用效率。根据产品的销售趋势，评估热点产品。精准投放营销资源。根据预测的各地区的销量情况，精确安排产品配送到各个仓库，减少物流成本。根据预测数据生成报表，产品的时间、地域、价格之间的关系一目了然。方便制定战略规划。用户画像市场数据精确管理活跃人数访问次数页面浏览量访问时长外部接触点单一页面浏览次数页面停留时间访问深度浏览路径评论次数使用APP次数登录网站次数时间/频率浏览/收藏评论/互动品牌偏好产品偏好贡献率客单价连带率回头率流失率活动转化率唤醒率

网络行为数据站内行为数据用户交用户偏好数据建设方案整体应用架构库存客服用户支付源数据层CBSHPLESNTalk…数据平台数据收集数据存储某省市多维度查阅数据更新数据个性化数据权限控制运营数据可视化数据预警供应链预警销量预测智能供应链库存预测数据规约数据集成数据交换数据清洗数据建模价值挖掘ROI收集投入计算投入预测投入分配营销管理用户行为分析会员活动会员机制用户画像会员消息会员推荐智能商品排序关联商品推荐热销商品推荐智能推荐数据接口订单市场数据精确管理运营精细化业务处理平台生产预测配送预测精准营销基础数据分析营销分析用户分析运营分析市场负责人营销负责人运营负责人库存管理员……其他数据分析系统数据平台-应用架构CBSNtalkHP

LES

TmallJDRRS数据源层数据采集CBS系统接口LES系统接口……第三方系统接口Ntalk系统接口HP系统接口订单数据数据存储客服数据售后数据流量数据渠道数据某省市运营精细化多维度查询数据更新数据个性化数据权限控制数据预警智能库存管理供应链预警智能销售预测营销精确化智能商品排序关联商品推荐热销商品推荐ROI预测投入分配用户画像用户行为分析个性化推荐……数据规约数据转化数据过滤数据加载数据分类数据抽取交分析数据实时分析数据自助分析数据共享数据多维分析数据挖掘数据平台-数据采集扩展性数据三方数据多渠道可扩展数据源定制数据字段标准化数据字典全网多点覆盖接口采集直连采集手工录入接口采集手工录入频率调整自动采集智能过滤智能化自动感知全方位数据资源整合内外系统数据整合差异采集方式整合异构数据类型整合分布式数据源整合数据清洗数据感知数据过滤数据采集接口采集直连采集自定义数据多样性流量数据销量数据XXX企业销量同行业销量数据平台-数据采集（多数据源采集策略）前端数据采集在线商城日日顺商城京东天猫一号店…后端数据采集数据采集…CBSHPLESNTALK…对象维度数据项方式策略算法数据平台-数据采集内容跳失率 数据平台智能供应链个性化推荐HPLESNTALK数据（批量采集）外部数据支付点击浏览搜寻订单CBS销售预测外部数据（文件、接口采集）客服售后物流库存PV用户商品UV流量独立IP跳失率销售额成交用户数订单转化率数据平台-数据存储外部数据品类数据商品数据基础数据原始数据主题数据数据字典会员数据扩展数据流量数据销量数据好评数据会员访问数据扩展数据销量预测数据库存据安全库存数据会员画像数据扩展数据服务器集群服务器集群安全性可用性扩展性多样性容灾容错Hadoop平台主数据仓库报表数据标签库指标数据用户一视图……信息子层用户、产品、订单数据非结构化数据信息子层：报表数据、多维数据、指标库等数据来源于汇总层。汇总层：主题域之间进行关联、汇总计算。汇总数据服务于信息子层，目的是为了节约信息子层数据计算成本和计算时间。轻度汇总层：主题域基于明细层数据，进行多维度的、用户级的汇总。明细数据层：主题域进行拆分、关联。是对ODS操作型数据按照主题域划分规则进行的拆分及合并。ODS层：数据来源于各生产系统，通过ETL工具对接口文件数据进行编码替换和数据清洗转换，不做关联操作。未来也可用于准实时数据查询。明细数据层

轻度汇总层高度汇总层应用库精确营销分布式数据库MPP精细化运营其他应用应用层：应用系统的私有数据，应用的业务数据。精细化运营做为大数据平台的一个上层应用，由大数据平台提供数据支撑。数据访问SQLFTPHSQLAPIETL数据采集ETLLOG文件非结构化

数据CBSNTALKLESHPSAP渠道平台结构化数据数据源获取层12123344数据平台-数据存储（开放式异构数据存储）数据平台-数据存储（Hadoop）HBase：非结构化NoSQl分布式数据库

基于分布式文件系统HDFS，保证数据安全列某省市市存储空间提供大数据量的高速读写操作Hive：分布式关系型数据库数据可保存在HDFS，可提供海量的数据存储结构化数据到关系型数据库的映射类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理通过MapReduce实现大规划并行计算MapReduce：大规划并行计算引擎可将任务分布并行运行在一个集群服务器中Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源，Hadoop集群可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据和计算的高可靠保证。HBaseMapReduceHiveHDFS快速的数据读取大数据存储统计复杂计算并行处理数据平某省市市外部数据算法模型可视化模块PC端、某著名企业端互通可设置、可调节、差异化可修正、可验证条件扩展、维度扩展、数据扩展、用户扩展双端打通时效性可迭代可扩展数据透视报表数据可透视算法设置、算法加载支持自定义算法、支持多种语言参数可自行定义、自行配制平台化多样化参数可配差异化根据品类、数据源等设置不同算法开放定制个性扩展运行监控性能监控安全监控流量监控差异监控故障监控数据平某省市市（双端打通）双端打通某著名企业端PC端数据源打通可视化打通权限打通流程打通数据打通功能打通用户打通数据平某省市市（数据透视与溯源）汇总数据明细数据原始数据无盲点数据透视，立体化数据钻取多路数据透视机制数据准确算法执行留痕、数据历史清晰、数据分层清晰、自动校验对比关联性强多种维度关联、多线索数据解析、数据对比分析执行高效全方位优化、全数据存储、主题域划分、关联执行、数据快照、结果复用数据平某省市市（数据实效保障）动态实效智能优化多点并发差异化设置阶梯式实效，根据不同时间段设置不同数据采集和报表刷新频率。根据统计数据增长率和变化率动态调节数据采集和报表生成频率。统计结果智能优化采集频率智能调节数据缓存智能扩展分布式部署，多点数据获取减少网络影响，多服务器协调联动根据不同统计维度分别设置实效频率根据不同统计目标分别设置实效频率根据不同数据源分别设置采集频率数据平某省市市（可扩展、可迭代）模型差异分析模型缺陷验证结构化数据半结构化数据设置数据项目设置数据源反复修正局部微调预测结果检测预测过程回放预测和实际销量对比非结构化数据数据转换数据清洗数据过滤设计预测逻辑设计阈值自定义报表自定义时效模型迭代规划循环检验自动匹配模型验证模型迭代数据兼容按需设置数据平台-业务场景在线商城CBS系统客服NTalk系统售后HP系统LES系统国双统计天猫等第三方……数据集成数据规约数据交换数据收集数据可视化智能供应链会员机制营销管理智能推荐预测分析指导改进优化分配活动促销商品推荐数据转化数据抽取数据过滤数据加工KPI数据集市用户行为某省市智能供应链某省市…数据存储数据可视POC-界面示意协同计划协议智能供应链管理-应用架构协同计划联合商业计划协同销售预测协同预测订单管理协同补货库存分析发展计划营销计划访问轨迹兴趣挖掘信息交互个性化定制交活动数据在线商城采购计划三方平台库存数据历史销量访问量转化率协同采购预测销售计划采购计划在库库存在途库存销售变动趋势产品生命共享库存促销事件计划库存调拨多层及订单处理及时生产柔性提升提前期缩短到货及时率分仓配送比率一次LES跟踪协同流程商业规划事件设计采集执行应用智能供应链管理-业务场景（智能补货）智能供应链POC-界面示意通过分析产品库存结构状况，严格制定采购规划，合理控制未来商品的投产量及商品结构。示例KPI考核POC-界面示意

KPI指标战略达成情况分析示例订单分析转化率基础数据营销分析忠诚度分析基础分析运营分析总订单有效订单总销售额注册转化率购物转化率下单转化率PV&UV登录次数时间/频率浏览/收藏评论/互动营销效果目标点击量订单转化率会员转化率成交统计访问深度重复访问率停留时间回访访问页面性别/年龄地理位置品牌喜好兴趣爱好购买倾向目录访问统计页面访问统计商品访问统计会员相关统计成交量统计数据平台市场数据精确管理-应用架构基础数据分析用户分析营销分析毛利润退换货率付款转化率营销转化率系统预警运营分析……………………………………交市场数据精确管理POC-界面示意案例平台安全性服务器安全双机互备数据安全应用安全丢失保护设备认证灾难恢复容灾容错数据恢复数据备份订单执行统一认证架构安全加密传输系统监控网络分离三层架构防火墙权限控制日志审计平台安全CDN负载均衡/反向代理服务F5Nginx应用服务TomcatSpringMVCNode.JSExpressJS业务SpringMyBatisDubbo基础服务路由/HA数据采集搜索权限ZookeeperFlumeSolrShiro消息队列缓存计算RabbitMQ/ApacheActiveMQRedisStorm基础服务路由/HA数据采集搜索权限数据存储RedisHbaseMySQLHadoop管理设置Zookeeper运行监控系统级业务级应用级技术架构网络拓扑部署架构实施方案实施计划及里程碑客户方架构团队需求及设计团队开发团队测试团队技术支持业务支持第一次迭代开发系统功能确认系统测试、上线支持2015/072015/082015/092015/102015/112015/12运维支持、功能优化第二次迭代开发完成需求分析及确认完成系统蓝图设计完成原型设计及确认功能持续优化平台整体上线完成平台开发开始系统测试第三次迭代开发需求调研蓝图设计原型设计数据库设计配合调研确认蓝图确认原型编写测试计划、大纲、用例架构设计完成架构设计完成数据库设计开始系统功能开发实施团队组织结构项目经理（产品经理）项目软件经理需求分析人员软件设计人员系统架构人员软件开发测试人员质量保障人员主要工作职责：客户方需求调研需求反馈编写需求文档指导软件设计指导测试文档编写包括：视觉设计人员用户体验设计人员主要工作职责：系统视觉设计用户体验设计系统原型设计编写设计文档指导系统开发主要工作职责：根据需求制定系统技术和业务框架编写架构设计文档为项目开发实施团队提供技术保障并指导系统开发指导系统部署上线主要工作职责：制定测试计划设计测试数据和用例执行测试计划，提交测试报告定位问题、跟踪问题、推动问题解决完成集成测试、系统测试、功能测试、非功能测试等主要工作职责：协助项目经理指定项目计划协助项目经理跟踪、管控项目进度编写项目管理文档主要工作职责：进行项目过程评审和产品审计对评审中发现的不符合项进行处理和跟踪协助项目经理管控项目风险提出过程改进建议实施团队配置项目经理：1人项目软件经理:

1人架构需求分析产品设计前端开发工程软件开发工程软件测试工程质量保障人员:1人以上共计21人在项目进行过程中，团队成员可根据需要酌情增加实施方法-项目准备阶段项目准备结束开始继续开始结束项目准备蓝图设计系统实现业务蓝图阶段评审阶段制定实施方案企业调研中高层培训召开启动大会成立项目组织项目立项实施合同任命书项目公约中高层培训PPT实施策略与目标项目总体实施计划项目风险评估报告企业基本情况调查表项目共约项目启动会PPT调研报告验收交付软件安装实施方法-蓝图设计阶段蓝图设计结束开始继续开始结束项目准备蓝图设计系统实现系统实现阶段阶段评审业务蓝图确认流程优化与流程模拟流程梳理与流程匹配基础资料数据准备建立基础数据管理原则核心小组成员培训阶段评审表考核表培训完成确认单基础数据管理方案基础资料编码规则现行业务流程经典案例研究经典规则库签到表业务蓝图完成确认单业务蓝图功能遍历流程匹配制定客户化方案系统培训大纲及讲义验收交付实施方法-系统实现阶段系统实现结束开始继续开始结束项目准备蓝图设计系统实现验收交付阶段阶段评审上线辅导系统初始化最终用户操作培训初始化数据准备系统开发实现阶段评审表考核表培训完成确认单培训计划系统培训大纲及讲义初始化完成确认单签到表系统上线完成确认单基本报表初始化基础资料培训质量保证计划数据完成确认单验收交付实施方法-验收交付阶段验收交付结束开始开始结束项目准备蓝图设计系统实现运行维护项目交接转服务召开验收会编写验收报告阶段评审表系统运行报告项目验收备忘录项目交接单实施总结报告项目总体验收报告验收交付实施方法-进度管理大日程计划(项目级日程计划)中日程计划(阶段性工程计划)小日程计划(项目组成员个人计划)编制与调整执行与跟踪里程碑报告汇总编制与调整执行与跟踪客户监管层项目组长项目经理接受任务分解与调整执行任务日报承认汇总承认审批承认承认审查审查审批承认审查审查实施层项目组成员相关案例

XXX企业大数据管理平台

XXX企业大数据平台支持结构化数据、半结构化数据、非结构化数据处理。可基于云服务器（XXX企业云平台／Vmware等）或物理机来安装Hadoop生态系统面向企业客户提供数据存储、清洗、建模、分析与展现服务。XXX企业云平台结构化数据非结构化数据半结构化数据HbaseNodeHadoopDataNodeZookeeperClusterMonitorHbaseMasterHadoopNameNodeXXX企业大数据管理平台-为什么选择Hadoop?选择基于Hadoop生态系统的开源软件（主要包括：Hadoop、Hbase和Zookeeper）建设本系统，主要理由如下：

通过合理的软硬件和算法优化，可以实现秒级查询（数十亿条数据，检索时间小于3秒）。开源免费无技术壁垒系统扩展性良好系统容错性良好Hadoop系统扩展性良好，可以通过添加子节点的方式提升系统处理能力和存储能力，不需要修改代码。全部软件都是开源软件，无授权费，代码公开开放。无法设置后门和技术壁垒绑架客户。系统有高容错性，少量的子节点故障不影响系统的正常运行。在线商城敏捷供应链管理平台智能订单交付平台第三方电商平台集团供应链系统(GVS)日日顺库存管理系统(CRM)690订单管理系统(OMS)日日顺物流系统(LES)分析预测采购管理流程调度智能工作台智能管理中心库存管理天猫、京东、1号店、、善融等HP顾服系统在线商城财务管理系统某著名企业商城XXX商城平台

商品管理订单管理发票管理现有平台（E某著名企业后台）EAI订单接口平台智能订单交付平台库位管理营销管理节点监控现有平台（CBS）敏捷电商供应链账务管理供应链监控统计|评价|质量外采供应商系统采购管理库存管理账务管理XXX企业采购管理系统在线商城订单交付及预警管理系统在线商城运营平台承接不同渠道订单，订单业务模式繁多，处理流程复杂。随着平台交断提升，订单执行在单节点并发处理能力方面已现瓶颈，整体流程未能有效监控管理，人员手工参与环节较多，需对供应链及订单交付流程进行优化，提升单节点并发处理能力。保障在线商城2014年双十一活动期间的整体用户体验；完成全流程系统架构设计；完成30万单的订单交付快速处理；完成XXX企业Web商城和某著名企业商城的PV负载优化；实现全流程系统监控、数据可视化、网络负载监控；双十一活动期间，平台完成22万订单的处理，涉及交5亿人民币上海国药大数据分析平台建设目标