好程序员支招：如何正确操作日志数据生成过程及项目业务流程_第1页
好程序员支招：如何正确操作日志数据生成过程及项目业务流程_第2页
好程序员支招：如何正确操作日志数据生成过程及项目业务流程_第3页
好程序员支招：如何正确操作日志数据生成过程及项目业务流程_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

好程序员支招：如何正确操作日志数据生成过程及项目业务流程？日志数据是如何具体生成的？1.b/s浏览器,http请求浏览官网(内容服务器)。2.官网响应回网站的内容,在浏览器可以浏览内容。3.用户在操作的所有点击输入行为,都会被本地的js代码记录并生成多条数据,这个过程也叫js埋点截获数据的过程。4.存储数据的logserver目录由反向搭建服务器Nginx + tomcat构成。5.可以设置时间自动滚动生成新文件。6.js代码通过http请求将数据发送到logserver。7.logserver响应回一个1*1像素的gif(透明)图片,节省网络资源(实时发送)。8.logserver通过logstach或flume对接kafka产生数据。其他方式:(APP)1.c/s方式通过http请求app内容服务器,2.app内容服务器响应app端请求3.logserver是由java代码不断的收集用户点击事件生成的日志数据,不会发生js埋点。 ( 因为网络带宽的原因非实时发送数据,按照定时发送 )4.app端后台数据直接发送到logserver,没有响应5.通过logstach数据对接到kafka或其他的消息中间键项目的业务流程1.提出需求。分情况,如果是公司自己的项目,由公司的产品经理或公司领导人提出需求 ，如果是第三方公司的项目,由第三方公司的需求负责人提出需求.此时的需求作为项目的可行性研究。2.需求分析。进行需求调研 - 调研竞品,如果是给甲方做的项目,需要和甲方在调研的过程中继续确定需求。3.技术选型。确定项目中各个阶段需要的框架和技术,需要和多个开发部门一起研究协商。4.可行性分析。确切的说就是预研工作 - 开始搭建一个基本的环境,模拟一些数据来进行前期的可行性测试。5.指标分析。根据需求来确定需要实现的指标。6.数据对接。数据的生成,数据的采集,数据清洗,数据存储(数仓的建立)(在项目前期,这个工作相当重要)。7.数据分析。把每个指标转换为代码的过程,实现过程中的测试工作。8.结果数据的存储9.数据展示。由运营部门负责该工作。项目技术框架1.玩家通过推广网站获取信息,进入官网。2.官网通过js埋点来收集用户的点击流日志(agent)。3.agent对接到logserver。4.需要一个消息中间键kafka,启动解耦异步并行的作用,数据分为多个topic。5.数据通过logstach对接到es集群,elasticSearch负责存储元数据。6.数据分析分为实时需求和离线需求。7.实时需求从kafka,使用sparStreaming对接,离线需求从es,使用spark core对接
人人文库> 全部分类> 教育资料 > 开题报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论