大数据技术大数据公司大数据工程师实习报告

大数据技术大数据公司大数据工程师实习报告一、摘要2023年7月1日至2023年8月31日，我在一家专注于大数据分析的公司担任大数据工程师实习生。在为期8周的实习中，我主要负责搭建实时数据采集平台，通过Hadoop和Spark处理日均约1TB的用户行为日志数据，并利用Python编写ETL脚本将数据清洗效率提升30%。核心成果包括实现用户画像标签系统，完成200+标签的自动化计算，准确率达92%；优化Hive查询性能，将热点数据表查询时间缩短至5秒以内。期间，我深入应用了Kafka进行数据流处理，结合机器学习算法预测用户流失概率，模型AUC值达到0.85。通过实践掌握了数据管道搭建与调优的全流程方法论，可复用代码模块包括分布式任务调度框架和异常监控告警系统。二、实习内容及过程1实习目的去8周前，我主要想看看自己学的那些大数据课程能不能在实际工作里用上，了解下业界是怎么运作数据平台的，顺便积累点项目经验，看看自己到底喜不喜欢这个方向。2实习单位简介我实习的公司是做企业数据分析的，规模不大不小的那种，主要帮客户做用户行为分析、营销效果评估这些。他们用的技术栈还挺全，Hadoop、Spark、Flink都有涉及，数据仓库是用的Hive，实时数据处理靠Kafka加Kudu。3实习内容与过程开头两周主要是熟悉环境，跟着导师跑通几个基础的数据管道，处理的是前几个月积累的静态用户数据。我用Python写ETL脚本，把分散在几个MySQL库里的数据合并到HDFS上，然后用SparkSQL做初步的清洗和转换。导师让我关注数据质量，每天要盯监控看有没有坏数据或者任务跑挂的。后来发现一个bug，某个字段经常有乱码，得手动去上游系统提需求改。这让我明白数据治理真不是随便说说，得实打实管起来。第三周开始接触实时项目，有个客户要做一个24小时更新的用户活跃度统计。我负责接入他们App推过来的设备日志，用的是FlinkCDC模式，数据先丢到Kafka，再由Flink消费计算。刚开始卡顿挺严重的，监控显示延迟能到几分钟，客户那边催得急。我花了两天时间调优，主要是在Flink里面加了几个缓冲窗口，把批处理和流处理结合了一下，最后延迟降到了几十秒内。导师还教了我怎么用Flink的Savepoint功能做任务版本管理，避免随便改代码把历史数据给改坏了。后面又参与了用户画像项目，要把用户的消费、浏览、社交等行为数据整合起来打标签。这个项目用到了SparkMLlib里的聚类算法，我把原始特征标准化后跑KMeans，发现聚出来200多个簇，再结合业务规则手动分了150来个标签，比如“高频购物者”、“品牌忠诚粉”之类的。做这个的时候我才知道特征工程有多重要，有些没太清洗的数据直接用效果就差很多。4实习成果与收获8周里我独立完成了3个数据管道，日均处理数据量从几百GB提到近1TB，几个核心报表的生成时间从小时级降到分钟级。最大的成就是那个实时活跃度项目，上线后客户反馈说数据更新及时多了，他们做营销活动能更快看到效果。这让我挺有成就感的，虽然过程挺熬人。收获最大的还是解决实际问题的能力，以前在学校做实验数据都挺干净的，真到公司发现各种脏数据、数据缺失、格式不统一的情况，得用各种骚操作才能搞定。而且学会了怎么跟业务方沟通，知道他们真正要的是啥，而不是我把所有我能做的技术都堆上去。5问题与建议实习期间也发现一些问题。比如公司内部数据平台文档太少了，有些老项目的设计思路都找不着记录，新人接手特别费劲。另外他们培训机制也不太完善，就给我发了几篇Wiki，没系统带过。我当时连他们自研的一些工具都不太懂，只能靠自己摸索。我建议他们可以搞个内部知识库，把项目文档、运维手册什么的系统整理下，再搞个新人培养计划，至少每周安排个时间跟导师或者资深同事对焦。而且我觉得我们组用Flink的机会挺多，但培训里关于状态管理的部分讲得太浅了，要是能多接触些复杂场景的案例就更好了。三、总结与体会1实习价值闭环这8周实习像把理论和实践搭了个桥。刚来的时候懵懵懂懂，觉得Hadoop、Spark就是装在服务器上的软件，现在明白了它们怎么在分布式环境下协作处理PB级别的数据，背后的设计哲学和优化细节才真正搞懂。比如我参与的实时项目，从最初Flink任务动辄几分钟延迟，到后来通过调整状态后端和checkpoint策略降到秒级，每一步优化都让我对流处理的理解更深一层。这8周让我真切体会到，数据工程师不是简单地跑几行代码，而是得懂业务、懂数据、懂系统，才能把数据变成价值。2职业规划联结这段经历直接影响了我的职业规划。之前我还在摇摆要不要往算法方向发展，现在明确了想继续深耕数据平台这块。公司里那个用Flink做实时风控的项目让我特别兴奋，发现分布式计算和机器学习结合的场景那么多。回去打算重点补Flink的源码和状态管理知识，顺便把AWSEMR和AzureDatabricks也玩熟，秋招的时候目标就是往这种有平台基因的团队投递。导师还给我推荐了几个GrokkingtheDataStack的在线课，说能帮我补底层知识，我打算下学期就把这系列看完，争取把SparkSQL的执行计划分析练到能看懂复杂查询的级别。3行业趋势展望在公司看到好几个技术趋势正在落地。比如那个用户画像项目里，他们用图数据库Neo4j做关系推荐，数据量不大但效果惊人，说明传统时序分析之外，图计算也在慢慢往业务里渗透。另一个现象是实时计算和批处理的融合，几个新项目都是用Flink先处理流数据，再同步到Hive做长期分析。这让我意识到，未来数据工程师可能得同时掌握批流处理技术栈，还要懂点云原生和湖仓一体架构。行业里越来越强调数据产品的理念，光会写代码不够，还得知道怎么跟业务方互动，让他们觉得数据有用。这点我在实习里做得还差，比如用户画像项目最后交付的标签系统，业务方用起来就不太顺手，下次再遇到类似情况得提前多沟通，把需求颗粒度搞清楚。4心态转变最深的体会还是心态变了。以前做实验遇到问题就跑去找老师，现在碰到bug第一反应是自己查文档、翻源码、看监控，8周里提交的Jiraissue从最初的半天解决一个，到最后能自己排查出70%的问题。最爽的是那天凌晨三点，我发现实时系统有个数据倾斜问题，赶紧加了个rebalance策略，第二天一早线上就正常了，客户那边没受影响。那一刻才体会到什么叫数据责任，这种压力其实挺锻炼人的。虽然累，但想到自己的工作能直接影响到业务，就觉得值了。回去要继续练抗压能力，准备把LeetCode上的分布