大数据技术大数据公司大数据工程师实习生实习报告

大数据技术大数据公司大数据工程师实习生实习报告一、摘要2023年6月5日至8月23日，我在一家专注于企业级大数据解决方案的公司担任大数据工程师实习生。核心工作成果包括参与构建实时数据管道，处理日均1亿条交易数据，通过优化ETL流程将数据加载效率提升35%；搭建数据可视化看板，集成10个业务指标，为营销部门提供决策支持。专业技能应用方面，熟练运用PySpark处理分布式数据集，使用HiveQL执行复杂SQL查询，并应用Kafka进行数据流实时传输。提炼出可复用的分布式计算性能调优方法论，包括参数调优与数据分区策略，验证了在3TB数据集上执行特定查询时，分区优化可使响应时间缩短至原任务的60%。二、实习内容及过程1.实习目的去8周前，我心里想的就是多看看实际的大数据项目怎么跑，别光在纸上谈。知道公司主要做企业数据中台这块儿，想摸摸真实业务场景下数据怎么从采集到分析，最后给业务方用上。2.实习单位简介那家公司做SaaS数据服务，客户主要是零售和互联网行业的。他们那边数据源挺杂，有MySQL、MongoDB，还有不少IoT设备传过来的时序数据。技术栈主要是Hadoop生态，再加点Flink做实时。3.实习内容与过程第2周开始接手一个项目，帮运营部门做用户行为分析。他们之前用的传统ETL工具跑得慢，一天才出一次数仓报表。我接手后改用PySpark写脚本，把数据先扔到Kafka队列里，然后用SparkStreaming每小时聚合一次。具体操作是调了Spark的shufflepartition参数，把1000个分区调到200个，跑起来内存占用从8G飙到50G，但速度确实快了。还用HiveQL写了条200行左右的SQL，把7张表关联起来算用户分层，光编译就花了10分钟。第6周参与过一次数据应急。某天凌晨客户投诉报表全错，发现是上游某个第三方API突然开始返脏数据，里面全是乱码。当时就临时加了个正则表达式过滤，再加个日志埋点，第二天早上上线修复脚本，没耽误客户报表。4.实习成果与收获最后那套实时数仓上线后，运营那边说现在能随时看数据，以前等报表等得发疯。我算了下，日均处理量从500万条提到1800万条，峰值能抗住3000万。最值的是学到了怎么调优Spark内存，之前在学校跑实验随便调参数，去公司才知道得看GC日志，内存分配得像挤牙膏一样。5.问题与建议遇到的坎儿有两次。一次是系统环境太旧，我的JDK版本跟公司差3个，很多新包装不上。当时就临时在本地搭个虚拟机模拟环境，花了一下午。另一次是培训太水，导师就给了我10个文档让我自己看，里面一半是过时方案。我后来自己找开源项目跟着练，把FlinkCDC搞明白了。那公司管理上有点乱，比如需求变更没人统一记，我接手时发现上周改过的逻辑我又重写了。建议他们搞个Jira系统，需求进来得有人跟踪进度，别靠微信群吼。另外岗位匹配度问题也真存在，我第4周才真正摸到核心业务代码，前面3周都在帮运维调Hadoop集群。要是实习前能给我发几份真实项目文档，效率会高很多。三、总结与体会1.实习价值闭环这8周像坐了个快速通道，学校学的理论框架突然有了具象载体。记得第3周调试那个Spark作业时，卡在内存溢出问题上，对着JVM监控图查了3个多小时GC日志，最后发现是reduceByKey的shuffle分区没调对。当时头都大了，但搞明白后特别有成就感。这种从“知道”到“做到”的闭环，比单纯听课收获大多了。比如我之前觉得HiveQL很高级，实习后天天写200行以上的复杂查询，现在才懂什么情况下要用joinmapside，什么情况下得考虑bucketjoin，这些都是在手把手调代码中学到的。最扎心的变化是数据量概念。学校做实验几百M都算大动静，去公司接触的日均处理量动辄亿级，这逼着你得真的懂分布式体系。有次算用户画像，1TB数据跑个聚类算法，我优化了参数让MapReduce任务从10个节点缩减到3个，老板当场说“这就是经验值”。2.职业规划联结这次经历直接让我把职业路径清晰了点。之前模糊觉得大数据工程师就是个ETL工具人，现在看明白得会写SQL、懂实时计算，还得懂数据可视化。回去打算先啃两本Flink的源码文档，再考个CKA认证。实习时看到隔壁组在搞数据治理，说起来简单但真是个大市场，可能明年秋招会关注这类岗位。最直观的感受是，学校教的分布式基础理论是骨架，但企业级开发里那些“坑”比如怎么防止数据倾斜、怎么选对压缩算法都得靠实践补课。3.行业趋势展望在那家公司摸到不少行业暗流。比如现在做数据中台，很多公司还在用传统两阶段ETL，但业务需求已经催着往实时方向发展。我参与的那个项目里，业务方天天催“能不能秒出数据”，技术这边还在跟Hive批处理较劲。这让我看到Flink、Pulsar这类流处理技术的重要性。另外数据安全这块也突然被重视起来，有次调接口被安全部盯到，说我的代码可能存在数据泄露风险，虽然最后没出事，但意识到合规性比单纯跑快更重要。从心态上说，最大的转变是抗压能力。以前做项目改个参数得等半天，公司这边半夜线上出问题电话一来就得爬起来。有次凌晨三点发现Kafka分区数据丢失，硬是跟运维搞到早上六点才恢复。虽然累，但那种“我负责”的感觉，比学校做实验轻松多了。回去打算把实习期间写的那些性能调优脚本都整理成个人项目，说不定真能帮到以后面试。四、致谢1.感谢那家公司提供了实习平台，让我有机会把课堂上学到的Hadoop、Spark这些理论用在真项目上。跟着导师接手的项目，从数据管道搭建到可视化上线，每一步都挺受启发的。2.特别感谢我的实习导师，当时调试Flink作业卡了很久，他给我发的代码注释比学校老师一整个学期的课都实用。还有带我的几位师兄，教我怎么看线上监控日志，这种实战技巧真的帮大忙了。3.学校