计算机科学与技术专业XX科技公司大数据实习报告

计算机科学与技术专业XX科技公司大数据实习报告一、摘要2023年7月1日至2023年8月31日，我在XX科技公司担任大数据实习生，负责处理与分析海量用户行为数据。通过运用Hadoop、Spark和Python等工具，我完成了对200TB交易数据的清洗与整合，构建了实时数据流处理管道，日均处理效率提升至1500GB。核心工作包括设计并实现用户画像标签系统，输出200个标签维度，准确率达82%，支撑业务部门精准营销决策。期间，我深入应用了分布式计算框架优化算法，将数据倾斜问题解决率提高60%。此次实习让我掌握将理论模型转化为生产级代码的实践方法，验证了通过参数调优实现资源利用率最大化的有效性。二、实习内容及过程1实习目的想着实习能摸摸真正的生产环境，知道数据怎么从一堆乱码变成能指导业务的洞察，没想太多，就想学点真本事，看看自己学的那些分布式、机器学习理论在实践中是啥样。2实习单位简介我实习那家公司啊，是做大数据解决方案的，客户好多是金融和电商，数据量是真不是盖的，TB级别的东西天天打交道。他们用的技术栈还挺全，Hadoop、Spark、Flink轮流上，所以我去那边感觉能学到不少东西。3实习内容与过程我主要跟着一个小组做用户画像系统，那活儿挺考验功夫的，得把各种来源的数据打通，还得保证实时性和准确性。7月10号开始接手清洗用户行为日志的任务，原始数据乱得要命，各种格式都有，还得处理重复和缺失值。我们那套ETL流程是用Python写的，每天跑下来要花大半天，我琢磨着能不能优化一下，就用了pandas的chunksize参数，把大文件分小块处理，最后把时间从8小时缩到3小时。后来又参与搭建了实时计算链路，用Flink做窗口统计，看着每秒都有新的用户行为数据被处理，感觉特别带劲。有个坎儿是数据倾斜，8月5号那会儿调试一个Sparkjob，发现某个分区的数据量爆表，导致集群YARN资源告急，跑起来卡得要死。查了日志才知道是某个维度字段值特别集中，我就提了个建议，让上游数据接入加个哈希扰动，把key打乱分桶，最后效果还真不错，倾斜问题缓解了70%。4实习成果与收获我主导完成了两个小模块，一个是用户标签打标系统，上线后日均标签输出量从5000万提升到1.2亿，准确率从75%提高到82%，业务那边反馈说精准推荐点击率提升了15%。另一个是优化了实时计算脚本，把Kafka消息处理延迟从500ms降到100ms以内，支撑了秒级用户行为的监控需求。最大的收获是明白怎么把理论落地，比如学到了怎么根据数据特点调优Spark的shuffle机制，还有怎么用FeatureEngineering把原始特征变成机器学习模型能吃的格式。5问题与建议实习期间感觉管理上有点跟不上，比如需求变更太多，但沟通流程又有点死板，有时候得等半天才能和产品经理对上话。另外培训方面，技术分享挺零散的，很多是现学现用，要是能有个系统的入职培训计划就好了。岗位匹配度上，我来了之后发现实际工作跟学校学的课程重合度70%左右，但很多企业用的新工具和踩过的坑都没讲到，比如我们用到的某个反作弊算法的细节，学校里根本接触不到。建议公司可以搞个内部Wiki，把常见问题、解决方案都记下来，新来的学生也能快速上手。三、总结与体会1实习价值闭环这8周就像把两年半学的知识过了一遍，但完全不一样。7月1号来的时候，我连Kafka怎么配置都记不清，8月31号走的时候，还能对着Flink的监控dashboard讲几个骚操作。最值的是把数据清洗的脚本从8小时跑快到3小时，虽然只是个小优化，但看到200TB数据在我手里乖乖听话，那种成就感挺实在的。公司那套从数据接入到下游报表的完整流程，让我把课堂上学到的分布式理论、SQL优化、特征工程都有了具象化的认识。比如之前觉得挺玄乎的模型调参，现在明白其实就是在SparkSQL里多试试`CAST`函数的类型转换，或者改改窗口函数的`PARTITIONBY`条件，效果真的差不少。2职业规划联结这份实习让我看清了想进大数据岗位得练哪些真功夫。现在每天下班都会在GitHub上敲敲Flink的窗口算子，或者研究下HiveonSpark的表分区策略，感觉离秋招的要求又近了一步。原来学校里那种为了考试而学的课程，现在都成了我简历上的加分项。比如我做的用户画像系统，虽然只是把别人用过的方案改改，但最后把标签实时化输出的经验，至少能让我面试时吹个牛说“我参与过一个日均处理1.2亿条数据的实时项目”。3行业趋势展望在那段时间，明显感觉到整个业务都在追“实时”。我参与的项目里，Flink的使用频率比去年高了近一倍，业务部门现在提需求都是“我要秒级看到用户行为”，连报表都从T+1改成了T+5出。这让我意识到，光会Hadoop已经不够看了，后续打算报个AWS的大数据认证，看看云上那些Serverless服务怎么玩。另外，他们那种用机器学习做反作弊的场景也特别有意思，感觉比单纯做推荐系统更有挑战性。虽然实习期间没太接触，但回来得赶紧补补图数据库、知识图谱这些方向，感觉这些才是未来的大方向。4心态转变以前写代码就是完成任务，现在会想怎么让系统更健壮。8月15号晚上调试的时候，因为一个分区的数据量太大把集群拖崩了，第二天被leader叫过去挨了顿批，当时挺难受的，但第二天就开始研究数据倾斜的解决方案。现在回头看，这种压力其实是好事，至少让我知道线上环境不能瞎改参数，得先在测试集群跑几遍压测。这种从“我写对就行”到“我负责跑通”的思维转变，可能是实习最大的收获。5未来行动下学期打算把实习里用到的Spark调优技巧整理成文档，再报个Kubernetes的课，争取把容器化部署也拿下。现在看招聘要求，很多岗位都要求你会用云平台，光会本地跑太落后了。另外，他们内部有个技术分享会提到P3V模型做特征工程，虽然没太懂全，但回来查了不少资料，感觉这东西对做推荐系统特别有用，后续得系统学学。四、致谢1在XX科技公司这8周的实习经历，离不开好几位人的帮助。我的直属导师给了我很多具体指导，尤其是在数据倾斜问题上，他让我明白怎么把理论落地。团队里几位师兄也特别耐心，教了我不少Fl