信息与计算科学科技公司计算工程师实习报告

信息与计算科学科技公司计算工程师实习报告一、摘要2023年7月10日至2023年9月5日，我在信息与计算科学科技公司担任计算工程师实习生。期间，主导开发并部署了3个分布式计算模块，累计处理数据量达2.1亿条，将系统响应时间优化至0.8秒以内。通过应用MPI并行计算框架和Docker容器化技术，实现了任务调度效率提升40%，支撑了5个大型项目的实时数据分拣需求。深入实践了Python与C++混合编程，调试修复了12处性能瓶颈，并沉淀出基于NumPy库的数据预处理流水线模板，该模板后续可直接应用于同类场景，减少60%的脚本开发时间。二、实习内容及过程2023年7月10日入职，在计算部门跟着导师做了8周的项目。主要帮团队搭一个实时数据处理平台，需求是每天处理超过1亿条交易日志。初期跟着导师熟悉环境，用了两天时间把公司内部封装好的Hadoop生态组件跑通，包括HDFS和YARN的配置，还弄懂了Kafka的零拷贝传输机制。第3周开始独立负责数据清洗模块，遇到的最大坎是内存溢出，日志格式不规整导致Spark任务频繁失败。花了整整一周时间，把代码改成增量处理+状态缓存模式，最后把内存占用从800MB降到了300MB，处理速度从每小时5万条提到12万条。导师还教了我怎么用JMX监控集群性能，现在看任务日志直接就知道是资源瓶颈还是代码问题。第5周参与优化查询接口，原版每次请求都要全表扫描，导致高峰期QPS掉到100以下。我提议改用Elasticsearch倒排索引，把数据先转成向量存进去，测试时发现现在响应时间稳定在80毫秒内，还能抗住3000QPS的并发。不过搭建索引花了3天，期间因为版本兼容性问题折腾了半天，最后发现得用6.8版的客户端SDK。最后一周参与代码评审，看到有段用MPI写的矩阵乘法并行化代码效率低，我把核间通信换成共享内存模式，性能直接翻倍。虽然只是个小优化，但感觉把分布式计算那本书的原理吃进去了。实习期间还帮测试部门写了自动化压测脚本，用Python+Pytest跑了500组数据，发现CPU核数设置成8的时候资源利用率最匀称。实习里最大的收获是搞懂了从数据接入到可视化的完整链路，以前觉得MapReduce就是跑跑作业，现在知道调优队列配额、设置合适的GC参数都能影响吞吐量。遇到的困难主要是跨团队沟通效率低，有一次要同步数据库变更，运维那边搞了两天才给到DDL语句，拖慢了部署进度。建议公司可以搞个内部Wiki专门放技术文档，现在问啥都得找导师或者翻历史聊天记录，挺费劲的。另外岗位匹配度上，我希望能接触更多算法调优的活儿，现在分配的任务偏工程实现，对个人成长帮助没那么直接。三、总结与体会2023年9月5日结束实习时，回头看这8周确实像坐了个快速列车，从懵懂到稍微有点数了。最值的是把上学时飘在空中的分布式系统理论，真真切切用在了跑通我们那套基于Hadoop的实时处理平台，处理1亿条日志的调优经验，比课本里几百页的案例加起来还实在。调试Spark内存溢出那段，前前后后改了15版代码，每次跑测试集都要等两小时，但看到JVM堆内存从爆到稳的时候，觉得那两周熬得特别对劲。导师说的"监控指标要从宏观看到微观"这句话，现在还刻在脑子里，后来帮运维定位节点故障就是靠这个思路。这段经历让我突然明白，做计算原来不只是写代码那么简单，得懂硬件、懂网络、还得会跟不同背景的人吵吵，才能把活儿干利索。比如有次压测时发现网络延迟突然飙升，最后查出来是隔壁部门把交换机带宽占满了，沟通了三天才解决。这种事在学校实验室绝对遇不到，真金白银的教训比任何实习报告都管用。现在回头看，当初觉得麻烦的代码评审会，其实收获最大，那些资深工程师挑出的问题，现在自己写代码也会主动检查了。对职业规划的影响挺直接的。以前想进大厂搞算法，现在发现懂底层的实现细节同样重要。下学期打算啃完《计算机体系结构》再补补操作系统课程，听说明年秋招有些公司会考L1/L2缓存设计，早准备早安心。行业里分布式计算和云原生的趋势明显，公司用的Kubernetes编排工具挺成熟，但我只摸到冰山一角，打算趁寒暑假找个相关的开源项目做贡献，顺便把Docker和CNI的证书考了。最深的体会是心态变了，以前写个程序跑出错误直接想找老师，现在会先自己查文档、看日志、甚至动手改系统配置，那种把问题摁死在手的成就感，比期末考高得多。虽然才8周，但感觉背上了"工程师"这块牌子，以后写代码得对别人用起来方便负责。这8周让我看清了，想不被淘汰，就得像公司那台24小时跑着的服务器一样，永远在学习和进化。四、致谢感谢公司提供这次实习机会，让我接触到了真实的计算工程场景。特别感谢导师，在调试Spark性能问题时给了我很多具体指导，比如那个内存溢出的问题，后来发现是调整了广播变量策略才解决，这个细节对我帮助很大。还有几位