程梅
大数据开发工程师
12年经验
2025-05-04
个人介绍：1、熟悉数仓建模，做过大型项目的数仓开发经验。
2、精通sql，做过很多复杂的sql指标运算，包括MR、spark作业调优。
3、熟悉bi工具，可以做报表展示。
4、熟悉spark，可以用spark计算指标。
5、熟悉python，掌握常用的python方法，负责过数据治理功能的开发，包括但不限于（数据产出监控，数据质量监控，hdfs和yarn运行资源的监控，自动化开发工具等）
6、掌握数据治理理论，包括元数据管理和数据管理，数据地图，数据血缘开发等。
项目经验：一、网盘核心数仓表全链路迭代
项目背景：出于公司降本指标，核心指标稳定性问题频发，故迭代升级历史核心任务链路（包括：sql 链路调优，spark 性能参数调优，表功能迭代）。
主要职责：
1、调研需要迭代的指标数量，分析各个计算链路存在问题，并设计优化方案。
2、优化上游调用表链路，拉取更合理的分区，以及 sql 调整减少 shuffle ，调整 spark 参数提高性能，并通过 sapark web 观察 stage 的实际产出效能，调整 executor 、core partition 数量，以及内存的大小等参数来提高效能，并尽量精确节约计算资源降低成本。
3、测试优化后的链路是否通路，并校验数据的准确性，并对比优化前后的成本和效能。
项目业绩：
1、提高了任务链路例行成功率，做到除系统故障外几乎0失败。
2、 降低了计算资源成本35%，提高了计算效率20%。
二、网盘部门计算资源治理系统开发
背景:部门确少全局的资源和任务监管系统，很多队列存在资源浪费和作业不规范的情况，故 ，开发网盘队列资源和作业相关的监管系统，实现全局治理计算资源。
项目职责： 个人开发
1、通过对 队列资源信息的抓取，实现队列稳定性相关的监控。
2、通过一些策略对队列任务进行管控，保证队列资源的稳定性和规范性
3、 提取队列上的作业的核心信息入库并通过可视化展示查询。（包括各个时间作业运行时间，是否触发报警，各个作业运行在哪个队列，消耗多少内存以及 core ，并统计资源占用 top榜，各个时间段的队列资源占比，以及各个时间各队列作业数量统计等相关维度展示）
项目业绩:
大盘上实现了网盘队列和作业的稳定性和规范性。
通过该监控系统，节约大盘计算资源成本 20%。
可以全盘监控和统计网盘运行作业的信息，对后续网盘业务链路迭代提供了数据基础。
三、网盘埋点数据用户pv uv 留存的全链路开发和可视化
1、协同 PM 确认数据口径和需求指标。
2、 从数据库和埋点数据进行采集 etl 处理入 ods层。
3、对数据纬度进行加工聚合，行转列降维成 dws 层宽表，方便 ads 指标取数。
4、 对各个埋点类型的用户（包括 tool、card 、资源位、小飞机、电商、push 等多渠道）进行分类统计 展现 pv,uv 点击 pv，uv 和留存，留存率，ads 层指标。
5、将指标数据通过开发 shell 倒库脚本导入到数据库。
6、 通过 bi 可视化展示收益指标
技 能：
其他
接单发单QQ群
代做毕设课设，实验报告，论文复现，商业软件开发等
有代做需求联系群主
客服QQ
客服微信