ID:22727
程梅 大数据开发工程师 12年经验
2025-05-04
个人介绍:1、熟悉数仓建模,做过大型项目的数仓开发经验。 2、精通sql,做过很多复杂的sql指标运算,包括MR、spark作业调优。 3、熟悉bi工具,可以做报表展示。 4、熟悉spark,可以用spark计算指标。 5、熟悉python,掌握常用的python方法,负责过数据治理功能的开发,包括但不限于(数据产出监控,数据质量监控,hdfs和yarn运行资源的监控,自动化开发工具等) 6、掌握数据治理理论,包括元数据管理和数据管理,数据地图,数据血缘开发等。
项目经验:一、网盘核心数仓表全链路迭代 项目背景:出于公司降本指标,核心指标稳定性问题频发,故迭代升级历史核心任务链路(包括:sql 链路调优,spark 性能参数调优,表功能迭代)。 主要职责: 1、调研需要迭代的指标数量,分析各个计算链路存在问题,并设计优化方案。 2、优化上游调用表链路,拉取更合理的分区,以及 sql 调整减少 shuffle ,调整 spark 参数提高性能,并通过 sapark web 观察 stage 的实际产出效能,调整 executor 、core partition 数量,以及内存的大小等参数来提高效能,并尽量精确节约计算资源降低成本。 3、测试优化后的链路是否通路,并校验数据的准确性,并对比优化前后的成本和效能。 项目业绩: 1、提高了任务链路例行成功率,做到除系统故障外几乎0失败。 2、 降低了计算资源成本35%,提高了计算效率20%。 二、网盘部门计算资源治理系统开发 背景:部门确少全局的资源和任务监管系统,很多队列存在资源浪费和作业不规范的情况,故 ,开发网盘队列资源和作业相关的监管系统,实现全局治理计算资源。 项目职责: 个人开发 1、通过对 队列资源信息的抓取,实现队列稳定性相关的监控。 2、通过一些策略对队列任务进行管控,保证队列资源的稳定性和规范性 3、 提取队列上的作业的核心信息入库并通过可视化展示查询。(包括各个时间作业运行时间,是否触发报警,各个作业运行在哪个队列,消耗多少内存以及 core ,并统计资源占用 top榜,各个时间段的队列资源占比,以及各个时间各队列作业数量统计等相关维度展示) 项目业绩: 大盘上实现了网盘队列和作业的稳定性和规范性。 通过该监控系统,节约大盘计算资源成本 20%。 可以全盘监控和统计网盘运行作业的信息,对后续网盘业务链路迭代提供了数据基础。 三、网盘埋点数据用户pv uv 留存的全链路开发和可视化 1、协同 PM 确认数据口径和需求指标。 2、 从数据库和埋点数据进行采集 etl 处理入 ods层。 3、对数据纬度进行加工聚合,行转列降维成 dws 层宽表,方便 ads 指标取数。 4、 对各个埋点类型的用户(包括 tool、card 、资源位、小飞机、电商、push 等多渠道)进行分类统计 展现 pv,uv 点击 pv,uv 和留存,留存率,ads 层指标。 5、将指标数据通过开发 shell 倒库脚本导入到数据库。 6、 通过 bi 可视化展示收益指标
技      能: 其他  
¥1400 / 8小时
立即预约
ID:22390
蔡凤兰 学生 7年经验
2025-04-17
个人介绍:1. 传感器技术:能够操作和解读各类传感器的工作原理,了解其在物联网系统中的作用。 2. 网络通信技术:熟悉各种通信协议,如TCP/IP,MQTT等,以及无线网络技术,如Zigbee、LoRa等。 3. 数据分析与处理:具备数据处理、分析和挖掘的能力,能够处理海量数据,提取有价值的信息。 4. 嵌入式系统开发:具备嵌入式系统的设计和开发能力,了解常见的嵌入式操作系统。 5. 云计算和大数据技术:理解云计算和大数据的基本原理和应用,能够应用相关技术进行数据处理和分析。 6. 物联网安全技术:了解物联网系统的安全威胁和防护策略,具备安全设计和实施的能力。
项目经验:项目经验:智能农业物联网系统 在该项目中,我负责设计和实施一套智能农业物联网系统,通过传感器收集农田环境数据,如温度、湿度、光照等,并通过网络通信技术将这些数据传输到云平台。我运用数据分析技术对收集到的数据进行分析,为农民提供科学的种植建议。同时,我还对整个系统进行安全防护,确保数据的安全性。 通过这个项目,我深入了解了物联网在农业领域的应用,提高了我的传感器技术、网络通信技术和数据分析能力。同时,我也意识到物联网安全的重要性,并掌握了相关的安全防护技术。这次经验让我更加自信地面对未来的工作挑战。
技      能: 其他  
¥1500 / 8小时
立即预约
ID:22575
孙欣 开发工程师 1年经验
2025-03-22
个人介绍:具有面向对象思想,扎实的编程功底以及良好的编码习惯; 熟练应用Struts+Hibernate,SSH2框架和MVC三层架构开发模式; 熟练Oracle数据库的操作,能够编写存储过程,熟悉Mysql和SqlServer数据库; 熟练Tomcat服务器的部署及应用; 熟悉版本管理器SVN; 熟练使用Jsp,HTML,JavaScript,Jquery,Ajax,Css等WEB客户端技术; 了解设计模式,代码重构和项目过程管理,能够编写文档
项目经验:2018/07—2020/04 方元财富&方元资产 软件环境:win7+jdk1.7+ SVN 开发工具:eclipse+mysql 项目简介:方元财富(https://www.foryone.com)&方元资产(https://www.foryons.com)为方元集团旗 下财富平台和资产平台,其主要的作用为新闻发布,产品展示,客户反馈接收等功能。 2018/07—2019/07 方元金服 软件环境:win7+jdk1.7+ SVN 开发工具:eclipse+mysql 项目简介:方元金服系统(http://www.fangyuano.com/)是一款P2P理财系统,专注于房贷和车贷垂直细 分领域。 方元金服秉承诚信、严谨、创新的核心价值观,打造高效、诚信、透明的互联网金融平台,致力成为中国 互联网金融行业未来的锻造者。 责任描述:本人主要参与了系统与中国互联网金融协会的对接工作,按照其要求共对接四大项,若干小项,使平台运营正规化,合法化。并参与系统的日常维护。 2017/01—2017/06 你的世界跨境电商系统 软件环境:win7+jdk1.7+ SVN 开发工具:Myeclipse10+mysql 项目简介: BBC商城系统是采用Java语言开发的多用户商城系统,使用Spring+JPA+Velocity+Ehcache作为基础开发架构,应用SpringSecurity框架管理系统权限,结合URL重写技术静态化商城前台页面。BBC结合多年的电商开发经验及主流电商的功能特点,注重系统易用性、功能性、扩展性,充分考虑大数据、大并发、系统安全、SEO功能,使得系统设计更加完善,更加高效稳定
技      能: 其他  
¥800 / 8小时
立即预约
立即预约
意见反馈