ID:22511
宋冬梅 数据开发工程师 11年经验
2025-04-08
个人介绍:1. 对接运营/产品的需求,快速理解需求,利用SQL进行数据开发,产出报表。 2. 熟练掌握大数据技术的应用,DataX,spark,hive,flink,kafka等。 3. 掌握数据仓库建模和分层,能搭建高质量数据模型。 4. Python处理数据,包含json,excel等。 5. 有一定的SpringBoot开发能力,有UDF函数开发经验。
项目经验:项目描述: (携程大住宿数据分析平台) 数据源为携程海内外各渠道母子酒店的订单信息,对数据进行清洗入仓 之后, 追踪酒店间夜数计算业务指标,并进行可视化报表展示。 项目职责:  数据研发: 计算携程酒店业务指标, 开发极速查询 BI 报表。  基于 Spark(Java)实现随机抽取算法计算指标,并设计 DQC 任务监控数据浮动, 保证数据质量。  基于 Spark Streaming + Redis 生成实时动态黑名单, 并从 Redis 中获取黑名单过滤数据。  将数据写入 StarRocks,根据需求设计 StarRocks 模型,并创建物化视图,索引优化来加快查询。  建立抽象数据模型,并设置人酒权限, 开发 ArtNova BI 报表。  任务优化: 优化批处理和报表任务,保证集群稳定。  对 Spark 进行内存调优(JVM) , 优化占用集群资源多和执行速度慢的 Spark 任务。  对 StarRocks 和 Hive 数据集进行分布式 SQL 调优,加快报表查询速度。 涉及技术: Spark, StarRocks, Hive, Presto, Datax, Redis 项目描述: 为了区分不同的本体关系在计算相似度时的特征,进行相关性分析。为了对海量文本进行自动分 类,结合大数据引擎设计了相似度并行算法,提高计算效率并具有很强扩展性。 项目职责:  相似度算法 (DIF): 基于相关性分析不同语义链接, 设计特征相似度计算方法, 结果准确度达到 94% 。  文本并行算法: 基于 MapReduce 引擎, 设计文本相似度并行算法。  结合 DIF 预先计算本体所有特征间的相似度。  将点对点相似度转化成特征对文本相似度,然后聚合得到文本间相似度,结果计算效率提升 70 倍。 涉及技术: Hive, Hadoop, Sklearn, Spss
技      能: 其他  
¥800 / 8小时
立即预约
ID:22426
姜斌 业余工程师 9年经验
2025-03-22
个人介绍:作为一名爬虫和测试方面的技术顾问,我具备以下技术能力: 1. Python爬虫技术:熟练掌握Python编程语言,能够使用Python编写高效的爬虫程序,实现网页数据的抓取、解析和存储。具备对网页结构和数据抓取规则的深入理解,能够应对各种复杂的网站结构和反爬机制。 2.数据处理和分析:具备数据处理和分析的能力,能够对爬取的数据进行清洗、转换和分析,提取有用的信息并进行可视化展示,为业务决策提供支持。 3.测试技术:熟悉各种测试方法和工具,包括自动化测试、性能测试、安全测试等。能够设计和执行全面的测试计划,发现并解决系统中的缺陷和问题。 4.数据库和存储技术:具备数据库设计和管理的能力,熟练使用各种数据库系统,包括关系型数据库和mysql数据库,能够为爬虫程序和测试系统提供稳定高效的数据存储方案。 总之,我作为一名爬虫和测试方面的技术顾问,具备广泛的技术知识和丰富的实战经验,能够为客户提供全面的技术支持和解决方案。
项目经验:在我的项目经验中,我曾经开发过一个基于Python的12306抢票项目,该项目利用12306的API接口和自动化工具,实现了自动查询和抢票功能,提高了抢票的成功率和效率。同时,我还用python开发了一个基于Socket的卓面监视程序,用于监控网络数据流量和实时数据传输,保证了系统的稳定性和安全性。这些项目经验让我具备了丰富的Python编程和网络通信方面的技能,能够独立完成复杂的项目开发和系统监控任务。
技      能: 其他  
¥200 / 8小时
立即预约
ID:22761
李娜 全栈工程师、项目经理、设计人员 8年经验
2025-03-21
个人介绍:(1)软件服务: 二维GIS电子地图开发、三维系统GIS开发、提供数字孪生系统,智慧医院、学校、工厂等模拟仿真展示功能,以及各种系统 技术包含:Springboot、leaflet、cesium 、java、vue、element-ui等 (2)数据服务: 提供二维私有化地图制作、反色地图制作、路网制作、地图服务提供。 提供三维单体模型制作、倾斜摄影飞行、模型优化
项目经验:(1)智慧工业园区 主要由安全基础管理系统、重大危险源安全管理系统、双重预防机制管理系统、特殊作业管理系统、在线培训考试系统、安监驾驶舱。 围绕“一个平台”、“一张地图”为核心建设 利用物联网、云计算、互联网等先进的技术手段,结合行业高水平专家技术团队,实现园区安全生产管理从事前审批(备案)到事中事后监管的全面升级,以信息化的方式提升整体综合管理水平,实现覆盖企业档案、日常监督管理、重大危险源监控、风险管控、预警管理等的综合性功能 (2)智慧渔业渔光一体三维可视化系统 智慧渔业渔光一体三维可视化系统,面向农渔业大屏环境,具备优秀的大数据显示性能以及多机协同管理机制,支持大屏、多屏、超大分辨率等显示 情景。支持先进的人机交互方式,实现数据融合、数据显示、数据分析、数据监测等多种功能,可广泛应用于综合运营、监测应用、分析研判、展示汇报等场
技      能: 其他  
¥1300 / 8小时
立即预约
立即预约
意见反馈