ID:22732
杨平 数据库工程师 12年经验
2025-06-17
个人介绍: 能够熟练使用HTML+CSS/JavaScript等前端开发工具;  熟悉Linux的常规操作,能使用Linux系统进行相关项目的开发和编写shell脚本;  熟悉python语言,能够使用numpy,pandas,等数据分析模块,能结合scrapy框架和bs4模块,flask模块,实现对网页上数据的抓取和提取工作,制作爬虫;  了解pytorch,transform等深度学习框架  掌握Hbase存储原理和读写机制,掌握常用的数据存储工具,Mysql,Redis,mongodb;  熟悉Hadoop结构和其工作原理,掌握HDFS存储机制,编写MapReduce程序,掌握Yarn资源分配策略;  掌握Hive的架构,熟练使用sql语句,对数据进行ETL操作,数仓建模,数据分析,以及hive的相关调优;  能运用Sqoop进行数据的采集和传输;
项目经验:项目名称: 基于爬虫和大数据的结合 开发周期: 3个月(2023-2-2023-3) 项目描述: 爬虫将数据导入到mysql数据库中,通过sqoop将MySQL中的数据导入到Hadoop的hdfs中,Hadoop集群运用hive进行sql数据库查询,使用hdfs将数据存储在节点,并实现提取出用户留存率,日创建用户和日活跃用户,用户地址,各个年龄段的用户。通过一系列的数据筛选,提取,转换来调查用户需求,来描绘用户画像。 项目架构: Mysql + Sqoop + Hadoop +python爬虫 技术实现: 1. 使用爬虫将爬到的数据传入mysql里面。 2. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3.使用SparkCore/SparkSql对数据进行清洗,最后将数据存到Hdfs,映射的到hive表; 3. 创建ODS、MI、DWD、WT、DIM、TMP层; 5. 将数据进行图表展示,发送给运营、产品、测试、管理层。
技      能: 其他  
¥200 / 8小时
立即预约
ID:22510
唐霞 技术总工 11年经验
2025-06-17
个人介绍:担任 技术总工期间,主要工作内容包括: 1、负责物联网平台建设(负责技术方案解决+关键技术代码实现可行性验证、甲方沟通、开发管理等); 2、公司知识产权申报工作; 3、主导针对开发技术难点的技术评审; 4、根据公司开发现状,制定开发规范,组织技术培训,协助形成奖惩管理制度; 5、负责规划公司产品线,为公司产品整体优化提供解决(包括关键代码验证--主要使用Java、C#、C++、Python语言),规划公司产品面临的未来关键技术突破点(包括生存技术和发展技术); 6、探索建筑物联网领域中大数据分析、机器学习等数据分析方法的应用可行性和方向,为公司决策层提供决策讨论参考。 此外,参与N个投标方案技术架构的设计文档以及部分方案人员分工等工作;负责部分客户的解决方案报价(分析需求,列出模块项工作量、技术难易程度,形成总体报价和周期);提供合作伙伴和甲方的技术解决咨询等。
项目经验:1、参与-路由器开发 持续一年时间参与基于Nuclear企业路由器项目开发工作(C语言X.25、RIP、整体运行、调度等实现,并协调完成综合测试任务) 2、个人完成-单片机与嵌入式软件开发 根据Atmel mega64主芯片+GSM+GPS的产品电路板(有PDF原理图和功能使用说明),三个月单独完成GPS+GSM手机短信定位、电子围栏、电话接打等功能软件实现以及串口升级固件等。 能够读基本数字电路原理图,熟悉单片机、Linux等嵌入式开发流程。 3、个人完成-跨平台消息中间件 单独设计和实现,使用C++,跨Windows和Linux平台。主要用于数据同步。该项目涉及跨平台的多线程并发、互斥访问、MySQL访问、网络通信、自动压力测试、面象对象的开发等技术。 4、个人完成-串口在线侦听软件 为方便实现获取远程计算机串口通信设备的通信数据,开发了针对Windows下串口通信数据的侦听软件,该程序能够嗅探指定串口的收发数据流,保存为文件,以用于分析,系统涉及Windows内核编程相关技术。 5、带领团队-基于30个信息系统的数据集成、联动与利用 为解决“信息孤岛”问题,封闭半年时间,带20-30人的团队,完成联勤保障部门的30多个信息系统(财务、干部、交通、装备、油料、兵员、卫勤、保障卡等等)的数据实时集成、数据组织与存储、展示和数据利用系统 本人角色:作为项目实施总负责人,承担项目经理、构架师、总体设计和关键技术突破的角色。 6、带领团队-Linux北斗数据采集与共享服务器 为充分利用北斗设备的通信、定位、授时能力,解决分布式情况下的数据采集、共享与应用。 本人角色:整体设计、所有后台功能和API服务的设计与实现、Web功能的设计和指导实现。系统曾在行业内部大范围部署使用。 7、带领团队-Linux通信服务器的设计与实现 为充分利用现有通信手段,有效解决用户与用户、用户与应用、应用与应用之间的“动中通”的问题,带领团队,设计并实现一个向下能够支持多类通信通道(IP网络、电台、固定电话、北斗等)、向上为不同用户和应用提供多类通信服务(短信、文件、流等)的可控自适应通信平台,该平台以服务器的方式提供相对独立的功能。 8、带领团队-负责基于亚马逊云的物联网平台架构+技术解决 基于亚马逊云的物联网平台(也包括其他云资源,IoT整套\DynamoDB\VPC\EC2+AutoScale\MySQL\Redis\Redshift\Lambda\API-Gateway\计费等\API开发等),构建面向建筑业务的设备接入、管理和服务平台(相当于开发基于亚马逊云资源的建筑设备物联网平台)。提供总体解决方案(包括系统的全流程逻辑设计),并从事关键开发实现:熟悉亚马逊物联网相关的云资源能力和使用流程,了解其它大厂物联网的基本能力(针对亚马逊、阿里、华为、腾讯解决方案有过部分比较分析),了解如何设计自己的通用物联网平台。 9、带领团队-负责设备采集边缘网关总设计和项目管理 主导设计了一款类似嵌入式网络设备的物联网网关(基于CentOS),支持插件设备接入、可配置式多方数据上报,系统包括采集上报后台和基于JavaWeb的Web配置管理,支持Modbus、Bacnet、OPC、数据库访问等多类插件。本人设计了整个框架结构、关键技术问题的解决方案或算法设计、任务划分、进度跟踪、开发人员协调等工作。该网关应用于公司所有(几十个)物联网平台接入项目中。 10、为所有内网网关远程管理提供解决办法 针对内网部署的 Windows、Linux机器提供远程访问、远程数据接入调试等提供解决办法,并指导设计了一套将 互联网内网机器TCP服务提供到公网服务的映射代理软件,支持Windows和Linux下的TCP 服务访问(如Linux-SSH、Windows远程桌面、Web Http、RTSP协议远程摄像头查看等 )。该方法为公司长期维护上百个内网服务。该软件功能方面类似市面上的 TeamViewer、向日葵等软件,但功能面更广,同时支持Windows和Linux系统下的所有 TCP服务。
技      能: 其他  
¥1100 / 8小时
立即预约
ID:22798
马娜 实施项目经理 7年经验
2025-06-17
个人介绍:1、熟练linux,windows等操作系统 2、熟练掌握Apache、nginx、服务的部署及优化主流中间件如tomcat、等安装部署 3、熟悉Oracl,mysq,oceanbase,等主流数据库安装部署以及数据库工具的使用 4、熟练部署集群redis主从,主主,哨兵负载集群 5、熟练使用mysql数据库,并对其进行管理、备份、以及搭建mysql主从集群 6、熟悉使用office办公工具的使用,具有一定的工作文档编写能力 7、熟悉docker技术,docker部署系统平台及平台维护 8、能够熟练编写shell脚本
项目经验:项目名称:中国石油会管定制项目 项目时间:2021.6-2022.5 项目介绍:中国石油项目在此之前一直采用polycomMCU进行开会,具20年初,国家开始支持国产化系统产品,为此中国石油企业把原有的polycom设备,换成华为以及小鱼平台。但因华为和小鱼是两个操作平台,并不能同时管理,并且在开会当中,操作不能同步,并且每个操作系统的步骤和逻辑也是不一样的,无法达到客户的准确性和效率性,为此,在使用小鱼和华为的设备上,安装会议管理软件,而会议管理软件的优势在于,多种设备兼容,操作步骤一致,多个设备并行管理,满足客户统一管理的需求,在2020年年底中标后开始此项目的准备工作 项目职责:1、会议管理软件的主备方案编写,以及现场实施调试工作 2、现场会管软件的需求功能测试,部分测试用例编写 3、等保三级的漏洞修复方案编写,以及修复工作 4、部署nginx+keepalive反向代理以及负载均衡 5、系统漏扫过的修复工作并出示修复漏洞方案编写 6、mysql主从数据库的异地灾备部署 7、服务器安全基线设置,不仅限于(linux,windows) 8、每日到每周的工作内容汇总,每周的项目例会报告 9、跟踪开发人员的需求计划,保证规定时间内完成 10、项目中客户新提出的需求记录反馈,配合商务层次,促进该需求订单 项目成果:中国石油项目与2020年年底启动,到目前为止,会议管理软件已正式上线,并且在会议保障期间无重大问题发现,实现了多种视频会议设备统一管理的需求,并且对于中国石油相对较大的业务量,,上线初试后一个月视频会议运维组统计当中,平均一个月150场会议,在原先设备上开会会前调试需要20分钟,减少到目前的的单个会前调试约7分钟,减少了13分钟,将近一个月减少了近2000分钟,尽可能的减少了开会-结束-统计审计的时间,初步取得相对较好的成绩,虽然现在已经再走验收流程,但是在验收前得到了,客户的表扬信认可,为此后手机端会管软件项目开发合作奠定了良好的基础
技      能: 其他  
¥1100 / 8小时
立即预约
立即预约
意见反馈