ID:22732
杨平 数据库工程师 12年经验
2025-06-17
个人介绍: 能够熟练使用HTML+CSS/JavaScript等前端开发工具;  熟悉Linux的常规操作,能使用Linux系统进行相关项目的开发和编写shell脚本;  熟悉python语言,能够使用numpy,pandas,等数据分析模块,能结合scrapy框架和bs4模块,flask模块,实现对网页上数据的抓取和提取工作,制作爬虫;  了解pytorch,transform等深度学习框架  掌握Hbase存储原理和读写机制,掌握常用的数据存储工具,Mysql,Redis,mongodb;  熟悉Hadoop结构和其工作原理,掌握HDFS存储机制,编写MapReduce程序,掌握Yarn资源分配策略;  掌握Hive的架构,熟练使用sql语句,对数据进行ETL操作,数仓建模,数据分析,以及hive的相关调优;  能运用Sqoop进行数据的采集和传输;
项目经验:项目名称: 基于爬虫和大数据的结合 开发周期: 3个月(2023-2-2023-3) 项目描述: 爬虫将数据导入到mysql数据库中,通过sqoop将MySQL中的数据导入到Hadoop的hdfs中,Hadoop集群运用hive进行sql数据库查询,使用hdfs将数据存储在节点,并实现提取出用户留存率,日创建用户和日活跃用户,用户地址,各个年龄段的用户。通过一系列的数据筛选,提取,转换来调查用户需求,来描绘用户画像。 项目架构: Mysql + Sqoop + Hadoop +python爬虫 技术实现: 1. 使用爬虫将爬到的数据传入mysql里面。 2. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS 3.使用SparkCore/SparkSql对数据进行清洗,最后将数据存到Hdfs,映射的到hive表; 3. 创建ODS、MI、DWD、WT、DIM、TMP层; 5. 将数据进行图表展示,发送给运营、产品、测试、管理层。
技      能: 其他  
¥200 / 8小时
立即预约
ID:22510
唐霞 技术总工 11年经验
2025-06-17
个人介绍:担任 技术总工期间,主要工作内容包括: 1、负责物联网平台建设(负责技术方案解决+关键技术代码实现可行性验证、甲方沟通、开发管理等); 2、公司知识产权申报工作; 3、主导针对开发技术难点的技术评审; 4、根据公司开发现状,制定开发规范,组织技术培训,协助形成奖惩管理制度; 5、负责规划公司产品线,为公司产品整体优化提供解决(包括关键代码验证--主要使用Java、C#、C++、Python语言),规划公司产品面临的未来关键技术突破点(包括生存技术和发展技术); 6、探索建筑物联网领域中大数据分析、机器学习等数据分析方法的应用可行性和方向,为公司决策层提供决策讨论参考。 此外,参与N个投标方案技术架构的设计文档以及部分方案人员分工等工作;负责部分客户的解决方案报价(分析需求,列出模块项工作量、技术难易程度,形成总体报价和周期);提供合作伙伴和甲方的技术解决咨询等。
项目经验:1、参与-路由器开发 持续一年时间参与基于Nuclear企业路由器项目开发工作(C语言X.25、RIP、整体运行、调度等实现,并协调完成综合测试任务) 2、个人完成-单片机与嵌入式软件开发 根据Atmel mega64主芯片+GSM+GPS的产品电路板(有PDF原理图和功能使用说明),三个月单独完成GPS+GSM手机短信定位、电子围栏、电话接打等功能软件实现以及串口升级固件等。 能够读基本数字电路原理图,熟悉单片机、Linux等嵌入式开发流程。 3、个人完成-跨平台消息中间件 单独设计和实现,使用C++,跨Windows和Linux平台。主要用于数据同步。该项目涉及跨平台的多线程并发、互斥访问、MySQL访问、网络通信、自动压力测试、面象对象的开发等技术。 4、个人完成-串口在线侦听软件 为方便实现获取远程计算机串口通信设备的通信数据,开发了针对Windows下串口通信数据的侦听软件,该程序能够嗅探指定串口的收发数据流,保存为文件,以用于分析,系统涉及Windows内核编程相关技术。 5、带领团队-基于30个信息系统的数据集成、联动与利用 为解决“信息孤岛”问题,封闭半年时间,带20-30人的团队,完成联勤保障部门的30多个信息系统(财务、干部、交通、装备、油料、兵员、卫勤、保障卡等等)的数据实时集成、数据组织与存储、展示和数据利用系统 本人角色:作为项目实施总负责人,承担项目经理、构架师、总体设计和关键技术突破的角色。 6、带领团队-Linux北斗数据采集与共享服务器 为充分利用北斗设备的通信、定位、授时能力,解决分布式情况下的数据采集、共享与应用。 本人角色:整体设计、所有后台功能和API服务的设计与实现、Web功能的设计和指导实现。系统曾在行业内部大范围部署使用。 7、带领团队-Linux通信服务器的设计与实现 为充分利用现有通信手段,有效解决用户与用户、用户与应用、应用与应用之间的“动中通”的问题,带领团队,设计并实现一个向下能够支持多类通信通道(IP网络、电台、固定电话、北斗等)、向上为不同用户和应用提供多类通信服务(短信、文件、流等)的可控自适应通信平台,该平台以服务器的方式提供相对独立的功能。 8、带领团队-负责基于亚马逊云的物联网平台架构+技术解决 基于亚马逊云的物联网平台(也包括其他云资源,IoT整套\DynamoDB\VPC\EC2+AutoScale\MySQL\Redis\Redshift\Lambda\API-Gateway\计费等\API开发等),构建面向建筑业务的设备接入、管理和服务平台(相当于开发基于亚马逊云资源的建筑设备物联网平台)。提供总体解决方案(包括系统的全流程逻辑设计),并从事关键开发实现:熟悉亚马逊物联网相关的云资源能力和使用流程,了解其它大厂物联网的基本能力(针对亚马逊、阿里、华为、腾讯解决方案有过部分比较分析),了解如何设计自己的通用物联网平台。 9、带领团队-负责设备采集边缘网关总设计和项目管理 主导设计了一款类似嵌入式网络设备的物联网网关(基于CentOS),支持插件设备接入、可配置式多方数据上报,系统包括采集上报后台和基于JavaWeb的Web配置管理,支持Modbus、Bacnet、OPC、数据库访问等多类插件。本人设计了整个框架结构、关键技术问题的解决方案或算法设计、任务划分、进度跟踪、开发人员协调等工作。该网关应用于公司所有(几十个)物联网平台接入项目中。 10、为所有内网网关远程管理提供解决办法 针对内网部署的 Windows、Linux机器提供远程访问、远程数据接入调试等提供解决办法,并指导设计了一套将 互联网内网机器TCP服务提供到公网服务的映射代理软件,支持Windows和Linux下的TCP 服务访问(如Linux-SSH、Windows远程桌面、Web Http、RTSP协议远程摄像头查看等 )。该方法为公司长期维护上百个内网服务。该软件功能方面类似市面上的 TeamViewer、向日葵等软件,但功能面更广,同时支持Windows和Linux系统下的所有 TCP服务。
技      能: 其他  
¥1100 / 8小时
立即预约
ID:22531
魏桂兰 官网后期维护 14年经验
2025-06-14
个人介绍:我熟练掌握Python编程语言,具备数据分析、机器学习、Web开发等技能。熟练使用NumPy、Pandas、Scikit-learn等库,熟悉Django、Flask等框架。具备快速解决实际问题的能力,擅长数据处理和数据可视化。 熟悉常用的操作系统,如Windows、Linux和Mac OS等,了解它们的基本概念和命令。 了解网络的基本概念,包括TCP/IP协议、HTTP协议等,熟悉常用的网络设备和网络服务。 了解常见的软件架构设计模式,如MVC、MVVM、微服务等,并能够根据实际情况选择合适的架构。 熟悉常用的开发工具,如集成开发环境(IDE)、版本控制系统(如Git)、调试工具等。 了解数据库的基本概念,包括如何设计、查询和管理数据库。
项目经验:参与过美国大学生建模大赛,并且取得优秀成绩 接过网络爬虫的程序外包 参与大学学校官网的维护工作,和后期的维护以及升级,参与设计了学校门口的人脸识别的系统,并且进行大规模的使用投入。 负责开发并维护后端服务。掌握了Django和Flask等框架,具备数据库设计和优化经验。此外,我还参与了多个数据分析项目,使用Pandas等库处理大量数据,并通过可视化手段呈现分析结果。在工作中,我注重团队协作,积极沟通解决问题,不断提升自己的技术水平。
技      能: 其他  
¥500 / 8小时
立即预约
立即预约
意见反馈