ID:22535
谭静 数据分析师 6年经验
2025-04-22
个人介绍:web前端 html css js jQuery web后端 python django mysql数据库 redis数据库 数据分析 数据爬取 反爬虫技术 伪造头... 数据清洗 pandas 正则表达式 数据可视化 echarts
项目经验:项目一《禁毒数据分析》 1、爬取人民检察院案件信息公开网 a、在爬取过程中遇到了反爬虫 b、通过伪造头、无头浏览器、以及控制爬取频率等反反爬虫机制成功爬取吸毒人员数据 c、数据为每个吸毒人员的起诉书内容 d、存入mysql数据库 2、数据清洗 a、python对mysql数据库调用读出每一篇起诉书内容 b、用python的pandas和正则表达式提取出吸毒人员的姓名(名被隐藏)、身份证号(只有开头6位和结尾4位)、年龄、职业、性别、学历、是否贩毒、吸毒地点、吸毒抓获时间、吸食毒品种类、毒品单价、毒品重量、通讯方式(是否使用手机)、是否复吸(是否有吸毒史)、常驻地址等信息 c、去重后存入mysql 3、数据分析 a、pandas数据groupby数据分组以及count统计 b、matplotlib绘制柱状图、散点图、饼图 c、通过数据分析得到以下结论 吸毒人员的男女占比,以及在每个城市的男女占比 吸毒人员的学历情况分布,大部分是初中学历(具体数据不便公布) 吸毒人员职业情况的分布,大部分是无职业无经济来源,因此有很大部分是以贩养吸(具体数据不便公布) 吸毒地点的分布情况,以及不同地区的吸毒地点分布情况,常出现在个人的租赁单间以及旅行社 不同地区的吸毒抓获时间以及吸毒人数的趋势分布,能看出不同地区对吸毒人员布控的程度,以及治理的情况 不同地区的毒品单价分布 不同地区的复吸率的统计 4、数据可视化 a、搭建web页面,调用可视化工具echarts搭建出精美的数据可视化页面
技      能: 其他  
¥1200 / 8小时
立即预约
ID:22446
谢建国 数据架构师 6年经验
2025-04-22
个人介绍:本人从事数据仓库、数据中台方面的建设工作,岗位事数据架构师,做的最多的是数据治理相关的工作。 主要技能如下: 熟悉数仓建设过程,熟悉数仓的分层,对数仓的各种分层体系有自己的理解。 熟悉数据治理工作过程,熟悉DAMA理论体系和涉及到的各个子过程域。 熟悉数据标准、数据建模、数据质量、主数据、元数据等数据治理过程域。 熟悉大数据产品的使用(数梦工厂),熟悉阿里的maxcomputer和dataworks。 熟悉数据同步、数据开发、数据分析和数据清洗以及数据标准的规范化过程。 熟悉数仓架构设计,熟悉维度建模的过程,熟悉星形模型,了解雪花模型和支架表。 熟悉数仓实施方案的编写,能输出数仓整体及各模块方案并与客户评审优化。 熟悉项目管理理论体系与项目管理过程,能承担部分项目管理的工作 熟练编写sql,包括窗口函数,聚合函数等,能自己编写udf、udtf并使用。 熟悉Python语言,熟悉python爬虫、模拟登录等常用操作。 熟悉知识图谱搭建过程,熟悉本体、实体的梳理过程,熟悉图数据库(Neo4j)和Cypher语言。
项目经验:1、山东能源项目 该项目围绕“1+3+2” 应用场景建设框架,建设能源集团统一的数据湖,实现数据资源的统一规范化管理,设计能源集团数据治理体系、数据标准规范 我主要负责: 1、数据建模,与客户沟通,设计煤矿主题域和煤矿主题模型; 2、标准输出,输出主数据、元数据、数据安全、指标等标准规范; 3、客户培训,给各分矿工作人员培训数据治理体系与治理工作过程。 2、浙江省发改委发改大脑项目 该项目是收集并整合各个部门以及IRS上的数据,构建出一个全面的数据仓库;通过运用数据智能技术,协调并优化部门的业务流程;将数据和业务紧密结合,打造省发改委的“发改大脑” (主要是一仓五库+驾驶舱)。 我主要负责: 1、项目管理,制定数据仓部分WBS,按日、周汇报工作进展; 2、数据调研,调研沟通各处室业务需求,分析业务逻辑、开发周期等; 3、指标设计,与客户沟通,分析业务需求,设计数据指标; 4、方案输出,输出发改省市一仓五库联动方案初稿。
技      能: 其他  
¥900 / 8小时
立即预约
ID:22443
王磊 高级程序员 3年经验
2025-04-21
个人介绍:编程语言: PHP Python JavaScript 数据库技术: MySQL 前端技术: HTML5 CSS Bootstrap jQuery 服务器和操作系统: Linux LAMP (Linux, Apache, MySQL, PHP) LNMP (Linux, Nginx, MySQL, PHP) 版本控制和代码管理: Discuz 论坛开发与维护 Thinkphp Smarty Yii2 框架 网络安全和协议: VPN系统管理(如使用Shadowsocks) 开发工具与库: Selenium Scrapy Request Redis 其他技术: 爬虫设计与维护 API 开发与优化 AmazonMWS Coreseek 服务器搭建与优化
项目经验:SAP ERP使用,数据整理,UiPath自动化开发 自动化爬虫系统: 设计并维护用于数据收集的自动化爬虫系统。 使用Python编程语言及其相关库,如Selenium, Scrapy, 和Request。 主要用于房产信息的收集和分析。 业务后端接口设计: 负责业务后端接口的设计与优化。 提高系统整体性能和响应用户反馈。 亚马逊 Seller Central 后台管理: 开发后台系统以维护客户订单和库存管理。 应用AmazonMWS系统,优化订单处理和库存分析。 网站和服务器维护: 指色网络有限公司负责维护多个合作公司的网站和服务器。 深入学习和应用coreseek以及扩展 长沙乐购网络科技有限公司: 负责后端建设,支持和维护公司项目的后台功能。 使用PHP, MySQL, AJAX, JavaScript等技术搭建和优化网站功能。 佳礼网络(马来西亚): 作为PHP程序员,负责日常的后端维护和Discuz论坛的二次开发。 参与服务器搭建与优化,处理网站修复问题。 网站应用开发: 开发和维护各种规模的网页应用。 主要使用PHP语言进行Discuz论坛的维护和代码开发。
技      能: 其他  
¥1200 / 8小时
立即预约
立即预约
意见反馈