ID:22410
陈欣 数据采集工程师助理 9年经验
2025-03-23
个人介绍:1、基本的编码基础(python) 对于任何编程工作来说都是必须的。数据名字和值得对应(字典),对一些url进行处理(列表)等等。掌握牢固。熟悉python编程语言,熟悉相关的框架和库。我主要用Python写爬虫。 2、任务队列。 当爬虫任务很大的时候,写一个程序跑下来是不合适的: 所以我们需要一种任务队列,它的作用是:讲计划抓取的网页都放到任务队列里面去。然后从队列中拿出来一个一个执行,如果一个失败,记录一下,然后执行下一个。这样就可以一个接一个地执行下去。也增加了扩展性,几亿个任务放在队列里也没问题,有需要可以增加worker,就像多一双亏筷子吃饭一样。 3、数据库 数据保存肯定要会数据库的。不过有时候一些小数据也可以保存成json等。我有时想抓一些图片就直接按照文件夹保存文件。推荐使用NoSQL的数据库,比如mongodb,因为爬虫抓到的数据一般是都字段-值得对应,有些字段有的网站有有的网站没有,mongo在这方面比较灵活,况且爬虫爬到的数据关系非常非常弱,很少会用到表与表的关系。 4、HTTP知识 HTTP知识是必备技能。因为要爬的是网页,所以必须要了解网页。首先html文档的解析方法要懂,比如子节点父节点,属性这些。我们看到的网页是五彩斑斓的,只不过是被浏览器处理了而已,原始的网页是由很多标签组成的。处理最好使用html的解析器,如果自己用正则匹配的话坑会很多。 5、运维 实际工作中运维和开发的时间差不多甚至更多一些。维护已经在工作的爬虫是一个繁重的工作。随着工作时间增加,一般我们都会学着让写出来的爬虫更好维护一些。
项目经验:爬百度贴吧的评论 爬京东的商品名和价格包括图片评论,保存到excel 爬取豆瓣电影的评分,详细介绍报保存成文件 爬取斗图网的图片保存文件
技      能: 其他  
¥1500 / 8小时
立即预约
ID:22723
张红 帆软开发 12年经验
2025-03-17
个人介绍:熟练掌握帆软报表设计器,能够根据业务需求设计各种复杂报表,包括数据统计、数据分析、数据可视化等。 熟练掌握SQL语言,能够熟练操作各种数据库,包括Oracle、MySQL、SQL Server等。 熟练掌握Java语言和帆软报表插件开发,能够开发自定义的报表插件,扩展报表功能。 熟练掌握帆软报表服务器部署和配置,能够保证报表的稳定性和安全性。 熟练掌握数据分析、数据挖掘等算法,能够利用这些算法进行数据分析和预测。 熟练掌握Web前端技术,包括HTML、CSS、JavaScript等,能够开发符合企业需求的Web应用程序界面。 熟悉帆软报表集成开发,能够将帆软报表集成到企业应用中,实现数据的快速查询和分析。 熟悉帆软报表的安全控制机制,能够保证报表的安全性和稳定性。 熟悉帆软报表的优化技术,能够优化报表的性能和响应速度。 熟悉帆软报表的测试和调试技术,能够保证报表的正确性和稳定性。
项目经验:金融风控项目:在这个项目中,我负责设计和开发一套针对金融行业的风险控制系统。我利用帆软报表设计器设计出了一系列复杂的报表,包括风险指标分析、交易数据监控、客户信用评估等。这些报表帮助金融机构及时发现和处理风险,提高了风控效率和准确性。 供应链管理项目:在这个项目中,我帮助一家大型制造企业实现了供应链的智能化管理。我通过帆软报表设计器设计了一系列报表,包括库存管理、采购分析、销售预测等。这些报表帮助企业实现了对供应链的实时监控和预测,提高了供应链的效率和灵活性。 电力行业数据分析项目:在这个项目中,我负责设计和开发一套针对电力行业的智能数据分析系统。我利用帆软报表设计器和Java开发了自定义的报表插件,实现了对电力数据的实时采集、分析和可视化。这些报表帮助电力企业更好地理解电力需求和能源消耗,为优化电力资源配置提供了有力支持。 电商网站用户行为分析项目:在这个项目中,我帮助一家电商网站实现了用户行为的分析和挖掘。我利用帆软报表设计器设计了一系列用户行为分析报表,包括用户活跃度、购买偏好、浏览路径等。这些报表帮助电商网站更好地了解用户需求和行为,为优化网站设计和营销策略提供了有力支持。
技      能: 其他  
¥700 / 8小时
立即预约
ID:22807
陈晨 算法工程师 11年经验
2025-02-28
个人介绍: 熟练使用 Python 编程语言  熟练使用Numpy数据分析库、matplotlib绘图库,能对数据进行有效分析和可视化处理  掌握机器学习基本算法,逻辑回归,SVM,K-means,决策树,朴素贝叶斯,HMM 等  熟悉 tensorflow,PaddlePaddle ,Pytorch深度学习框架,可以使用该模块搭建神经网络项目  熟悉使用 OpenCV 库,可完成图像基本处理,图像特征点提取等工作  熟悉Linux系统,mysql数据库
项目经验:项目一:台球号识别 项目介绍: 基于opencv框架对球号的识别 个人职责:负责实现算法的搭建和优化 项目内容: 1. 数据预处理,将原图像进行裁剪,模糊和形态学图像处理 2. 处理后的图像进行部分颜色的提取,并去除噪点,从而识别大小号球 3. 大小号识别完毕后再将其提取台球1-7号球的颜色,结合大小号和颜色判断球号 4. 算法识别精度达98%,具有较好的识别效果 项目二:芯片瑕疵检测 项目介绍: 基于opencv实现对芯片进行瑕疵检测。 个人职责:负责瑕疵检测功能的实现 项目内容: 1. 数据预处理,将图片进行灰度化 2. 对图像进行高斯模糊,去噪,再将其二值化 3. 提取图片外层轮廓及填充,利用图像减法找出瑕疵 4. 再将其闭运算操作 5. 绘制最小外接圆 6. 再根据业务指标进行IF语句判断是否为瑕疵芯片还是正常芯片 项目二:水果分类 项目简介: 基于CNN实现对1200多张图片进行5个类别分类,使用了三组卷积池化组,一层全连接,激活函数使用的是softmax。 个人职责:负责水果分类功能的实现 项目内容: 1. 数据预处理,将图片存入字典,遍历每个子目录拼接图片路径,遍历字典,划分训练集和测试集; 2. 图片归一化处理,构建训练集读取器和测试集读取器; 3. 搭建CNN卷积神经网络,创建损失函数,交叉熵; 4. 在梯度下降前克隆一个program用于测试,构建梯度下降优化器,执行训练; 5. 对模型进行评估,使用matplotlib训练过程可视化,模型保存; 6. 加载模型,进行预测,模型精度为95%;
技      能: 其他  
¥600 / 8小时
立即预约
ID:22769
杨红 项目经理 14年经验
2025-01-17
个人介绍:技术经理(部署,监管,运维,熟悉整个流程) ●对接第三方接口:支付宝支付,微信支付,用友财务平台,诺诺电子发票,快递100实时推送物流服务,卡券类商品对应供货商系统,保利威直播平台 ,综合视频直播平台,保互通app,B端发放优惠券平台 ●与客户实时交流需求,同步至项目避免偏差 ●合理规划每一期的工作内容,根据人员能力安排相应的工作内容与完成时间 ●帮助开发人员梳理业务逻辑,解决开发过程中遇到的问题 ●核心模块开发:终端用户分权,分系统(包含运营,三方,供货商,企业用户),三方平台接入,商城平台营销优惠策略,企业用户充值发卡,商城用户下单流程 ,直播引流售卖商品,商城积分对接直播进行使用 业绩:1.项目已经上线,并投入使用。可在手机端应用商城里搜索保互通即可下载 后台java开发 ●后端开发兼顾技术支持 ●独立开发两个程序1.Iec104协议解析2机组状态检测协议解析 ●电力行业四年,多是出差。与众多甲方进行交流讨论,协同工作 ●已完成多个项目,经验颇为丰富 业绩:1.本人独立开发的程序在本公司,多个项目上使用。 2. 已带领两个项目完成验收,试运行
项目经验:保互通商城 描述:软件环境:linux 开发工具:idea、maven、mysql、xshell、winscp、visual studio code、postman、redis 使用技术: SpringBoot、springcloud、vue、element、redis、Nginx、支付宝sdk、微信sdk、用友sdk、诺诺sdk、阿里sdk,快递100sdk 项目简介: 一 人物终端划分 运营部门,企业客户,三方商家,自营供货商 二 部门职责 1运营部门 ①负责账号管理与权限管理,合理安排各个操作员所拥有的功能。 ②负责审核三方与供货商商品,设置商品分组,设置商品上下架,给商品定价与选定支付 类型等。 ③负责企业客户与个人客户发卡充值与卡有效期维护 ④负责管理三方商户与自营供货商,并统计结算分账 ⑤负责订单管理,客户退款维权,销售流水,商品销量评价,物流公司设置,发票设置 ⑥负责统计结算资金对账,导出资金流水,资金日汇总,月汇总 ⑦负责商城商品营销设置,秒杀,满减,优惠券,拼团,抽奖 ⑧负责负责店铺装修,用于app端展示 ⑨负责订单设置,未付订单有效时间,自动确认收货时间,支付设置,单据打印设置,三方扣点设置 ⑩负责合同管理,自营与三方合同展示,客户投诉管理 2企业客户 ① 负责发卡员工的信息审核,提交至运营部分进行确认 ② 负责发积分员工的信息审核,提交至运营部分进行确认 3三方商家 ①负责导入新增商品以及维护 ②分则销售订单,退款维权,发送到货通知于商城用户 ③商品基本设置,商品分类,商品规格,商品单位,商品标签,商品品牌,商品标签 ④负责物流运费设置,物流公司 ⑤负责库存设置与库存预警 ⑥资金流水对账,结算,导出 ⑦负责负责店铺装修,用于app端展示, ⑧负责支付设置 ⑨负责合同管理,下载合同模板,添加合同信息 ⑩客户投诉管理 4自营供货商 ①负责导入新增商品以及维护 ②分则销售订单,退款维权,发送到货通知于商城用户 ③商品基本设置,商品分类,商品规格,商品单位,商品标签,商品品牌,商品标签 ④负责物流运费设置,物流公司 ⑤负责库存设置与库存预警 ⑥资金流水对账,结算,导出 ⑦负责合同管理,下载合同模板,添加合同信息 ⑧客户投诉管理 人员分工: ●项目经理与客户沟通需求,与第三方对接接口,分化任务模块,定制完成计划,为开发人员梳理业务逻辑 ●后台开发人员负责模块开发。 ●前端开发人员负责与后台人员或接口文档对接接口,完成页面开发。 我的分工: ●分化任务模块,定制完成计划,为开发人员梳理业务逻辑 ●解决项目过程中遇到的问题 ●项目部署与维护,编写bug消除文档,编写项目部署文档 ●与客户及第三方商家进行对接,引入所需功能 ●协调前后端人员进行BUG修复。 业绩:1该项目成功上线并使用,可在手机端应用商城中搜索保互通下载
技      能: 其他  
¥400 / 8小时
立即预约
立即预约
意见反馈