ID:22666
高雪 大数据开发工程师 5年经验
2025-04-24
个人介绍:1、 深入理解MapReduce的Shuffle机制,理解HDFS的读写流程,深入理解Yarn的提交流程,理解Hadoop的调度器,掌握Hadoop集群的调优 2、 熟练掌握Flink的DataStream编程,理解Flink的状态,了解checkpoint机制,熟悉Flink框架,了解Table api和sql编程 3、熟悉掌握Hive的架构,精通编写HQL,掌握Hive的相关调优手段 4、熟悉Spark框架,深入理解Spark on Yarn的提交流程,掌握Spark的两种核心Shuffle的工作流程,理解Spark中的血缘概念,理解Spark中的缓存机制和Checkpoint机制 5、熟悉掌握Kafka的架构,理解ISR和分区分配策略,熟悉Kafka的事务,熟悉使用Kafka的API,掌握Kafka的参数调优 6、熟悉掌握Flume框架对日志进行采集,可以自定义Flume拦截器,理解Put和Take事务,掌握Flume的优化 7、熟悉Zookeeper的框架,了解选举机制 8、理解Canal的工作原理,搭建Canal来实时监控MySql中的数据 9、熟悉海豚调度器的使用 10、熟悉使用Linux的常用命令 11、熟悉Redis的工作原理及应用,了解Redis持久化、穿透以及雪崩
项目经验:项目名称:网络舆情态势感知平台 项目技术:Kafka,Flink,Redis,ES,DS,HDFS,Yarn,Flume 项目概述:在国产V10麒麟系统中搭建CDH6.3.2集群,实现对每天爬取的舆情数据进行分层处理,清洗好的数据发送到ES集群,供前后端人员使用 项目职责: 1、 负责CDH集群的搭建和维护 2、 负责舆情实时数仓的搭建 3、 负责Kafka集群中的数据清洗和入库 4、 负责数据质量监控体系的搭建和维护 技术要点: 1、利用Flink算子对数据进行清洗过滤打标,将处理好的数据写入ES集群 2、利用Redis做数据去重以及获取数据中的信源信息和用户信息,周期性的导入ES集群供爬虫人员使用 3、利用SimHash算法对长文本数据进行局部敏感哈希,通过计算汉明距离来判断相似性 4、利用Flume组件将爬虫爬取到的原始数据从Kafka中导入HDFS,作为数据备份 5、利用Kafka Admin API实现对消费者组的监控,并对接钉钉,周期性显示消费积压信息 6、加入Flink_metrics,实现对消费过程中数据流向监控,利用Promethues+Grafana对metrics数据进行大屏显示 7、利用海豚调度器管理和调度Flink程序 项目名称:智慧大屏离线数仓分析系统 项目技术:HDFS,MySql,Sqoop,Spark,Hive 项目概述:搭建数据存储平台,实现用户行为和业务数据仓库的分层搭建,对数仓的数据进行指标分析,生成报表给PM和其他人员 项目职责 1、负责用户行为数仓的分层搭建 2、负责业务数据数仓的分层搭建 3、针对数据仓库中的数据,分析各种指标,例如:统计大屏的GDPR同意/不同意比例,统计设备的日活与留存情况,统计每天的广告的播放量,统计大屏搭载的浏览器使用时长以及使用的具体时间等等 技术要点 1、 数据仓库分层之ODS,DWD层:开启动态分区,采用Snappy进行压缩,存储格式为orc 2、 自定义UDF函数对公共字段进行解析,自定义UDTF函数对事件字段进行解析 3、 大表Join小表时,采用广播小表的方式来减少Shuffle的数量,减少数据倾斜,提高运算速度 4、 在RDD中配置Kryo序列化缓存(内存紧张的时候),减少网络传输量 5、 利用Coalesce函数来减少分区数,防止产生过多小文件 6、 使用SparkSQL的窗口函数来实现热门广告/大屏的TopN及交易总额 7、 当计算数据量特别大的指标,机器的内存不够,可采用Hive来进行计算(比如计算每种种大屏的全年销售情况的指标) 8、 HDFS优化:小文件的处理,编辑日志与镜像日志的存储路径尽量分开,提高服务器节点上YARN可使用的物理内存总量
技      能: 其他  
¥700 / 8小时
立即预约
ID:22671
杨秀芳 BIOS工程师 7年经验
2025-04-24
个人介绍:1、熟悉C/C++编程语言、了解C++面向对象编程思想; 2、熟悉常用的数据结构,单链表、冒泡排序等; 3、熟悉文件IO读写操作,掌握Json格式文件; 4、熟悉系统编程,掌握TCP/IP、UDP网络编程,了解多线程,多进程; 5、熟悉QT图形界面编程,熟悉Sqlite数据库的基本操作(增删改查); 6、熟悉掌握使用C\C++在ARM架构下Linux操作系统的应用开发; 7、熟练 STM32CUBEMX,Keil 开发环境。 8、熟悉基于STM32 MCU开发,掌握GPIO,TIME,PWM,ADC等外设开发 9、熟悉USART,IIC,SPI总线协议开发。 10、了解Shell、Makefile编程; 11、具有良好的英文文档阅读能力
项目经验:校园便利店收银台管理系统(个人) 项目描述:采用MVC架构,完成校园便利店的管理系统开发, 功能实现人机交互图形化界面的设计,包括登录注册,密码隐藏,员工管理,采购和销售货物管理,收银台员工对客户购买货物的结算,可以应用在Windows平台或者linux下ARM架构的开发板 开发环境:Qt 5 、Windows、Enigma Virtual Box、Linux、Ubuntu、ARM-A53开发板 技术要点:C++、UI设计、信号和槽、定时器、Json文件。 -->UI控件的设计,实现用户点击操作,完成人机交互,并结合信号和槽实现界面的跳转和界面之间的数据传输。 -->对Json格式的文件进行读写操作,保存用户的数据信息。 智慧校园物业管理系统(个人) 项目描述:系统分为用户端和物业管理端:用户端实现主界面视频/图片广告轮播、用户信息登录、报修维护、在线咨询、天气时间显示、校园环境实时监控并提醒、宿舍灯光控制、音视频播放、小说阅览、校园监控、门禁刷卡,物业管理端实现在线答疑,维修处理等功能。 开发环境:Qt 5 、Windows、Enigma Virtual Box、Linux、Ubuntu、ARM-A53开发板 技术要点:C++、UI设计、信号和槽、sqlite、http、Tcp/Ip、RFID、线程、进程 -->重写事件,自定义软件盘,实现开发板触摸屏的触控键盘的调用 -->使用http访问api接口,解析json格式文件,实时获取天气信息 -->使用sqlite数据库完成数据的存储,包括用户信息以及报修维护信息 -->使用mplayer播放音视频,串口编程实现RFID的读写,文件的读写实现led控制 -->运用TCP/IP,完成在线咨询答疑 基于STM32f407的智能门锁(个人) 项目描述:用户可通过指纹模块、手机、按键模块、RFID模块实现模拟解锁(继电器),所有的操作都显示在OLED中 开发环境:keil、portHelper、128x64取字软件、ARM-M4开发板 技术要点:C语言、IIC、SPI、UART、定时器、外部中断 -->运用UART通信协议进行AS608指纹模块的数据传输,实现增删指纹信息并匹配指纹信息模拟解锁 -->使用蓝牙串口模块,运用UART通信协议进行手机与开发板的数据传输,实现模拟解锁功能 -->运用SPI通信协议进行RFID模块与开发板的数据传输,实现模拟解锁功能 -->运用GPIO普通输入输出功能,实现4*4按键模块的模拟解锁功能 -->运用IIC通信协议实现OLED模块的显示
技      能: 其他  
¥800 / 8小时
立即预约
ID:22652
彭涛 资深大前端开发工程师 9年经验
2025-04-23
个人介绍:有丰富的 Web 、小程序、Android开发经验,有业务能力和带团队经验,开发过小程序、金融系统、移动端 Web 、原生 APP 等项目 ,熟练掌握 Android、UniApp 、小程序、Vue 全家桶、JS、H5、Css3、Es6、Echarts、Jquery、Less、Sass、Vant、Ivew、EasyUi、ElementUi、BootStrap等开发技术,了解 Flutter和 iOS ,有手机原生系统开发经验,在解决多端适配和跨平台问题上有独特的见解和解决问题的能力,尝试过多种跨平台解决方案,对新知识有强烈的求知欲望。
项目经验:项目名称:麦麦酒市 平台:小程序、Android、Ios 麦麦酒市是一个C2C、B2C的酒类电商平台,主要针对中高端客户群体,项目总共分为资讯、社区、商品、卖家中心、买家、拍卖、仓储寄卖、我的、活动等主要板块组成。 此项目主要使用 UniApp 开发,一套代码可以在微信小程序、Android、Ios 端同时使用。 1、负责使用 UniApp 开发的麦麦酒市的项目架构、组件封装、以及开发任务。 2、结合公司自身业务和实际情况,制定技术方案,对产品技术发展进行规划。 3、优化研发工作流程和规范,保证高效率高质量的技术产出,确保技术成果的有效性和持续性。 4、拟定年度、月度、周计划和目标,并为此目标协调部门员工齐力完成。 5、项目的开发进度监控,制定项目开发、测试计划,以及人员任务分配工作。 6、负责大前端的整体开发工作项目名称:自动化交易回测系统。 项目业绩:AppStore美食佳饮榜前十 项目名称:自动化交易回测系统 web前端 项目描述:该系统是提供给金融产品部门和开发交易策略模型人员使用的,是一个验证交易策略模型的可视化工具,使用者可以输入策略指标,通过历史交易数据来回测该策略模型在以往数据上的交易表现,通过历史 Ticks 数据绘制分时图及日K图,可以通过本软件查看交易策略在 Tick 数据上的买卖点及成交数量和价格,清晰的通过图表的方式向用户展现了详细的交易状况。 ● 本项目是由本人独立开发完成,在项目中主要用到的技术有:ECharts、Vue.js、js、Element-UI、Webpack、ES6、Html5、Css3、Less、Sass等。 项目业绩:在没有这个交易回测系统之前,开发交易策略模型人员是没办法直观的验证模型的正确性,这就导致了很难能调出优秀的交易策略,为交易模型减少了开发周期以及提升了交易模型赚钱效应,经过将近一年的验证,这套系统把年化收益率提升了0.85%,直接为公司增加了1000多万的收益。 项目名称:基金经理管理系统 web前端开发 内容:基金经理管理系统,项目主要有 权限管理、策略单元、交易单元、股票持仓、变动记录等5大模块组成,是为了方便基金经理管理交易员、创建及分配交易策略,查看交易员收益情况及交易状态。 ● 本项目是由本人独立开发完成 在项目中用到的技术Vue 全家桶、Webpack、JavaScript、Html5、Css3、Es6、Echarts、Jquery、Less、Sass、ElementUi 项目名称:50etf Html5+Android开发 项目描述: 在项目中主要负责搜索、自选、持仓、支付等模块,该项目可以运行到多端,包括 Android、Ios 、移动端浏览器、公众号。 1.web端:Vue.js、Vuex、Webpack、Es6、vant、iview、Html5、Css3、Less、Sass等。 2.android端:OkHttp、WebView 嵌入(兼容、优化)、腾讯 bugly 、友盟推送、统计、分享、微信支付、支付支付、连连支付 业绩: 该项目属于公司业务转型的全新项目,因此在业务和所用到的开发技术都是没有接触过的,在项目开发之前利用空闲时间进行调研,确定了适合该业务的开发技术,避免在技术选型上的不正确,而导致的项目周期过长和后期踩坑等问题,为公司减少了不必要的开发成本。 项目名称:财富桥CRM Android 项目描述:财富桥CRM是一款维护客户关系的管理系统,提供给内部员工使用的,可以帮助每一个BD人员轻松有效的管理上百位客户。此项目是由本人独立开发完成并进行后期的迭代和维护工作,app主要由会话、客户、交易、 Native+h5等模块组成。该项目分别对网络框架(okHttp)、工具类、文件存储(sp、file、sqlLite)分别以library库的形式存在,主工程依赖这些library库,解决了主工程职责过于繁重庞大,为公司形成了自己的代码库,方便了后期代码迁移和维护以及其他项目使用。 1、通过分析环信源码 在此基础上增加上传凭证、代建预约、推荐产品以及可以看到客户是在哪款产品进行咨询,提高了理财师在该平台的成交率。 2、app性能与异常优化,解决了ui卡顿、anr、oom、内存泄露等问题。 3、协调UI、接口、需求等问题。 项目名称:财富桥 Android 项目描述:财富桥 Android工程师 内容: 财富桥是面向理财师的掌上业务服务平台,帮助理财经理提高服务客户效率,定位于面向金融服务人员金融理财工具,具有传统CRM的基本功能,但同时又根据金融服务行业的特点的高度定制,金融理财从业人员可以方便的管理自己的客户信息,团队信息,将自己的人脉资源转化为实际收入。可以帮助专业的投资顾问从传统的繁琐的交易合同管理工作中解脱出来,便捷的沟通方式,及时的到期提醒。在此项目中,主要负责的模块有:交易、客户、关注、我的 Native+h5等 以及项目的主体架构。该项目分别对网络框架(okHttp),工具类,文件存储及获取(sp、file、sqlLite)以library库的形式存在,主工程依赖这些library库,方便了后期代码迁移和维护 解决了主工程职责过于繁重庞大以及其他项目方便使用。 1、对第三方sdk预研和使用 七牛、腾讯bugly、友盟推送、统计、分享、美恰、环信等,以环信基础服务和能力实现了发送预约意向、推荐产品、代建预约等,提高了理财师在该平台的成交率。 2、优化app,解决了ui卡顿、anr、oom、内存泄露等问题 3、协调UI、接口、需求等问题 4、app多渠道打包发布
技      能: 其他  
¥300 / 8小时
立即预约
立即预约
意见反馈