ID:22508
王小红 大数据开发工程师 10年经验
2024-07-25
个人介绍:掌握Linux 基础操作命令,能够编写简单的 Shell 脚本 熟练Mysql,Oracle等主流数据库,能够基于MySQL等数据处理引擎进行数据开发 熟悉Hadoop组件的Hdfs读写流程、MapReduce计算流程、Yarn资源调度 掌握Hive窗口函数及内置函数的使用,能够基于Hive进行数据开发 熟悉Flink流计算框架,有过实时项目经验熟悉Flink内部运行机制 熟悉Spark架构的执行流程以及工作原理,以及RDD之间的依赖和Spark的容错机制 熟悉Hbase架构原理及读写流程、rowkey设计原则、Hbase性能优化 掌握Kafka基本原理,使用Kafka消息中间件存储并消费数据 熟悉使用Flume完成日志采集,使用Sqoop完成义务数据的导入 熟练使用阿里数据中台DataWorks DI、DataHub等数据接入组件 熟练Azkaban、sqoop、dataX等开源的ETL调度、同步工具 熟悉Clickhouse、Kylin、Presto等OLAP引擎的原理以及源码 熟练使用FineBI、Sugar等可视化报表组件 熟悉数据仓库建设和维度建模,有较丰富的离线或实时数仓建设和数据 ETL 设计开发的经验
项目经验:通过Flume程序实时监控采集商城日志数据文件,实时采集到kafka作为原始日志数据 使用FlinkCDC实时迁移Mysql中的用户行为数据存到kafka中构建ods层 调用重分区算子,rescale,rebalance,shuffle解决kafka的topic分区之间数据不均匀,防止数据倾斜 负责构建dwd层通过Flink应用程序使用操作符对ods层数据进行清洗,过滤等操作 使用redis作为热点数据的旁路缓存,使用Flink的异步IO实现对外部系统的异步访问,提高程序性能 构建DWS宽表:通过预加载,双流join,lookupjoin实现维度关联,将宽表数据存入Clickhouse 使用异步IO实现连续发送多个请求,提高并发效果,减少多请求等待带来的消耗 通过ReplacingMergeTree保证最终一致性,查询时的sql语法加上去重逻辑,保证ClickHouse的一致性 利用web ui定位,查看火焰图平顶,并分析GC日志,调整资源解决Flink反压 ADS层指标:产品总数,上架商品的sku/spu数,交易成功指标数,浏览下单数,支付买家数等 使用DataV调用接口进行可视化报表展示 参与将项目部署到Flink on Yarn,通过WebUI查看资源使用,以提高集群的资源利用率 负责阿里云离线项目的整体架构设计和实施,包括技术选型、系统数据流程设计等 使用Flume等日志采集工具进行日志采集和聚合 利用MaxCompute等大数据计算框架进行数据处理和分析,为项目提供数据支持 使用Quick BI、DataV等工具进行数据可视化展示,为项目提供直观的数据视图 负责数据的安全性和隔离性,采取必要的措施防止数据异常和敏感数据泄露 设置定时调度任务,对项目进行监控和管理,确保项目的正常运行
技      能: 其他  
¥1400 / 8小时
立即预约
ID:22334
刘亮 生物信息学博士研究生 3年经验
2024-07-23
个人介绍:本人清华大学在读生物信息学,免疫学方向博士研究生。在生物信息学领域拥有深厚的理论基础和实践经验,基础编程和数据分析方面,能够熟练使用Pandas、NumPy、SciPy进行数据处理和数学计算,以及使用Matplotlib和Seaborn进行数据可视化。在R中,精通ggplot2、dplyr、tidyverse等包,用于数据可视化和数据整理;在常规生信分析方面,熟练运用Bioconductor、SAMtools、BEDTools等工具处理和分析高通量测序数据。转录组学分析方面,我有丰富经验使用STAR、Hisat2进行读段比对,以及使用Cufflinks、DESeq2、edgeR进行表达量定量和差异表达分析。蛋白质组学分析中,我使用MaxQuant、Proteome Discoverer等软件进行质谱数据处理;在机器学习方向,熟练使用scikit-learn进行模型训练、调参和评估,TensorFlow和Keras实施深度学习模型,尤其在生物信息数据分析方面。我曾成功应用随机森林、支持向量机(SVM)、主成分分析(PCA)等方法于生物标记物发现、疾病预测和基因表达数据分类。
项目经验:泛癌基因表达模式识别: 在此项目中,使用机器学习技术分析大规模转录组数据集,以识别与特定癌症类型相关的基因表达模式。通过应用随机森林和支持向量机(SVM)算法,成功地从数千个样本中鉴定出潜在的生物标记物,并对它们进行了验证。这一发现为临床诊断和个性化治疗提供了重要的分子基础。 微生物群落多样性分析:利用QIIME和MetaPhlAn工具,分析了不同环境样本中的微生物组成。通过主成分分析(PCA)和聚类分析,揭示微生物群落的结构和功能多样性,并探讨了环境因素对微生物分布的影响。 基因组关联研究(GWAS):使用PLINK和GCTA工具,对大量个体的基因型数据进行了处理和统计分析。应用机器学习技术,如逻辑回归分析,我们成功地鉴定了若干关键遗传标记与某些复杂疾病的关联。
技      能: 其他  
¥400 / 8小时
立即预约
ID:22606
刘晨 Web前端开发 11年经验
2024-07-11
个人介绍:熟悉HTML5,CSS/CSS3,JavaScript,ES6; 熟练使用Vue、axios、vuex、vue-router 熟悉Git代码管理工具的使用; 熟练使用ElementUI、Mand Mobile、Bootstrap等UI框架; 熟悉Echarts、i18n、lodash等库的使用; 了解JS的内存泄漏,首页加载性能优化; 了解jquery、TypeScript、webpack的使用; 了解Sass、less预编译语言;
项目经验:物流锁管理系统 开发环境:VScode、Webstorm、Git 软件架构:Vue2+ElementUI+Echarts、i18n、百度地图 公司主要业务是给物流运输管理提供一套软硬件的配套解决方案,主要是给物流交通工具中的智能锁,其包括有定位,报警等监控功能的设备,部门主要负责维护公司智能锁的后台管理平台,目前开发过pc端悬浮球功能按钮,可视化数据图表,前端大文件上传,多语言使用vue-i18n、i18n Ally实现BCP47命名的语言自动化翻译和处理,大大降低了人工维护语言包的成本,文件资源下载,动态表单。 CRM管理系统 开发环境:Webstorm、Git 软件架构:Vue、ElementUI、vue-admin-element CRM管理系统属于团队项目,是基于前后端分离技术的一个客户关系管理系统,旨在服务B端用户在此平台进行客户发掘、客户转化、客户消费分析、商品销售、用户管理,减轻B端用户运营压力,提高运营效率。用超级管理员进行登陆,主页面有5个小页面,分别为客户池、会员管理、会员画像、商品管理、系统管理。客户池是进行客户发掘并尽心客户转化,会员画像是进行客户消费分析的,系统管理是进行用户管理的。CRM管理系统属于团队项目,由团队6个人共同完成,本人作为组员负责解决前端的权限问题和token问题。vue-admin-element等框架,采用前端权限验证,前端按钮级权限管理。
技      能: 其他  
¥1000 / 8小时
立即预约
立即预约
意见反馈