1.熟练mysql关系型数据库，熟练掌握 mysql的各种常用函数;
2.熟练掌握ETL工具，使用Kettle对不同数据库平台数据进行数据的抽取，清洗，转化等调度;
3.熟练SQL 的性能调优，能够对 SQL 进行多方面的优化，实现数据同步;
4.熟悉Linux的基本常用命令、vi文本编辑器，shell脚本编程;
5.熟悉FineReport 进行普通报表、聚合报表、决策报表的开发;
6.熟练编写对数据进行查询、统计等数据操作;
7.了解hadoop生态框架，mr原理，hdfs读写机制，yarn的资源调度机制;

众安保险项目-车险可视化平台                       etl工程师                            
项目介绍：车险市场关乎于公司在市场的经营状况，本着不断做大原则，公司目标对产品市场通过统计车险各种数据，分析数据，辅助决策，制定相应的策略，推出满足市场需要的产品，抢占市场份额。
开发工具: hadoop+hive+Oracle+kettle+sqoop+finereport等
岗位职责：
1.确定和分析业务需求，客户的分类，会员和非会员;客户的来源，线上，线下等。客户的支付方式：付现，刷卡，积分，优惠券等，客户的支付渠道：微信支付，支付宝支付，银行卡支付，信用卡支付等，并将其编写成文档。
2.确定数据的来源，流向，设计表及其属性，设计存储过程等编写成文档。
3.使用Sqoop和Kettle完成数据的导出导入工作，写存储过程实现数据的抽取，加载，转换。
4.完成业务报表的开发工作，实现业务销量明细、存销比数据、销量库存数据、价格及地区月度数据等需求的数据。
1）数据表进行优化语句，查询速率整体优化了20%
2）ODS层：使用kettle工具连接生产Oracle数据库进行抽取
3）DW层：使用kettle工具，对元数据进行清洗，做去除脏数据、转换无效字符、值映射等操作后，把数据存入hive数据库中
4）根据需求，通过FineReport报表工具进行可视化展示