ETL经验分享分析.ppt

ETL经验分享 江苏世轩科技 张琳讲解概要 一、ETL启动JVM的调整 二、ETL的使用技巧 1、数据获取 2、改变插件复制数量的运用 3、并行的设置 4、连接池深入配置 三、范例 1、子映射应用 2、单条循环逻辑设计 3、有趣的父子级别 4、多级join 5、改变插件复制数量的错误和正确应用 6、XML生成的简单和复杂方式 一、ETL启动JVM的调整 JVM：通俗些讲就是java容器，是个大环境。 所有的java程序都在jvm中运行； JVM模式：jvm有2种模式,1为client，1为server，通过java –version查看；一般情况下java会自动判断采用哪种模式，它会根据操作系统来选择，这也是为什么我们要用linux的原因；server模式启动会比client慢10%，但性能提升5-8倍或更高；理想的硬件环境在2G内存和2CPU以上。 JVM参数:(栈为自动分配，堆为手动) 1)堆大小 -Xmx：最大可用内存（需要设置，主要解决OutOfMemoryError: Java heap space?错误 ） -Xms：最小可用内存，可与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存 （需要设置，与上一个配套） -Xmn：年轻代大小。整个堆大小=年轻代大小 + 年老代大小 + 持久代大小。持久代一般固定大小为64m，所以增大年轻代 后，将会减小年老代 大小。此值对系统性能影响较大，官方推荐配置为整个堆的3/8（需要设置） -Xss：每个线程的堆栈大小,jdk5以后默认为1m，减小这个值能生成更多的线程（一般不需要设置） -XX:NewRatio：年轻代与老年代比值（当设定为6时，年轻代与老年代比率为1:6，年轻代始终固定为1）（一般不需要设置） -XX:SurvivorRatio：年轻代存活区与新生区比率（当设定为8时, Survivor区占用2/8，存活区2是固定的）（一般不需要设置） -XX:PermSize ：持久代大小（可理解为持久分区大小，该参数可避免持久区的内存溢出）（需要设置，OutOfMemoryError: PermGen space ） -XX:MaxPermSize ：持久代最大大小（需要设置，与上一个配套） 题外话：StackOverflowError 栈溢出如何解决----改程序吧。。不是递归太多就是构造不合理。。 -XX:MaxTenuringThreshold ：年轻代最大存活年龄，值越小老年化越快，否则新类存活时间越长（一般不需要设置） 2)回收器：串行收集器、并行收集器（通俗讲就是多线程不同步收集）、并发收集器(通俗讲就是多线程同步收集) -XX:+UseParallelGC ：年轻代并行收集开关（一般不需要设置） -XX:ParallelGCThreads：年轻代并行收集线程数（一般不需要设置） -XX:MaxGCPauseMillis：年轻代并行回收时间（一般不需要设置） -XX:+UseAdaptiveSizePolicy：年轻代并行自动化开关（一般不需要设置） -XX:+UseParallelOldGC：老年代并行收集开关（jdk1.6以后支持） （一般不需要设置） -XX:+UseConcMarkSweepGC：老年代并发收集开关（应用服务器，电信等保证响应时间的领域建议设置） -XX:+UseParNewGC：年轻代并发收集开关（应用服务器，电信等保证响应时间的领域建议设置） -XX:CMSFullGCsBeforeCompaction：在GC运行n次后压缩内存（一般不需要设置） -XX:+UseCMSCompactAtFullCollection：碎片整理（一般不需要设置） 3)辅助 -XX:+PrintGC：输出回收信息（一般不需要设置） -XX:+PrintGCDetails：输出回收明细（一般不需要设置） -XX:+PrintGCTimeStamps：输出回收时间(与上面2个配套使用) （一般不需要设置） -XX:PrintHeapAtGC：输出回收前后堆栈内信息（一般不需要设置） -Xloggc:filename：以文件记录日志信息（根据情况而定） -Djava.rmi.server.hostname：远控主机本地IP（需要设置，方便管理） -Dcom.sun.management.jmxremote：远控开启开关（需要设置，方便管理） -Dcom.sun.management.jmxremote.port：远控主机本地开放端口（需要设置，方便管理） -Dcom.sun.management.jmxremote.ssl：远控登陆是否为SSL安全登陆（