Apache Nifi性能测试

Apache Nifi性能测试计划
1.概述
1.1 目的
本测试计划为Apache Nifi的性能测试计划，目的在于测试在应用Nifi做为数据接入工具时系统的数据完整性、异常状态下的数据恢复机制以及在不同负载状态下数据的响应时间。
1.2 背景
考虑到大数据管理平台有数据接入量大、数据源多样化、对数据的完整性和容错率要求高、延迟率低等特点，因此计划对Nifi的数据完整性、异常状态下的容错性以及服务器在高负载情况下的性能做一个全面的测试评估，以便于了解nifi的优点和缺陷，从而优化整个大数据管理平台架构。
1.3 范围
本次测试主要是基于现有的数据接入模块业务流程进行测试。
2.测试概要
2.1 测试环境
软件环境：Apache Nifi 0.5.0 版本
开发环境安装路径：
单机版Nifi：slave158(192.168.60.158) /home/yang/nifi_pro/nifi-0.5.0
Nifi集群：
Node1：slave158(192.168.60.158) /home/yang/nifi_pro/nifi-0.5.0
Node2：slave161(192.168.60.161) /home/yang/nifi_pro/nifi-0.5.0
Node3：slave162(192.168.60.162) /home/yang/nifi_pro/nifi-0.5.0
Node4：slave158(192.168.60.158) /home/yang/nifi_pro/nifi-0.5.0_node4
操作系统：liunx
2.1 测试目标
1.数据完整性测试。
2.异常状态容错机制测试。
3.不同负载下的响应时间测试。
4.Nifi集群模式下的主从切换测试。
3.测试方法
3.1 数据完整性测试
1.通过SendGcjlTokafka.2.0工具向kafka发送数据,并记录发送数据条数。
2.等待整个数据处理流程结束后，去gjjl表里面查看数据增长量是否和发送的数据量一致。
3.多次循环上述流程，结果都是一致则说明数据完整，无丢数据情况发生。
4.有不一致状况，排查各个数据处理流程，找出丢失数据原因。
3.2 异常状态下Nifi容错机制测试
1.在数据正常流转时，关闭系统组件或服务，如使kafka宕机，停止Mysql、Hbase服务等，测试数据 是否按照事先配置的“failure”逻辑进行或者是否出现数据堆积和积压。如果积压，测出积压峰值。
2.重新恢复停掉的服务，测试数据流是否自动切换回“success”逻辑。
3.测试在服务宕机状态下积压的数据是否会重新尝试执行正常业务逻辑。
4.异常状态恢复完成后，根据3.1数据完整性测试流程对异常恢复后的数据完整性进行测试。
3.3 不同负载下Nifi的性能测试
1.同样的业务流程在不同的数据量下的性能测试。
如：针对现有的数据采集清洗转发入库流程，测试其在1W，100W，1亿….等数据量