python如何筛选数据_Python解决数据筛选问题

最近工作中有个数据传输接口需要测试，

业务需求：

通过核对接口接收的数据条目数、是否等于接口传输条目数，印证数据接口的正确性。

前提条件：

本接口是实时传输。

接口每次传输的数据是全量数据。

解决方法：

因为是全量传输，所以需要根据传输时间对接收数据进行筛选，

把接口当次传输的数据找出来，并进行数据条目求和计算。

看接收数是否和传输数一致。

笔者尝试用非正则、正则表达式两种方法分别解决此问题。

首先，需要对接收的数据进行格式处理：

1、 获取传输数据

通过开发给的接口URL，在网页上得到接口传输的数据信息。复制粘贴该页面所有数据到后缀为txt的文本文档中。

如图显示：

得到的接口传输的数据，并没有根据某个字段信息进行排序，所以数据显示没有什么规律性。

2、 分析数据格式

数据样式如下：

原数据较长且比较复杂，不利于阅读和梳理思路，所以笔者精简了数据，只留下两条，并用红色框拆解出来数据的格式。

可以看出来，数据是按照json串的格式进行传输的。美化后，显示如下。看着就更清晰了。