与copilot 结对编程系列 - log日志重复性检测 - 第3篇 - SQLite 数据库存储

本文链接：https://blog.csdn.net/qq994327432/article/details/140810212

背景

细节可以参考这篇文章: 与copilot 结对编程系列 - log日志重复性检测 - 第1篇 - 总体介绍及效果展示

这个模块主要用于将处理后的日志数据存储到 SQLite 数据库中。以下是对详细解释.

数据策略选择

主要有以下需要选择

数据结构定义
数据库选择
数据库 table 选择
数据库插入方式选择

数据结构定义

在当前场景中，combined_sct_case_data、combined_log_info_data 和 combined_sct_case_log_data 作为数据库存储的入参是为了将不同来源的数据整合并存储到数据库中。这些数据通常来自不同的日志文件或系统，整合后可以更方便地进行查询和分析。以下是每个数据集的具体作用：

combined_sct_case_data:
- 这个数据集包含了 SCT (System Configuration Test) 案例的基本信息，如案例名称、ID 等。
- 存储这些数据有助于在查询时快速获取特定 SCT 案例的相关信息。
combined_log_info_data:
- 这个数据集包含了日志的详细信息，如日志的过程、级别、类型、文件行号和日志消息等。
- 存储这些数据有助于在查询时获取特定日志的详细信息，并进行日志级别和类型的统计分析。
combined_sct_case_log_data:
- 这个数据集包含了 SCT 案例与日志之间的关联信息，如重复行数、不同日志级别的计数等。
- 存储这些数据有助于在查询时分析特定 SCT 案例的日志重复情况，以及不同日志级别的分布情况。

通过将这些数据整合并存储到数据库中，可以实现以下几个目的：

数据整合：将来自不同来源的数据整合到一个统一的数据库中，方便后续的查询和分析。
高效查询：通过 SQL 查询，可以高效地获取和分析特定 SCT 案例或日志的详细信息。
数据分析：可以对日志数据进行统计分析，如日志级别的分布、重复行数的统计等，帮助发现系统中的问题。

总之，将 combined_sct_case_data、combined_log_info_data 和 combined_sct_case_log_data 作为数据库存储的入参，可以实现数据的整合、存储和高效查询，方便后续的分析和处理。

数据库选择

结合当前的使用场景, 最后使用SQLite作为存储数据库。
主要有以下几个原因：

轻量级和嵌入式：
- SQLite是一个轻量级的嵌入式数据库，不需要单独的服务器进程。它将整个数据库存储在一个单一的文件中，非常适合小型应用程序或嵌入式系统。
- 这种特性使得SQLite非常适合脚本和小型项目，因为它不需要复杂的安装和配置。
易于部署：
- SQLite数据库是一个单一的文件，这使得它非常容易部署和备份。只需复制这个文件即可迁移数据库。
- 对于需要在不同环境中运行的脚本（如开发、测试和生产环境），SQLite的这种特性非常有用。
零配置：
- SQLite几乎不需要配置。与MySQL等需要配置服务器、用户权限等不同，SQLite开箱即用，减少了配置和维护的复杂性。
适合单用户或低并发场景：
- SQLite适用于单用户或低并发的应用场景。对于当前场景，通常不会有大量的并发访问，因此SQLite的性能足够满足需求。
- MySQL等数据库更适合高并发和多用户的场景，但对于当前场景来说可能是过度设计。
开发和测试方便：
- 在开发和测试阶段，使用SQLite可以快速进行数据库操作，而不需要启动和管理一个MySQL服务器。
- 这使得开发人员可以更专注于业务逻辑，而不是数据库管理。
内存占用小：
- SQLite的内存占用非常小，适合资源有限的环境。
- 对于需要在内存中进行大量计算或处理的脚本，SQLite的低内存占用是一个优势。

综上所述，SQLite的轻量级、易于部署、零配置、适合单用户或低并发场景以及开发和测试方便等特性，使得它成为当前场景的理想选择。相比之下，MySQL等数据库虽然功能更强大，但在这些场景中可能显得过于复杂和不必要。

数据库 table 选择

在脚本场景中，构建 create_sct_case_table_sql、create_log_info_table_sql 和 create_sct_case_log_table_sql 这三张表是为了有效地存储和查询日志数据。以下是每张表的详细解释，包括其成员、主键、外键和索引的作用。

`sct_case` 表

SQL 语句

CREATE TABLE IF NOT EXISTS sct_case (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    name TEXT