SHFIRM-CSDN博客

原创 Doris数据导入

Doris高度兼容MySQL语法，但不建议在生产环境中使用 INSERT INTO VALUES插入数据。以下将记录通过外部表Multi-Catalog及Routine Load两种方式进行数据导入。使用外部表Multi-Catalog可以通过INSERT INTO SELECT的方式导入外部表数据，将以PostgreSQL为例。Routine Load 导入方式则是持续消费 Kafka Topic 中的数据，它是一个流式导入作业，支持 Exactly-Once 语义，保证数据不丢不重。

2024-10-27 20:46:08 1378

原创 Doris性能测试

Doirs官方提供了使用JDBC插入数据的性能测试结果，该测试使用了TPC-H的LINEITEM表作为数据集，使用DataX的txtfilereader读取文本类型的数据集并通过mysqlwriter将数据集写入Doris。以下将实现此测试过程，实际检验Doris在服务器上的插入性能。整理内容包括使用TPC-H工具生成测试所需数据集的方法，DataX的配置及使用方法，最终完成测试。

2024-10-18 22:08:15 1668

原创 Doris安装与简单使用

Doris是一款基于大规模并行处理(MPP-based)的实时数据仓库，采用MySQL协议，支持标准SQL并且高度兼容MySQL语法。其架构简洁，仅包括Frontend (FE)与Backend (BE)两个部分，FE负责请求处理、查询解析与计划、元数据和节点管理。BE负责数据存储和执行查询。

2024-10-12 20:19:48 1677

原创记一次通过Nginx解决Cookie跨域问题的实现过程

记一次通过Nginx解决Cookie跨域问题的实现过程。分析Grafana鉴权逻辑，可通过后端模拟登录获取grafana_session，然后设置Cookie的方式实现免登录跳转。在本地使用Springboot编写了获取授权重定向方法后，跳转并不成功，会进入登录页面，没有实现免登录跳转。通过浏览器查询重定向至Grafana页面的请求状态码为302 Found，grafana_session授权信息也没有成功设置到Cookie中。

2024-10-10 20:42:44 694

原创 PostgreSQL高可用之故障转移

通过前两章的实践我们已经可以在主库与备库之间实现数据同步，也实践了正常情形与"数据分叉"场景下的主备切换方法。在这一章我们通过Keepalived这一网络服务软件实时监测PostgreSQL的可用状态，在发现主库不可用的情况下，通过从主节点所在服务器向备节点所在服务器转移VIP(Virtual IP Address)，并提升备库为主库的方式进行了PostgreSQL故障转移，实现了PostgreSQL高可用的目标。

2024-09-28 20:28:05 1074

原创 PostgreSQL高可用之主备切换

在主库宕机等情形下，可能存在备库升级为主库的需求，此时原主库在修复后一般会作为新备库重新加入到集群当中，从而恢复主备复制状态。在正常情况下，备库完整复制了主库的所有内容，此时原主库作为新备库重新加入到集群中相对简单。而在某些特殊场景下，如备库可能还没有来的急完整复制主库内容，主库就发生了宕机，这时备库在提升为主库后插入数据就会产生数据"分叉"问题，在本文中也将介绍如何在特殊场景下进行主备切换。

2024-09-26 20:43:41 1760

原创 PostgreSQL高可用之主备复制

多个PostgreSQL可协同工作，如果主库发生宕机备库将迅速进行接管并对外提供服务以实现高可用。本文将从主备复制、主备切换、故障转移等角度进行实际测试演练。第一章主备复制是基础，通过主备复制可以得到一个或多个相同的实例。在主备复制的基础上通过第二章主备切换介绍了如何手工将主库与备库互换角色。在第三章中，采用了Keepalived进行实时监测，在主库宕机后，使用主备切换中提到的命令使备库升级为主库并对外提供服务，以达到PostgreSQL高可用的目标。

2024-09-25 20:44:11 1040

原创 PostgreSQL服务运行日志配置-实现对数据结构定义(如删表)、数据增删改、服务连接建立和销毁等关键操作的监控

PostgreSQL服务运行日志记录默认是关闭的，不会记录数据库服务发生的事件和错误信息，在线上数据库出现问题后难以追溯原因及过程。本文通过配置PostgreSQL服务运行日志，实现对数据结构定义(如删表)、数据增删改、服务连接建立和销毁等关键操作的监控，监控内容包括请求的主机及端口、操作用户、操作的数据库名称、请求的应用名称、执行的语句等。PostgreSQL日志相关的配置众多，除文中提到的配置外还有如慢查询记录、检查点记录等，可根据文末提供的官方文档开启相应的日志功能。

2023-09-12 19:09:18 635

原创离线安装物理机CentOS7系统Realtek2.5G网卡驱动(r8125)

物理机安装CentOS7后，系统识别不到有线网卡信息，经查是缺少Realtek2.5G网卡驱动所致，由于无法连接网络只能通过离线的方式进行安装，若CentOS版本和网卡版本一致则可直接使用本教程的方式进行安装(实践可行)，本文CentOS7安装时勾选了带GUI安装。

2023-09-05 10:59:34 4696 6

原创 Docker搭建ElasticStack8.9(Elasticsearch、Kibana、Filebeat)单节点模式实践日志收集展示

本文使用Elasticsearch、Kibana、Filebeat实现了简易的日志收集存储及实时展示。ElasticStack自8.0开始，安全配置默认激活，未使用TLS加密传输等情况下，服务将启动失败。安全可配置关闭，本文选择保留了相关安全功能。整体实践Elasticsearch采用的单节点模式，使用Docker的方式进行搭建，版本采用的是ElasticStack8.9.0，在不修改相关配置的情况下可直接通过docker-compose启动试用。

2023-08-09 19:03:51 666 2

原创 PaddleOCR图像文字识别实践

本文根据PaddleOCR官方文档实践部署进行了图像的文字识别。由于相比基于python的服务部署方式，C++ 服务部署性能更优。以下部署过程采用基于PaddleServing v0.9.0 的C++部署方式，使用serving开发镜像(CPU)，PaddleOCR版本为2.6.0。

2023-03-30 22:58:49 1428 1

离线安装物理机CentOS7系统Realtek2.5G网卡驱动(r8125)

CentOS7版本：CentOS Linux release 7.9.2009 (Core) 网卡版本：Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05) 安装步骤： 1.在BIOS中关闭Secure Boot，不关闭的情况下驱动安装成功也无法联网。 2.在packages目录下执行 rpm -Uvh *.rpm --nodeps --force 3.成功后执行 rm -f /lib/modules/$(uname -r)/build ln -s /usr/src/kernels/$(uname -r)/ /lib/modules/$(uname -r)/build 4.在r8125-9.011.01目录下执行 sh autorun.sh 安装成功后将会自动连接有线网络。具体可参考网址：https://blog.csdn.net/asdasdsaff/article/details/132687312

2023-09-05

DTS音频转换为AC3音频工具eac3to

eac3to是一款可以将DTS音频转换为AC3音频的工具。

2023-08-11

gMKVExtractGUI.v2.6.4.7z

gMKVExtractGUI是一款mkv字母与音视频抽取工具，可以批量提取mkv音轨和字母。

2023-08-11

mkvtoolnix-64-bit-78.0-setup.exe

MKVToolNix是一套mkv格式制作和处理的工具，支持将多种视频、音频、字幕等格式封装成mkv格式。

2023-08-11

Docker搭建ElasticStack8.9.0单节点模式实践日志收集展示的示例

采用单节点模式，用到了Elasticsearch、Kibana、Filebeat三个组件，版本采用的是ElasticStack8.9.0，安全配置默认激活。文件内容为docker-compose.yml及ElasticStack所需的配置文件及目录结构，解压至目标目录后，在elastic_stack目录下执行 "chmod g+rwx ./elasticsearch/data && chgrp 0 ./elasticsearch/data && chmod g+rwx ./elasticsearch/plugins && chgrp 0 ./elasticsearch/plugins && chmod g+rwx ./kibana/data && chgrp 0 ./kibana/data" 然后执行"docker-compose up -d"启动访问地址：http://部署服务器ip:5601/ 用户：elastic 密码：aaaaaa 详细介绍地址：https://blog.csdn.net/asdasdsaff/article/details/132194686

2023-08-08

工具类，根据给定长度，使用递归的方式拆分一个json成为多个json组成的列表

小例子：[{"a":"b"},{"a":"b"}]，拆分长度为10，结果为[{"a":"b"}] [{"a":"b"}] ；用到了fastjson

2018-11-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人