無爲謂-CSDN博客

原创 mysql主从复制及故障修复

分别在三台主机（chen2/10.110、chen3/10.120、chen4/10.130)中安装mysql数据，其中chen2/10.110作为主MySQL服务器，其余两台作为从MySQL服务器。

2024-10-16 18:37:08 3601 1

原创 mysql数据库的备份与恢复

这里准备的是8.0版本的MySQL数据库。

2024-10-14 17:58:55 1806 1

原创 Linux性能调优，还可以从这些方面入手

linux是目前最常用的操作系统，下面是一些常见的 Linux 系统调优技巧，在进行系统调优时，需要根据具体的系统负载和应用需求进行调整，并进行充分的测试和监控，以确保系统的稳定性和性能。同时，调优过程中要谨慎操作，避免对系统造成不良影响。其主要调优方向，大概包含几个方面：内存、CPU、i/o 网络调优以及安全性和资源限制。

2024-10-12 15:35:17 2555 1

适应场所: 数据通常不会有update 操作，适用于 time based 索引数据（生命周期管理），同时数据量比较大的场景。引入warm 节点，低配置大容量的机器存放老数据，以降低部署成本两类数据节点，不同的硬件配置Hot节点（通常使用SSD）：索引有不断有新文档写入，通常使用SSDWarm节点（通常使用HDD）：索引不存在新数据的写入，同时也不存在大量的数据查询Hot nodes用于数据的写入Indexing 对CPU和IO都有很高的要求，所以需要使用搞配置的机器。

2024-10-12 13:40:54 1926

原创 Elasticsearch生产应用（进阶版），不知道怎么提升生产ES集群性能，看这篇就可以了

Red 和 yellow 是集群运维中常见的问题除了集群故障，一些创建，增加副本登操作，都会导致集群短暂的red 和yellow，所以监控和报警时需要设置一定的延时通过检查节点数，使用ES提供的相关API，找到真正的原因可以指定move 或者reallocate分片。

2024-10-11 15:54:54 1640 1

原创抛弃zookeeper的Kafka集群，看这一篇就可以了

本地安装测试：三台主机：192.168.10.110，192.168.10.120，192.168.10.130。

2024-10-03 22:57:01 1985 1

原创 1分钟解决Excel打开CSV文件出现乱码问题

CSV 文件有多种编码格式，如 UTF - 8、UTF - 16、ANSI 等。如果，而打开，就可能出现乱码。例如，许多从网络应用程序或非 Windows 系统生成的 CSV 文件可能采用 UTF - 8 编码。

2024-11-01 15:15:58 19928

原创入门 | Kafka数据使用vector消费到Loki中使用grafana展示

Loki 是由 Grafana Labs 开发的一款水平可扩展、高性价比的日志聚合系统。它的设计初衷是为了有效地处理和存储大量的日志数据，与 Grafana 生态系统紧密集成，方便用户在 Grafana 中对日志进行查询和可视化操作。（Agents）：负责收集日志并将其发送到 Loki 服务器。这些客户端可以是各种应用程序或服务器上的日志收集代理，如 Promtail（专门为 Loki 设计的日志收集器）。Promtail 能够自动发现日志文件的变化，将新的日志行发送到 Loki。

2024-10-31 23:35:56 2418 5

原创小白学python | pandas库中DataFrame用法

可以使用字典来创建 DataFrame，其中字典的键将成为列名，字典的值（通常是列表）将成为列数据。例如：在这个例子中，data是一个包含name和age两个键的字典。pd.DataFrame(data)创建了一个 DataFrame 对象df，它有两列，name列包含['Alice', 'Bob', 'Charlie']，age列包含[25, 30, 35]。

2024-10-28 23:31:34 1574

原创 10 分钟快速搭建 SkyWalking 服务

它能够追踪分布式系统中各个服务之间的调用链路。例如，在一个由多个微服务组成的电商系统中，当用户下单后，订单服务会调用库存服务、支付服务等。SkyWalking 可以记录从用户请求开始，经过各个服务的完整调用路径，包括每个服务的处理时间、请求参数和返回结果等信息。这有助于开发者快速定位系统中性能瓶颈和故障点。对于跨进程、跨主机甚至跨数据中心的服务调用，SkyWalking 都可以准确地进行追踪。

2024-10-28 14:43:59 2325 1

原创进阶 | Prometheus+Grafana 普罗米修斯

这里使用进行二进制安装包进行安装创建软链接方便使用pushgateway 的默认端口是9091，所以在Prometheus中添加对应的配置，并后台启动pushgateway重启prometheus服务使用命令，手动生成一个metric ，进行验证进行查询验证对应的键和值都是命令给定的，这样的自定义目前是无法使用grafana进行绘图的因为自定义pushgateway需要主动将指标推送到Prometheus中，所以这里借助脚本进行推送这个是收集用户登录数量的自定义matric ，一秒一次。

2024-10-25 19:35:07 1582 1

原创入门 | Prometheus+Grafana 普罗米修斯

一个完整的监控系统需要包括如下功能：数据产生、数据采集、数据存储、数据处理、数据展示、分析、告警等。

2024-10-24 18:06:33 4442 1

原创 python推导式

python推导式是一种独特的数据处理方式，可以从一个数据序列构建另一个新的数据序列的结构体。python推导式是一种强大且简洁的语法，适用于生成列表、字典、集合和生成器。在使用推导式时，需要注意可读性，尽量保持表达式的简洁，以免影响代码的可读性和可维护性。·列表（list）推导式·字典（dict）推导式·集合（set）推导式·元组（tuple）推导推导式。

2024-10-23 19:38:43 993

原创 MySQL数据库的高可用

1、MHA利用 select 1 as value 指令判断master服务器的健康性，一旦master宕机，MHA从宕机崩溃idmaster保存二进制日志事件（binlog events）2、识别含有最新更新的slave3、应用差异的中继日志（relay log）到其他的slave4、应用从master保存的二进制日志事件（binlog events）5、提升一个slave为最新的master6、使其他的slave连接新的master进行复制。

2024-10-22 20:38:51 881 1

原创运维面试常问的100道题（大数据统计）

服务器是一种高性能的计算机，用于为网络中的其他设备提供服务。类型包括：Web 服务器：用于托管网站和 Web 应用程序。数据库服务器：存储和管理数据。文件服务器：提供文件存储和共享服务。邮件服务器：处理电子邮件的发送和接收。DNS（Domain Name System）即域名系统，作用是将域名转换为 IP 地址，以便设备能够通过域名访问网络资源。HTTP（Hypertext Transfer Protocol）是超文本传输协议，用于在 Web 上传输数据。

2024-10-18 10:12:21 4341

原创 Mycat 详细介绍及入门实战，解决数据库性能问题

Mycat 将一个大表的数据按照一定的规则拆分成多个小表，分布在不同的数据库节点上。例如，可以根据某个字段的值进行哈希取模，将数据均匀的分布到不同的节点上。这样做的好处是可以将数据分散到多个节点上，提高查询和写入的性能，同时也可以突破单个数据库的存储和处理能力限制。将一个数据库中的不同表按照业务逻辑进行拆分，分别存储在不同的数据库节点上。比如将用户的信息表和订单表分别存储在不同的节点上，这样可以根据业务的需求独立的对不同的表进行扩展和优化。

2024-10-17 19:07:48 1386

原创一台主机部署多个mysql实例，看这一篇就够了

提前准备好MySQL数据库的8.0版本的二进制安装包。

2024-10-15 15:35:22 1539 1

原创 kafka集群管理就是这么简单

社区在1.1.0版本中正式引入了动态broker参数（dynamic broker configs），所谓动态，就是指修改参数值后，无需重启broker就能立即生效，而之前在 server.properties中配置的参数称为静态参数(static configs)。显然，动态调整参数值无需重启服务。社区并没有将每一个参数都升级成动态参数，它仅仅是把一部分参数变成了可动态调整。

2024-10-13 21:44:46 1505

原创 Elasticsearch 生产应用（实用版），知晓这些，你就可以进行简单的ES集群运维了

如果过期时间比较短，会显示当前阶段是delete，如果过期时间比较长，则会出现hot阶段，到了delete阶段，过几分钟就会被删除。默认情况下是没有ILM策略的，我们给它设置刚刚创建的策略，这样通过logstash传输创建的索引就会附带ILM策略；当然也可以直接将删除策略直接绑定索引模板，这样使用某索引模板的时候，就会自动绑定回收策略。上面的操作只能修改已创建的索引的副本情况，但是之后创建的索引依然是1主分片1副本。在高版本的kibana中，可以直接在索引管理中进行修改某一日志的索引模板。

2024-10-11 16:05:16 880 1

原创 ELFK日志分析架构，新手看这一篇就够了

ELFK日志分析架构，是使用的一整套的开源产品，一般由 filebeat 、kafka、logstash、elasticsearch、kibana构成。

2024-10-10 18:34:59 1749 1

原创 skywalking对接python的数据链路追踪，看这篇就可以了

这里使用大模型给随机生成一个python的http服务，用来进行验证基于 http.server 的简单 HTTP 服务器及其插件打包成 Docker 镜像的步骤1、创建项目目录mkdir http-plugin-servercd http-plugin-server2、创建 HTTP 服务器文件(1)创建一个名为 server.py 的文件，并添加以下内容：# server.pyfrom http.server import BaseHTTPRequestHandler, HTTPServerimport

2024-10-10 11:17:34 1150 1