lvsos-CSDN博客

原创 MinerU magic-pdf安装步骤

如果要用GPU则需要修改magic-pdf.json，且安装PaddlePaddle的GPU版本。命令格式：magic-pdf -p "pdf所在路径" -o "输出到哪个文件夹" -m auto。安装anaconda之后，创建虚拟环境。之后便能运用cpu使用命令转换了。然后需要安装支撑的AI模型。

2025-04-10 15:27:31 548

原创 ModuleNotFoundError: No module named ‘detectron2.data‘问题解决

python安装magic-pdf时报如题的问题，单纯使用pip install detectron2 并不能正常安装。

2025-04-10 12:00:54 363

原创 MinerU的pip方式安装一定要加--user

如果不加--user执行必定会报错，加上之后正常。

2025-04-08 14:56:22 213

原创解决语料生成数据集遇到的ValueError: With n_samples=0, test_size=0.2 and train_size=None...问题

执行到该函数操作时，返回“ValueError: With n_samples=0, test_size= and train_size=None, the resulting”的错误。用本地的任意文档内容，尝试拿来生成数据集。对应使用的是scikit-learn库的train_test_split函数。原因是传递进去的dateset是空值。查看dataset的来源情况，发现文档数据读取到之后，进行格式转换时执行的。这段代码导致问题，文本里面并没有\n的字符，造成后续分隔之后的数组操作失败。

2025-02-27 17:26:26 391

原创 jupyter notebook配置支持局域网输入密码访问

根据提示重复输入两次密码之后，会显示形如[JupyterPasswordApp] Wrote hashed password to XXX的提示文件，打开相关json文件，里面键hashed_password后面对应的值即为加密后的完整密码。本地通过Anaconda3安装的jupyter notebook工具，原本只支持localhost的本机浏览器访问，想要通过IP端口的方式给局域网提供访问。保存重新开启jupyter notebook之后，访问URL页面便会要求输入密码了。

2025-02-25 10:10:46 444

原创记一次另类的K8S新增node主机等在Waiting to register with Kubernetes问题

最近新增一些主机，需要加入已有集群。各主机配置相应环境，且分别设置主机名。之后统一注册为worker节点，结果注册命令执行之后过了第二天，有两台执行成功，其它的全部显示。Waiting to register with Kubernetes状态，过去这么长时间了，主机里面通过docker ps查看服务安装情况，只有一个初始的服务，没有自动安装其它服务。折腾了较久没有看到关键的报错信息，所有流程都是正确无误的，却有这个异常出现。Registering的。

2024-12-07 15:33:56 403

原创防火墙导致Rancher的worker不可达问题

Rancher UI界面点击某worker安装的pod对应的执行命令，弹窗显示‘已关闭状态码: 1006’错误，无法进入交互窗口。集群引入新的worker主机节点之后，在集群的主机列表下显示正常。但是发现压力负载测试，新增的worker主机上却没有CPU压力。有走负载均衡的，还以为负载均衡没有负载过去。

2024-11-26 18:16:47 287

原创记因遭受流量攻击导致的网络瘫痪卡死发现过程

对方先在防火墙的检测工具中，开启了抓包的操作，对方查看抓包之后的内容，发现了非常多的请求连接，其在防火墙安全策略配置中将所有攻击防护开启，开启之后在安全日志里面看到了大量的IP分片的攻击，且攻击来源IP为各个国家的IP，目的IP为我们各个域名对应的IP地址。之前看到的只有防火墙上面入口流量那么大，但是我们内网服务器却没有异常报警，说明硬件防火墙已经将对应攻击给拦截了，但是这个拦截只是拦截避免进入内网，也就是门内是好好的，但是门外已经堵住了。遂将压力测试都停掉处理，停掉后对应带宽流量没有改善，还是非常大。

2024-11-14 18:23:26 333

原创 Rancher集群报“当前集群 Unavailable 中”问题处理

进入etcd的主机服务器10.0.12.5，docker ps有发现rancher/rancher-agent:v2.5.11的容器一直未能启动成功，在一直Restarting。该日志表示证书在10月18号过期了，导致Rancher服务更新rancher/rancher-agent:v2.5.11等服务异常，相应更新rancher主容器的证书之后，问题解决。多台服务器搭建的Rancher集群，之前一段时间都正常，能正常显示仪表盘，进入命名空间的工作负载显示当前安装的服务。

2024-10-23 17:55:57 1099

原创使用LVS作为MySQL数据库负载均衡遇到问题

原来pod所在这台物理机曾经被我设置过用于给MySQL负载均衡LVS的VIP网卡回路地址，这样每次这台物理机上的web服务要和MySQL服务通讯的时候，被本机的这个VIP网卡回路地址给拦截了，就像走进了环形跑道一直跑没有终点。在搭建好LVS的keepalived服务器之后，给多主多台MySQL服务作系统数据库的负载均衡。访问系统URL的时候，有数据库连接请求的情况下，发现有一定概率的请求等待，且调试这个等待不会超时，无论后端设置怎么样超时时间都没有效果。最后将对应VIP回路地址给删除解决。

2024-09-27 14:14:32 260

原创 LVS比HaProxy负载性能上优势明显

期间分别使用了LVS和HaProxy实现MySQL的负载均衡，并做压测对比，结果是同样单台负载均衡服务器，LVS能够很好的支撑大的压力负载，而HaProxy则每秒事务数偏低且运行不到一分钟事务数直线下滑，对应查看负载均衡服务器HaProxy所占用的CPU到100%。针对MySQL数据库查询相关性能提升，这边以新增数据库服务的方式实现，以集群方式支撑，且暂时配置的是多主的模式，纯粹是为了让性能上去。HaProxy只需要单独配置自身所在的服务器就好，LVS配置比较麻烦，需要各业务服务器分别创建回路网卡等。

2024-09-14 09:30:08 217