- 博客(72)
- 收藏
- 关注
RSS订阅原创 阿里云高可用生产环境网络架构实战：VPC规划与多可用区部署
你只需要一个VPC。简化管理与运维：所有资源位于同一个私有网络内，默认内网互通，路由结构清晰，极大降低了网络管理的复杂度。极致性能与零成本互通：VPC内部，跨可用区（AZ）的通信延迟极低（通常<1ms），并且最重要的是——免费。相比之下，多个VPC通过云企业网（CEN）打通后，虽然延迟依然很低，但会引入额外的成本和配置复杂性。足够的隔离性：通过安全组（Security Group）网络ACL（Network ACL）和子网（交换机）
2025-09-07 20:08:38
367
原创 阿里云RDS MySQL数据归档全攻略：方案选择指南
摘要：阿里云为RDS MySQL提供多种数据归档方案，包括Lindorm、AnalyticDB、OSS等存储服务，适用于不同业务场景。本文详细解析各方案特点，如AnalyticDB适合实时分析，OSS适合低成本长期存储。通过健康科技公司案例，展示如何设计归档策略，包括DMS任务配置和Lindorm表结构设计，实现历史数据高效迁移与查询，平衡存储成本与业务需求。（149字）
2025-08-22 17:55:26
753
原创 从MySQL到大数据平台：基于Spark的离线分析实战指南
本文介绍了MySQL业务数据迁移至大数据平台实现离线分析的完整解决方案。方案采用Sqoop/FlinkCDC进行数据抽取，Spark/Hive进行数据处理，构建了从数据抽取、清洗转换到高效存储和离线计算的完整流程。关键技术包括：Sqoop全量/增量数据同步策略、Spark数据清洗与质量检查、Parquet/ORC存储格式优化、RFM用户分群和漏斗分析等典型场景实现，以及数据倾斜处理等生产环境优化技巧。通过电商数据分析平台案例，展示了从数据抽取到生成业务报表的端到端实现。该方案已在实际生产环境中验证，可支持亿
2025-08-10 15:02:54
505
原创 RAG与智能体技术全景解析：架构革新、场景落地与未来趋势
本文系统解析了RAG（检索增强生成）和智能体技术的发展现状与趋势。RAG通过动态检索外部知识库增强大模型生成能力，解决知识陈旧和幻觉问题，其核心流程包括检索、融合、生成三阶段，适用于医疗、金融等高精度场景。智能体作为自主AI系统，具备感知环境、规划决策和执行能力，正向多智能体协作(L4级)演进。主流框架包括通用型、低代码型RAG方案及企业级智能体平台，应用已渗透金融、医疗、教育等领域。未来趋势呈现多智能体协作、实时数据驱动、安全合规强化、低代码开发及多模态融合等特点，标志着AI正从问答工具向生产力单元转型，
2025-08-03 21:02:06
1193
原创 基于DataX的数据同步实战
DataX是阿里巴巴开源的离线数据同步工具，采用框架+插件设计，支持20+种数据源。本文介绍了DataX的核心架构、MySQL全量同步配置方法，以及基于时间戳的增量同步方案和性能优化技巧。重点分享了channel并发数、writeMode写入模式等关键参数配置，并提出了生产环境中的监控指标和高可用建议。相比Flink、Sqoop等工具，DataX在批处理场景下具有吞吐量高、学习成本低的优势，适合构建企业级数据集成方案。
2025-07-26 23:48:58
803
原创 ChromaDB vs Milvus：如何为你的AI应用选择最佳向量数据库
本文对比了两种主流向量数据库ChromaDB和Milvus的特性与适用场景。ChromaDB作为轻量级解决方案，适合快速原型开发和小规模应用，具备易集成、零配置等优势；Milvus则是为大规模生产环境设计的分布式系统，支持十亿级向量处理和高性能检索。技术选型应基于数据规模、查询复杂度等需求：小数据量（<10万）选择ChromaDB，超百万级数据推荐Milvus。实际案例显示，ChromaDB适合研究项目和初创公司，而Milvus更匹配电商、金融等大规模商业应用。随着AI发展，轻量化和多模态支持将成为向
2025-07-21 00:59:29
1192
原创 基于Milvus Lite的轻量级向量数据库实战指南
本文介绍了如何使用MilvusLite在Windows上快速构建图书推荐系统的向量搜索引擎。主要内容包括：MilvusLite无需Docker的轻量级优势、环境配置步骤、数据模型定义、向量数据插入、索引构建和搜索实现。重点讲解了性能优化技巧如内存管理、搜索参数调优和数据持久化，并提供了常见问题解决方案。通过这个Python实现的demo，开发者可以快速掌握小规模向量检索应用的核心技术。
2025-07-20 00:34:06
1036
原创 公司短信发送问题总结
短信通道选择直接影响发送效果。初期使用阿里云短信成功率不足90%，因其并非直连运营商。后改用助通、大汉三通等专业通信公司，这些通道直连运营商，具备延迟低、到达率高等优势，成功率可达98%以上，稳定性显著提升。建议优先选择直连运营商的短信服务商。
2025-07-13 19:16:06
100
原创 数据同步工具对比：Canal、DataX与Flink CDC
Canal、DataX和FlinkCDC是三种主流数据同步工具，各有特点：Canal基于MySQL binlog解析，适用于实时同步场景；DataX作为离线同步工具，支持异构数据源批量传输；FlinkCDC结合Flink流处理能力，提供实时变更捕获功能。三者在架构、同步模式、性能表现上存在差异，适用于不同业务场景。实际应用中可组合使用，如DataX初始化全量数据后，用Canal/FlinkCDC处理增量更新。随着技术发展，这些工具将不断演进融合，开发者需根据实时性、数据量等需求选择合适的解决方案。
2025-06-29 18:30:51
1566
原创 阿里云oss使用成本优化实践
使用阿里云OSS时发现每月费用偏高，通过分析发现主要费用来自存储和外网流量。存储方面需注意资源包类型与Bucket存储类型匹配，避免资源包无法使用（如本地冗余包用于同城冗余Bucket）。大数据量应考虑归档存储，设置生命周期并注意单个文件需大于64KB。流量方面，内网使用应避免外网流量费，可购买下行流量资源包。写操作和内网操作通常不产生费用。这些优化措施有助于降低OSS使用成本。
2025-06-15 16:03:54
372
原创 阿里云基础资源成本优化
本文总结阿里云主要服务的成本优化策略：1.OSS存储通过类型选择和生命周期管理可节省30-40%成本；2.RDS数据库优化包括实例选型、存储清理和备份策略调整；3.ECS服务器采用预留实例可获30-50%折扣；4.数据库备份通过压缩和策略调整降低存储消耗。综合采用标签管理、监控告警和定期审计等措施，平均可节省20-35%云成本。建议建立专业团队持续优化，并在测试验证后实施生产环境。
2025-06-02 20:20:57
483
原创 使用Ollama+Dify搭建本地AI开发环境全攻略（避坑指南）
成功标志：- Ollama能稳定运行模型- Dify可以正常调用API- 响应速度<5秒（8B模型）推荐资源：1. [Ollama官方文档](https://ollama.ai)2. [Dify中文论坛](https://discuss.dify.ai)3. [模型下载加速站](https://mirror.llama.horse)大家在搭建过程中遇到什么问题？欢迎评论区交流！如果遇到报错，记得贴出完整错误日志哦~
2025-05-25 16:29:17
879
原创 记录一次修改nacos安全问题导致服务调用出现404
本文介绍了在微服务架构中，如何修改Nacos的默认配置、更新生产环境的用户名和密码、调整Spring Cloud Gateway的Nacos配置，以及单点部署Nacos和Gateway时需注意的问题。首先，修改Nacos的认证密钥后，微服务的token认证会失效，需等待自动重连或手动重启服务。其次，更新Nacos的用户名和密码后，需重启服务并检查Nacos控制台的服务注册情况。接着，调整Gateway的Nacos配置后，需重启并验证路由是否正确。最后，单点部署Nacos和Gateway时，建议在业务低峰期进
2025-05-18 20:48:16
648
原创 docker安装superset实践
默认使用的是sqllite数据库，切换mysql有问题，欢迎讨论！2、安装superset容器。1、拉取docker镜像。4、启动docker。
2025-05-11 21:50:34
448
原创 开源BI选型及DataEase搭建
FineBI、DataEase等提供中文文档和国产数据库适配。：国内工具（如FineBI）更符合等保、数据安全法规。：Apache Doris、Kyligence与华为云/阿里云集成更紧密。：Superset、Metabase对AWS/GCP/Azure适配更好。：Superset（GitHub 50k+ Stars）、Metabase（30k+ Stars）问题响应更快。：优先考虑（合规）、（易用性）或（高性能分析）。：选择（灵活性）或（快速部署）。组合。
2025-05-06 08:59:20
882
原创 深入理解TransmittableThreadLocal：原理、使用与避坑指南
TransmittableThreadLocal（TTL）是阿里开源的一个线程间数据传递解决方案，解决了InheritableThreadLocal在线程池场景下的问题。核心特性- 支持线程池场景下的值传递- 支持任务执行前的自定义逻辑- 支持任务执行后的自定义逻辑- 兼容InheritableThreadLocalTransmittableThreadLocal是解决线程池环境下上下文传递的强大工具，合理使用可以简化编程模型，但需要注意内存管理和性能影响。
2025-04-26 23:57:29
1228
原创 Apache Doris 高频问题排查指南：从报错到性能优化
官方文档-错误码章节](https://doris.apache.org/zh-CN/docs/dev/admin-manual/error-code/)| -400 | 查询超时 | 增大`query_timeout`参数 || -1010 | 函数参数不匹配 | 检查函数签名，如`date_format`格式 |- **FE关键日志**：fe/log/fe.warn.log（搜索`WARN`/`ERROR`）
2025-03-30 20:42:25
1296
原创 开发复杂业务功能步骤
建立领域服务分层架构（Interface/Application/Domain/Infra）识别核心业务实体与关键业务规则（如金融系统的风控规则）创建用例矩阵（Actor/功能/优先级三维矩阵）安全合规要求（GDPR/等保三级等技术实现路径）建立业务指标度量体系（如结算系统的金额平衡校验）设立架构守护规则（ArchUnit测试用例示例）代码质量门禁（SonarQube规则集配置）建立架构健康度评估模型（耦合度/复杂度指标）熔断降级配置矩阵（不同业务场景的容错策略）规则引擎集成（Drools决策表配置示例）
2025-03-24 00:24:29
307
原创 ClientAbortException问题分析
是后端服务器（如 Tomcat、Spring Boot）在响应过程中检测到客户端连接中断时抛出的异常。用户主动中断：关闭浏览器、取消下载/上传操作。网络问题：客户端与服务器之间的连接突然断开。前端控制：通过 JavaScript 调用主动终止请求。数据一致性 > 资源效率：金融、电商等关键业务优先启用。资源效率 > 数据一致性：内容分发、实时通信等场景保持默认配置。
2025-03-16 22:24:57
1124
原创 mysql大数量表添加索引方案
使用ALGORITHM和LOCK可以控制索引创建的方式和锁级别。在生产环境中，建议优先使用和LOCK=NONE，以减少对业务的影响。如果不确定操作是否支持INPLACE或NONE，可以先测试或查看的相关信息。
2025-02-23 10:49:38
693
原创 阿里云oss存储实践方案
如果数据不是太大，或者初期使用的时候直接买阿里云资源包就行，当数据量增长很快的时候，比如一天好几个G，就需要综合考虑了，不然成本会很高1、OSS对象存储只是作为存储服务使用，本身只具有存储功能， 可以将OSS数据下载重新存储到其他存储服务中。2、当前OSS降低存储成本主要就是通过转换存储类型的方式实现， 标准规格存储单价最高，深度冷归档存储规格数据单价最低。3、数据类型的转化当前可以通过生命周期自动转换，或者通过CopyObject接口自行转换。
2025-02-16 12:56:58
468
原创 nacos安全问题实践
nacos初始化的时候需要配置一些参数，如果用默认的参数就会存在一些安全问题，容易被黑客攻击。登录nacos后台管理-》权限管理，检查后门账号和权限信息，如果存在，则删除。3、配置应用程序只有读的权限，给不同的小组负责人配置nacos的相应的资源权限。2、检查线上nacos是否存在后门账号和权限。修改默认账号nacos密码。
2025-01-19 11:04:53
385
原创 oss实现文件预览实践
3、有了域名之后，词bucket就支持直接通过域名的方式访问，并且也不影响老域名的使用。2、绑定域名，如果没有话，在这里可以直接生成域名，并绑定ssl证书。例子：https://域名/bucket名称/文件名称。
2025-01-19 09:51:07
896
原创 ngnix显示404，重新配置后没有生效问题
2）后端服务问题，可以用curlhttp://ip:端口验证，如果没有问题，然后就是看看外网问题，然后集中排查nginx配置、telnet测试、安全组端口信息。1）使用nginx-sreload不起作用，需要查看下nginx下面access.log,error.log有没有日志。如果没有，可以用killallnginx，然后再启动，看看有没有报错的地方，我用的rewrite没有生效就是这个原因。当改动nginx某一个配置时候，如果没有生效，可能原因。
2025-01-01 17:25:44
508
原创 阿里云负载均衡SLB实践
基于上篇文章继续，如果你使用的是阿里云等云平台，通过配置nginx+keepAlived行不通，因为阿里云服务器不支持你虚拟出ip提供给外部访问，需要使用阿里云的负载均衡产品对应的产品有三个系列。
2024-12-08 23:55:57
641
原创 The last packet successfully received from the server was 11,877 milliseconds ago.数据库链接超时断开连接
2、如果用的druid数据库连接池，需要设置socketTimeOut。超时设计到从前端到后端几个步骤。1、设置前端超时时间。
2024-11-24 20:15:31
202
原创 spring cloud实战总结（优雅下线、灰度发布）
灰度发布通过在网关层根据特定规则将部分流量路由到新版本的服务实例上，同时保持大部分流量仍路由到旧版本服务实例，从而实现逐步过渡到新版本的目的。主要步骤是：将应用部署到灰度实例上，在nacos元数据标识灰度服务，然后通过网关获取到url灰度标识，通过拦截器路由算法路由到灰度实例上。1、在url中header加入灰度标识，例如: version: gray。4、应用层保存灰度信息，放到ThreadLocal中。5、dubbo、feign配置。3、nacos灰度配置。
2024-11-10 17:22:46
524
原创 spring、mybatis、并发、虚拟机总结
在Spring框架中，扩展接口是一种强大的机制，允许开发者在Spring容器的生命周期中插入自定义逻辑。：Spring通过反射机制利用bean的class属性指定支线类去实例化bean，如果实例化Bean过程比较复杂，可以通过实现。扩展方式为实现该接口，并重写。在这个时机，用户可以通过实现这个扩展接口来自行处理一些东西，比如修改已经注册的。接口，增加了在实例化阶段和属性注入阶段的扩展能力。接口定制实例化Bean的逻辑，扩展方式为实现该接口，并重写。扩展方式为实现该接口，并根据需要重写相应的方法。
2024-11-02 22:46:37
680
原创 代码整洁之道整理总结
6、要保持单元测试或者使用swagger, 单元测试可以保持变量数据信息。7、类尽可能的短小，访问文件代码过长，实现类不要超过1000行。2、函数方法要控制在200行以内，尽量做到一个函数只做一件事。4、方法调用数据传输尽量使用对象，也就是DTO有利于扩展性。8、系统迭代，是一个持续的过程，系统要进行持续重构。5、异常要定义不同的异常类，尽量不返回NULL。3、做有意义的注释，注释中没用的代码直接删除。1、不管是什么变量要有一个有意义的名称。9、系统设计：定分层、定结构、定接口。
2024-11-02 20:11:06
214
多项目正在使用的基于redis的分布式id生成器
2024-10-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人