五、高并发系统降级巧计——自动开关降级与人工开关降级

最新推荐文章于 2024-12-04 14:54:25 发布

原创

最新推荐文章于 2024-12-04 14:54:25 发布 · 798 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #服务器 #android

文章目录

- 五、高并发系统降级巧计——自动开关降级与人工开关降级

五、高并发系统降级巧计——自动开关降级与人工开关降级

1. 引言

在现代高并发系统中，如何确保系统在面临高流量和复杂问题时的稳定性和可用性是一个核心问题。系统在处理大规模请求时，常常会遭遇各种挑战，如服务响应超时、服务故障、资源过载等。为了应对这些挑战，降级策略成为确保系统稳定性的重要手段。降级策略能够帮助系统在问题发生时，自动或手动地切换到备用方案，从而减少对用户体验的影响，并保持系统核心功能的正常运行。

本文将深入探讨高并发系统中的降级策略，重点分析自动开关降级和人工开关降级的实现与应用。我们将以 Spring Boot 和 Spring Cloud 的实现为例，详细讨论如何在实际项目中应用这些策略。

2. 自动开关降级

自动开关降级指系统根据负载、资源使用情况、服务水平协议（SLA）等指标，自动触发降级操作。通过设定阈值和规则，系统能够在检测到问题时自动切换到降级模式，以减轻系统压力并保护核心功能。自动开关降级包括多个策略，例如超时降级、统计失败次数降级、故障降级和限流降级。

2.1 超时降级

超时降级是在系统访问数据库、HTTP服务或远程调用时，如果响应时间超过预定阈值且该服务不是核心服务，系统会自动进行降级。例如，在电商平台中，商品详情页可能需要加载推荐内容或用户评价。如果这些外部服务响应超时，系统可以选择不展示这些信息，从而避免影响页面的核心功能。
在这里插入图片描述

实际应用：

在实际应用中，例如电商平台在处理用户请求时，可能会从第三方服务获取推荐内容或用户评价。当这些服务的响应时间过长时，系统可以直接展示商品信息，而不展示推荐内容。这样，虽然用户无法看到推荐信息，但核心功能（如商品信息展示）不会受到影响。

注意事项：

超时时间和重试机制： 合理设置超时时间和重试机制非常重要。超时时间设置过短可能导致正常服务被误判为故障，而设置过长则可能影响系统响应速度。
动态调整： 需要根据实际业务需求和系统负载情况，动态调整超时时间和重试次数，以确保降级措施的有效性。

2.2 统计失败次数降级

统计失败次数降级通过监控服务调用的失败次数来触发降级操作。例如，当调用外部机票服务时，如果服务调用失败的次数达到预设阈值，系统会自动进行降级处理。这通常通过熔断器来实现，熔断器能够检测到服务的不稳定性并切换到备用方案。

实际应用：

例如，在一个旅游网站中，如果机票预订服务的失败调用次数过多，系统可以自动切换到备用方案，如展示预先缓存的数据或静态页面。这样可以防止由于服务不稳定导致的用户体验问题，同时通过异步探测机制监控服务是否恢复。

注意事项：

设置失败阈值： 失败阈值需要合理设置，过低可能导致正常服务被误判为故障，而过高则可能延迟对真实故障的响应。
熔断器恢复机制： 需要设计合理的熔断器恢复机制，以确保在服务恢复后能够迅速取消降级状态。

2.3 故障降级

故障降级是指在系统遇到服务故障（如网络故障、DNS问题、HTTP状态码错误或RPC异常）时，自动切换到备用方案。备用方案可以包括使用默认值、预设的静态页面或缓存数据等。

在这里插入图片描述

实际应用：

例如，当电商平台的库存服务出现故障时，系统可以通过返回默认的库存值或使用缓存数据来保证页面正常展示。这样能够有效减轻服务故障对用户体验的影响，同时保持系统的基本功能。

注意事项：

备用方案设计： 在实现故障降级时，需要设计合理的备用方案。备用方案应根据业务需求和服务的重要性来确定，以确保降级后的用户体验不受太大影响。
充分测试： 备用方案需要经过充分的测试，以验证其在实际故障情况下的有效性和稳定性。

2.4 限流降级

限流降级是指在系统面临高并发请求时，通过限制请求量来防止系统崩溃。当请求量达到预设的阈值时，系统会进行降级处理，如展示排队页面、无货提示或错误页等。

实际应用：

例如在秒杀活动中，如果系统面临过多的请求，可以通过限流策略来控制访问量。当达到限流阈值时，系统可以展示排队页面，让用户稍等一会儿；或者直接提示无货、展示错误页等，以减轻系统负担。

注意事项：

合理设置限流阈值： 限流阈值需要根据系统负载和业务需求合理设置，以避免过度影响用户体验。
降级处理方案： 设计有效的降级处理方案，如排队页面、无货提示或错误页，以减少用户的等待时间并提高系统的可用性。

3. 人工开关降级

人工开关降级是指在系统遇到异常情况时，运维人员通过手动切换开关来进行降级处理。这种策略通常用于大促期间、服务故障或功能问题等场景，以确保系统能够灵活应对各种突发情况。

3.1 实施人工开关降级

人工开关降级是通过手动切换开关来进行降级处理。开关可以存放在配置文件、数据库、Redis、ZooKeeper 等地方，系统通过判断开关状态来决定是否进行降级。人工开关降级通常用于大促期间、任务系统故障、灰度测试和多机房切换等场景。

实际应用：

大促期间问题处理： 在大促期间，如果发现某些服务出现问题（如请求超时、服务异常），运维人员可以通过人工开关将这些服务暂时摘掉，以保证系统的核心功能正常运行。
任务系统暂停处理： 当任务系统调用的服务依赖的数据库出现问题（如网络拥堵、数据库故障），运维人员可以通过开关暂停任务系统，以让服务方进行处理。
灰度测试和多机房切换： 在新服务上线进行灰度测试时，如果发现服务逻辑存在问题，可以通过开关切换回老服务。对于多机房服务，如果某个机房出现故障，可以通过开关将服务切换到另一个机房。
功能问题处理： 如果发现某些功能存在问题（如数据不一致），可以通过开关暂时屏蔽这些功能，避免影响用户体验。

注意事项：

开关存放位置和同步： 开关可以存放在配置文件、数据库、Redis、ZooKeeper 等地方。需要确保开关数据的实时同步，以保证降级操作的及时性。
开关的管理和监控： 定期监控开关状态，并根据实际情况调整开关设置，确保降级措施能够及时响应系统问题。

4. 自动开关降级实现（Hystrix、Sentinel）

在高并发系统中，为了确保系统的稳定性和可靠性，我们可以采用自动开关降级策略。Spring Boot 和 Spring Cloud 提供了两种流行的降级实现方案：Hystrix 和 Sentinel。本文将详细介绍如何使用这两种工具来实现自动开关降级，包括超时降级、统计失败次数降级、故障降级和限流降级。

4.1 Hystrix 实现

4.1.1 Hystrix 配置

在 Spring Boot 项目中使用 Hystrix 需要进行一些基本的配置。确保我们在 pom.xml 文件中添加了 Hystrix 的依赖，并在配置类中启用了 Hystrix 支持。

示例 Maven 依赖：

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
</dependency>

启用 Hystrix 的配置类：

import org.springframework.cloud.client.circuitbreaker.EnableCircuitBreaker;
import org.springframework.context.annotation.Configuration;

@Configuration
@EnableCircuitBreaker
public class HystrixConfig {
   
   
    // 可以在这里添加Hystrix的全局配置
}

4.1.2 超时降级

超时降级是指在请求超出指定时间限制时，Hystrix 自动触发降级逻辑。通过 @HystrixCommand 注解中的 commandProperties 配置超时时间。

示例代码：

import com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/hystrix")
public class HystrixController {
   
   

    @GetMapping("/test")
    @HystrixCommand(fallbackMethod = "fallbackTest", 
                    commandProperties = {
   
   
                        @HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "2000") // 设置超时时间为2秒
                    })
    public String test() {
   
   
        // 模拟远程服务调用或长时间操作
        return longRunningOperation();
    }

    // 超时后的降级方法
    public String fallbackTest(Throwable throwable) {
   
   
        return "Fallback response due to timeout or error: " + throwable.getMessage();
    }

    private String longRunningOperation() {
   
   
        // 模拟长时间操作
        try {
   
   
            Thread.sleep(3000); // 模拟3秒的操作
        } catch (InterruptedException e) {
   
   
            Thread.currentThread().interrupt();
        }
        return "Success";
    }
}

代码说明：

在 test 方法中，Hystrix 配置了一个 2 秒的超时时间。如果 longRunningOperation 方法的执行时间超过了这个限制，Hystrix 会触发 fallbackTest 方法作为降级响应。

4.1.3 统计失败次数降级

统计失败次数降级基于熔断器的功能，当失败调用次数达到一定阈值时，Hystrix 自动触发降级。我们可以通过 @HystrixCommand 注解中的 commandProperties 配置熔断器的相关参数。

示例代码：

import com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/hystrix")
public class HystrixController {
   
   

    @GetMapping("/test")
    @HystrixCommand(fallbackMethod = "fallbackTest", 
                    commandProperties = {
   
   
                        @HystrixProperty(name = "circuitBreaker.requestVolumeThreshold"