亚马逊AWS消息与流服务及SmartCity自行车共享案例解析

### 亚马逊AWS消息与流服务及SmartCity自行车共享案例解析 #### 1. EventBridge Schema Registry与安全特性 EventBridge Schema Registry可基于事件结构创建代码绑定。它采用OpenAPI和JSON Schema Draft4标准来发现和管理事件模式。通过提供事件的JSON数据，或者让EventBridge根据事件总线中的事件推断模式，Schema Registry能够自动生成模式。一旦模式创建完成，就可以为多种语言（如Java、Python和TypeScript）生成代码绑定。 在安全方面，Amazon EventBridge使用IAM来控制对其他AWS服务和资源的访问。对于传输中的数据，可以使用TLS 1.2或更高版本与事件总线进行通信。当EventBridge将数据传递给其他服务时，会使用TLS进行加密。静态数据则使用256位高级加密标准（AES - 256）进行完全加密，还可以使用AWS提供的免费CMK。Amazon EventBridge的合规认证包括SOC、PCI、FedRAMP、HIPAA等，完整列表可在[AWS Services in Scope by Compliance Program](https://aws.amazon.com/compliance/services-in-scope/)查看。此外，还可以使用EventBridge在AWS账户之间发送事件，通过控制账户的发送和接收权限，可在自己的AWS组织或其他组织的账户间实现这一功能，使用AWS Organizations功能时，还能在组织层面授予访问权限。 #### 2. 服务比较总结 有关于Kinesis旗下服务以及其他AWS消息和流服务的比较总结，这些总结涵盖了与流和消息传递相关的常见方面，可作为选择AWS流和消息传递架构服务时的快速参考。 #### 3. SmartCity自行车共享服务背景 以虚构的自行车共享服务SwipeBike为例，展示了Amazon Kinesis在不同场景中的应用。自行车共享服务为城市通勤者提供了环保的出行选择，许多城市都成功实施了此类项目。SmartCity希望进一步改进其自行车共享计划，自推出以来，该计划已减少了交通拥堵，改善了空气质量，并提高了市民的身体健康水平。通过一年的反馈调查，发现骑手希望获得“更实时和沉浸式的骑行体验”、“更安全的骑行条件”以及“自行车站更高效的运营”。 #### 4. 可持续交通使命 SmartCity日常通勤时人口会大幅增加，为应对这一情况，需要优化自行车使用。自行车共享系统允许用户从一个站点借车并在另一个站点还车，站点是特殊的自行车架，可保护自行车。SmartCity拥有全国最大的自行车共享项目，管理如此大规模的项目需要处理大量由传感器和用户产生的数据，因此选择在Amazon Web Services上构建和部署应用。 #### 5. SmartCity新移动功能 SmartCity将为移动应用实现多个实时数据驱动的功能，以提升骑手的体验。同时，需要一个可扩展的数据管道来处理大量骑手产生的数据。 #### 6. SmartCity数据管道 SmartCity意识到需要及时提供安全和日程信息，相关数据存储在多个独立的数据系统中。数据管道将收集这些系统的数据流，并将数据提供给下游应用和服务，如移动应用、数据湖、操作仪表盘和社交视频共享应用。核心服务将使用Amazon Kinesis Data Streams（KDS）来收集和处理实时数据，以便其他服务（如Amazon Kinesis Data Firehose，KDF）能够高效地消费和处理数据。此外，还需要以下核心组件： - 数据湖：用于灵活和集中的分析。 - 视频访问设施：让骑手查看自行车站的上下文视频。 - 实时操作分析仪表盘系统。 以下是SmartCity数据管道的架构设计流程： ```mermaid graph LR A[独立城市数据系统] --> B[Kinesis Data Streams] B --> C[Kinesis Data Firehose] C --> D[Amazon S3数据湖] B --> E[Kinesis Data Analytics] E --> F[操作仪表盘] B --> G[Kinesis Video Streams] G --> H[视频相关应用] B --> I[移动应用] ``` #### 7. SmartCity数据湖 SmartCity需要将自行车共享服务产生和消费的所有数据进行运营化，以用于长期规划、预测分析、协作式骑手移动服务、机器学习数据开发和持续研究。将实施一个安全、可扩展、高可用的数据湖，使用Amazon Kinesis Data Firehose（KDF）作为核心服务来收集和转换数据，以便将数据高效地分析、消费并存档到Amazon S3。 #### 8. SmartCity运营和分析仪表盘 运营团队需要访问数据和指标来进行预算和运营决策，SmartCity将开发一个运营管理仪表盘来管理自行车车队，该仪表盘可显示以下计算指标： - 给定时间间隔内的骑手数量。 - 每次骑行的平均行驶距离。 - 关于自行车站空满的警报和预测。 - 环境指标（如噪音、温度）以及因天气导致系统关闭的警报。 SmartCity将使用Amazon Kinesis Data Analytics（KDA）和Apache Flink通过近实时窗口分析流数据，KDA与多个AWS服务集成，可快速创建复杂的管理仪表盘。 #### 9. SmartCity视频应用 除了现有的数据和传感器，视