大数据与云计算简答题.doc

云计算与大数据的定义、特征 云计算的定义：是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上 ，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。（维基百科）一种 基于互联网的计算方式，通过这种方式，共享软硬件资源和信息，可以按需提供给计算 机和其他设备。云计算能够给用户提供可靠的、自定义的、最大化资源利用的服务，是 一种崭新的分布式计算模式。 云计算的类型可以分为基础设施即服务（Iaas）、平台即服务（Pass）、软件即服务 （Saas）。 2、云计算的特征：超大规模、虚拟化、高可靠性、高可伸缩性、按需服务、极其廉 价。 服务资源池化：通过虚拟化技术，对存储、计算、内存、网络等资源化，按用户需求动 态地分配。 可扩展性：用户随时随地可以根据实际需要，快速弹性地请求和购买服务资源，扩展处 理能力。 宽带网络调用：用户使用各种客户端软件，通过网络调用云计算资源。 可度量性：服务资源的使用可以被监控、报告给用户和服务商，并可以根据具体使用类 型收取费用。 可靠性：自动检测失效节点，通过数据的冗余能够继续正常工作，提供高质量的服务， 达到服务等级协议要求。 大数据的定义： 析挖掘与应用等多个环节。以下是对这些知识点的详细说明： 一、云计算的定义与特征： 1. 定义：云计算是一种商业计算模型，通过互联网将计算任务分散在大量的计算资源池上，为用户提供计算力、存储空间和信息服务。它是一种全新的分布式计算模式，允许用户按需获取并使用软硬件资源。 2. 类型：云计算分为IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）三个层次。 3. 特征： - 超大规模：云资源池拥有巨大的计算和存储能力。 - 虚拟化：通过虚拟化技术将硬件资源抽象化，实现资源的灵活分配。 - 高可靠性：具备自动检测和恢复失效节点的能力，确保服务连续性。 - 高可伸缩性：用户可根据需求动态扩展或缩减资源。 - 按需服务：用户按需付费，仅支付实际使用的资源。 - 极其廉价：相比于传统IT投入，云计算降低了总体成本。 二、大数据的定义与特征（5V特征）： 1. 定义：大数据是指数据量庞大、处理速度迅速、数据种类多样、真实性高且价值密度低的数据集合。 2. 5V特征： - 数据体量（Volume）：数据量极大，可达PB级别。 - 处理速度（Velocity）：要求快速处理，支持实时或近实时分析。 - 数据类别（Variety）：涵盖结构化、半结构化和非结构化数据。 - 数据真实性（Veracity）：数据反映真实世界的事件。 - 价值密度低，商业价值（Value）高：通过分析大数据，挖掘潜在价值。 三、云计算安全与可信云： 1. 可信云：用户关心云服务提供商是否能确保数据安全，是否按照约定执行服务，这涉及到云服务的可信性问题。 2. 安全挑战：集中式服务易受攻击，分布式处理增加管理难度，用户对服务提供商的信任度受客观和主观因素影响。 3. 信任预期分类：完全信任、条件信任和最低信任，分别对应不同的安全保障期望。 四、大数据处理的基本流程与模式： 1. 来源：大数据来源于人类活动、计算机系统和物理世界的传感器等，涵盖社会网络、交易记录、网络日志、图像等多种类型。 2. 基本流程：包括数据采集与预处理、存储与管理、计算模式与系统、分析挖掘与应用。其中，预处理涉及清洗、整合、转换数据；存储与管理涉及分布式数据库和数据仓库；计算模式涵盖批处理、流处理、交互式查询等；分析挖掘则涉及机器学习、深度学习等技术，最终服务于决策支持和预测。 五、大数据处理模式： 1. 批处理：处理大规模静态数据，适合离线分析。 2. 流处理：实时处理连续流入的数据流，用于实时分析和预警。 3. 查询分析：提供快速的交互式查询，如Spark SQL。 4. 图计算：处理复杂关系网络，常用于社交网络分析和推荐系统。 5. 并行计算：如Hadoop MapReduce，将大规模数据处理任务拆分成子任务并行处理。 总结：云计算与大数据是现代信息技术的两大支柱，云计算提供弹性、高效、低成本的资源服务，大数据则通过挖掘海量数据中的价值为企业决策提供支持。两者结合，为企业数字化转型提供了强大动力，同时也带来了数据安全、隐私保护和可信性等一系列挑战。