并行计算：从概念起源到多层次架构设计及其发展历程的全面解析

1、并行计算的概念

（1）并行计算是相对于串行计算

并行计算努力仿真自然世界中的事务状态：一个序列中众多同时发生的、复杂且相关的事件。如有21亩地需要除草，一个人一天只能除一亩地的草，那么需要21天才能除完草，这在现实中是不太可能的，因庄稼是有时间段的。那么如果找21个人一起来完成除草，那只需要一天就能完成任务。所以从这里可以看出并行计算并没有让计算量减少，它是以牺牲劳动力来节约时间，其思路如下图所示。

并行计算是相对于串行计算来说的。传统地，串行计算是指在单个计算机（具有单个中央处理单元）上执行软件写操作。CPU逐个执行一系列指令解决问题，但其中只有一种指令可提供随时并及时的使用。并行计算是在串行计算的基础上增加了处理器，可以同时执行多个指令。 

并行计算是指同时使用多种计算资源解决计算问题的过程，旨在提高计算机系统计算速度和处理能力的一种有效手段。它是由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法（The simultaneous use of more than one computer to solve a problem）。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题拆分成若干个部分，各部分均由一个独立的处理机来并行计算。

即并行计算实际上是由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。 并行计算的内容包括了并行计算机体系结构、编译系统、并行算法、并行编程、并行软件技术、并行性能优化与评价、并行应用等。此外，并行计算可以定位为连接并行计算机系统和实际应用问题之间的桥梁。它辅助科学、工程及商业应用领域的专家，为在并行计算机上求解本领域问题提供了关键支撑。 

 2、并行计算的层次（并行粒度由粗到细）

程序级并行

↓

子程序级并行

↓

语句级并行

↓

操作级并行

↓

微操作级并行

3、并行计算的发展

（1）按时间看并行计算机的发展

20世纪70年代，第一台并行计算机于1972年产生（ILLIAC IV，伊利诺依大学），由64个处理器组成，可扩展性好，但可编程性差。1976年向量机Cray-1投入运行，被称为“超级计算元年”，编程方便，但可扩展性差，以Cray为代表的向量机称雄超级计算机界十几年。 20世纪80年代，并行计算机进入百家争鸣状态，早期以多指令多数据流MIMD（Multiple Instruction stream Multiple Data stream）并行计算机为主。 20世纪90年代，并行计算体系结构框架趋于统一，基本以分布式共享存储DSM（Distributed Shared Memory）、大规模并行处理结构MPP（Massively Parallel Processing）、工作站机群COW（Cluster of Workstations）为代表。 2000年至今，并行计算得到了前所未有的大踏步发展。以COW为原型的由大规模商用普通PC机构成的机群为主，如Cluster机群、Constellation星群和MPP都是以机群为基本架构而成。

（2）按应用特点看并行计算机的发展

并行计算机的发展历程也可以简单的分为两个时代。

①专用时代。包括向量机、MPP系统、SGI NUMA系统、SUN大型SMP系统，也包括我国的神威、银河、曙光1000等。之所以称为“专用”，并不是说它们只能运行某种应用，是指它们的组成部件是专门设计的，它们的CPU板、内存板和I/O板，甚至操作系统，都是不能在其它系统中使用的。由于技术上桌面系统与高端系统的巨大差异，因此用户群窄小。

②普及时代。高性能计算机价格下降，应用门槛降低，应用开始普及。两个技术趋势起到重要作用。其一是商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件，标准化趋势使得这些部件之间能够集成到一个系统中，其中X86处理器、以太网、内存部件、Linux都起到决定性作用。其二是机群系统是高性能计算机的一种，它的技术基础和工业基础都是商品化和标准化。