并行与分布式科学计算：线性代数软件的最新进展

### 并行与分布式科学计算：线性代数软件的最新进展 #### 1. NetSolve相关整合应用 NetSolve在科学计算领域展现出了强大的整合能力，下面将介绍其与不同系统或库的整合应用。 ##### 1.1 NetSolve与Condor NetSolve与Condor的协作中，一个关键问题是NetSolve代理能否将Condor池视为一种资源，目前该协作聚焦于寻找合适的性能预测技术。 ##### 1.2 整合并行数值库 - ScaLAPACK - **ScaLAPACK简介**：Scalable Linear Algebra Package（ScaLAPACK）是用于分布式内存消息传递MIMD计算机以及支持PVM或MPI的工作站网络或集群的高性能线性代数例程库，它是LAPACK项目的延续，包含求解线性方程组、最小二乘问题和特征值问题的例程。ScaLAPACK将底层多处理器系统视为矩形进程网格，采用二维块循环分布方案进行密集矩阵计算，进程间通信通过Basic Linear Algebra Communication Subprograms（BLACS）完成。 - **NetSolve服务器定制使用ScaLAPACK的流程**： 1. 定制的NetSolve服务器以传统方式接收客户端的数据输入。 2. 使用BLACS调用设置ScaLAPACK进程网格。 3. 根据块循环分解将用户输入的数据分布在进程网格上（必要时）。 4. 服务器发起对ScaLAPACK的调用并等待计算完成。 5. 计算结果分布在二维进程网格上，服务器收集结果并以预期格式返回给客户端。 这个过程对用户完全透明，用户甚至可能意识不到正在进行并行执行。例如，客户端可以在PC上使用MATLAB发出简单调用`[x] = netsolve('eig',a)`，让MPP系统使用高性能库进行大型特征值计算。不过，将并行库集成到NetSolve中还存在许多研究问题，如性能预测、处理器网格大小选择、数值算法选择、处理器可用性和计费等。 下面用mermaid流程图展示NetSolve服务器定制使用ScaLAPACK的流程： ```mermaid graph LR A[客户端输入数据] --> B[NetSolve服务器接收数据] B --> C[使用BLACS设置进程网格] C --> D[数据按块循环分解分布] D --> E[调用ScaLAPACK计算] E --> F[计算完成，结果分布在网格] F --> G[服务器收集结果] G --> H[返回结果给客户端] ``` ##### 1.3 NetSolve与Ninf - **Ninf简介**：Ninf是筑波电气技术实验室开发的全球网络计算基础设施项目，允许用户通过易用接口访问分布在广域网上的计算资源，包括硬件、软件和科学数据。计算资源以Ninf远程库的形式共享，可在远程Ninf服务器上执行。用户可以通过Ninf远程过程调用构建应用程序，Ninf MetaServer维护全局资源信息，实现粗粒度计算的分配和调度以达到全局负载平衡，并且Ninf还与现有网络服务（如WWW）接口以方便访问。 - **整合问题与解决方案**：NetSolve和Ninf在动机和总体设计上有很强的相似性，但存在一些设计问题阻碍了它们的直接无缝集成，如NetSolve代理和Ninf MetaServer的概念差异、问题规范、用户界面和数据传输协议等。为克服这些问题，Ninf团队开发了两个适配器：NetSolve - Ninf适配器和Nin