欧洲语言网格平台：消费与提供指南

### 欧洲语言网格平台：消费与提供指南 #### 1. 不同平台概述 在当今的技术领域，有多个平台为语言技术和人工智能领域提供了丰富的资源和服务。 - **WebAnno与工作流可视化**：如果工作流是XMI格式，可使用WebAnno 38进行可视化，它是INCEpTION的前身。 - **欧洲按需人工智能平台**：该平台（European AI on Demand platform 39）覆盖了整个欧洲的人工智能领域，不仅仅局限于语言技术（LT）或自然语言处理（NLP），还包括计算机视觉等领域。其服务基于gRPC（而非像ELG那样基于REST），并打包为Docker镜像。消息的消费和生成基于ProtoBuf序列化格式40，且不使用特定的类型系统。该平台不提供执行环境，但使用AI4EU Experiments编辑器41创建的工作流可以导出为能在Kubernetes集群中执行的格式。 - **Hugging Face平台**：提供了大量基于Transformer的模型，涵盖计算机视觉、语言处理、音频处理等多个领域。Transformers是一种特殊类型的神经网络，自2017年提出以来，在许多任务中取得了最先进的成果，彻底改变了机器学习领域。Hugging Face允许通过AutoNLP API 42训练基于Transformer的模型，但这不是免费的。目前ELG不提供集成的模型训练功能，而Hugging Face的训练和模型部署基于Amazon SageMaker，它构建在Docker之上。用户可以通过嵌入在相应页面中的试用UI/小部件调用模型，也可以通过推理REST API和Python客户端API 43以编程方式调用。此外，Hugging Face还应要求提供一个包含Transformer模型的容器，用于本地使用，可通过HTTP API访问。最后，Hugging Face开发了一个基于Python的库（称为“transformer”），允许下载模型并针对特定任务进行微调或用于推理，而ELG Python SDK不提供此功能。 #### 2. 作为消费者使用欧洲语言网格（ELG）平台 ELG平台在服务消费者方面已经完全实现了其设定的所有目标。 - **丰富的资源访问**：消费者可以浏览整个ELG目录，该目录已包含超过13,000条元数据记录。可以进行分面过滤和探索，搜索特定的资源和服务，如果资源托管在ELG中，还可以下载它们。此外，还可以试用超过800个功能服务，包括基本的NLP处理服务和端到端应用程序。 - **组织与项目信息**：用户还可以访问LT开发公司和学术组织的目录，查找在特定LT领域活跃的组织，并与它们发起合作。语言资源和技术（LRTs）、组织和项目之间的链接允许用户在它们之间进行导航，从而全面了解欧洲LT领域的整体情况。 - **访问方式多样**：消费者可以通过用户友好的Web用户界面访问所有这些功能，也可以使用公共REST API和Python SDK以编程方式访问。 以下是这些平台的一些关键特性对比表格： | 平台名称 | 覆盖领域 | 服务基础 | 模型训练 | 模型调用方式 | 特殊功能 | | ---- | ---- | ---- | ---- | ---- | ---- | | 欧洲按需人工智能平台 | 全欧洲AI领域（含计算机视觉等） | gRPC，Docker镜像 | 未提及 | 未提及 | 工作流可导出至Kubernetes集群执行 | | Hugging Face | 计算机视觉、语言处理、音频处理等 | Amazon SageMaker（基于Docker） | 可通过AutoNLP API（收费） | 试用UI/小部件、推理REST API和Python客户端API | 提供“transformer”库用于模型下载和微调 | | ELG | 语言技术（LT）和自然语言处理（NLP） | REST | 未提供集成训练功能 | REST API和Python SDK | 丰富的资源目录和功能服务 | #### 3. 作为提供者向欧洲语言网格（ELG）平台贡献资源 ELG平台为语言资源和技术（LRTs）的提供者提供了多种功能，使他们能够上传、描述、共享和分发自己的服务和产品，同时也可以描述他们的公司、学术组织和项目。 ##### 3.1 添加资源的基本要求 提供者需要使他们的资源可访问（可以上传到ELG或通过其他网站提供），并使用符合ELG规范的元数据记录进行描述，其中要指定访问位置和使用的许可条件。为了利用ELG的高级功能，提供者还可以将LT工具集成到ELG中作为可随时部署的服务，或者上传资源本身，这样资源将根据数据管理计划进行存储和