没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
内容概要:本文档详细介绍了利用 Label Studio 进行文档标注的具体流程与配置方法。主要包括系统环境搭建与Label Studio安装指引,随后依次讲述了从项目创建、数据加载直至数据导出及格式转换等步骤的操作指南,并深入探讨了实体、关系抽取与文档分类等多种任务类型的设置与执行。此外还提供了额外配置选项以供灵活调整任务细节。 适合人群:从事机器学习相关工作的专业人士,尤其侧重于信息提取与自然语言处理的应用开发人员和技术爱好者。 使用场景及目标:帮助开发者掌握高效、精确地准备用于训练深度学习模型所需的数据集的技术能力。能够支持诸如金融票据、法律文件以及其他结构化文本资料中的重要元素识别等工作需求。 其他说明:文中涉及大量实战案例展示,附带源码片段便于理解和操作演示。强调了合理的负样例构造对于提高特定类型AI模型性能的作用,并提供了关于比例分配等方面实用建议。
资源推荐
资源详情
资源评论






























PaddlePaddle / PaddleNLP
Public
PaddleNLP / applications / information_extraction / label_studio_doc.md
linjieccc Add english docs for UIE (#4255)
…
Latest commit af505d1 16 hours ago History
5 contributors
Pull requests Issues Codespaces Explore
Search or jump to…
Marketplace
Watch 75
Fork 1.9k
Starred 6.9k
Code Issues
817
Pull requests
88
Discussions Actions Projects
4
Wiki Security Insights
develop
Go to file
⽂档抽取任务Label Studio使⽤指南
⽬录
1. 安装
2. ⽂档抽取任务标注
2.1 项⽬创建
2.2 数据上传
2.3 标签构建
2.4 任务标注
2.5 数据导出
2.6 数据转换
2.7 更多配置
1. 安装
以下标注示例⽤到的环境配置:
Python 3.8+
label-studio == 1.6.0
paddleocr >= 2.6.0.1
在终端(terminal)使⽤pip安装label-studio:
安装完成后,运⾏以下命令⾏:
在浏览器打开http://localhost:8080/,输⼊⽤户名和密码登录,开始使⽤label-studio进⾏标注。
2. ⽂档抽取任务标注
2.1 项⽬创建
点击创建(Create)开始创建⼀个新的项⽬,填写项⽬名称、描述,然后选择 Object Detection with Bounding Boxes 。
填写项⽬名称、描述
命名实体识别、关系抽取、事件抽取、实体/评价维度分类任务选择``Object Detection with Bounding Boxes`
⽂档分类任务选择``Image Classification`
添加标签(也可跳过后续在Setting/Labeling Interface中添加)
图中展示了Span实体类型标签的构建,其他类型标签的构建可参考2.3标签构建
2.2 数据上传
先从本地或HTTP链接上传图⽚,然后选择导⼊本项⽬。
2.3 标签构建
Span实体类型标签
Relation关系类型标签
Relation XML模板:
分类类别标签
2.4 任务标注
实体抽取
标注示例:
该标注示例对应的schema为:
关系抽取
Step 1. 标注主体(Subject)及客体(Object)
Step 2. 关系连线,箭头⽅向由主体(Subject)指向客体(Object)
Step 3. 添加对应关系类型标签
Step 4. 完成标注
该标注示例对应的schema为:
⽂档分类
标注示例
该标注示例对应的schema为:
2.5 数据导出
勾选已标注图⽚ID,选择导出的⽂件类型为 JSON ,导出数据:
2.6 数据转换
将导出的⽂件重命名为 label_studio.json 后,放⼊ ./document/data ⽬录下,并将对应的标注图⽚放⼊ ./document/data/images ⽬录下
(图⽚的⽂件名需与上传到label studio时的命名⼀致)。通过label_studio.py脚本可转为UIE的数据格式。
路径示例
抽取式任务
⽂档分类任务
2.7 更多配置
label_studio_file : 从label studio导出的数据标注⽂件。
save_dir : 训练数据的保存⽬录,默认存储在 data ⽬录下。
negative_ratio : 最⼤负例⽐例,该参数只对抽取类型任务有效,适当构造负例可提升模型效果。负例数量和实际的标签数量有关,最
⼤负例数量 = negative_ratio * 正例数量。该参数只对训练集有效,默认为5。为了保证评估指标的准确性,验证集和测试集默认构造全
负例。
splits : 划分数据集时训练集、验证集所占的⽐例。默认为[0.8, 0.1, 0.1]表示按照 8:1:1 的⽐例将数据划分为训练集、验证集和测试
集。
task_type : 选择任务类型,可选有抽取和分类两种类型的任务。
options : 指定分类任务的类别标签,该参数只对分类类型任务有效。默认为["正向", "负向"]。
prompt_prefix : 声明分类任务的prompt前缀信息,该参数只对分类类型任务有效。默认为"情感倾向"。
is_shuffle : 是否对数据集进⾏随机打散,默认为True。
seed : 随机种⼦,默认为1000.
separator : 实体类别/评价维度与分类标签的分隔符,该参数只对实体/评价维度分类任务有效。默认为"##"。
schema_lang :选择schema的语⾔,将会应该训练数据prompt的构造⽅式,可选有 ch 和 en 。默认为 ch 。
ocr_lang :选择OCR的语⾔,可选有 ch 和 en 。默认为 ch 。
layout_analysis :是否使⽤PPStructure对⽂档进⾏布局分析,该参数只对⽂档类型标注任务有效。默认为False。
备注:
默认情况下 label_studio.py 脚本会按照⽐例将数据划分为 train/dev/test 数据集
每次执⾏ label_studio.py 脚本,将会覆盖已有的同名数据⽂件
在模型训练阶段我们推荐构造⼀些负例以提升模型效果,在数据转换阶段我们内置了这⼀功能。可通过 negative_ratio 控制⾃动构造的
负样本⽐例;负样本数量 = negative_ratio * 正样本数量。
对于从label_studio导出的⽂件,默认⽂件中的每条数据都是经过⼈⼯正确标注的。
References
Label Studio
pip install label-studio==1.6.0
label-studio start
<Relations>
<Relation value="单位"/>
<Relation value="数量"/>
<Relation value="⾦额"/>
</Relations>
schema = ['开票⽇期', '名称', '纳税⼈识别号', '地址、电话', '开户⾏及账号', '⾦额', '税额', '价税合计', 'No', '税率']
schema = {
'名称及规格': [
'⾦额',
'单位',
'数量'
]
}
schema = '⽂档类别[发票,报关单]'
./document/data/
├── images # 图⽚⽬录
│ ├── b0.jpg # 原始图⽚(⽂件名需与上传到label studio时的命名⼀致)
│ └── b1.jpg
└── label_studio.json # 从label studio导出的标注⽂件
python label_studio.py \
--label_studio_file ./document/data/label_studio.json \
--save_dir ./document/data \
--splits 0.8 0.1 0.1\
--task_type ext
python label_studio.py \
--label_studio_file ./document/data/label_studio.json \
--save_dir ./document/data \
--splits 0.8 0.1 0.1 \
--task_type cls \
--prompt_prefix "⽂档类别" \
--options "发票" "报关单"
© 2022 GitHub, Inc. Terms Privacy Security Status Docs Contact GitHub Pricing API Training Blog About
272 lines (186 sloc) 9.16 KB Raw Blame
资源评论



AI仙人掌
- 粉丝: 1w+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 微信小程序反编译工具(1).zip
- [四川]卷烟厂整体技改联合工房钢结构网架施工方案.doc
- 小商店微信小程序.zip
- 反“三违”违章操作原因分析及对策.pptx
- kuaishou_250821_5.0.4+153.apk
- 起搏故障排除200070.ppt
- 微信小程序支付后台接口编写.zip
- 北京六环路投标施工组织设计.doc
- 安全监理规划、细则、方案、措施编制与实施登记表.doc
- 微信小程序的掘金信息流.zip
- GBT-29639-2020-新版应急预案修改对照及解读.pptx
- 32层住宅楼工程造价指标(结算指标).doc
- 【苏州】某大酒店空调设备安装工程施工组织设计方案.doc
- 原生微信小程序电商项目.zip
- 微信小程序-仿饿了么.zip
- 高压线防护方案.docx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制
