李沐实用机器学习——数据标注

一、数据标注 流程图 1. 半监督学习Semi-Supervised-Learning（SSL） 一小部分数据有标注、绝大部分数据没有标注 1.1 对数据分布做假设 连续性假设： 两个样本的特征相似，可能有相同的标号 聚类假设：同一个类可能有相同标号 流型假设：收集的数据维度较高，数据在低维上分布，需要降维处理 1.2 自学习 是一种SSL算法 模型用来标注数据，可以使用昂贵的模型（深度神经网络、模型融合） 伪标注数据：是指按照模型预测出来的数据，噪音可能比较大，只保留置信的样本数据 2. 众包

文章目录数据标注1. 数据标注流程2. semi-supervised learning (SSL) ： 半监督学习3. 数据标注的挑战 数据标注 1. 数据标注流程 Have enough data? 数据是否充足 improve label,data, or model? 标签、数据和模型哪个部分需要提升 enough label? 标签是否充足 semi-supervised learning 半监督学习 enough budget ? 预算是否充足 label via crowd s

定义：半监督学习是一种介于监督学习和无监督学习之间的机器学习方法。它结合了监督学习和无监督学习的特点，能够利用大量未标注数据和少量标注数据来构建学习模型。特点数据利用：半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的准确性。减少成本：半监督学习的主要优点是可以利用未标记数据来提高模型的性能，同时避免过度标记数据集，从而减少人工成本。

在机器学习中，数据集的标注方法是确保模型学习有效性的关键步骤，尤其对于监督学习而言至关重要。

是指三维数据的一种重要表达方式，通过激光雷达等传感器，能够采集到各类障碍物以及其位置坐标，而标注员则需要将这些密集的点云分类，并标注上不同属性，常应用于。数据标准是通过分类、画框、标注、注释等，对图片、语音 、文本等数据进行处理，标记对象的特征，以作为机器学习基础素材的过程。、语义分割、实例分割、 目标检测、图像分类、关键点、线段标注、文字识别转写、点云标注、属性判断等。负责对文本、图像、语音、视频等标注数据进行归来、整理、编辑、标记和批注。是对事物属性进行标签，属性标注包括：文本类别、新闻、娱乐等。

主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497

多层感知机学习笔记

04 数据操作+数据预处理。

数据标注： 当已经有一部分标注，可以使用半监督学习 如果你的标志不够多, 但你有钱, 可以花钱去众包, 找人来标注. 如果你的标注不够, 但你又没钱，可以自己从数据中提取出来弱一点的标准，进行弱监督学习 再不行还可以选择无监督的算法 半监督学习： 想对有标注的数据和没有标注的数据一起使用的话，针对两者的数据分布之间有一些假设： 连续性假设。 如果一个样本的特征和另一个样本相似的话，那么很有可能两者是同一标号。 聚类的假设。如果数据在内在有聚类的结构，而不是随机在整个空间里面均匀分布，那么可以假设同一类

曾经，数据标注员总是被称为“最后一批被AI替代的人”。开发机器学习应用程序的最大瓶颈之一，是对培训现代机器学习模型的大型标记数据集的海量需求。即使是头部的AI创业公司，最关键的一环依然是从数据标注员开始的。目前手工标记的培训集即昂贵又耗时，而数据的组装、清理和调试是机器学习模型能否成功构建的源头。近日斯坦福大学和布朗大学合作进行了 “Snorkel Drybell:在工业规模上部署弱监管的一个案例...

在计算机视觉的广阔领域中，数据标注无疑占据着举足轻重的地位。作为构建和训练视觉模型的基础，数据标注为机器提供了理解和解析图像的关键信息。对于初学者而言，掌握数据标注技能不仅是进入计算机视觉领域的敲门砖，更是提升模型性能、实现精准图像识别的关键所在。数据标注不仅仅是简单的标记工作，它涉及到对图像内容的深入理解、对标注规范的准确把握，以及耐心细致的操作。通过数据标注，我们可以将图像中的目标物体、关键特征以及上下文信息提取出来，为模型的训练提供丰富的素材。

【Python机器学习】标注任务与序列问题讲解（图文解释）

（半）自动数据标注的方法基本都是采用类似的思路，即通过少量标注数据进行训练后得到一个预训练模型，然后再次基础上对该网络的输出结果进行人工核验，并进一步地进行训练得到第二轮优化模型，往复循环，增加更多数据提高模型精度。 （强化）主动学习的加入是将人工核验的过程的工作量再进一步地降低，使网络具有一定的自主决策能力，即网络具有理解自己在数据预测上偏差的能力，可为用户提供标注需求进一步改善网络的输出分布。 全自动的数据标注方法目前仍未实现，标注过程均需要人工核验，对数据进行修正、反馈给网络和loss。

在机器学习中，标签（label）是指一个实例的正确输出或类别，也可以称为目标变量（target variable）或响应变量（response variable）。通常情况下，数据集包含两部分：特征和标签。特征是用于描述实例的属性或特征，而标签则是用于训练和评估机器学习模型的目标变量。例如，在图像分类问题中，特征可能是像素值或特征描述符，标签则是图像的类别，如猫、狗或鸟等。