欺诈文本分类检测（十六）：支持分类原因评测改造

已于 2024-11-20 12:54:33 修改
阅读量1.3k 收藏 18
点赞数 20
CC 4.0 BY-SA版权
分类专栏： 微调实战项目 文章标签： 分类 人工智能 语言模型 微调 机器学习
于 2024-09-25 09:48:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaojia1001/article/details/142489874

1. 引言

经过前文对数据的校正与增强后，我们的预期生成结果中不再仅仅是分类标签，还多了欺诈者和分类原因。这样之前模型评测和批量评测两篇文章所封装的evaluate.py脚本就不再满足，需要对脚本进行改造，以支持新输出内容的评测。

新的预期结果中共包含三个信息，由于三个信息的特点不同，需要为每个字段制定不同的评测方式：

  • is_fraud: 属于二分类，继续采用精确率和召回率作为评测指标。
  • fraud_speaker: 属于多分类，多分类没有混淆矩阵，可以使用sklearn包提供的accuracy_score计算准确率作为评测指标。
  • reason: 属于分文生成，由于没有准确值，可以通过rouge_score计算文本串的相似度作为评测指标。

2. rouge指标调研

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）指标是用于评估文本摘要质量的一种常用指标。它通过比较生成的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
欺诈文本分类检测（十七）：支持分类原因训练
golfxiao的专栏
09-27 1231
进行了数据增强，本文将使用增强后的数据对模型进行进一步训练，以便得到能同时预测出分类标签、欺诈者、原因分析多个信息。总共进行了5折数据10轮训练，每折数据进行了两轮训练。训练结果中共包含三个信息，由于三个信息的输出类型不同，需要分别分析每个字段的评测方式。
反欺诈文本分类微调教程
golfxiao的专栏
11-20 699
为了帮助更多初学者从零开始掌握微调这一关键技能，本文介绍一个作者本人在实际工作中完整跑通的微调实战系列教程，该教程附带可运行的数据集和可运行的jupyter notebook，适合想要通过实战操作来掌握微调技术的初学者。
欺诈文本分类微调（八）：批量评测
golfxiao的专栏
08-28 1305
这句话的意思是说：当使用批量模式时，必须将一个批量内的数据长度对齐，对齐方式有两种选择：1）以长的序列为主，将短的序列填充，对应padding参数；2）以短的序列为主，将长的截断，对应truncation参数；但是根据模型训练时的batch_size设置，模型是支持批量预测的，所以我们有必要根据此特性对评测脚本做一次改造，以支持批量预测，提高每次评测的效率。：本文通过对模型批量生成文本的探索，让评测函数支持了批量预测，提高了评测效率的同时，也对padding的使用场景以及左、右填充的区别有了更深的理解。
AI人工智能领域分类：AI与传统行业融合趋势
AI 领航者的博客
06-05 681
过去10年，AI技术（如深度学习、自然语言处理、计算机视觉）从“论文里的数学公式”逐渐演变为“能解决实际问题的工具”。但AI的真正价值，不在于实验室里的高精度模型，而在于与农业、制造、医疗等“烟火气”行业的深度融合。本文聚焦AI在传统行业的垂直分类与融合趋势，覆盖农业、制造业、医疗、金融、教育五大核心领域，解答“AI如何具体改造传统行业”“不同行业的融合模式有何差异”“未来会出现哪些新机会”等关键问题。本文先通过一个“AI种番茄”的故事引出主题，再拆解AI与传统行业融合的核心概念；
文心一言开源版部署及多维度测评实例
百锦再的博客
07-15 2730
文心一言开源版是百度推出的高性能大语言模型，专为中文场景优化，具备强大的文本生成、理解与推理能力。该模型基于Transformer架构，融合了百度自研的动态词表技术与知识增强算法，在成语典故、专业术语等中文特色任务上表现优异，同时支持金融、医疗、法律等垂直领域的快速适配。
DeepSeek 终章：破局之路，未来已来
邓邓子的博客
06-08 1818
本文作为 “DeepSeek 专栏” 终结篇，深度剖析 DeepSeek 未来发展趋势与技术挑战。在回顾其在模型架构、训练效率等领域取得的卓越成果后，指出多模态融合拓展、模型可解释性强化、垂直领域深化应用将成为未来发展方向。同时，数据隐私与安全、算法偏见、网络攻击等技术挑战也亟待解决。文章进一步探讨了技术、算法、安全防护等层面的应对策略，为 DeepSeek 在人工智能领域持续创新与突破提供思路与展望。
LLM+RAG：大模型在金融场景的落地探索
Datawhale
08-30 3341
如何撞破金融大模型落地的天花板？RAG、Agent怎样应用？因果推断、Uplift模型仍然发挥作用？最新的大数据和数据治理实践？金融公司数智化三部曲是什么？8月31日，09:00-17:00，DataFun将联合业内多位知名专家举办DataFunSummit2024：数智金融技术峰会，并和大家一起探讨大模型领衔的数据和智能技术的最新态势，分享各自的研究成果与实践经验，共同推动大模型及相关技术在金融...
数据分析与挖掘领域毕业设计选题大全：热点课题
毕设帮助,疑难解答,欢迎打扰!
01-31 922
数据分析与挖掘领域毕业设计选题合集涵盖了深度学习、机器学习、算法、人工智能、大数据、信息安全、推荐系统、目标检测等多个热门领域。对于计算机专业、软件工程专业、人工智能专业、大数据专业的毕业生而言，选择一个合适的毕业设计选题至关重要。在这个毕业设计选题合集中，我们精心收集了各种有趣且具有挑战性的选题，旨在帮助学生们在毕业设计中展现他们的技术实力和创新能力。不论是对于对深度学习技术感兴趣的同学，还是希望探索机器学习、算法或人工智能的领域的同学，本合集都能为您提供丰富的选题资源和灵感。
这一年，这些书：2022年读书笔记
热门推荐
Heartsuit的博客
12-31 3万+
Note: 以下 `markdown` 格式文本由 `json2md` 自动转换生成，可参考[JSON转Markdown：我把阅读数据从MongoDB中导出转换为.md了](https://blog.csdn.net/u013810234/article/details/113360229)了解具体的转换过程。2022年读书笔记
语音分类数据：
jacke121的专栏
08-19 252
Telephone bell ringing: 0.754 (电话铃声)Inside, small room: 0.235 (室内小房间)Telephone: 0.183 (电话)Music: 0.092 (音乐)Ringtone: 0.047 (手机铃声)Inside, large room or hall: 0.028 (室内大厅或礼堂)Alarm: 0.014 (警报)Animal: 0.009 (动物)Vehicle: 0.008 (车辆)
《Python 整数列表分类：巧妙将负数移到正数前面》
windowshht的博客
08-21 32
本文介绍了如何通过Python将整数列表中的负数移到正数前。基础方法使用列表推导式分类负数与正数并拼接，适合初学者。优化方案采用双指针法原地修改列表，提升性能。还展示了按绝对值排序和多场景应用（如用户行为分析）的案例，强调根据需求选择算法并优化代码可读性。最后鼓励读者分享实践经验，共同探讨高效解决方案。
基于随机森林的红酒分类与特征重要性分析
2301_77510406的博客
08-21 750
本次实验所使用的红酒数据集来自 scikit-learn 库，包含了 178 个样本，每个样本对应一款红酒，并标注了其所属类别（共 3 类）。数据集中的特征均为红酒的理化指标，具体包括酒精含量、苹果酸含量、灰分、灰分的碱度、镁含量、总酚、类黄酮、非黄烷类酚类、原花青素、颜色强度、色调、稀释葡萄酒的 OD280/OD315 值以及脯氨酸含量等 13 项指标。这些客观的理化数据为我们构建分类模型提供了坚实的基础。
【Python】-- 机器学习项目 - 基于逻辑回归算法的乳腺癌数据集分类
银尘博客
08-22 366
摘要： 逻辑回归是一种用于二分类/多分类的算法，通过概率预测实现分类（如垃圾邮件识别）。其数学模型采用Sigmoid函数将线性输出映射为0-1概率。与线性回归、岭回归不同，逻辑回归本质是分类模型。文章以乳腺癌数据集为例，展示了数据清洗、标准化、训练逻辑回归模型及评估的全过程，包括Python代码实现，最终输出预测结果及准确率（如87%）。提供完整源码下载，便于实际应用调整。
大模型问题：幻觉分类+原因+各个训练阶段产生幻觉+幻觉的检测和评估基准
weixin_36378508的博客
08-19 741
Cossio的工作从理论到实践，系统重塑了我们对LLM幻觉的理解——它不再是单纯的“错误”或“缺陷”，而是计算模型的根本属性，必须通过科学的分类、因果分析及多元策略加以管理。该研究为LLM安全应用提供了坚实的理论支撑与操作指南，推动AI技术向负责任、可控的方向发展。
数据分类分级的概念、标准解读及实现路径
yuandiansec的博客
08-22 435
中华人民共和国数据安全法》要求，根据数据一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，将数据从低到高分成一般数据、重要数据、核心数据共三个级别，这是从国家数据安全角度给出的数据分级基本框架。自动化识别并打标的数据，按需进行人工的复核，以确定数据的密级。数据分级级别，按照国家有关规定，根据数据遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益等造成的危害程度，将数据分为一般数据、重要数据和核心数据三级。
矿物分类系统开发笔记（二）：模型训练[删除空缺行]
2201_75607087的博客
08-19 701
完成了 6 种分类模型的训练与优化，验证了不同算法在矿物分类任务上的适用性通过标签映射机制解决了 XGBoost 对非连续标签的处理问题，保证了模型间评估标准的一致性明确了训练数据空缺对模型性能的影响：标签 2 因训练样本缺失导致所有模型识别失败确定了 RF 和 AdaBoost 为当前阶段表现最优的模型，为后续系统开发提供了选型依据后续将进行其他5种预处理生成的数据集（平均值填充、中位数填充、众数填充、线性回归填充、随机森林填充）进行模型训练。
什么是数据分类分级？数据分类分级技术实现路径及产品推荐
yuandiansec的博客
08-22 605
数据分类分级是指按照一定的原则、方法和标准，对数据进行系统化的类别划分和级别确定。具体而言，数据分类是依据数据的属性、特征、来源、用途等维度，将数据划分为不同的类别，如按照业务领域可分为客户数据、财务数据、运营数据等；按照数据格式可分为结构化数据、非结构化数据等。通过科学合理的数据分类分级，能够帮助企业或组织更好地识别和管理数据资产，明确不同数据的价值和保护要求，从而有针对性地采取相应的安全防护措施，保障数据的安全性、完整性和可用性，同时也有助于满足法律法规和监管要求，提高数据管理和利用的效率与效益。
CXR-LT 2024：一场关于基于胸部X线的长尾、多标签和零样本疾病分类的MICCAI挑战赛|文献速递-深度学习人工智能医疗图像
最新发布
weixin_38594676的博客
08-22 490
CXR-LT系列是一项由社区推动的计划，旨在利用胸部X光（CXR）改进肺部疾病分类，解决开放性长尾肺部疾病分类中的挑战，并提升前沿技术的可衡量性（Holste等人，2022）。鉴于这些任务中存在严重的标签不平衡问题，主要评估指标为平均精度均值（mAP），具体为跨类别的“宏平均”精度（macro-averaged AP）。本文对CXR-LT 2024进行了概述，详细介绍了数据整理过程，并汇总了前沿的解决方案，包括使用多模态模型检测罕见疾病、采用先进的生成方法处理含噪声标签，以及针对未见疾病的零样本学习策略。
监督分类——最小距离分类、最大似然分类、支持向量机
xcnn_的博客
08-19 981
和。每种方法都会包括原理、数学公式、具体例子和Python代码（含原图及分类结果可视化）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉下心来学鲁班

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值