打工人工具箱
首页/文本处理/近似重复文本整理

近似重复文本整理

用字符片段相似度聚合同义改写、格式差异和轻微错字的相似行，人工确认后再整理。

适用范围与处理说明

粘贴文本或导入 UTF-8 文本，调整相似阈值与大小写、空白、标点归一化选项。工具给出相似组和匹配分值，不会自动删除；短文本和语义不同但字面相近的行需要人工判断。

文

文本处理 · 其他工具

分类页 ›
内内容提取从杂乱文本中提取手机号、邮箱、网址、IP 与身份证号并去重删删除空行清理文本中的空行、首尾空格、制表符与连续空格文文本去重一键删除重复行，可选择保留首次或末次出现，支持忽略大小写文文本排序按拼音、笔画、长度、数值排序，支持升序降序与去重添添加行号为每行文本添加序号，可选数字、点号、括号等多种分隔格式名名单集合对比对比两份名单的交集、差集、并集与对称差，支持忽略大小写和首尾空格。批批量替换支持普通文本与正则表达式的批量查找替换，可设置忽略大小写文文稿术语一致性检查按自备术语表定位混用写法，逐项确认并导出修订副本。文文本变形文本反转、重复、行首行尾填充、去换行与批量加前后缀大大小写转换大写、小写、首字母大写、全角半角与驼峰、下划线命名互转文文本对比逐行比较两段文本的差异，高亮标出新增、删除与修改的行双双语段落对齐对齐两份文本的段落，拆分合并、标记漏段并导出双栏稿。文文本隐私脱敏批量隐藏手机号、邮箱、18位号码及自定义姓名地址，预览并导出脱敏副本。UUnicode 隐形字符检查定位零宽字符、方向控制符与特殊空格，检查混合脚本，按需规范化文本。简简繁互转内置常用字简↔繁映射，整段文本一键互相转换汉汉字拼音与注音整段中文转带调、数字调或无调拼音，支持姓氏模式、首字母和逐字注音。字字数统计统计中文汉字、英文单词、数字、行数、段落数与字符总数文文章排版与转义换行整理段落首尾空白、首行缩进，转换真实换行与转义换行，并导出 HTML 段落。中中文竖排与打印把文章按从右到左的竖排呈现，自选字号、行距和纸张，支持打印与 HTML 导出。字字幕转换与时间平移编辑双语字幕，双点校准时间漂移，配合本地音视频逐句循环、听写并导出 SRT 或 VTT。