IOB（Inside‑Outside‑Beginning）标注格式概述
1. 什么是 IOB 格式
IOB 是一种序列标注方案，最早用于 命名实体识别（NER） 与 短语块划分（Chunking） 等任务。它通过在每个词（或字符）后附加标签，指示该词是否属于实体以及在实体中的位置。常见的标签有：
| 标签 | 含义 |
|---|---|
| B‑XXX | 实体 开始（Begin），XXX 为实体类型（如 PER、LOC、ORG） |
| I‑XXX | 实体 内部（Inside），同一实体的后续词 |
| O | 非实体（Outside），不属于任何标注块 |
2. IOB 的基本工作原理
- 逐词标注：对句子中的每个词依次打标签。
- 实体边界：B‑标签标记实体的首词，I‑标签标记同一实体的后续词，O‑标签标记普通词。
- 连续实体：若相邻的两个实体类型相同，需要使用 B‑标签区分它们的起始位置（即 IOB1 与 IOB2 的区别）。
3. 常见变体
| 变体 | 说明 | 关键区别 |
|---|---|---|
| IOB1 | B‑标签仅在相邻同类实体之间出现，用于区分相邻实体的起始位置。I‑标签用于实体内部。 | B‑只在跨块时出现 |
| IOB2（也称 BIO） | 每个实体的首词必用 B‑标签，后续词用 I‑标签。即使相邻实体类型相同，也使用 B‑标记起始位置，使标注更统一。 | 所有实体均以 B‑开头 |
| IOBES / BIOES / BILOU | 在 IOB2 基础上加入 E‑（End）和 S‑（Single）标签，能够明确标记实体的结束位置以及单词构成的实体。 | 更细粒度的边界信息 |
4. 示例
句子：John lives in New York City .
| 词 | IOB1 | IOB2 | IOBES |
|---|---|---|---|
| John | B‑PER | B‑PER | B‑PER |
| lives | O | O | O |
| in | O | O | O |
| New | B‑LOC | B‑LOC | B‑LOC |
| York | I‑LOC | I‑LOC | I‑LOC |
| City | I‑LOC | I‑LOC | E‑LOC |
| . | O | O | O |
在 IOBES 中，City 被标记为 E‑LOC，表示实体的结束；若实体只有一个词，则使用 S‑（如 Paris → S‑LOC）。
5. 使用场景
- 命名实体识别（NER）：标注人名、地点、组织等实体。
- 句法块划分（Chunking）：如 NP（名词短语）/ VP（动词短语）等。
- 序列标注模型的训练：常配合 CRF、BiLSTM‑CRF、Transformer 等模型使用。
6. 优缺点
| 优点 | 缺点 |
|---|---|
| 简单直观，易于实现和解释；广泛被公开数据集（如 CoNLL‑2003）采用 | 只能表达实体的开始与内部，无法直接标记实体结束；在 IOB2 中相邻实体仍需额外处理 |
| 变体 IOBES 能提供更完整的边界信息，提升部分模型性能 | 变体增多会导致标签集合膨胀，模型学习难度略增 |
7. 实际操作建议
- 选择标签方案：若数据集已有标注，直接使用对应方案；若自行标注，推荐使用 IOB2（兼容性好）或 IOBES（边界更明确）。
- 转换工具：常见 NLP 库（如 spaCy、NLTK、seqeval）提供 IOB ↔︎ BIO ↔︎ BIOES 的相互转换函数。
- 评估指标：使用 F1‑score（基于实体完整匹配）评估模型，避免仅统计 token‑level 准确率。
小结：IOB 格式是一套用于序列标注的标签体系，通过 B、I、O 三类标签描述实体的起始、内部和外部位置。其衍生的 IOB2 与 IOBES 等变体在实际项目中被广泛采用，能够满足从基础实体识别到细粒度边界标注的不同需求。了解各变体的区别与适用场景，有助于在数据标注、模型训练以及结果评估阶段做出更合适的选择。
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！