SegDaemon: 主动保护语义分割模型免受知识产权侵权

摘要 / Abstract

随着语义分割模型在众多应用中的广泛采用，保护这些模型的知识产权（IP）已成为一个紧迫的问题。本文介绍了一种创新的主动IP保护方法，专门针对语义分割模型。通过几种基于互信息的策略训练语义分割模型，以阻止非法和隐蔽的模型使用。实验证明，受保护的模型可以在未经授权输入的情况下产生扭曲的输出掩码，同时为有授权令牌的用户保持高mIOU分数。

引言 / Introduction

近年来，深度神经网络（DNNs）在计算机视觉、机器翻译和语音识别等领域取得了显著进展。特别是在计算机视觉领域，语义分割任务至关重要，因为它需要准确地识别图像中每个像素的内容。然而，开发这些复杂且精确的算法需要大量的硬件资源、数据收集和专门的训练程序，因此对其IP保护变得尤为重要。

方法论 / Methodology

SegDaemon包括两个部分：IP保护训练模块和令牌生成模块。

保护训练模块 / Protection Training Module

目标是通过数据中毒技术将设计的主动保护机制嵌入到分割模型中。具体来说，中毒训练集Dp由授权集Da和未授权集Du组成。我们提出了基于互信息的训练策略，以最小化未经授权查询时预测与真实值之间的互信息。

令牌生成模块 / Token Generation Module

受到后门攻击的启发，我们在输入数据上引入特定特征作为令牌来激活模型的预测性能。提供了两种类型的令牌：

• 定制静态令牌：预设的贴纸或徽标图像作为授权令牌。

• 用户特定动态令牌：包含编码器网络功能的令牌，使得每个图像和秘密都是唯一的。

实验 / Experiment

我们在Cityscapes和ADE20K数据集上进行了实验，以评估SegDaemon的有效性、隐蔽性和可行性。

实验设置 / Experimental Setting

• Cityscapes：超过5000张高质量像素级注释图像，用于城市街道场景。

• ADE20K：包含150个细粒度语义类别的复杂场景解析数据集。

评估指标 / Evaluation Metrics

• mIOU下降（mIOUod）：量化由于嵌入SegDaemon而导致的mIOU减少。

• 保护mIOU下降（mIOUpd）：量化在有效授权令牌缺失时mIOU分数的减少。

• 不可见性指标：使用SSIM、LPIPS和PSNR评估生成令牌的不可见性。

实验结果 / Experimental Results

| 保护形式 | 数据集 | mIOUor mIOUod | mIOUpd |

| --- | --- | --- | --- |

| 被动 | Ruan et al.[22] | 76.41 -0.69 | 0.00 |

| 主动（策略A） | Ours(DeepLabV3+) | 74.23 -0.84 | 71.85 |

| 主动（策略B） | Ours(PSPNet) | 75.62 -1.18 | 73.16 |

| 主动（策略C） | Ours(K-Net) | 77.58 -1.05 | 75.11 |

不可见性结果 / Invisibility Results

| 感知指标 | Cityscapes（静态令牌） | Cityscapes（动态令牌） | ADE20K（静态令牌） | ADE20K（动态令牌） |

| --- | --- | --- | --- | --- |

| PSNR ↑ | 26.323 | 34.184 | 27.971 | 32.795 |

| SSIM ↑ | 0.813 | 0.884 | 0.868 | 0.854 |

| LPIPS ↓ | 0.078 | 0.036 | 0.143 | 0.069 |

结论 / Conclusion

我们的主动IP保护方法为语义分割模型提供了一个高效的解决方案，可以有效地降低未经授权查询时的mIOU分数，同时保持对授权查询的高准确性。实验结果表明，SegDaemon在Cityscapes数据集上的mIOU分数可降至1.02%，并在ADE20K数据集上实现了0.036和0.069的LPIPS分数。