鉴于当前各大 LLM 逐步普及以零宽字符为代表的文本隐写水印手段,为此我特地写了一个小工具,专门用于扫描文本中的隐蔽 / 不可见 Unicode 码点,便于快速定位可能存在的 「文本水印」。目前可检测的特殊 Unicode 码点与类别如下 (包括但不限于):
-
ZWSP: 零宽空格
-
ZWNJ: 零宽非连字
-
ZWJ: 零宽连字
-
BOM: 字节序标记
-
WJ: 单词连接符
-
MVS: 蒙古元音分隔符
-
SHY: 软连字符
除字符扫描外,还支持基于
cl100k_base (GPT-4) &
o200k_base (GPT-4o) BPE Tokenization 进行分词,便于辅助判定
快速体验:
https://links.xmsl.dev/analyzer 欢迎反馈
示例文本 (内含隐写水印):
ZWSP: LoremIpsumDolor
ZWNJ: HelloWorld
ZWJ: FooBar
BOM: StartOfText
WJ: AlphaBeta
MVS: FirstSecond
From