基于FAR和FRR融合的多模态生物特征识别

第 37 卷 第 4 期 自 动 化 学 报 Vol. 37, No. 4 2011 年 4 月 ACTA AUTOMATICA SINICA April, 2011 基于 FAR和 FRR融合的多模态生物特征识别 李 永 1 殷建平 1 祝 恩 1 李 宽 1 摘 要 通过多生物特征识别融合可以显著地改善系统的识别性能, 在多生物特征识别中, 匹配分数级融合最常用. 现有的匹 配分数级融合策略包括基于归一化的融合、基于密度的融合和基于分类器的融合. 本文分析了这三种融合策略的优缺点, 结合 分数归一化和基于密度方法的优点, 提出了一种新的基于信任度的融合策略. 其中, 信任度是以错误拒绝率和错误接受率为基 础, 既避免了直接求取某个匹配分数的后验概率, 又能够刻画匹配分数的分布. 将本文方法与几种有代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 性的方法进行实验比 较, 结果表明, 这种新融合模式可以有效地改进多生物特征识别系统的性能. 关键词 生物特征识别, 多生物特征识别, 分数级融合, 多模态, 错误拒绝率, 错误接受率 DOI 10.3724/SP.J.1004.2011.00408 Multibiometric Fusion Based on FAR and FRR LI Yong1 YIN Jian-Ping1 ZHU En1 LI Kuan1 Abstract Multibiometric systems are expected to be more accurate due to the presence of multiple evidences. Score level fusion is the most commonly used approach in multibiometrics. There are usually three kinds of techniques of score fusion: transformation-based, classifier-based and density-based. This paper firstly analyzes the advantages and disadvantages of the three types of algorithms. Then a novel confidence-based fusion technique is proposed which combines the advantages of transformation-based and density-based fusion strategies. The confidence is based on the false reject rate (FRR) and false accept rate (FAR) which can cultivate the distribution of the match scores while avoiding computing the posterior probability. The comparison between the new algorithm and the existing representative algorithms is conducted in experiments. The experimental results show that the new fusion scheme is robust for different multibiometric systems. Key words Biometrics, multibiometrics, score level fusion, multi-modal, false reject rate (FRR), false accept rate (FAR) 生物特征识别是指通过生理或行为特征来确认 一个人身份的过程. 高安全的认证系统通常都有严 格的性能需求, 如较低的错误接受率 (False accept rate, FAR)和错误拒绝率 (False reject rate, FRR). 单一生物特征所含信息有限, 同时受数据采集噪音 的影响, 无法满足某些系统对高正确率的需求[1]. 通 过多生物特征识别融合来提高识别的正确率是目前 研究的热点之一. 根据融合的信息层次, 多生物特征识别系统可 以分为传感器级融合、特征级融合、分数级融合和 决策级融合[2]. 分数级融合是目前研究最多的融 合方式, 因为匹配分数既屏蔽了各种生物特征数据 底层的多样性和识别过程的复杂性, 又保存了个体 特征相似性的度量, 可以用来区分合法用户和非法 收稿日期 2010-09-06 录用日期 2010-11-24 Manuscript received September 6, 2010; accepted November 24, 2010 国家自然科学基金 (60970034, 60603015), 高等学校全国优秀博士学 位 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 作者资助项目 (2007B4), 湖南省教育厅资助科研项目 (湖南省优 秀博士学位论文获得者资助项目) 资助 Supported by National Natural Science Foundation of China (60970034, 60603015), Foundation for the Author of National Excellent Doctoral Dissertation (2007B4), and Scientific Re- search Fund of Hunan Provincial Education (Foundation for the Author of Hunan Provincial Excellent Doctoral Dissertation) 1. 国防科学技术大学计算机学院 长沙 410073 1. School of Computer Science, National University of Defense Technology, Changsha 410073 入侵者. 分数级融合方法可以分为三类: 基于归 一化的融合、基于密度的融合和基于分类器的融 合[2]. 基于归一化的融合首先将匹配分数归一化, 然 后使用固定融合规则得到一个新的分数, 从而做 出最终的决策. 基于归一化的融合有两个因素需 要考虑: 1) 归一化函数; 2) 融合规则. 常用的归一 化函数有 Min-Max、z-score、Tanh 和 Sigmoid[2]. Kittler 等[3] 提出了分类器融合的一般性理论框架, 并在此框架下推导出 5 种基本的固定融合规则: Sum、Product、Max、Min和Median. 文献 [3− 5] 对 Product 规则与 Sum 规则进行了比较研究: 在单 个分类器性能比较准确, 且在各分类器之间数据不 相关的情况下, Product 规则更符合 Bayes 理论, 略 优于 Sum 规则; 而各个分类器误差较大且数据具有 相关性时, Sum规则可以对误差进行平均,融合效果 要优于 Product 规则. Indovina 等[6] 和Wang 等[7] 提出了加权和方法, 权重根据各个简单分类器的等 错误率 (Equal error rate, EER)或者 FRR和 FAR 计算. He 等[8] 基于均值和方差提出了一种降低大分 数影响 (Reduction of high-scores effect, RHE) 的 归一化方法. 基于密度的融合, 匹配分数首先被转换成后验 概率, 然后根据贝叶斯判决做出最终的决策. Duda 4期 李永等: 基于 FAR和 FRR融合的多模态生物特征识别 409 等[9] 指出匹配分数的概率密度可以通过参数化或者 非参数化方法求得. Snelick 等[10] 假设匹配分数服 从高斯分布, 采用一种参数化方法来求取匹配分数 的条件概率密度. Jain 等[11] 提出使用基于 Parzen 窗的非参数化方法求取概率密度. Dass等[12]提出了 一种基于通用概率密度的匹配分数融合方法. Nan- dakumar 等[13] 使用有限混合高斯模型 (Gaussian mixture model, GMM) 求取匹配分数密度进行多 生物特征识别融合, 获得了较好的效果. 基于分类器的方法将 N 个匹配分数作为一个 N 维特征向量, 匹配分数融合问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 转换为对该N 维 特征向量进行分类. 刘红毅等[14] 研究了基于改进 ENN (Nearest-neighbor with class exemplars) 算 法的多生物特征融合, 主要思想是先将匹配分数降 维, 然后进行分类. Wang 等[15] 研究了基于支持向 量机 (Support vector machine, SVM) 的人脸和虹 膜的多生物特征识别融合问题, 通过遍历参数来寻 找最优的支持向量机参数. Kumar[16] 等研究了基 于粒子群优化算法 (Particle swarm optimization, PSO) 动态选用最优融合策略来满足不同的安全需 求. Tronci 等[17−18] 提出了匹配分数融合的理想选 择器 (Ideal selector), 并在此基础上提出了一种匹 配分数动态选择方法. 基于归一化的融合方法无需训练, 实现简单, 较 少考虑到匹配分数分布的特殊性. 归一化函数通常 假设匹配分数服从某一现有的分布模型, 该模型由 少数几个参数决定, 如均值、方差等, 这些参数的计 算通常根据一定的训练集或者先验知识确定. 基于 密度的融合需要对密度进行准确的估计, 实现复杂, 时空开销大, 需要大量训练样本, 而目前多生物特征 识别系统的正样本数即合法用户匹配分数通常较少, 并且, 匹配分数分布可能并不服从某一现有分布模 型, 因此, 对于匹配分数密度的估计非常困难. 基于 分类器的融合可以不受分类器匹配分数分布不同的 影响, 但是基于分类器的融合是一个二类优化问题, 不能直接输出匹配分数, 不能针对特定的 FAR 得到 最优的 FRR, 同时需要足够的训练样本. 考虑以上方法的优缺点, 本文通过 FAR 和 FRR 来刻画匹配分数的分布. FAR 与 FRR 是描 述系统识别性能的两个重要的参数, 使用 FAR 和 FRR 来刻画匹配分数的分布, 避免了直接对匹配分 数密度进行估计, 类似于对匹配分数密度的积分, 使 得原来相对离散孤立的密度连续起来. 本文第 1 节 介绍匹配分数的概率有序性和基于匹配分数融合的 多模态系统模型; 第 2 节首先基于概率有序性介绍 理想转换函数, 然后提出基于 FAR 和 FRR 的信任 度函数 B 和匹配分数转换函数 T ; 第 3 节为实验结 果和分析; 第 4 节为总结和展望. 1 多生物特征融合模型 匹配分数是融合的基础, 对匹配分数的不同理 解决定了不同的算法. 本节首先介绍匹配分数的性 质, 即匹配分数的概率有序性, 然后介绍基于匹配分 数的多生物特征融合模型. 1.1 匹配分数的概率有序性 Verlinde 等[19] 指出了匹配分数 sk 和后验概率 P (C|MMMk) 的关系如下: sk = g(P (C|MMMk)) + β(MMMk) (1) 其中, g 是单调增函数, β 是分类器的错误率函数, P 表示后验概率, C 表示合法用户匹配, MMMk 表示匹配 向量. P (C|MMMk) 表示匹配向量MMMk 属于合法用户 (Client) 匹配的概率. 函数 g 和 β 都是未知的, 因 此,试图通过式 (1)得到匹配分数和后验概率之间关 系很困难. 本文中, 把来自同一个体的样本匹配得到 的匹配分数称为合法用户匹配分数 (Genuine score 或 Client score), 而把来自于不同个体的样本匹配 得到的匹配分数称为非法入侵匹配分数 (Imposter score). 匹配分数表达了两个样本相似度, 是一种相 对的概念, 不同的匹配分数所对应的后验概率之间 只有相对大小关系, 而无绝对数值关系. 因此, 本文 给出匹配分数 s 和后验概率 P (C|s) 之间的一个序 关系, P (C|s) 表示 s 所对应的模板和输入来自同一 个体的概率. 识别系统 f 对每次认证都给出模板 a 和输入模式 b 之间的相似度匹配分数 s = f(a, b). 匹配分数满足概率有序性, 即给定两个匹配分数 x 和 y, 若 x ≤ y, 则 P (C|x) ≤ P (C|y) (2) 1.2 多生物特征融合模型 一个多生物特征分数级融合系统可以一般性地 描述为: 设融合系统有 M 个生物特征, 对应地有 M 个匹配器 f1, f2, · · · , fM , 设在识别阶段的一次识 别中模板特征和输入特征分别为 UUU= 〈u1, · · · , uM〉 和 VVV=〈v1, · · · , vM〉, 其中, uk 和 vk 分别为在第 k 个匹配器处的模板特征和输入特征, 第 k 个匹配 器处的输出分数为 sk=fk(uk, vk), 融合系统先对 sk 用归一化转换函数 Tk 进行转换得到转换分数 s (tr) k = Tk(sk), 然后对转换分数进行融合得到融合 分数 s = Fusion(s(tr) 1 , · · · , s(tr) M ), 最后根据融合分 数 s 进行决策. 图 1 为一个典型的分数级融合的人脸识别和声 音识别的多模态系统识别 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图, 其他类型多生物 特征识别系统流程与此类似. 分数级融合的多生物 特征识别系统通常包括单生物特征识别和融合决策 两部分. 图 1 中人脸和声音识别系统为单生物特征 410 自 动 化 学 报 37卷 识别部分, 一般的过程包括数据采集、特征提取和特 征匹配三部分. 而融合决策部分则包括分数归一化、 融合与决策三个部分. 本文的核心是分数归一化和 融合. 图 1 多模态生物特征识别系统流程 (人脸和声音为例) Fig. 1 The flowchart of a multibiometric system (face and voice) 2 基于信任度的转换函数 2.1 理想转换函数及其性质 在有 M 个匹配器的多生物特征分数级融合系 统中, 每个匹配器有一个对应的分数归一化转换函 数. 设 T 为一个匹配分数转换函数, 转换函数通 常将单个匹配器的输出分数转换到 0 到 1 之间, 即 T (·) ∈ [0, 1]. 转换函数 T 应当满足匹配分数的概率 有序性, 即: 给定两个匹配分数 x 和 y, 若 x ≤ y, 则 T (x) ≤ T (y) (3) M 个匹配器的融合系统中, 每个匹配器对应一个转 换函数, 第 k 个匹配器 fk 对应的转换函数为 Tk, 理 想的转换函数保证不同匹配器的匹配分数经过转换 后满足概率有序性, 即: 对于任意两个转换函数 Tk 和 Tl, 以及对应的匹配分数 x 和 y, 若 Tk(x) ≤ Tl(y), 则 P (C|x) ≤ P (C|y) (4) 一个理想的转换函数为 Tideal(x) = P (C|x) (5) 多生物特征识别系统通过对转换以后的分数进行融 合得到最终的分数, 进而做出最终的决策. 本文设 计的转换函数与现有常用的归一化函数不同, 现有 归一化函数通常假设匹配分数服从某一现有的分布 模型, 该模型由少数几个参数决定, 如均值、方差等, 这些参数的计算通常根据一定的训练集或者先验知 识确定. 同时现有归一化函数一般不能满足式 (4). 理想转换函数 Tideal 需要知道该匹配分数属于合法 匹配的概率, 实际上属于基于密度的融合方法. 密 度估计通常是近似的, 因此, 难以获得理想转换函数 Tideal. 同时, 对于多生物特征识别系统而言, 最终关 注的并不是匹配分数的后验概率, 也就是说并不是 为了求取理想转换函数, 而是为了获得概率有序性, 即各个匹配分数的属于 Genuine 匹配或 Imposter 匹配的相对大小关系. 因此, 在第 2.2 节, 基于 FAR 和 FRR 构造了一个信任度函数, 该信任度函数可以 作为各个单模态系统匹配分数之间相互比较的桥梁, 由此提出基于该信任度函数转换函数. 2.2 训练集上的 FAR、、、FRR的转换函数 本文首先通过训练样本计算 FAR 和 FRR, 然 后根据 FAR 和 FRR 构造转换函数. FAR 和 FRR 的定义为[2] FAR(t) = P (s ≥ t|Impostor) (6) FRR(t) = P (s < t|Genuine) (7) 设有 M 个匹配器的融合系统有 N 个训练样本, 第 i 个训练样本的模板特征为 UUU i = 〈u1i , · · · , uMi 〉, 输入特征为 VVV i = 〈v1i , · · · , vMi 〉, 输出分数为 SSSi = 〈s1i , · · · , sMi 〉,其中, uji , vji 和 sji 分别为第 i (1 ≤ i ≤ N) 个训练样本在第 j (1 ≤ j ≤ M) 个匹配器处的 模板特征、输入特征和匹配分数. 用 zi标识第 i个训 练样本为Genuine匹配或 Imposter匹配: 若第 i个 训练样本为Genuine匹配,则 zi = 1;若为 Imposter 匹配, 则 zi = 0. 记由第 j 个匹配器生成的所有匹配 分数为 SSSj = {sj1, · · · , sjN}, 由训练样本计算第 k 个 匹配器的 FARk(t) 和 FRRk(t) (1 ≤ k ≤ M), 其 中, t ∈ Sk. FARk(t) = ∣∣{i ∣∣ski ≥ t, zi = 0}∣∣ N∑ i=1 (1− zi) (8) FRRk(t) = ∣∣{i ∣∣ski < t, zi = 1}∣∣ N∑ i=1 zi (9) FARk(t) 和 FRRk(t) 反映了训练集上匹配分数的 分布情况, 避免了针对某个具体的分数来计算其正 确率或者错误率, 而是对一段区间的错误率和正确 率进行计算, 对各个点的错误率进行累计. 由前文, 匹配分数概率即理想转换函数计算非常困难, 因此 考虑基于 FAR, FRR 构造一个信任度函数, 基于 FARk(t) 和 FRRk(t) 构造第 k 个匹配器在训练集 上的信任度函数 Bk(t): Bk(t) =  FRR0 FARk(t) , FRRk(t) = 0 FRRk(t) FAR0 , FARk(t) = 0 FRRk(t) FARk(t) , 否则 (10) 4期 李永等: 基于 FAR和 FRR融合的多模态生物特征识别 411 FAR0 = 1( c N∑ i=1 (1− zi) ) (11) FRR0 = 1( c N∑ i=1 zi ) (12) 其中, c 为常数, FRRk(t) 或 FARk(t) 等于 0 的时 候, 为了保证函数 Bk(t) 的区分能力, 这里定义了 FRR0 和 FAR0. 可以证明, 对于任意的两个匹配 分数 x 和 y, 并且 x, y ∈ Sk: 若 x < y, 则 Bk(x) ≤ Bk(y) (13) 称式 (13) 为匹配分数关于信任度函数 Bk(t) 的有序 性. 对于单模态系统而言, 信任度函数有序性与匹 配分数的概率有序性是等价的, 即信任度越大, 则此 次匹配为 Genuine 匹配的概率就越大, 信任度越小, 则此次匹配为 Imposter 的概率就越大. 受理想转换 函数 Tideal 启发, 得到第 k 个匹配器的基于信任度 函数 Bk(t) 的转换函数: Tk(t) = Bk(t) Bk(t) + 1 (14) 从而 Bk(t) = Tk(t) (1− Tk(t)) (15) 显然, Tk(x) ∈ [0, 1], 不难证明: x ≤ y ⇒ Tk(x) ≤ Tk(y), x, y ∈ Sk (16) Ti(x) ≤ Tj(y)⇒ Bi(x) ≤ Bj(y), x ∈ Si, y ∈ Sj (17) 2.3 测试阶段转换分数的计算 根据以上分析, 基于 FAR 和 FRR 的转换函数 的计算必须知道所有的匹配分数, 但是真实的系统 不能事先知道所有的匹配分数, 只能在训练集上进 行计算. 考虑到通常情况下, 训练集与真实数据服 从同样分布, 即在训练集上出现的分数将来在测试 集上出现的可能性也大, 训练集上匹配分数分布密 集的地方则意味着真实系统也是如此. 因此, 对训 练集上出现每一个匹配分数 t, 计算其转换值; 对 于测试集上新的分数, 则采用插值的办法求取其 转换值. 由于训练集中的 N 个训练样本为每个独 立匹配器生成最多 N 个匹配分数, 这些分数在匹 配分数取值范围内是离散分布的点, 在测试阶段获 得的匹配分数一般不等于训练阶段的匹配分数, 因 此, 测试阶段转换分数可根据训练集上的转换分数 采用插值方法计算. 假设训练中 N 个样本在第 k 个匹配器处一共生成 nk (nk ≤ N) 个互不相等的 匹配分数, 从小到大排列为 {tk1 , tk2 , · · · , tknk}, 将这 些匹配分数依次代入 FARk(t) 和 FRRk(t), 得到 {FARk(tki ) |1 ≤ i ≤ nk } 和 {FRRk (tki ) | 1 ≤ i ≤ nk}, 对应地, 可计算出 {Bk(tki ) |1 ≤ i ≤ nk }, 进而 计算出 {Tk(tki ) |1 ≤ i ≤ nk }. 对于测试中在第 k 个 匹配器处的匹配分数 x, 可分如下 4 种情况计算其 转换分数 Tk(x), 其对应的 Bk(x) 则根据 Tk(x) 值 代入式 (15) 进行估计: 1) 如果 x < tk1 , 则以 tk1 和 tk2 为固定结点, 使用 外插法计算 Tk(x) 和 Bk(x): 令 Tk ′(x) = tk2 − x tk2 − tk1 Tk(tk1) + x− tk1 tk2 − tk1 Tk(tk2) (18) 则 Tk(x) = { Tk ′(x), Tk′(x) > 0 0, Tk′(x) ≤ 0 (19) 2) 如果 x > tknk , 则以 tknk 和 tknk−1 为固定结点, 使用外插法计算 Tk(x) 和 Bk(x): 令 Tk ′′(x) = tknk − x tknk − tknk−1 Tk(tknk−1) + x− tknk−1 tknk − tknk−1 Tk(tknk) (20) 则 Tk(x) = { Tk ′′(x), Tk′′(x) < 1 1, Tk′′(x) ≥ 1 (21) 3) 存在 i 使得 x = tki , 则 Tk(x) = Tk(tki ); 4) 存在 i, 使得 tki < x < tki+1, 则用插值法计算 Tk(x) 和 Bk(x): Tk(x) = tki+1 − x tki+1 − tki Tk(tki ) + x− tki tki+1 − tki Tk(tki+1) (22) 在 1) 和 2) 两种情况下, T ′k(x) < 0 和 Tk ′′(x) > 1 出现的几率很小, 实验中没有出现, 但是 理论上仍有可能. 在 3) 和 4) 两种情况下, 为了找到 相应的 tki , tki+1 (1 < i < nk), 采用二分查找, 通过 该算法最终找到一个值满足 3) 的条件或者两个值 满足 4) 的条件. 二分查找法复杂性为 O(log2N), 有 效地降低查找算法的时间复杂性, 从而降低了整个 算法的时间复杂性. 至此, 对于测试集上任意的匹配 分数, 都可以得到该匹配分数的信任度和转换值. 不 难证明: 1) Tk(x) ∈ [0, 1] (x ∈ Sk); 412 自 动 化 学 报 37卷 表 1 训练集上 FRRk、FARk、Bk 和 Tk 计算实例 Table 1 The computations for FRRk, FARk, Bk, and Tk on training set i tki FRRk(t k i ) FARk(t k i ) Bk(t k i ) Tk(t k i ) 1 1.4695 0.13 0.011525 11.279826464208243 0.918565624447977 2 1.47 0.13 0.0115 11.304347826086957 0.918727915194346 3 1.4701 0.13 0.011475 11.328976034858387 0.918890263297402 4 1.4715 0.13 0.01145 11.353711790393014 0.919052668787557 5 1.4721 0.13 0.011425 11.37855579868709 0.919215131695245 6 1.4728 0.13 0.0114 11.403508771929825 0.919377652050919 7 1.4736 0.13 0.011375 11.428571428571429 0.919540229885058 8 1.4742 0.13 0.011325 11.479028697571744 0.919865558110738 9 1.4765 0.13 0.0113 11.504424778761063 0.92002830856334 10 1.4769 0.13 0.011275 11.529933481152993 0.920191116616528 2) 若 x ≤ y, 则 Tk(x) ≤ Tk(y) (x, y ∈ Sk); 3) 若 Ti(x) ≤ Tj(y), 则 Bi(x) ≤ Bj(y) (x ∈ Si, y ∈ Sj). 最后, 采用固定融合方法融合M 个匹配器所输 出匹配分数的转换分数得到最终的分数. 因为 Sum 方法通常表现较好[3−5], 因此在实验中采用 Sum 方 法. 2.4 计算举例 表 1 节选自实验部分一个实例中的一个连续片 断, 其中的匹配分数已经按照从小到大排列. 根据第 2.2 节转换函数的定义, 某个简单分类器匹配分数转 换值的计算与其他分类器是无关的, 因此, 实例中只 选择了一个简单分类器示意. 同时, 在训练集中, 各 个匹配分数之间没有其他匹配分数. 各个匹配分数 的 FAR 和 FRR 是在训练集上, 取该匹配分数为阈 值计算得到. 在此基础上, 计算信任度和转换值, 以 训练集中第 5 个匹配分数为例, 计算过程为 Bk(tk5) = FRR(tk5) FAR(tk5) (23) Tk(tk5) = B(tk5) B(tk5) + 1 (24) 表 2 节选自测试集一个片断, 其中的匹配分数介于 表 1 中的匹配分数之间, 依据测试集上转换值的计 算方法, 以第 4 个匹配分数 x = 1.4719 为例, 因为 tk4 < x < t k 5 , 因此 Tk(x) 为 Tk(x) = tk5 − x tk5 − tk4 Tk(tk4) + x− tk4 tk5 − tk4 Tk(tk5) (25) 3 实验结果和分析 因为本文的算法主要针对多模态, 所以在实 验中, 主要将多模态作为实验和分析的对象. 为了 验证基于转换函数的多模态算法的性能, 本文使 用了两个公开的真实的多模态数据集 XM2VTS- Benchmark[20] 和 NIST-BSSR1[21] 进行实验, 将基 于转换函数的多模态生物特征融合方法分别与基于 密度的似然比 (Likelihood ratio, LR) 方法[13] 和基 于转换的Min-Max, Tanh 方法进行了比较. 实验比 较中, 将本文的方法简称为 T. 表 2 测试集上转换分数计算实例 Table 2 The computations of transformation on testing set x Tk(x) 1 1.4697 0.918630540746525 2 1.4758 0.919978775816896 3 1.4697 0.918630540746525 4 1.4719 0.919160977392682 5 1.4714 0.919041068395404 6 1.4715 0.919052668787557 7 1.4752 0.919936319177087 8 1.4735 0.91951990765579 9 1.4724 0.919284783276248 10 1.476 0.919992928030166 3.1 数据集介绍 XM2VTS 数据库[20] 包括 295 人的人脸和声音 数据, 其中, 人脸和声音数据分 4 次同步采集, 每 2 次采集间隔 1 个月时间. XM2VTS-Benchmark[20] 基准匹配分数数据库建立在XM2VTS基础上,包括 5 个人脸识别系统和 3 个语音识别系统生成的匹配 分数. 根据 Lausanne Protocol-1 (LP1) 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 , 该数 据库匹配分数分为训练集和测试集两部分. 该测试 基准包括 dev.label 和 eva.label 两个数据文件. 记 4期 李永等: 基于 FAR和 FRR融合的多模态生物特征识别 413 5 个人脸分类器依次为 F1, F2, F3, F4 和 F5, 3 个 声音分类器依次为 S1, S2 和 S3. NIST-BSSR1[21] 数据库包括人脸数据库、指纹数据库、多模态指纹 和人脸数据库, 其中, 本文所使用的多模态数据库有 517 个个体, 包括左食指、右食指和两个不同的人脸 识别系统所产生的分数. 根据此进行实验, 将各个简 单识别系统分别标记为 L (左食指识别系统)、R (右 食指识别系统)、C (人脸识别系统 C) 和 G (人脸识 别系统 G). 3.2 实验结果与分析 表 3 和表 7 分别给出了 XM2VTS-Benchmark 和 NIST-BSSR1 中单个识别系统的 EER. 表 4 给 出了 XM2VTS-Benchmark 中声音和人脸分别采用 不同融合方法的 EER, 表 8 给出了 NIST-BSSR1 中特征两两组合采用不同融合方法的 EER. 为了综 合比较这几种方法的性能, 按照 4 种方法的 EER 排 名, 第 1 名赋予 4 分, 第 2 名 3 分, 第 3 名 2 分, 第 4 名 1 分. 若 2 个并列第 1, 则赋予 2 个并列第 1 各 (4+3)/2 = 3.5 分, 其他依此类推. 表 5 和表 9 分别列出了基于 XM2VTS-Benchmark 和 NIST- BSSR1 的各种方法的排名赋分和总分比较排名. 由 表 5 的总分比较, 在 XM2VTS-Benchmark 数据集 上, T 和 LR 方法均表现较好, LR 方法总体表现最 优, 但是也出现了 3 次排名最末的情况, 表现出一定 的不稳定性, 而 T 方法则比较稳健. 由表 9, T 最优, 其次则为 Min-Max 方法. 将在两个数据集上的赋 分相加可以得到 T: 64.5, LR: 54, Min-Max: 48.5, Tah: 42. T 方法表现最优, 由此可以看出 T 方法性 能稳健, 在两个不同的数据集上都取得了较好的结 果. 为了比较 T 方法与其他方法在 3 个及以上模态 融合时的识别性能, 表 6 给出了部分组合的 EER 比 较. 其中, {S} 代表 S1, S2, S3 组合, {F} 代表 F1, F2, F3, F4, F5 组合. 由表 6 可知, LR 方法表现最 优, T 方法表现次之, 与表 5 两种模态比较结果相 似. 表 3 基于 XM2VTS-Benchmark 数据中各个简单识别系统的 EER Table 3 EER of each simple recognition system on XM2VTS-Benchmark S1 S2 S3 F1 F2 F3 F4 F5 EER (%) 1.109 6.500 4.500 1.814 4.115 1.767 3.500 6.500 表 4 基于 XM2VTS-Benchmark 的各种方法的 EER 比较 Table 4 The EER comparison of different techniques on XM2VTS-Benchmark EER (%) S1-F1 S1-F2 S1-F3 S1-F4 S1-F5 S2-F1 S2-F2 S2-F3 S2-F4 S2-F5 S3-F1 S3-F2 S3-F3 S3-F4 S3-F5 T 0.260 0.750 0.500 0.718 0.526 0.756 1.750 1.269 1.000 3.000 0.750 1.146 0.949 0.783 1.750 LR 0.373 0.804 0.578 0.427 0.664 0.928 1.484 0.975 0.742 2.456 0.750 1.283 0.827 0.944 1.669 Min-Max 0.914 0.500 0.456 1.178 2.615 1.250 1.637 1.250 1.383 3.532 1.098 1.232 0.750 1.500 3.798 Tanh 0.746 0.500 0.500 0.750 1.148 1.500 1.750 1.500 1.250 3.000 0.750 1.250 1.000 1.250 2.628 表 5 基于 XM2VTS-Benchmark 的各种方法性能排名得分 Table 5 The performance score comparison of different techniques on XM2VTS-Benchmark S1-F1 S1-F2 S1-F3 S1-F4 S1-F5 S2-F1 S2-F2 S2-F3 S2-F4 S2-F5 S3-F1 S3-F2 S3-F3 S3-F4 S3-F5 总分 T 4 2 2.5 3 4 4 1.5 2 3 2.5 3 4 2 4 3 44.5 LR 3 1 1 4 3 3 4 4 4 4 3 1 3 3 4 45 Min-Max 1 3.5 4 1 1 2 3 3 1 1 1 3 4 1 1 29.5 Tanh 2 3.5 2.5 2 2 1 1.5 1 2 2.5 3 2 1 2 2 30 表 6 基于 XM2VTS-Benchmark 的各种方法 3 个模态以上组合的 EER 比较 Table 6 The EER comparison of different techniques for more than 3 modals on XM2VTS-Benchmark EER (%) {S} {S}F1 {S}F2 {S}F3 {S}F4 {S}F5 {F} S1{F} S2{F} S3{F} T 2.227 0.666 0.889 0.753 0.750 0.973 1.250 0.750 0.855 0.830 LR 1.199 0.250 0.500 0.500 0.352 0.500 1.594 0.750 1.000 0.985 Min-Max 1.843 0.583 0.520 0.500 0.526 1.061 1.500 1.225 1.250 1.250 Tanh 2.170 0.500 0.722 0.702 0.516 1.110 1.377 1.000 1.000 1.000 414 自 动 化 学 报 37卷 而由排名第 1 (不计并列即得分为 4 的情况) 的 次数来看, T 胜出 8 次, LR 胜出 6 次, Min-Max 胜 出 5 次, Tanh 胜出 0 次. 基于以上分析, 多模态识 别系统融合是复杂的, 对于不同的系统, 适用的方法 并不同. 也可以看到本文的方法能够有效改进系统 的识别性能, 在总体的识别性能比较中, 能够取得较 好的效果. 而且本文的方法即使对于效果稍差的组 合, 与最好的方法的差别也不大. 表 7 基于 NIST-BSSR1 数据中各个简单识别系统的 EER Table 7 EER of each simple recognition system on NIST-BSSR1 L R C G EER (%) 8.575 5.038 5.052 5.988 表 8 NIST-BSSR1 数据的各种方法的 EER 比较 Table 8 The EER comparison of different techniques on NIST-BSSR1 EER (%) LR LC LG RC RG GC T 3.108 1.588 1.967 1.113 1.274 3.281 LR 6.675 2.645 5.508 2.586 3.398 4.099 Min-Max 3.204 1.132 1.834 0.663 1.467 5.066 Tanh 8.308 1.274 1.969 1.505 1.988 4.508 表 9 基于 NIST-BSSR1 的各种方法性能排名得分 Table 9 The performance score comparison of different techniques on NIST-BSSR1 LR LC LG RC RG GC 总分 T 4 2 3 3 4 4 20 LR 2 1 1 1 1 3 9 Min-Max 3 4 4 4 3 1 19 Tanh 1 3 2 2 2 2 12 T 方法试图通过 FAR 和 FRR 来刻画单个识 别系统匹配分数的分布情况, 从而将差异性很大的 识别系统的输出归一化和有序化, 建立起类似于概 率有序性的信任度有序性. T 方法不假设匹配分 数服从某一简单的参数分布, 而是根据训练集上匹 配分数的分布, 通过插值估计测试集上的数据分布. 相对于归一化方法如 Tanh 和 Min-Max, T 方法 不是简单地假设匹配分数服从某一参数分布, 而是 通过训练集去刻画, 因此, 总的来说, T 方法能够 取得比归一化方法更好的识别性能. T 方法不能刻 画多个模态的联合分布, 这主要是考虑到实际应用 中, 通常匹配分数的正样本都较少, 存在着严重的 不平衡[13]. 相对于 LR 方法, 这是一个不足, 因此, 在训练集 XM2VTS-Benchmark 上, LR 方法的识 别性能优于 T 方法. LR 方法属于基于密度的方 法, 它通过混合高斯模型来估计样本的联合密度分 布, 在样本数足够多的情况下, 能够取得最优的结 果. 但是混合高斯模型的难点是确定其中高斯模型 的数量和参数, 同时需要大量的样本. LR 方法在 XM2VTS-Benchmark数据集上取得了最优的结果, 在 NIST-BSSR1 数据集上表现较差, 可能是因为 NIST-BSSR1 正样本代表性不足, 而单个分类器的 识别性能又不如 XM2VTS-Benchmark 数据集, 从 而导致 LR 算法没有准确地获得联合分布. 属于归 一化方法的 Tanh 和Min-Max 方法, 虽然不能准确 刻画匹配分数的分布情况, 但是这些简单模型也反 映了匹配分数的某些规律, 同时归一化方法实现简 单, 因此, 在某些应用中可以获得好的结果, 也可以 作为其他复杂方法的基础. 从算法的复杂性分析, LR 方法最为复杂, T 方法次之, Min-Max 方法最 为简单. 为了准确把握 T 方法的融合性能, 图 2∼ 9 给 出了部分 ROC (Receive operating curve) 曲线图. 由图 2和图 3可以看到XM2VTS-Benchmark数据 上每个人脸分类器和声音分类器的识别性能. 由图 2 可以发现, 在人脸分类器中, F3 性能最好, 而 F5 性 能最差. 由图 3 可以看到在声音分类器中, S1 性能 最好, S2 表现最差. 图 4 和图 5 为基于本文融合方 法的识别性能最好 (S1-F3) 和最差 (S2-F5) 的两种 简单分类器融合, 由图 4 和图 5 可以看出, 本文方法 可以有效地提高多模态生物特征识别系统的识别性 能. 由图 6 可以看到 NIST-BSSR1 数据上各个简单 识别系统的识别性能对比. 由图 6 可以发现, 各个系 统的识别性能随着 FAR 变化是有变化的, 这也是多 生物特征识别系统的一个特点. 图 7∼ 9为该数据上 各种基于方法 T 的识别性能, 由此可以看到, 方 图 2 XM2VTS-Benchmark 数据上 5 个人脸识别分类器 ROC 曲线 Fig. 2 The ROC curves of five face recognition systems on XM2VTS-Benchmark 4期 李永等: 基于 FAR和 FRR融合的多模态生物特征识别 415 图 3 XM2VTS-Benchmark 数据上 3 个声音识别分类器 ROC 曲线 Fig. 3 The ROC curves of 3 speech recognition systems on XM2VTS-Benchmark 图 4 XM2VTS-Benchmark 数据上基于本文融合方法的 最好的两种简单分类器融合 (Face-3, Speech-1) Fig. 4 The fusion of the two best simple recognition systems (Face-3, Speech-1) on XM2VTS-Benchmark 图 5 XM2VTS-Benchmark 数据上基于本文融合方法的较 差的两种简单分类器融合 (Face-5, Speech-2) Fig. 5 The fusion of the two worst simple recognition systems (Face-5, Speech-2) on XM2VTS-Benchmark 图 6 NIST-BSSR1 数据上各个简单识别系统的 ROC 曲线 Fig. 6 The ROC curves of recognition systems on NIST-BSSR1 图 7 NIST-BSSR1 数据上基于转换函数的 LC 分类器融合 的 ROC 曲线 Fig. 7 The fusion of L and C recognition systems on NIST-BSSR1 图 8 NIST-BSSR1 数据上基于转换函数的 LG 分类器融合 的 ROC 曲线 Fig. 8 The fusion of L and G recognition systems on NIST-BSSR1 416 自 动 化 学 报 37卷 图 9 NIST-BSSR1 数据上基于转换函数的 RG 分类器融合 的 ROC 曲线 Fig. 9 The fusion of R and G recognition systems on NIST-BSSR1 法 T 可以稳定提高多模态系统的识别性能. 另外也 可以看到, 方法 T 在 FAR 较大时, 性能提高明显, 而在 FAR 较小时, 则系统性能改进幅度较小, 甚至 在图 9中,方法T在 FAR较小时使得系统总的识别 性能低于某个简单系统的性能, 这与 NIST-BSSR1 中正样本即 Genuine 分数较少有关. 4 总结和展望 本文提出了一种基于转换函数的多生物特征识 别融合方法. 文中首先分析了匹配分数和后验概率 之间的关系, 即匹配分数的概率有序性, 并据此得出 了理想转换函数. 受理想转换函数启发, 提出了基 于 FAR 和 FRR 的信任度转换函数. 通过该转换函 数, 可以将匹配分数转换为对应的信任度, 而转换后 的分数满足信任度有序性, 从而使得转换后的分数 之间具有可比性. 该转换函数综合了基于密度的方 法和基于归一化方法的优点, 巧妙地规避了对匹配 分数局部概率分布进行估计. 在实现过程中, 首先, 计算在训练集中出现的分数的转换值, 然后, 以此为 固定节点, 通过插值的方法计算测试集上出现的匹 配分数的转换值. 因为测试集与训练集通常具有相 同或相似的分布, 因此, 凡是匹配分数分布密集的部 分, 通过训练集得到固定节点也会相应的密集, 也会 使得测试集上的插值计算更加准确. 在寻找插值的 左右节点时, 文章采用了二分查找法, 计算量小. 实 验结果显示基于本文的多模态融合算法可以稳定有 效地改进系统的识别性能. 本文算法与基于密度的 LR 算法和基于转换的Min-Max, Tanh 算法进行了 对比. 结果显示, 本文方法在总体上优于以上方法. 本文方法不需要进行任何参数设定, 同时, 对于训练 集的大小没有特殊要求, 实现简单. 本文提出的方法对于多生物特征识别是有效的, 但是, 仍然有改进的空间, 比如经过转换以后的匹配 分数仍然可以应用其他复杂方法进行融合. References 1 Jain A K. Biometric recognition: overview and recent ad- vances. In: Proceedings of the 12th Iberoamerican Confer- ence on Progress in Pattern Recognition, Image Analysis and Applications. Berlin, Germany: Springer-Verlag, 2007. 13−19 2 Ross A A, Nandakumar D, Jain A K. Handbook of Multi- biometrics. New York: Springer-Verlag, 2006 3 Kittler J, Hatef M, Duin R P W, Matas J. On combining classifiers. IEEE Transactions on Pattern Analysis and Ma- chine Intelligence, 1998, 20(3): 226−239 4 Alkoot F M, Kittler J. Improving the performance of the product fusion strategy. In: Proceedings of the 15th Interna- tional Conference on Pattern Recognition. Barcelona, Spain: IEEE, 2000. 164−167 5 Tax D M J, Breukelen M V, Duin R P W, Kittler J. Com- b