Тестирование динамических биометрических систем контроля доступа

Одной из актуальных задач при разработке и эксплуатации БСКД является тестирование и поверка их эксплуатационных характеристик. Такая задача неизбежно возникает как для разработчиков новых биометрических продуктов, так и для потребителей этих продуктов.

Рассмотрим решение этой задачи в ракурсе определения классифицирующих способностей динамических БСКД, по рукописному и клавиатурному почеркам. Объединение указанных БСКД в одну группу объясняется схожестью, а во многом и общностью применяемых методов и решаемых проблем. Такая постановка задачи особенно важно для разработчиков таких систем.

В БСКД точность аутентификации определяется тремя видами ошибок (см. подразд. 1.3):

  • • FRR (False Reject Rate) или ошибка первого рода - вероятность ошибочных отказов авторизованному пользователю (Pi);
  • • FAR (False Accept Rate) или ошибка второго рода - вероятность допуска незарегистрированного пользователя (Р2);
  • • EER (Equal Error Rates) - равная вероятность (норма) ошибок первого и второго рода (Pi= Р2).

Наиболее очевидным и естественным является метод «прямого» тестирования БСКД на реальном контингенте пользователей с вычислением статистических оценок вероятностей Pi и Р2. Однако этот метод встречает целый ряд серьезных трудностей, среди которых можно выделить следующие:

  • 1. Для проведения тестирования необходимо осуществить подбор достаточно большого контингента людей (пользователей), удовлетворяющих определенным требованиям:
    • • наличие навыков работы с клавиатурой компьютера и (или) графическим планшетом;
    • • наличие определенного стабильного уровня динамики почерка (как рукописного, так и клавиатурного);
    • • наличие на период тестирования стабильного психофизического состояния у каждого пользователя;
    • • потенциальная предрасположенность каждого пользователя к установке определенной мотивации при тестировании и т. п.
  • 2. Организация процедуры тестирования с рядом условий и ограничений и сохранение этих условий и ограничений в течение всего времени тестирования и для всего отобранного контингента пользователей:
    • • создание и поддержание определенной мотивации при тестировании;
    • • выбор способа разделения и учета отдельных пользователей как «своих» и (или) «чужих»;
  • • обеспечение изолированности процедуры тестирования (исключение подсматривания динамики ввода парольной фразы);
  • • учет суточных колебаний динамики подсознательных движений и

др.

  • 3. Правильный выбор парольной фразы, удовлетворяющей определенным требованиям и ограничениям:
    • • выбор длины парольной фразы;
    • • выбор и учет особенностей языка для парольной фразы;
    • • соблюдение возможных ограничений на допустимый алфавит используемых символов;
    • • соблюдение возможных ограничений по использованию верхнего и нижнего регистра (для клавиатурного ввода);
    • • соблюдение ограничений по использованию функциональных и служебных клавиш (для клавиатурного ввода);
    • • соблюдение возможных ограничений по особенностям и способу написания символов (для рукописного ввода) и т. п.

Но даже хорошо продуманная, правильно организованная и поставленная процедура «прямого» тестирования позволяет выявить лишь грубые усредненные оценки ошибок первого и второго рода, которые могут сильно отличаться от реальных ошибок. Кроме того, использование метода «прямого» тестирования не дает информации о причинах и источниках возникновения ошибок, что важно для разработчиков этих систем.

В первом приближении структуру основных ошибок аутентификации пользователей в динамических БСКД по рукописному и клавиатурному почеркам, можно представить следующим образом.

Первая группа ошибок порождается организационными причинами, часть из которых была представлена выше (подбор пользователей, условия проведения испытаний, выбор парольной фразы и т. п.).

Вторая группа ошибок связана с точностью представления и формирования биометрических параметров пользователя. Для БСКД по рукописному и клавиатурному почеркам - это ошибки, возникающие при выборе метода представления параметров почерка, вида разложения временных функций, числа членов разложения и т. п.

Третья группа ошибок определяется ограниченной точностью выбранного метода и алгоритмов классификации биометрических данных (геометрические, параметрические, статистические, на основе искусственных нейронных сетей и др.).

Четвертую группу составляют все остальные возможные ошибки, не вошедшие в перечисленные три группы. К ним, в частности, относятся инструментальные ошибки, связанные с непосредственной реализацией алгоритмов (приближенные способы вычислений, ограниченная длина разрядной сетки, округление и т. и.)

Обозначим указанные выше группы ошибок через 5Ь б2, 5з, 64 соответственно. Ограничиваясь для определенности и простоты аддитивным характером этих ошибок, совокупную ошибку БСКД можно приближенно представить как

Оценку 5 можно рассматривать как общую ошибку, возникающую в результате «прямого» тестирования БСКД. Поскольку уровни и динамика составляющих 5Ь 62, 5з, $4 в общем случае не известны, то очевидно, что по наблюдаемой при тестировании совокупной ошибке 5, невозможно судить о поведении любой из ее составляющих.

При проектировании новых типов БСКД, с целью повышения точности аутентификации, разработчики стремятся, в конечном итоге, к уменьшению ошибок 82, 53, 64-

Снижение ошибок первой группы 5i определяется организационными условиями проведения испытаний и впрямую не зависит от разработчиков БСКД, поэтому эти ошибки можно исключить при тестировании БСКД.

Группа ошибок 62 определяется точностью представления биометрических данных. Эти ошибки непосредственно зависят от применяемых методов и алгоритмов формирования биометрических параметров (достаточно многочисленных). Эта группа ошибок заслуживает отдельного внимания разработчиков БСКД, но на классифицирующие способности БСКД она напрямую не влияет и потому из методики тестирования также исключена.

Ошибки четвертой группы 64, в сущности, инвариантны к используемым в БСКД методам и алгоритмам, и их можно считать неизвестной (достаточно малой) константой.

Таким образом, задача выявления классифицирующих способностей БСКД в принятой трактовке ошибок 5 соответствует определению степени влияния третьей группы ошибок 63 на общую результирующую ошибку 6 при прочих равных условиях.

Попытки оценить качество классификации (уровни и динамику ошибок третьей группы - 53) по совокупной ошибке 5 при «прямом» сравнительном тестирования БСКД с разными типами классификаторов, позволяют достоверно установить лишь сравнительную точность используемых БСКД. Чтобы достоверно определить степень изменения точности аутентификации, возникающую за счет применения определенного метода классификации, необходимо полностью, или хотя бы частично, исключить ошибки 5Ь 62, 64. При «прямом» тестировании это не представляется возможным. Необходима другая методика тестирования, при которой ошибки 5Ь 62 были бы исключены, а ошибка 64 оставались бы малой неизвестной константой в числе прочих равных.

Такая методика тестирования была разработана в Южном федеральном университете. Суть этой методики заключается в следующем. Входными данными БСКД принимаются не реальные биометрические данные пользователей, а готовые препараты этих данных, представленные в виде векторов биометрических параметров:

где L - число образцов входных данных;

N - размерность пространства входных данных;

М- число пользователей.

Использование векторов Vik вместо реальных биометрических данных пользователей позволяет исключить влияние двух групп ошибок 5Ь 62-

Дальнейший ход тестирования БСКД направлен на получение вероятности Рх ошибочных отказов авторизованному пользователю и вероятности Р2 допуска незарегистрированного пользователя. Следует отметить, что в динамических БСКД по рукописному и клавиатурному почеркам вероятности Р и Р2 имеют взаимно обратную зависимость (снижение Р приводит к росту Р2 и наоборот). Это вынуждает использовать точку равной вероятности Р = Р2 как оптимальную для получения ошибок классификации, т. е. оценку EER.

Возможны разные подходы для получения вероятностей Р и Р2.

Оценка вероятности Р сводится к получению отношения числа 1 векторов Vi «своего» пользователя, не попавших в заранее установленную для него область распределения, к общему числу образцов L векторов У}:

При экспериментальной оценке вероятности Р вместо 1 удобнее использовать величину (L - 1) - числа векторов «своего» пользователя, попавших в заранее установленную для него область распределения. Для этого введем вероятность Р$ - попадания параметров «своего» пользователя в заданную для него область распределения:

Тогда искомая оценка вероятности ошибочных отказов авторизованному пользователю будет

Оценка вероятности Р предполагает искусственную генерацию множества векторов Vj, i = 1, L «своего» пользователя, распределенных по определенному закону. При соблюдении требований к подбору пользователей БСКД (наличие почерка) реальные векторы Vik имеют нормальную плотность распределения вероятностей. Это обстоятельство позволяет для целей тестирования БСКД получить векторы путем моделирования нормального закона распределения вероятностей с заданными параметрами (математическим ожиданием ^ и дисперсией cjj). Вместе с тем, следует учитывать, что в БСКД при обработке реальных биометрических данных рассматриваются распределения выборочных статистик, поэтому рассеивание векторов Vj целесообразно задавать на основе t-распределения Стью- дента. В этом случае получаемая область нормального распределения «расширяется» на коэффициент Стьюдента t, который, в свою очередь, определяется как функция от вероятности Pi и числа образцов L векторов Vj!

Задачи - получения оценки EER и коэффициентов t для N-мерного t- распределения можно решить одновременно, если оценки вероятностей Р и Р2 проводить последовательно для различных вероятных значений коэффициентов Стьюдента t, задаваемых в определенном диапазоне. В этом случае точка (Р = Р2) пересечения обеих вероятностей одновременно даст искомую оценку EER и искомое оптимальное значение коэффициента Стьюдента t для N-мерного t-распределения.

В предлагаемой методике оценка вероятности Р2 также предполагает

искусственную генерацию множества векторов Vb i = 1, L, с той разницей, что эти векторы теперь должны представлять биометрические данные «чужих» пользователей. В общем случае биометрические данные всевозможных «чужих» пользователей неизвестны. Можно лишь предположить, что в

худшем случае векторы V;, i = 1, L всех возможных «чужих» могут целиком охватывать область распределения «своего» пользователя. В данной методике эту ситуацию предлагается моделировать путем генерации векторов

Vb i = 1,L «чужих» с равномерной плотностью распределения в области, отстоящей на некотором интервале r-Gj от центра области распределения «своего» пользователя (точки ?j).

Для получения искомой оценки вероятности Р2 вычисляется отношение числа (L- 1) векторов Уь попавших в установленную область распределения «своего» пользователя, к общему числу образцов L векторов УА:

Оценка вероятности Р2 так же, как и Рь проводится последовательно для различных вероятных значений коэффициентов Стьюдента t, задаваемых в том же диапазоне, что и при расчете Р.

Такая методика тестирования БСКД была экспериментально проверена для получения сравнительных оценок по точности классификации (ошибка 5з) при условии применения двух различных методов классификации: геометрического метода с использованием меры Хэмминга и параметрического метода. Для получения оценок вероятностей Рi и Р2 использовались две специальные программы.

Первой программой для получения оценки вероятности Р генерировались N-мерные векторы биометрических параметров Vj с нормальной плотностью распределения и параметрами N=32, L= 100000, ^j=0, Gj=20. Оценка вероятности Рх проводилась отдельно для геометрического метода классификации с использованием меры Хэмминга и для параметрического метода.

Второй программой для получения оценки вероятности Р2 генерировались N-мерные векторы биометрических параметров У, с равномерной плотностью распределения в интервале За и параметрами N=32, L= 100000. Оценка вероятности Р2 также проводилась отдельно для обоих указанных методов.

Расчет оценок вероятностей Р и Р2 осуществлялся последовательно для различных вероятных значений коэффициентов Стьюдента N-мерного t-распределения, задаваемых в диапазоне 1-15.

Результаты экспериментов в виде графиков зависимостей /^(t) и Р2(t) для геометрического и параметрического методов отражены на рис. 3.38 и 3.39 соответственно.

Графики зависимостей Рi(t) и ^(t) для геометрического метода

Рис. 3.38. Графики зависимостей Рi(t) и ^(t) для геометрического метода

классификации

Из первого эксперимента следует, что норма ошибок первого и второго рода (EER) для геометрического метода классификации находится в промежутке между двумя отсчетами:

Оптимальное значение коэффициента Стьюдента N-мерного t-

распределения равно t «2,9.

Из второго эксперимента следует, что норма ошибок первого и второго рода (EER) для параметрического метода классификации находится близко к отсчету:

Оптимальное значение коэффициента Стьюдента N-мерного t-

распределения равно t « 7,6.

Графики зависимостей Pi (О и Р(О для параметрического метода

Рис. 3.39. Графики зависимостей Pi (О и Р2(О для параметрического метода

классификации

Из обоих экспериментов следует, что переход от геометрического метода классификации к параметрическому методу дает выигрыш в точности классификации, равный 0,14/0,0037 « 38.

Следуя описанной методике, аналогичным образом можно получить оценки нормы ошибок аутентификации EER и оптимальные значения коэффициентов t для любых других методов классификации, параметров областей распределения и мерности пространства входных данных.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >