ОЦЕНКА И АНАЛИЗ АДЕКВАТНОСТИ МОДЕЛЕЙ И РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТОВ

По результатам обработки ЭВМ были получены данные, содержащие статистические оценки, в частности, среднее выборочное, среднее квадратичное отклонение, мода, медиана, коэффициенты вариации, ассиметрии, эксцесса, гистограммы классов дефектов по параметрам времени и стоимости, согласия эмпирических распределений дефектов с теоретическими и др. По каждой КДРД (см. табл. 4.1-4.6) приведены выборочные оценки. На основе этих, а также в последующем полученных данных были проведены необходимые расчеты (приложение 4) с целью заполнения «Карты оценки и анализа качества» (табл. 4.14) и выполнения анализа по соответствующей методике [122].

Оценка параметров ИС обычно проводится при уровне значимости 0,05, так как с учетом содержания данной задачи этого достаточно. Таблицы показывают, что полученные средние значения по указанному уровню достаточно хорошо укладываются в границы доверительных интервалов. В результате обработки распечатываются также гистограммы распределения частот дефектов как по времени, так и по стоимости. Проверка эмпирических распределений показала, что случайные величины подчиняются нормальному закону распределения.

Для определения функциональной зависимости между временем и стоимостью обнаруженных и исправленных дефектов использована программа канонического анализа. В результате обработки, в частности, установлено, что между указанными переменными существует сравнительно тесная зависимость. Так, коэффициент канонической корреляции равен 0,99999, коэффициент множественной корреляции равен 0,99998. Вариации значений указанных коэффициентов относительно массивов находится в границах 5-го знака после запятой. Данное условие, в частности, свидетельствует о том, что в последующих измерениях и оценки качества обработки У Б можно не регистрировать стоимость дефектов, так как полученное по соответствующей программе соотношение время (мин.)/ стоимость (коп.) равно 1:13. Однако это положение правомерно до изменения условий эксплуатации ИС, например, обновления комплекса технических средств, изменения оплаты труда работников идр.

Для проверки адекватности регрессионной модели обратимся к содержанию полученных в результате экспериментальной обработки оценок (см. таблицы 4.9, 4.10). Проверка регрессионных моделей показала в целом по гипотезе № 1 их адекватность экспериментальным данным. Относительно коэффициентов множественной корреляции, коэффициентов детерминации, критериев Фишера, уровней значимости нулевой гипотезы и других оценок можно принять, что качество линейного прогноза хорошее.

Более четкое заключение можно дать на основе анализа остатков. В результате обработки получена информация по анализу остатков. Она приведена в табл. 4.12 и 4.13. Графики зависимости величины нормированного остатка от величины процента приведены на рис. 4.7 и 4.8.

Значения производительности и себестоимости и анализ параметров показывают, что значения остатков незначительны как в абсолютном, так и в относительном измерениях. Визуальную проверку адекватности модели удобнее всего выполнить по графикам зависимости величин нормированных остатков от величин процентов снижения дефектов соответственно по производительности и себестоимости (см. рис. 4.7, 4.8). К обработке и построению графиков целесообразно привлечь нормированные остатки, указанные в графе

«Остаток в единицах стандартного отклонения» соответственно табл. 4.12 и 4.13.

По полученным графикам можно установить следующее. График зависимости величины нормированного остатка от величины процента снижения дефектов по стоимости (рис. 4.8) показывает отсутствие четко выраженного криволинейного тренда. Наблюдается случайный разброс, свидетельствующий о том, что модель едва ли можно или целесообразно улучшить. Сравнительная смещенность, например, распределения настолько мала (близость к оси), что не имеет принципиального значения относительно номинальных величин прогнозируемой переменной по себестоимости (см. табл. 4.13). Вместе с тем, график зависимости величины нормированного остатка от величины процента снижения дефектов по времени (рис. 4.7) показывает незначительный криволинейный тренд. В общем случае это может означать, что в модели, вероятно, не учтен какой-либо фактор либо допущены некоторые ошибки в расчетах. Первое условие маловероятно (пропуск фактора), так как кластер- анализ показал только три фактора, с одной стороны, и это условие не подтверждается распределением нормированных остатков по стоимости (см. рис. 4.8). Более всего вероятным в данном случае является второе условие. Кроме того, следует учитывать вероятность действия в принципе обоих вышеуказанных и других условий, как это принято в модели регрессии (формула 3.35). Вместе с тем, график показывает, что смещенность распределения остатков относительно оси настолько мала, что в практическом отношении эта смещенность не имеет принципиального значения относительно номинальных

Рис. 4.7. График зависимости величины нормированного остатка от величины процента снижения дефектов по времени

Рис. 4.8. График зависимости величины нормированного остатка от величины процента снижения дефектов по стоимости

величин прогнозируемой переменной по производительности (см. табл. 4.12, графа «Остаток»). С учетом вышеизложенного можно констатировать, что полученные модели адекватны экспериментальным данным.

Анализ показателей и оценку качества обработки УБ целесообразно начать от общих показателей к частным по данным «Карты оценки и анализа качества ИС» (см. табл. 4.14). Относительный уровень производительности ИС, равный 0,58, свидетельствует о том, что используются только 58% потенциальных возможностей ИС. Если действия учтенных дефектов обусловливают производительность на уровне 200,79 документа в день, то при условии устранения 100% дефектов производительность может подняться до ее базового, в нашем случае максимального, а потому и идеального значения — 348,9 док./день.

Относительный уровень себестоимости обработки составляет 0,32, то есть ниже чем соответствующий показатель по производительности. Подобное расхождение можно объяснить сравнительно большим удельным весом в стоимости капитальных вложений в ИС — ЭВМ, оборудование, аренда или содержание здания и т.д. Вместе с тем, на величину себестоимости также отрицательно действуют факторы-дефекты, при условии устранения которых себестоимость может быть снижена от фактического значения 11,24 руб. за документ до базового значения 3,66 руб. за документ.

Удельный вес каждого класса дефектов можно отобразить посредством диаграммы Парето (рис. 4.9). По оси абсцисс отмечены классы факторов-дефектов по своевременности, полноте и достоверности,

Данные анализа остатков регрессии по производительности

163

Данные анализа остатков регрессии по себестоимости

165

Карта оценки и анализа качества функционирования ИС

а по оси ординат — объемы дефектов в процентном выражении на основе расчета значений по трудоемкости и стоимости дефектов по формулам (3.39) и (3.47) соответственно (см. приложение 4). На диаграмме видно, что наибольшая доля дефектов приходится на своевременность, а затем на полноту и достоверность. Экспоненты расходятся по всем классам дефектов, но наибольшее расхождение наблюдается по полноте и своевременности. Расхождение по полноте можно объяснить повышенной стоимостью исправления указанного вида дефектов из-за необходимости использования междугородных переговоров с предприятиями по отсутствию в УБ значений показателей и привлекаемых для этого дополнительных финансовых затрат на оплату телефонных услуг. Расхождение по своевременности можно объяснить, в частности, различием должностных окладов по штатному расписанию некоторых категорий сотрудников, например, индексаторов документов.

Рис. 4.9. Распределение дефектов на диаграмме Парето

Указанная принципиальная зависимость в объемах классов дефектов подтверждается и значениями других показателей. Так, если относительный уровень интегрального показателя равен 0,85, ниже соответствующих значений достоверности и полноты 0,99 и 0,98, то в этом видно влияние относительного уровня своевременности — 0,57. Та же зависимость наблюдается и по групповым фактическим показателям. Если значение достоверности и полноты сравнительно сглажены, то значение группового фактического показателя своевременности свидетельствует о том, что объем дефектов по данному фактору значительно выше чем в среднем по групповым показателям. Здесь интегральный групповой показатель равен 0,85, а своевременность — 0,57. Если этап приема УБ от предприятий имеет своевременность 0,69, то этап приема У Б от этапа индексирования У Б имеет своевременность только 0,02. Дефекты по полноте наибольший объем имеют на этапе приема У Б от предприятий — 0,97.

Дефекты по достоверности имеют сравнительно больший объем и более широкий спектр модификаций. В связи с этим рассмотрим дефекты достоверности в аспекте их распределения по типам (табл. 4.15). Наибольший процент дефектов составляет «замена символов» — 47,4%, при этом 33,2% падает на буквы, а остальные на замены цифр. Следующий тип дефекта «пропуск символа, слова» составляет 44,2%, причем из этого объема 24,1% составили пропуски букв, 12,3% — пропуски слов, 7,8% — пропуски цифр. Эти виды ошибок можно прежде всего объяснить невнимательностью операторов ввода документов в ЭВМ. Подобное предположение обосновывается, например, тем, что из 154 дефектов 19 дефектов падает на пропуск слова, то есть 12,3%. Общий объем ошибок по буквам составил 61,7%, меньше чем по цифрам кодовой части У Б — 22,7%, и по словам — 15,6%. Подобное распределение по классам информации можно объяснить тем, что буквенного текста в УБ по объему больше чем цифрового в два раза. Вместе с тем, 15,6% ошибок на уровне слов — типа «пропуск», «дублирование», «сдвиг» — свидетельствуют прежде всего о недостаточной внимательности, собранности операторов ввода У Б в ЭВМ. Дефекты типа «дублирование символов» как относительно буквы, так и относительно цифры — 2 ошибки (1,2%) произошли по причине аппаратных сбоев клавиатуры. Это явно свидетельствует о недостаточном уровне профилактических и ремонтных работ по обслуживанию комплекса технических средств.

Распределение дефектов по полноте представлено в табл. 4.16. Наибольшую долю дефектов (62,05%) по полноте составляет «отсутствие значения реквизита-основания». Предприятия не всегда указывают в УБ некоторые реквизиты-основания, что свидетельствует об отсутствии необходимых знаний инструктивного материала, должной технологической дисциплины и контроля У Б. Второе место (33,13%) занимают дефекты типа «отсутствие кода признака», например, признаки типа «форма собственности предприятия», «территориальное расположение предприятия» и другие не всегда указываются предприятиями. Модификации ошибок типа «отсутствие документо-графы» составили 8,82% дефектов полноты и означают, что в некоторых УБ предприятия не проставляют в соответствующей позиции значения показателей, что противоречит требованиям инструкции по заполнению.

Характеристика дефектов достоверности по типам

Таблица 4.15

Характеристика дефектов полноты по типам

Таблица 4.16

В силу однозначности дефектов по своевременности этот тип дефектов не дифференцируется. Эти дефекты отмечаются кодом 3 — «запаздывание пачки документов» в соответствии с кодификатором дефектов.

С целью конкретизации путей улучшения качества обработки УБ необходимо рассмотреть также и факторы-причины, обусловливающие в той или иной мере возникновение дефектов (табл. 4.17). Сведения были получены путем обработки исходных данных «Ведомости дефектов» посредством реализации соответствующей программы. Проведем анализ факторов-причин в порядке их расположения по возрастанию кодов. Неразборчивость знаков в документе обусловило ошибки достоверности, конкретные модификации которых рассмотрены выше.

Таблица 4.17

Распределение дефектов по причинам возникновения

Эти ошибки составляют 1 % от общего объема. Не всегда на предприятиях коды проставляются разборчиво, что затрудняет считывание данных операторами видеотерминалов на этапе ввода УБ в ЭВМ. В цифровой части УБ имеется 5% ошибок. Этих ошибок могло бы и не быть, если в форме У Б имелось бы субполе «контрольная сумма», позволяющее применить программные методы контроля путем суммирования реквизитов-оснований и последующего сравнения полученной суммы с контрольной суммой. Данная программа могла бы освободить от необходимости сплошного визуального контроля каждого УБ.

Недостаточный уровень контроля на предшествующих этапах обработки обусловил 14,6% дефектов, в том числе по полноте 11,8%, по достоверности 0,2%. Качество обработки снижается также по причине отсутствия технологических карт, в которых содержатся, в частности, схемы контроля правильности данных, время обработки и другие параметры технологии.

Содержание причины «неисправность клавиатуры» рассмотрена выше. Причина «нерегулярность инструктажа по контролю качества»

Распределение дефектов по видам

173

объясняет 0,8% дефектов, допущенных на этапах выдачи УБ предприятиями и индексаторами. Недостаточность профессионального опыта операторов ввода обусловила 0,2% ошибок. Большинство операторов ввода данных, в основном молодые люди — и сравнительно недавно закончили курс профессионального обучения. С целью подсчета частоты факторов-причин, обусловивших появление дефектов, были получены по указанной программе данные частотности причин. Поскольку массивы А и В имели модификации по видам дефектов, то в соответствии с кодами дефектов были получены также частотности дефектов.

Самой значительной проблемой по объему дефектов является «невнимательность контролеров (операторов) ввода» (22,9%). Если ошибки достоверности составили здесь 20%, то дефекты полноты — только 2,9%. Фактор-причина «недостаточная технологическая дисциплина» составляет 12,6% и наблюдается на всех этапах обработки, по всем видам дефектов. Больше половины здесь составили дефекты своевременности (6,6%), причем 4,1% за счет несвоевременного кодирования и выдачи У Б от этапа индексирования (кодирования) на этап ввода документов в ЭВМ для дальнейшей обработки. Недостаточный уровень диспетчеризации технологического процесса обусловил 1,9% дефектов из-за запаздывания передачи УБ от индексаторов на следующий этап. Отсутствие системы управления качеством обусловило 9,1% дефектов, при этом 6,0% — по полноте, 2,7% — по своевременности и 0,4% — по достоверности. Недостаточное знание применяемых в технологии классификаторов составило 0,2% дефектов и относится к полноте, так как в данном случае кодировщики этапа индексирования затруднялись в идентификации кодируемых признаков.

Довольно значительный объем дефектов (9,3%) объясняется недостаточным уровнем форм материального стимулирования труда по всем этапам обработки. Сотрудники, занятые в технологии, не имеют нормативной базы поощрения за качество труда, например, по показателям своевременности, полноты, достоверности обрабатываемой документации. Вторым по объему дефектов (21,6%) является фактор-причина «недостаточный уровень прямоточности технологического процесса». При этом основной объем (21,0%) дефектов падает на своевременность, то есть запаздывание в выдаче УБ от этапа индексирования на этап ввода в ЭВМ. В силу сложившихся обстоятельств функции кодирования были поручены сотрудникам, которые не всегда и не везде могли обеспечить кодирование УБ с необходимым качеством.

Общий объем дефектов, связанный с несвоевременностью представления УБ, составляет 37,9%. Второе место по объему дефектов занимают факторы-причины по полноте — 32,2% и третье — 29,9% факторы-причины, связанные с достоверностью.

Если классифицировать факторы-причины по содержательному признаку, то можно условно выделить класс документационно-информационных факторов. Сюда можно отнести факторы-причины, имеющие коды 108, 110, 202. Затем можно выделить класс технологических факторов — 204, 231, 308, 311, 336. К организационным факторам можно отнести факторы 304, 306, 307, 312, 318, 333. Разумеется, подобная классификация условна, так как на практике каждый фактор одного класса может пересекаться с факторами других классов.

Особое внимание следует обратить на фактор-причину «отсутствие системы управления качеством». По существу управление таким сложным объектом, как ИС, требует включения и активного использования всего комплекса факторов, воздействующих на качество. Традиционная диспетчеризация технологии и автономные схемы контроля по отдельным этапам с позиций современных требований к качеству должного эффекта не дают.

По существу большинство рассмотренных факторов (табл. 4.18) прямо или косвенно относятся к системе управления качеством и являются ее элементами. Поэтому каждую из мер, направленную на нейтрализацию негативных факторов и достижение положительного эффекта в общем комплексе работ по улучшению качества ИС, целесообразно идентифицировать как логический этап разработки и реализации управляющих воздействий системы управления на качество ИС. В связи с этим одной из важных задач в улучшении качества обработки данных следует признать устранение отрицательного влияния факторов документационно-информационного, технологического и организационного характера.

С целью обеспечения достоверности информационной части документов, обрабатываемых в ИС, целесообразна разработка программы балансового контроля кодового столбца УБ, что в определенной мере освободит технологию от необходимости сплошного визуального контроля У Б на этапе их ввода в ЭВМ. Весьма кстати в данном случае представляется возможность применения функциональной программы автоматического индексирования признаков УБ, что позволит отказаться от такого довольно критического и трудоемкого этапа технологии, как кодирование УБ. Реализация подобной модели в определенной мере может нейтрализовать факторы 108, 110, 204, 308, 311, 318, 336 (см. табл. 4.18). В документационном отношении форму УБ следует доработать как в содержательном, так и в формальном отношениях. Доработку целесообразно проводить с учетом обеспечения возможности применения в обработке УБ программ контроля достоверности и полноты данных. При этом следует учитывать необходимость и возможность управления технологическим процессом со стороны КС УКИС.

В технологическом отношении следует обеспечить реализацию принципа прямоточности и централизации обработки УБ. В этом плане целесообразно передать функцию кодирования от ИВЦ на подведомственные предприятия. Поскольку предприятия можно как никто лучше, представляют содержание собственной документации, то априори можно предположить, что качество индексирования будет лучше, если в адрес предприятий направить соответствующие классификаторы и инструкции по индексированию документов.

С целью нейтрализации факторов, отрицательно воздействующих на полноту, необходимо усилить контроль за правильностью заполнения УБ на предприятиях как по достоверности, так и по своевременности. Кроме того, конкретные требования по каждому из этапов технологии необходимо оформить в виде рабочих инструкций для соответствующих категорий исполнителей, а также разработать технологические карты.

В организационном отношении необходимо усилить внимательность, например, операторов ввода УБ, контроль за технологической дисциплиной, четкость взаимодействия участков, участвующих в технологии обработки документов. С этой целью необходимо регулярно проводить инструктаж и разбор ситуаций, снижающих качество работы. Для снятия психомоторного напряжения операторов в группе ввода документов в ЭВМ в рамках рабочей смены можно составить и реализовать график труда и отдыха с обязательными паузами разгрузки — производственная гимнастика, отдых от дисплея и другое. Отдел технического обеспечения комплекса ЭВМ должен устранить сбои в работе аппаратных средств, в частности, клавиатуры и устранить тем самым соответствующие дефекты по достоверности.

Одним из эффективных методов улучшения качества обработки документации следует признать внедрение прогрессивных форм материального и морального стимулирования труда на основе достигнутых показателей качества. Целесообразно, например, операторов ввода данных в ЭВМ перевести с повременной на повременносдельную оплату труда, то есть поставить уровень зарплаты в зависимость от уровня качества результатов работы. Такие формы стимулирования являются эффективными и для других участков технологического процесса ИС.

Периодичность оценки качества работы исполнителя, этапов в отдельности и ИС в целом следует принять не менее одного раза в квартал перед подведением итогов работы. В рамках технологического контроля сбор сведений по этапам технологии обработки У Б можно проводить по мере необходимости — 1—2 раза в месяц. В общем случае периодичность сбора зависит от состояния работ по качеству на том или ином участке технологии. В подобных случаях объем выборок может быть уменьшен до 30—50 документов по каждой выборке. Это обеспечит достаточно эффективную оценку и систематический контроль за состоянием технологического процесса и вместе с тем не повлечет принципиальных трудозатрат. Накопленная таким образом статистика оценок будет способствовать, в конечном итоге, объективности, достоверности значений показателей качества. При разработке перспективных планов оргтехмеро- приятий по улучшению качества ИС и кардинальной модернизации технологии может появиться необходимость в более глубокой оценке и привлечении выборок соответствующего объема.

Действенность плана оргтехмероприятий по улучшению качества зависит во многом от того, насколько полно выявлены факторы, влияющие на тот или иной параметр качества технологии. План должен учитывать документационно-информационные, технологические, организационные и другие факторы. Критерием значимости того или иного фактора, их ранжированием, целесообразно принимать степень влияния фактора на уровень качества технологии, например, относительный уровень производительности, себестоимости, абсолютную и относительную меры дефектов и др.

Оценку эффективности программных и алгоритмических средств можно выполнить в качественном и количественном аспектах. В аспекте качества данный алгоритм существенно расширяет функциональные возможности методических средств программного контроля входных документов сравнительно широкого класса — документы табличной структуры с цифровым наполнением. Кроме того, алгоритм обладает функцией вычисления и восстановления достоверности значений показателей путем замены соответствующего ошибочного значения. По сравнению с существующими средствами контроля рассматриваемая программа обнаруживает такие ошибки, которые в принципе не могли быть обнаружены средствами традиционных программ входной диагностики документов, например, перестановки значений показателей по строкам. Кроме того, возможность автоматического исправления ошибок обеспечивает восстановление пропущенных значений в строке или графе. Все это в конечном итоге повышает уровень качества технологического процесса, снижает трудоемкость на таких трудных участках технологии, как ввод и корректировка первичных документов. Снижение трудоемкости обеспечивает реализацию требований, предъявляемых к информационной технологии, — перевод ручных операций на ЭВМ, улучшение устойчивости технологии, улучшение показателей качества ИС и др.

При рассмотрении количественных параметров оценки эффективности программы необходимо отметить следующее. Эксперименты показали, что общее время работы программы как с включением программы в СПД, так и без включения одинаково и составило

2 мин. на обработку 20 отчетов (см. табл. 4.11). Однако время работы процессора ЭВМ по реализации операций входного контроля отчетов не равнозначно относительно указанных вариантов контроля. Так, например, время работы процессора с включением программы в СПД по данным протокола ввода и контроля документов составило 38,02 сек. Процессорное время контроля без применения рассматриваемой программы (только средствами СПД) составило 44,98 сек. Таким образом, применение программы сократило время работы процессора на 6.96 сек., то есть на 15,5 %. Вместе с тем, взаимодействуя с СПД, программа освобождает от необходимости объемной распечатки диагностики ошибок. В любом случае посредством рассматриваемой программы на принтер выдаются более краткие и вместе с тем более информативные сообщения об адресе, исправлении и модификации ошибок. Так, например, распечатка диагностики ошибок по протоколу ввода и контроля 20 отчетов при условии включения рассматриваемой программы в СПД заняла 8 листов бумаги формата 207 х 210 мм. Распечатка диагностики указанных отчетов без включения программы, то есть только средствами СПД, заняла 14 листов бумаги указанного формата. Таким образом, применение программы уменьшает расход бумаги при выполнении этапа ввода и контроля документации ориентировочно до 40%.

По результатам работы ИВЦ среднее время корректировки одной ошибки на технологическом уровне средствами СПД составляет около 5 минут. С учетом машинного времени и времени на передачу протоколов ввода из машинного зала на корректировку и других видов подготовительно-заключительного времени среднее время на корректировку одной ошибки составляет около 6 мин. Для обеспечения работы программы необходимо выполнить подсчет контрольных сумм по строкам отчета. Опытным путем установлено, что среднее время подсчета контрольной суммы по строке составляет 0,5 мин. Количество строк в отчете в среднем равно 10. Отсюда трудоемкость подсчета контрольных сумм составляет по отдельному документу около 5,0 мин. Таким образом, на основании вышеизложенного представляется целесообразным и во временном отношении применение рассматриваемой программы в структуре СПД. При условии невозможности подсчета контрольных сумм, например, в форме документа не предусмотрено специальных полей, то можно в роли контрольных сумм на этапе эксперимента использовать показатели типа «всего» и (или) «итого», что вообще устраняет необходимость подсчета контрольных сумм по строкам. Но в этом случае автоматическое исправление может быть реализовано только по субполю матрицы отчета.

Вполне очевидно, что наиболее обоснованными представляется подсчет контрольных сумм поручить составителям документов на предприятиях. Реализация этого мероприятия позволит, с одной стороны, повысить ответственность работников предприятий за достоверность документов, а с другой, в определенной мере освободить систему централизованной обработки — И ВЦ от выполнения технических функций по подсчету контрольных сумм, увеличить тем самым объем ресурсов на интеллектуальные виды работ.

Следует отметить, что включение программы в СПД увеличило объем занимаемой СПД памяти на 3 килобайта. Если общий объем СПД составляет 114 килобайт, то включение в него рассматриваемой программы увеличило его физический объем всего лишь на 2,6%, что представляется вполне приемлемым.