Страница 53 из 66
Адекватность оценки в значительной мере зависит от возможности сравнения ИСТ и соответствующих показателей между собой. Сравнительность может быть показана через уровень качества, определяемый как отношение фактических и базовых значений показателей соответствующего вида. Отсюда, одним из ключевых этапов оценки является определение фактических и базовых значений показателей для оценки ИОТ. В теоретическом ракурсе эта задача может быть идентифицирована, рассмотрена и возможно решена в рамках так называемого концептуального метамоделирования. Этот вид моделирования рассматривается как теоретико-методологическая основа взаимоотношений материального и идеального миров [26]. Решение задачи предполагает прохождение нескольких этапов с выполнением теоретических и практических работ.
В квалиметрии ИСТ в роли значений базовых показателей целесообразно применять значения, достигнутые в условиях передового отечественного и зарубежного опыта разработки и эксплуатации «эталонных» ИСТ. Эти значения или требования к параметрам ИСТ должны указываться в нормативно – технической документации, в частности, законах, международных стандартах, ГОСТах, ОСТах, СТП, технических требованиях, руководящих технических материалах [1, 5, 6, 11, 12, 30, 31]. Однако указанные категории нормативной документации, по причине недостаточной разработанности проблемы не содержат, к сожалению, значения базовых показателей ИСТ.
При временном отсутствии эталонных показателей на первоначальном этапе функционирования системы ИОТ в роли значений базовых показателей можно взять значения лучших отечественных и зарубежных ИСТ, по которым имеются достоверные сведения по их параметрам. Кроме того, за исходные значения могут быть приняты планируемые значения показателей в перспективе эксплуатации ИСТ, или найденные экспериментальным или теоретическим путём. На последующих этапах эксплуатации ИСТ, при условии репрезентативной выборки статистических данных о значениях показателей ИСТ, то есть значения показателей, достигнутые в предыдущих периодах времени, можно будет получить значения базовых показателей расчётным способом.
Значения интегральных показателей могут быть определены как средневзвешенные величины. Эти величины принимаются соответственно по единичным, групповым, базовым, относительным показателям. Значения показателей могут быть просчитаны как по отдельным этапам, так и по ИСТ в целом. Значения групповых показателей могут быть взяты по набору единичных показателей, входящих в систему показателей, принятых в целом для ИСТ. Таким образом, эти групповые показатели будут отображать как иерархичность, так и многосвязность свойств оцениваемых ИСТ.
Значения обобщённых показателей по своей природе зависят от соответствующих фактических значений единичных и (или) групповых показателей, то есть находятся в причинно-следственной связи. С учётом содержания таких обобщённых показателей как, например, производительность технологического процесса ИСТ и себестоимость обработки информации можно сказать, что они взаимосвязаны и в значительной мере зависят от дефектов обработки. Определить значения производительности и себестоимости можно путём установления функциональной зависимости между значениями обобщённых показателей, с одной стороны, и значениями показателей, формируемых с учётом дефектов обработки по достоверности, полноте, своевременности, с другой. Априори можно предположить, что указанная зависимость может существовать в форме закономерности. Это должно быть подтверждено экспериментально. В работах по совершенствованию ИСТ необходимо, в частности, решать задачи управления и прогнозирования значений показателей при определённых условиях. Тогда становится необходимым определение значимости или «веса» каждого класса дефектов, которые при измерении могут быть обозначены как переменные величины в указанной выше функциональной зависимости, или закономерности.
Определить значения обобщённых показателей и коэффициентов весомости по каждой переменной можно на основе регрессионного анализа. При этом необходимый для этого учёт изменения значений переменных можно принять равным 1%. В нашем случае коэффициенты весомости могут быть определены, как коэффициенты регрессии принятых переменных по достоверности, полноте, своевременности и др. Свободные члены регрессионных уравнений будут показывать базовые значения обобщённых показателей.
Для выполнения регрессионного анализа и построения уравнения необходимо получить исходные данные по зависимости, которые можно задать в виде матриц фиксированных данных, например, по производительности и себестоимости. Сравнительно трудоёмкий процесс решения уравнений, получения коэффициентов весомости можно и целесообразно выполнить путём применения ЭВМ и соответствующих программ регрессионного анализа.
Измерение значений обобщённых показателей выполняется в натуральных и стоимостных единицах. Исходя из существа оценки ИСТ, производительность последней можно измерить в документо-днях, а себестоимость обработки одного документа в рублях, хотя в принципе возможно измерение в шкалах другой градации. При измерении относительных значений обобщённых показателей необходимо учитывать прямые и обратные функциональные зависимости значений обобщённых показателей, в частности производительности ИСТ и себестоимости обработки единицы информации (файла, документа и др.). С учётом принятого условия измерения можно определить «относительный показатель производительности ИСТ – это отношение фактического значения производительности ИСТ к его базовому значению». При улучшении ИСТ значение относительного показателя в общем случае будет стремиться к 1, то есть имеется прямофункциональная зависимость. Однако показатель себестоимости при улучшении будет направлен к нулю, так как имеет обратно-функциональную зависимость. С учётом принципа унификации количественных значений показателей и принятой нами шкалы целесообразно измерять относительный уровень себестоимости как отношение базового значения к фактическому значению.
Значительную роль в системе показателей оценки играют комплексные показатели. Как указано ранее они обладают свойствами иерархичности, агрегируемости и многосвязности. Они должны отвечать таким требованиям:
1. Репрезентативность – отображение в комплексном показателе всех основных характеристик ИСТ, по которым оценивается ИСТ.