Управление качеством продукции (на примере дорожно-строительного производства)

В ряде случаев  имеется возможность и необходимость  расширения списка экспертной комиссии, которую предполагается использовать постоянно (например, для оценки важной продукции).

В этом случае из предварительного расширенного списка, в который могут входить специалисты  одной или нескольких организаций, выбираются в нужном количестве самые  лучшие эксперты. При этом учитывают  следующее:

• если эксперты из одной организации, то на экспертные оценки влияют тенденции и взгляды, господствующие в одной организации, а на оценки некоторых экспертов также может повлиять служебное положение других экспертов;
• если состав экспертов сформирован из различных организаций, то вышеуказанные недостатки в значительной мере исчезают, однако, внутри такой группы могут образовываться «стихийные подгруппы» из разных организаций, что может повлиять на экспертные оценки за счет ухудшения психологического климата в коллективе.

Поэтому считают, что лучше состав экспертной группы формировать из одной  организации, но с привлечением нескольких экспертов из других организаций.

На качество экспертного анализа влияют следующие  аспекты:

• качество экспертной группы;
• количество экспертов.

 

 

3.     Структура свойств экспертов и методы получения частных оценок, характеризующих качество экспертов

 

1.1.1 Общие факторы, влияющие на выбор экспертов

 

Выбор высококвалифицированных  экспертов – сложная задача по следующим условиям.

1. Сложно учесть многообразие свойств эксперта, которые учитываются пока еще неудовлетворительными существующими методами (для групповых решений, по компетентности и др.).
2. Недостаточная изученность психофизиологических особенностей человека, что может существенно влиять на результаты оценок
3. Противоречия, вызванные стремлением экономии расходов на экспертизу и использованием экспертов в узком диапазоне оценок влияния отдельных факторов.
4. Отсутствие решения проблемы оценки качества экспертов, для чего нужно четко знать свойства, которыми оно определяется.

Свойства  экспертов можно представить  в идее следующей иерархической  классификационной структуры. Качества эксперта зависят от его компетентности, заинтересованности, деловитости, объективности (беспристрастности).

1. Компетентность экспертов разделяют на профессиональную и квалиметрическую.
2. Заинтересованность в результатах экспертизы может быть для их использования в работе, для повышения в компетентности.
3. Деловитость характеризуют собранностью, контактностью, обладанием мотивацией.
4. Объективность выражается при самостоятельном назначении оценок, при корректировании своих оценок в условиях поступления информации от других экспертов.

Свойства, перечисленные  в пунктах 1…4 имеют сильную, среднюю  или слабую связь, влияющую на следующие  коэффициенты оценки качества экспертов:

• самооценки (К_САМ),
• коллективной оценки компетентности эксперта (К_КОЛ),
• оценки компетентности эксперта рабочей группой (К_Р.Г.),
• оценки отклонения компетентности эксперта от средней оценки по группе (статистическая оценка) (К_О.С.),
• оценки воспроизводимости экспертной оценки, если опрос повторяют в течение нескольких туров (К_В.Р.).

Таким образом, анализируя природу этих коэффициентов, можно увидеть, что методы оценки качества экспертов разделяют на:

1. Эвристические, которые назначают эксперты и подразделяют:
• на самооценку и взаимную оценку,
• на оценку аргументированности и знакомства с оцениваемым фактором (вариант самооценки),
• оценку рабочей группой.
2. Статистические оценки, которые получают в результате обработки суждений других экспертов, подразделяют на:

• оценки по отклонению от среднего мнения экспертной группы,

• оценки объективности (беспристрастность).

3. Тестовые оценки, которые получают в результате специальных испытаний экспертов, подразделяют на:

• оценки воспроизводимости результата,
• оценки квалиметрической компетентности,
• оценки объективности корректировки своих оценок (отсутствие конформизма).

4. Документальные оценки, которые основаны на результатах анализа документальных данных об экспертах, их подразделяют на:

• оценка компетентности по отдельным документальным данным,
• оценка компетентности по служебному статусу.

5. Комбинированные оценки, полученные с использованием любой совокупности перечисленных методов.

 

 

 

1.1.2. Взаимооценка экспертов (коллективная  взаимная оценка)

 

Взаимная  оценка представляет собой среднее  значение оценки эксперта из оценок, назначенных  всеми другими экспертами. Здесь  может быть два пути.

Первый путь: каждый эксперт назначает количественную оценку своему коллеге. Затем определяется средняя оценка по каждому эксперту.

Такой подход основан на обстоятельстве того, что  существует непосредственная связь  между компетенцией специалиста  и усредненной оценкой, которую  он получает от своих коллег по работе. Метод оправдан при небольшом  количестве экспертов (n < 15 человек) или, если в рассматриваемом коллективе не существует групп, которые специально предусматривают искусственное формирование завышенных приоритетов одних и занижение других членов этого коллектива.

Второй путь: при большом количестве экспертов (n ≥ 15), предусматривает следующие процедуры:

1. Каждый эксперт формирует всех экспертов, например в 3 группы, и назначает им уровни квалификации: выше средней, средний и ниже средней;
2. Затем эксперт ранжирует экспертов каждой подгруппы (от 1 до m), где m – число экспертов в подгруппе, значение которого должно быть не более 50 % орт общего состава группы;
3. Каждому эксперту присваивается оценка с учетом назначенного диапазона изменения оценок в рассматриваемой подгруппе (в рамках 1…10, с точностью до 1,0 или 0,5 балла);
4. На основе полученных оценок формируется матрица и определяется средняя оценка по каждому эксперту.

На основе полученных оценок формируется  матрица и определяется средняя  оценка по каждому эксперту.

                                                 К_ВЗj =

      (1.1)  

где К_ВЗj – средняя взаимная оценка i-го эксперта;

а_ij – оценка, представленная i-му эксперту j-ым;

n – число экспертов, оценивающих i-го эксперта. Если какой-то эксперт плохо знает кого-то из своих коллег, то он может сделать прочерк, поэтому считают, что в любом случае при экспертизе должно быть n ≥ 0,5n.

Расчеты выполняют  в табличной и матричной форме (таблица 2).

 

                                                                                                                         

                                                                                                                          Таблица 1.

 

Взаимные оценки качества условной экспертной группы

 

	1	2	3	4	5	6	7	8	Σaij	Σaij/n
1	7,5	8	6,5	4	-	3,5	4	5	38,5	4,8
2	3,5	7	6	5	4	-	7	3	35,5	4,4
3	4,5	5	4	3	2,5	5	-	5	29	3,6
4	7,5	7	9	8,5	4,5	8	6	-	50,5	6,3
5	8,9	6,5	2,5	4,5	5,5	2	3	4	36,9	4,6
6	7,5	8	7	3	7,5	5	7,5	3,5	49	6,1
7	-	8	9,5	10	5,5	7	6	8	54	6,8
8	5,5	-	6,5	3,5	4	4,5	5	5,5	34,5	4,3
9									357,9	40,9

 

 

Определим математическое ожидание оценок по всей матрице данных:

 

М =                               (1.2.)

 

Определим среднее квадратичное отклонение:

 

  

Определим коэффициент вариации

 

             V =                                                                             (1.3.)                              

 

Вывод: так как коэффициент вариации равен 0,16-0,25, то согласованность экспертов средняя.    

 

 

 

 

 

1.1.3. Статистические оценки  качества экспертов

 

Среди множества  статистических методов определения  качества экспертов, наиболее применимым является метод оценки по отклонению от среднего мнения экспертной группы, считая это мнение за истинное значение. В этом случае определяют дисперсию или стандарт согласно теории случайных процессов (пункт 3.3.2).

При оценки качества продукции несколько другим по форме является метод, основанный на использовании «коэффициента конкордации». Суть метода заключается в следующем:

 Каждый  эксперт ранжирует все объекты,  параметры, исследуемых экспертов  и т.п. Каждому объекту эксперт  присваивает свой уровень, находящийся  в рамках общего количества  объектов. Например, если пять объектов, то ранжирование осуществляют  в пределах 1…5, если семь, объектов, то 1…7 и т.д. Причем, эксперт  может присвоить нескольким объектам  одинаковый ранг, но при этом  сумма рангов не должна превышать  их потенциальное значение. Например, из пяти объектов эксперт хочет  первым трем дать одинаковые  оценки. Тогда он может дать  им ранги 2, 2, 2, 4 и 5, т.е. в  сумме количество рангов должно  быть равно 15 = 1+2+3+4+5:   а_1j, a_2j, a_3j, ……, a_nj

 

  1. Определить среднюю сумму рангов для всех исследуемых экспертов

 

              L =

                           (1.4)          

 

2. Определить сумму квадратов отклонения рангов

 

   

 

 

 

 

 

 

 

 

 

 

 

3. Вычислить коэффициент конкордации для не строго ранжирования

 

                 

 

     Вывод: так как коэффициент конкордации равен 0,22 , следовательно, согласованность между экспертами не полная.

   Расчетное значение критерия при не строгом ранжировании можно проверить по критерию Пирсона, который определяем  по формуле:

 

χ =       (1.5)

 

Принимаем значение доверительной вероятности (ошибки) равной 0,01, а величину степени свободы в зависимости от количества экспертов  (n–1), k=7, α=0,01, следовательно, = 18,47.