Методика метрического анализа в системе менеджмента качества ISO 9000-2000

Измерения, анализ и улучшение

Организация должна определить, спланировать и осуществлять деятельность по измерению и мониторингу, необходимую для гарантий соответствия и достижения улучшений. Она должна включать определение потребности и применение приемлемых методов, включая статистические методы.

п.8.1 ISO 9001-2000

Роль измерений

Когда вы можете измерить, то о чем вы говорите, и выразить это в числах, вы знаете кое-что об этом; но если вы не можете измерить это и выразить в числах, ваше знание скудно и неудовлетворительно.

Лорд Кельвин

When you can measure what you are speaking about and express it in numbers, you know something about it; but when you can not measure it, when you can not express it in numbers, your knowledge is of meager and unsatisfactory kind

Lord Kelvin

Принципы ISO 9000

1. Концентрация на потребностях заказчика (Customer focus)

2. Лидирующая роль руководства (Leadership)3. Вовлечение исполнителей (Involvement of people)4. Процессный подход (Process approach)5. Системный подход к управлению (System approach to

management)6. Непрерывные улучшения (Continual improvement)7.7. Принятие решений на основе фактов (Принятие решений на основе фактов (Factual Factual

approach to decision makingapproach to decision making))8. Взаимодействие с поставщиками на основе взаимной

выгоды (Mutually beneficial supplier relationships)

Цена качества

Согласованная цена качества (conformance cost) Стоимость предупреждения (prevention cost) Стоимость экспертизы (appraisal cost)

Несогласованная цена качества (non-conformance cost) Стоимость исправлений (rework cost) Убытки (loss)

Затраты на качество

Управление качеством процесса – перераспределение согласованной цены качества

Управление качеством продукта – увеличение несогласованной цены качества

Sedigh-Ali S., Ghafoor A., Paul R. A. Metrics-Guided Quality Management for Component-Based Software Systems,- Proceedings of the 25th Annual International Computer Software and Applications Conference

Влияние процессов на качество

Статистические исследования влияния процессов разработки на качество результирующего продукта показывают :

Совершенствование процесса разработки и внедрения программного обеспечения значительно уменьшают относительную (в пересчете на единицу объема программного продукта) несогласованную стоимость качества при сохранении согласованной стоимости качества на прежнем уровне.

Инвестиции в совершенствование процесса разработки программного продукта при условии раннего и адресного внедрения процедур улучшения качества ведут к значительному сокращению дефектов и дают высокий положительный экономический эффект.

Качество на каждой стадии проекта возрастает:

как прямое следствие зрелости процесса,

вследствие использования промежуточного продукта более высокого качества, произведенного на предыдущей стадии

Slaughter S. A., Harter D. E., Krishnan M. S. Evaluating the Cost of Software Quality,- Communications of the ACM, August 1998/Vol. 41, No. 8.

Harter D. E., Slaughter S. A. PROCESS MATURITY AND SOFTWARE QUALITY: A FIELD STUDY,- Proceedings of the twenty first internationalconference on Information systems December 2000

Многомерность качества

Stylianou A.C., Kumar R. L., An Integrative Framework for IS Quality Management,- COMMUNICATIONS OF THE ACM, Sept. 2000/V l. 43, N 9

Требования к метрикам

Полнота (по ISO 9001-2000)Соответствие целям компанииМонотонностьНормированностьСтруктурированность

Структура СМК

4. Система менеджмента

качества5. Ответственность

руководства6. Менеджмент

ресурсов

8. Измерение анализ и улучшения

7. Создание продукции

процессы

Ландшафт процессов

Договорныедокументы

Поставленнаяпродукция иоказанныеуслуги

Законодательство

Ресурсы

Требованияпотребителей

Внешние стандарты

Процессы Апланы (СМК) - производство.bp1

Предложения подоговорнымдокументам

Потребностив ресурсах

Информация оресурсах

Готовыепродукты -в архив

Информация о деятельности

Ситуация на рынке

Требования владельцевОбобщенная информация ирекомендации по улучшению

Решенияруководства

Документы СМК

A1

Решенияруководства

A2

Коммерческаядеятельность

A3

Производство

A4

Обеспечение ресурсами

A5

Измерение и улучшение

Структура метрик

Система Менеджмента Качества

ПроцессыОрганизационное

обеспечениеРесурсы Документация

Производственный процесс

Коммерческий процесс

Процесс совершенствование

Управление персоналом

Инфраструктура

KСМК =1 * KPROCESS + 2 * KHR + 3 * KCHIEF + 4* KDOC + 5 * KENV

Метрики процессов

KPROCESS = α1 * KMETHOD + α2 * KCOMERCE * KDEVELOP

Коммерческий процесс

Процесс совершенствования

Производственный процесс

Value added processes

Оценка коммерческого процесса

KCOMERCE = α1 * KCOST_COMERCE + α2 * KCONTRACT_COMERCE +

α3 * KPLAN_COMERCE + α4 * KCUST_COMERCE

KCUST_COMERCE - оценка результативности работы с потребителем в рамках коммерческого процесса

KCOST_COMERCE - результативность выполнения предпроектов

KCONTRACT_COMERCE - обеспечение портфеля заказовKPLAN_COMERCE - результативность контрактного

планирования

Оценка производственного

процессаKDEVELOP = α1 * KPRODUCT + α2 * KACT_DEVELOP + α3 *

KQUALITY

K PRODUCT - оценка управления продуктом;

KACT_DEVELOP - оценка управления проектами.

KQUALITY - оценка управления качеством

KPRODUCT = KPROCESS_DEVELOP * KBUG_DEVELOP

KPROCESS_DEVELOP - оценка управления процессами ЖЦ

KBUG_DEVELOP = оценка тестирования

Оценка процесса совершенствования

KMETHOD = α1 * KAUDIT + α2 * K IMPROVE

KAUDIT = KAUDIT_CONFIDENCE * K AUDIT_INCONSITENCY

K IMPROVE = (KCMK2 - KCMK1 ) / K CMK2

KAUDIT - оценка результатов аудита СМК

K IMPROVE – оценка улучшения СМК

KAUDIT_CONFIDENCE - полнота аудита

K AUDIT_INCONSITENCY – оценка выявленных несоответствий

Сбор данныхProject Central

Сбор данныхRational Clear Quest

Сбор данныхRelavis Over Quota

Показатели результативности

Параметр Описание Значение Порог результативности

KDOC Оценка управления документацией 0,90 0,70

KCHIEF Оценка результативности организационного обеспечения0,87 0,70

KHR Оценка результативности управления человеческими ресурсами 0,72 0,70

KENV Общая оценка инфраструктуры и производственной среды0,92 0,70

KCUST_COMM Оценка эффективности коммуникации с потребителями0,91 0,70

KCUST_SAT Оценка удовлетворенности потребителя 0,64 0,70

KPRODUCT Оценка качества продукции 0,79 0,70

KDEVELOP Оценка производственного процесса 0,81 0,70

KCOMERCE Оценка коммерческого процесса 0,59 0,70

KMETHOD Оценка процесса измерения и улучшения 0,86 0,70

KPROCESS Оценка результативности процессов 0,59 0,55

KСМК Оценка результативности СМК 0,77 0,65

Литература1. Lantzy M. A., Application at Statistical Process Control to the Software Process, - Proceedings of the ninth Washington

Ada symposium on Empowering software users and developers, July 1992.2. Olagunju A. O., Concepts of Operational Software Quality Metrics, - Proceedings of the 1992 ACM annual conference

on Communications April 1992.3. Slaughter S. A., Harter D. E., Krishnan M. S. Evaluating the Cost of Software Quality,- Communications of the ACM,

August 1998/Vol. 41, No. 8.4. Ogasawara H., Yamada A., Kojo M., Experiences of Software Quality Management Using Metrics through the Life-

Cycle,- Proceedings of the 18th international conference on Software engineering, May 1996. 5. Furlonger J., ISO 9000 Is No Guarantee of Quality: Research Note,-  Gartner Group, 4 August 20006. Drake T. Measuring Software Quality: a Case Study,- Computer, November 1996.7. Sedigh-Ali S., Ghafoor A., Paul R. A. Metrics-Guided Quality Management for Component-Based Software Systems,-

Proceedings of the 25th Annual International Computer Software and Applications Conference (COMPSAC’01)8. MOHANTY S. N. Models and Measurements for Quality Assessment of Software,- Computing Survey, VoL 11, No. 3,

September 19799. Shen V. Using metrics in quality management,- “QUALITYTIME” July 1990, IEEE Software.10. Shen V. Applying customer oriented quality metrics, “QUALITYTIME” November 1989, IEEE Software.11. Royce W. Pragmatic Quality Metrics For Evolutionary Software Development Models,- Proceedings of the conference

on TRI-ADA '90 December 199012. Harter D. E., Slaughter S. A. PROCESS MATURITY AND SOFTWARE QUALITY: A FIELD STUDY,- Proceedings

of the twenty first international conference on Information systems December 2000 13. Liu K., Zhou S. Yang H., Quality Metrics of Object Oriented Design for Software Development and Re-development,-

Proceedings of the First Asia-Pacific Conference on Quality Software, 2000 IEEE14. Boehm B. W., Brown J. R., Lipow M. QUANTITATIVE EVALUATION OF SOFTWARE QUALITY Proceedings of

the 2nd International Conference on Software Engineering on International conference on software engineering October 1976

15. Fenton N. Nell M. Software Metrics: Roadmap,- Proceedings of the conference on The future of Software engineering May 2000

16. Bevan N. Specifying and Measuring Quality in Use,- Proceedings of the 22nd international conference on Software engineering June 2000

17. Visaggio G. Structural Information as a Quality Metric in Software Systems Organization,- Proceedings of the 1997 International Conference on Software Maintenance (ICSM '97)

18. 1061-1998 IEEE Standard for Software Quality Metrics Methodology