Данный документ приведен с учетом Поправки, опубликованной в "ИУС", N 7, 2026, Поправки, опубликованной в "ИУС", N 8, 2026.
МЕЖГОСУДАРСТВЕННЫЙ СТАНДАРТ
ОЦЕНКА СООТВЕТСТВИЯ
ОБЩИЕ ТРЕБОВАНИЯ К КОМПЕТЕНТНОСТИ ПРОВАЙДЕРОВ ПРОВЕРКИ КВАЛИФИКАЦИИ
Conformity assessment. General requirements for the competence of proficiency testing providers
(ISO/IEC 17043:2023, IDT)
ГОСТ ISO/IEC 17043-2025
Предисловие
Цели, основные принципы и общие правила проведения работ по межгосударственной стандартизации установлены ГОСТ 1.0 "Межгосударственная система стандартизации. Основные положения" и ГОСТ 1.2 "Межгосударственная система стандартизации. Стандарты межгосударственные, правила и рекомендации по межгосударственной стандартизации. Правила разработки, принятия, обновления и отмены"
1 ПОДГОТОВЛЕН Республиканским унитарным предприятием "Белорусский государственный институт метрологии" (БелГИМ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 5
2 ВНЕСЕН Государственным комитетом по стандартизации Республики Беларусь
3 ПРИНЯТ Межгосударственным советом по стандартизации, метрологии и сертификации по результатам голосования в АИС МГС (протокол от 28 ноября 2025 г. N 191-П)
| Краткое наименование страны по МК (ИСО 3166) 004-97 | Код страны по МК (ИСО 3166) 004-97 | Сокращенное наименование национального органа по стандартизации |
Азербайджан | AZ | Азстандарт |
Армения | AM | ЗАО "Национальный орган по стандартизации и метрологии" Республики Армения |
Беларусь | BY | Госстандарт Республики Беларусь |
Казахстан | KZ | Госстандарт Республики Казахстан |
Киргизия | KG | Кыргызстандарт |
Россия | RU | Росстандарт |
Таджикистан | TJ | Таджикстандарт |
Узбекистан | UZ | Узбекское агентство по техническому регулированию |
4 Приказом Федерального агентства по техническому регулированию и метрологии от 18 марта 2026 г. N 246-ст межгосударственный стандарт ГОСТ ISO/IEC 17043-2025 введен в действие в качестве национального стандарта Российской Федерации с 10 апреля 2026 г.
5 Настоящий стандарт идентичен международному стандарту ISO/IEC 17043:2023 "Оценка соответствия. Общие требования к компетентности провайдеров проверки квалификации" ("Conformity assessment - General requirements for the competence of proficiency testing providers", IDT).
Международный стандарт разработан Комитетом по оценке соответствия (CASCO) Международной организации по стандартизации (ISO) совместно с Техническим комитетом CEN/CLC/JTC 1 "Критерии для органов по оценке соответствия" Европейского комитета по стандартизации (CEN).
При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им межгосударственные стандарты, сведения о которых приведены в дополнительном приложении ДА
6 ВЗАМЕН ГОСТ ISO/IEC 17043-2013
Информация о введении в действие (прекращении действия) настоящего стандарта и изменений к нему на территории указанных выше государств публикуется в указателях национальных стандартов, издаваемых в этих государствах, а также в сети Интернет на сайтах соответствующих национальных органов по стандартизации.
В случае пересмотра, изменения или отмены настоящего стандарта соответствующая информация будет опубликована на официальном интернет-сайте Межгосударственного совета по стандартизации, метрологии и сертификации в каталоге "Межгосударственные стандарты"
Введение
Проверки квалификации (ПК) широко признаны в мире как важный инструмент для демонстрации компетентности органов по оценке соответствия. Проверка квалификации обеспечивает получение необходимых свидетельств такой компетентности, а ее результаты могут рассматриваться в качестве индикаторов существующих или скрытых проблем. Настоящий стандарт предназначен для укрепления доверия к деятельности провайдеров проверки квалификации. В нем содержатся требования к провайдерам ПК, позволяющие им продемонстрировать, что они работают компетентно и могут достоверно выполнять оценку характеристик функционирования участников ПК.
Проверка квалификации предполагает использование межлабораторных сличений для оценивания характеристик функционирования лабораторий. Определение термина "межлабораторное сличение" (см. 3.4) расширяет сферу использования терминов "лаборатории" и "измерения или испытания" для целей настоящего стандарта, распространяя их на все типы органов по оценке соответствия и их деятельность соответственно. Термин "метод", используемый в настоящем стандарте, можно считать синонимом термина "методика измерений", определение которому дано в ISO/IEC Guide 99.
Существует множество различных целей межлабораторных сличений, которые могут быть достигнуты при реализации программ проверки квалификации, включающих, помимо прочего, следующее:
a) оценивание характеристик функционирования лабораторий в отношении конкретных видов измерений, испытаний, калибровок, исследований, инспекций или отбора проб;
b) выявление проблем в лабораториях, которые, например, могут быть связаны с методами измерений или испытаний, эффективностью обучения и управления персоналом или калибровкой оборудования;
c) установление эффективности методов измерений или испытаний и сопоставимости результатов измерений или испытаний;
d) обеспечение дополнительного доверия у пользователей результатов измерений или испытаний;
e) выявление различий в результатах измерений или испытаний;
f) обучение участвующих лабораторий на основании результатов таких сличений;
g) подтверждение заявленных неопределенностей измерений.
Для следующих типов межлабораторных сличений термин "проверка квалификации" обычно не применяется, поскольку компетентность лаборатории должна быть установлена заранее, чтобы гарантировать достоверность измерений или испытаний, а также метрологическую прослеживаемость приписанных значений:
h) оценивание рабочих характеристик метода измерений или испытаний (часто описываемое как совместные испытания);
i) приписывание значений стандартным образцам;
j) оказание поддержки в установлении эквивалентности результатов измерений, выполняемых национальными метрологическими институтами (НМИ) или назначенными институтами (НИ), путем проведения "ключевых и дополнительных сличений" от имени Международного бюро мер и весов (МБМВ) и соответствующих региональных метрологических организаций (РМО).
Общепризнано, что межлабораторные сличения для целей, приведенных в перечислениях h), i) и j), могут способствовать независимой демонстрации лабораторной компетентности. Требования настоящего стандарта могут применяться ко многим аспектам технического планирования и практической реализации таких межлабораторных сличений.
В настоящем стандарте содержатся требования к провайдерам проверки квалификации в отношении планирования и реализации действий, связанных с рисками и возможностями, на основании имеющегося у них опыта. Учет как рисков, так и возможностей формирует основу для повышения эффективности системы менеджмента, а также достижения улучшенных результатов и предотвращения нежелательных последствий. Провайдер проверки квалификации несет ответственность за принятие решения о том, какие риски и возможности следует учитывать.
Необходимость в постоянном доверии к уровню функционирования лаборатории важна не только для лабораторий и их заказчиков, но также и для других заинтересованных сторон, таких как регулирующие органы, органы по аккредитации и другие организации, устанавливающие требования к лабораториям. Большинство требований, содержащихся в настоящем стандарте, применимо к различным развивающимся областям деятельности, главным образом имеющим отношение к управлению, планированию и разработке, управлению персоналом, обеспечению достоверности результатов и оцениванию уровня функционирования, конфиденциальности и другим аспектам в зависимости от применимости.
Целью настоящего стандарта является предоставление единой основы всем заинтересованным сторонам для определения компетентности организаций, предоставляющих услуги по проведению проверок квалификации.
В тексте настоящего стандарта используются следующие глагольные формы:
- "должен" (shall) - обязательное требование;
- "следует" (should) - рекомендация;
- "способен" (can) - возможность или способность.
Более подробную информацию можно найти в Директивах ISO/IEC, часть 2.
Второе издание отменяет и заменяет первое издание (ISO 17043:2010), подвергнутое техническому пересмотру. Основные изменения заключаются в следующем:
- гармонизация с ISO/IEC 17025:2017, включая технические требования и структуру;
- гармонизация с ISO 13528:2022 в части используемой терминологии;
- включены требования, ранее представленные в ISO/CASCO PROC 33;
- добавлено требование, согласно которому деятельность в области проведения испытаний, калибровки, а также производства образцов для проверки квалификации, должна соответствовать применимым требованиям действующих стандартов ISO по оценке соответствия;
- исключено приложение C и пересмотрены приложения A и B.
1 Область применения
В настоящем стандарте устанавливаются общие требования к компетентности и беспристрастности провайдеров проверки квалификации (ПК), а также к реализации всех программ проверки квалификации на основании единообразного подхода. Настоящий стандарт может использоваться в качестве основополагающего документа при разработке специальных технических требований для конкретных областей применения.
Стандарт может применяться пользователями программ проверки квалификации, регулирующими органами, организациями и структурами, в которых используется паритетная оценка, а также другими сторонами при подтверждении или признании компетентности провайдеров проверки квалификации.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты [для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных - последнее издание (включая все изменения)]:
Для применения настоящего стандарта необходимы следующие ссылочные стандарты. Для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных ссылок применяют последнее издание ссылочного стандарта (включая все его изменения).
ISO/IEC 17000, Conformity assessment - Vocabulary and general principles (Оценка соответствия. Словарь и общие принципы)
ISO/IEC 17025, General requirements for the competence of testing and calibration laboratories (Общие требования к компетентности испытательных и калибровочных лабораторий)
ISO 17034, General requirements for the competence of reference material producers (Общие требования к компетентности производителей стандартных образцов)
ISO/IEC Guide 99, International vocabulary of metrology - Basic and general concepts and associated terms (VIM) (Международный словарь по метрологии. Основные и общие понятия и соответствующие термины)
3 Термины и определения
В настоящем стандарте применены термины по ISO/IEC 17000 и ISO/IEC Guide 99, а также следующие термины с соответствующими определениями.
ISO и IEC поддерживают терминологические базы данных, используемые в стандартизации, по следующим адресам:
- платформа онлайн-просмотра ISO: https://www.iso.org/obp;
- Электропедия IEC: http://www.electropedia.org/.
3.1 приписанное значение (assigned value): Значение, приписываемое конкретному свойству или характеристике образца для проверки квалификации (3.8).
[ISO 13528:2022 (пункт 3.3), модификация: добавлены слова "или характеристике", слово "test" в составе англоязычного определения заменено на слово "testing"]
3.2 согласованное значение (consensus value): Значение, принятое на основании совокупности результатов, полученных в межлабораторном сличении (3.4).
Примечание 1 - Выражение "согласованное значение" обычно используется для описания оценок характеристик положения и рассеяния, полученных на основании результатов участников (3.6) раунда программы проверки квалификации (3.11), но может также использоваться в отношении значений, полученных на основании заданного подмножества таких результатов или, например, на основании результатов, предоставленных группой экспертных лабораторий.
3.3 заказчик; клиент (customer; client): Организация или физическое лицо, для которых программа проверки квалификации (3.11) предоставляется на договорной основе.
Примечание 1 - Термин "клиент" аналогичен термину "заказчик" и используется наряду с ним в отдельных частях текста настоящего стандарта. Эти два термина рассматриваются как синонимы.
3.4 межлабораторное сличение (interlaboratory comparison): Разработка плана, выполнение и оценивание измерений или испытаний в отношении одного и того же или нескольких подобных образцов двумя или более лабораториями в соответствии с заранее установленными условиями.
Примечание 1 - Термин "лаборатории" используется в настоящем стандарте для обозначения всех организаций, предоставляющих информацию об образцах, которая была получена ими на основании экспериментальных наблюдений, в том числе путем измерений, испытаний, калибровки, исследований, отбора проб или инспекции.
Примечание 2 - Термин "измерения или испытания" используется по всему тексту настоящего стандарта применительно к любой деятельности, осуществляемой участниками (3.6) проверки квалификации и являющейся объектом проверки квалификации (3.7) вне зависимости от того, являются ли измерения или испытания количественными, качественными или интерпретационными, если не оговорено иное.
Примечание 3 - Межлабораторные сличения, предусматривающие выполнение измерений, позволяют получить больше информации о характеристиках функционирования, если при этом рассматривается неопределенность измерений.
[ISO 13528:2022 (пункт 3.1), модификация: слово "организация" (organization) заменено на слова "разработка плана" (design); добавлены примечания.]
3.5 выброс (outlier): Элемент из набора значений, который несовместим с остальными элементами этого набора.
Примечание 1 - Выброс может случайным образом возникнуть из предполагаемой генеральной совокупности, принадлежать другой генеральной совокупности или появиться в результате некорректной записи или другой грубой ошибки.
Примечание 2 - Во многих программах проверки квалификации (3.11) термин "выброс" используется для обозначения результата, который сигнализирует о необходимости выполнения корректирующих действий. Такое использование термина является не соответствующим его назначению. Несмотря на то что выбросы обычно действительно сигнализируют о необходимости выполнения корректирующих действий, в качестве подобных сигналов могут рассматриваться также другие результаты, которые не являются выбросами.
[ISO 13528:2022 (пункт 3.12), модификация: слово "промах" (blunder) заменено на слова "грубая ошибка" (gross error)]
3.6 участник (participant): Лицо или организация, которые осуществляют деятельность, относящуюся к проверке квалификации (3.7), и представляют свои результаты для оценивания характеристик функционирования провайдером проверки квалификации (3.9).
3.7 проверка квалификации; ПК (proficiency testing; PT): Оценивание характеристики функционирования участника (3.6) по заранее установленным критериям посредством межлабораторных сличений (3.4).
Примечание 1 - Дополнительная информация, касающаяся разработки разнообразных программ проверки квалификации (3.11), приведена в приложении A.
3.8 образец для проверки квалификации; образец ПК; ОПК (proficiency testing item; PT item): Проба, продукция, искусственный объект (артефакт), стандартный образец, часть оборудования, эталон, объект, изображение, набор данных или другая информация, используемые для проверки квалификации (3.7).
3.9 провайдер проверки квалификации; провайдер ПК (proficiency testing provider; PT provider): Организация, которая несет ответственность за все виды деятельности по разработке и выполнению программы проверки квалификации (3.11).
3.10 раунд проверки квалификации (proficiency testing round; PT round): Единичная завершенная последовательность действий по проверке квалификации (3.7), включающая в себя оценивание характеристик функционирования участников (3.6) и представление отчетов об этом.
3.11 программа проверки квалификации; программа ПК (proficiency testing scheme; PT scheme): Проверка квалификации (3.7), разработанная и реализованная за один или несколько раундов проверки квалификации (3.10) в определенной области измерений, испытаний, калибровки, исследований, отбора проб или инспекции.
Примечание 1 - Программа проверки квалификации может охватывать один конкретный вид деятельности или несколько видов деятельности в пределах одной и той же области.
3.12 стандартное отклонение для оценки квалификации (standard deviation for proficiency assessment): Мера рассеяния, используемая при оценивании результатов проверки квалификации (3.7) и основанная на имеющейся информации.
Примечание 1 - Стандартное отклонение для оценки квалификации может быть интерпретировано как генеральное стандартное отклонение результатов, полученных от гипотетической генеральной совокупности участников (3.6), осуществляющих функционирование в строгом соответствии с требованиями.
Примечание 2 - Стандартное отклонение для оценки квалификации применяют только к результатам, полученным по шкале разностей или шкале отношений.
Примечание 3 - Не во всех программах проверки квалификации (3.11) оценивают характеристики функционирования, основываясь на рассеянии результатов.
4 Общие требования
4.1 Беспристрастность
4.1.1 Деятельность по проверке квалификации должна осуществляться беспристрастно.
4.1.2 Организационная структура и система управления провайдера проверки квалификации должны быть такими, чтобы обеспечивалась его беспристрастность.
4.1.3 Провайдер проверки квалификации должен нести ответственность за беспристрастность своей деятельности по проверке квалификации и не должен допускать коммерческое, финансовое или иное давление, ставящее беспристрастность под угрозу.
4.1.4 Провайдер проверки квалификации должен осуществлять мониторинг своей деятельности и отношений с целью выявления угроз для своей беспристрастности. Такой мониторинг должен распространяться на отношения его персонала.
Примечание - Отношения могут основываться на праве собственности, управлении, руководстве, персонале, общих ресурсах, финансах, договорах или маркетинге (включая брэндинг). Такие отношения не обязательно представляют собой угрозу для беспристрастности провайдера проверки квалификации.
4.1.5 При обнаружении угрозы для беспристрастности ее влияние должно быть устранено или сведено к минимуму таким образом, чтобы беспристрастность не была нарушена.
4.1.6 Обязательства по обеспечению беспристрастности должны быть возложены на высшее руководство провайдера проверки квалификации.
4.2 Конфиденциальность
4.2.1 Провайдер проверки квалификации должен на основании юридически значимых обязательств нести ответственность за управление всей информацией, полученной или созданной в процессе осуществления деятельности по проверке квалификации. Провайдер проверки квалификации должен заранее информировать клиента об информации, которую он намерен разместить в свободном доступе. Исключение составляет информация, которая становится общедоступной по решению клиента либо по согласованию между провайдером проверки квалификации и клиентом. Вся иная информация считается представляющей коммерческую тайну и должна рассматриваться в качестве конфиденциальной.
Примечание - Использование в отношении информации терминов "представляющая коммерческую тайну" и "конфиденциальная" не исключает возможности ее опубликования для академических и информационных целей при условии, что такое опубликование не позволяет идентифицировать ни клиентов, ни участников программы, в том числе косвенным образом.
4.2.2 Если в соответствии с законодательством или договорными отношениями провайдер проверки квалификации должен раскрыть конфиденциальную информацию, он должен уведомить клиента о раскрытии информации, если это не запрещено законодательством.
4.2.3 Провайдер проверки квалификации должен сохранять конфиденциальность информации об участнике или заказчике, полученной не от самого участника или заказчика (например, от лица, направившего жалобу, или от регулирующих органов). Сведения об ее источнике должны являться конфиденциальными для провайдера проверки квалификации и не должны передаваться участнику или заказчику, если это не согласовано с источником данной информации.
4.2.4 Персонал, включая любых членов комитетов, подрядчиков, персонал внешних органов или отдельных лиц, действующих от имени провайдера проверки квалификации, должен соблюдать конфиденциальность всей информации, полученной или созданной в ходе выполнения деятельности по проверке квалификации.
4.2.5 Сведения о принадлежности идентификационных обозначений участникам программы проверки квалификации должны быть конфиденциальными и известными только лицам, привлекаемым к процессу реализации программы проверки квалификации, если только участники или заказчики не отказываются от конфиденциальности.
5 Требования к структуре
5.1 Провайдер проверки квалификации должен быть юридическим лицом или подразделением юридического лица, которое несет юридическую ответственность за его деятельность по проверке квалификации.
Примечание - Для целей настоящего стандарта государственный провайдер проверки квалификации считается юридическим лицом на основании своего государственного статуса.
5.2 Провайдер проверки квалификации должен определить руководство, которое несет полную ответственность за деятельность по проверке квалификации.
5.3 Провайдер проверки квалификации должен определить и документировать программы проверки квалификации, для которых он обеспечивает соответствие настоящему стандарту. Провайдер проверки квалификации должен заявлять о соответствии настоящему стандарту только в отношении этих программ проверки квалификации.
5.4 Провайдер проверки квалификации должен осуществлять свою деятельность по проверке квалификации таким образом, чтобы обеспечивать соблюдение требований настоящего стандарта, а также удовлетворять требованиям участников, заказчиков, регулирующих органов и организаций, обеспечивающих признание. Данные требования должны применяться ко всем видам деятельности по проверке квалификации, осуществляемым в местах постоянного размещения провайдера, а также на любых других площадях или объектах.
5.5 Провайдер проверки квалификации должен:
a) определить свою организационную и управленческую структуру, свое место в головной организации и взаимосвязи между управленческими, техническими и вспомогательными службами;
b) установить ответственность, полномочия и взаимоотношения всех сотрудников, занятых в управлении, выполнении или проверке работ, влияющих на результаты деятельности по проверке квалификации;
c) документировать свои процедуры в объеме, необходимом для обеспечения стабильности и правильности осуществления деятельности по проверке квалификации.
5.6 Провайдер проверки квалификации должен иметь персонал, который, независимо от других обязанностей, имеет полномочия и ресурсы, необходимые для выполнения своих функций, в том числе:
a) внедрение, поддержание и совершенствование системы менеджмента;
b) выявление отклонений от системы менеджмента или от процедур при осуществлении деятельности по проверке квалификации;
c) инициирование мер по предотвращению или минимизации таких отклонений;
d) представление руководству организации отчетов о функционировании системы менеджмента и необходимости ее улучшения;
e) обеспечение результативности деятельности по проверке квалификации.
5.7 Руководство провайдера проверки квалификации должно обеспечивать:
a) обмен информацией о результативности системы менеджмента и важности удовлетворения требований участников, заказчиков, регулирующих органов и организаций, обеспечивающих признание;
b) сохранение целостности системы менеджмента при планировании и внесении в нее изменений.
6 Требования к ресурсам
6.1 Общие положения
6.1.1 Провайдер проверки квалификации должен иметь доступ к персоналу, помещениям, оборудованию, системам и вспомогательным службам, необходимым и для управления деятельностью по проверке квалификации, и для ее осуществления.
6.1.2 Измерения или испытания, выполняемые с целью характеризации образца для проверки квалификации или для оценивания однородности и стабильности и осуществляемые под ответственность провайдера проверки, должны проводиться с соблюдением соответствующих требований ISO/IEC 17025.
Примечание 1 - Под соответствующими требованиями здесь понимаются требования, связанные с обеспечением достоверности результатов измерений или испытаний, которые могут оказывать влияние на правильность осуществления деятельности по проверке квалификации (например, подтверждение метрологической прослеживаемости). В их число не следует включать требования к системе менеджмента или другие требования, не связанные с деятельностью по проверке квалификации.
Примечание 2 - В области медицины вместо требований ISO/IEC 17025 применяются соответствующие требования ISO 15189.
6.1.3 Если образец для проверки квалификации представляет собой материал, отвечающий определению "стандартный образец", он должен быть произведен в условиях, удовлетворяющих соответствующим требованиям ISO 17034.
Примечание 1 - Такие материалы включают стандартные образцы для контроля качества (например, растворы химических веществ с известными значениями или без них) и стандартные образцы с сертифицированными значениями свойств (CRM).
Примечание 2 - Под соответствующими требованиями здесь понимаются требования, связанные с правильностью операций, применяемых при производстве стандартного образца, и которые оказывают непосредственное влияние на деятельность по проверке квалификации (например, смешивание или обращение и хранение). В их число не следует включать требования к системе менеджмента или другие требования, не связанные напрямую с деятельностью по проверке квалификации (например, информация, содержащаяся в сертификатах на стандартные образцы).
Примечание 3 - При необходимости в области здравоохранения вместо требований ISO/IEC 17034 к CRM могут применяться соответствующие требования ISO 15194.
6.2 Персонал
6.2.1 Провайдер проверки квалификации должен иметь возможность задействовать достаточное количество компетентного персонала для осуществления своей деятельности по проверке квалификации.
6.2.2 Провайдер проверки квалификации должен гарантировать, что персонал обладает компетентностью для:
a) осуществления деятельности по проверке квалификации, за которую он несет ответственность;
b) оценки значимости отклонений.
6.2.3 Провайдер проверки квалификации должен иметь процесс по управлению компетентностью своего персонала.
6.2.4 Весь персонал провайдера проверки квалификации, как постоянный, так и привлекаемый, который может повлиять на деятельность по проверке квалификации, должен действовать беспристрастно.
6.2.5 Провайдер проверки квалификации должен располагать документированной информацией, подтверждающей компетентность его персонала, который может оказывать влияние на результаты его деятельности по проверке квалификации. Эта документированная информация должна включать в себя требования к образованию, квалификации, профессиональной подготовке, техническим знаниям, навыкам и опыту.
6.2.6 Провайдер проверки квалификации при необходимости должен уполномочить персонал на выполнение определенной деятельности в рамках программ проверки квалификации, включая в том числе следующее:
a) планирование программ проверки квалификации;
b) анализ и обработка данных/информации с целью определения стабильности и однородности (если это применимо), а также приписанных значений и связанных с ними неопределенностей свойств или характеристик образца для проверки квалификации;
c) оценивание характеристик функционирования участников проверки квалификации;
d) высказывание мнений и толкований, а также рекомендаций участникам;
e) рассмотрение и утверждение отчетов о проверке квалификации.
6.2.7 Руководство провайдера проверки квалификации должно довести до сведения каждого сотрудника его обязанности, ответственность и полномочия.
6.3 Помещения и условия окружающей среды
6.3.1 Чтобы гарантировать правильность осуществления деятельности по проверке квалификации, провайдер проверки квалификации должен обеспечить наличие соответствующих помещений для реализации программы проверки квалификации.
6.3.2 Провайдер проверки квалификации должен гарантировать, что условия окружающей среды не оказывают негативного влияния на деятельность по проверке квалификации, включая работы, которые выполняются за пределами постоянных производственных площадей провайдера проверки квалификации или сторонними поставщиками услуг.
6.3.3 Провайдер проверки квалификации должен документировать условия окружающей среды, которые могут повлиять на пригодность образцов для проверки квалификации и на достоверность любых проводимых измерений или испытаний, включая условия, требования к которым содержатся в соответствующих спецификациях и методах измерений или испытаний. Провайдер проверки квалификации должен осуществлять управление условиями окружающей среды, их мониторинг и периодический анализ, а также регистрировать все действия, относящиеся к такому мониторингу. Деятельность по проверке квалификации должна быть прекращена, если условия окружающей среды ставят под угрозу правильность ее осуществления (см. 7.5.4).
Пример - К таким условиям относятся, например, биологическая стерильность, запыленность, электромагнитные поля, радиация, освещенность (свет), влажность, параметры электрической сети, температура, уровень звука и вибрации, имеющие отношение к тому или иному виду технических работ.
6.3.4 Доступ к участкам, оказывающим влияние на деятельность по проверке квалификации, и их использование должны контролироваться. Провайдер проверки квалификации должен определить степень контроля исходя из определенных им условий.
6.3.5 Должно быть установлено надлежащее разграничение между соседними участками, в которых осуществляются несовместимые виды деятельности по проверке квалификации. Должны быть приняты меры по предотвращению перекрестного загрязнения, помех или иного рода нежелательного влияния на деятельность по проверке квалификации.
6.4 Продукция и услуги, предоставляемые внешними поставщиками
6.4.1 Провайдер проверки квалификации не должен прибегать к услугам, предоставляемым внешними поставщиками, при осуществлении следующих видов деятельности:
a) разработка и планирование программ проверки квалификации;
b) оценивание характеристик функционирования;
Примечание - Это не исключает возможность использования провайдером проверки квалификации рекомендаций или помощи любых консультантов, экспертов или групп ведущих специалистов.
6.4.2 Провайдер проверки квалификации должен иметь процедуры, позволяющие гарантировать, что опыт и техническая компетентность внешних поставщиков продукции и услуг достаточны для выполнения поручаемых им задач и что они соответствуют требованиям соответствующих пунктов настоящего стандарта и других применимых стандартов.
6.4.3 Провайдер проверки квалификации должен информировать участников и заказчиков заранее и в письменном виде о продукции и услугах, которые предоставлены или могут быть предоставлены внешними поставщиками, если такие продукция или услуги могут оказывать влияние на правильность осуществления деятельности по проверке квалификации.
6.4.4 Провайдер проверки квалификации должен иметь процедуры и вести записи для:
a) определения, рассмотрения и утверждения требований провайдера проверки квалификации к продукции и услугам, предоставляемым внешними поставщиками;
b) определения критериев для выбора, а также оценивания и мониторинга деятельности внешних поставщиков;
c) обеспечения того, чтобы продукция и услуги, предоставляемые внешними поставщиками, соответствовали установленным требованиям провайдера проверки квалификации и, когда это применимо, соответствующим требованиям настоящего стандарта, прежде чем они будут использованы в работе или непосредственно переданы участнику или заказчику;
d) осуществления каких-либо действий по результатам мониторинга деятельности и оценивания внешних поставщиков.
6.4.5 Провайдер проверки квалификации должен информировать внешних поставщиков о своих требованиях в отношении:
a) предоставляемых продукции и услуг;
c) компетентности, включая требования к квалификации привлекаемой организации или персонала;
d) деятельности, которую провайдер проверки квалификации или его заказчики намерены осуществить на площадях внешнего поставщика.
6.4.6 Провайдер проверки квалификации несет ответственность перед участниками или заказчиками за продукцию или услуги, предоставляемые внешними поставщиками.
Примечание - В случаях, когда внешний поставщик определяется заказчиком или регулирующим органом, под принятием ответственности может пониматься необходимость осуществления действий, направленных на минимизацию нежелательных последствий, непосредственно влияющих на правильность осуществления деятельности по проверке квалификации.
7 Требования к процессу
7.1 Установление и формулирование в договоре целей программы проверки квалификации, а также информирование о них
7.1.1 Анализ запросов, тендеров и договоров
7.1.1.1 Провайдер проверки квалификации должен иметь процедуру для анализа запросов, тендеров и договоров. Процедура должна гарантировать, что:
a) цели программы проверки квалификации достаточно подробно определены и согласуются с потребностями заказчика;
b) требования надлежащим образом определены, документированы и правильно понимаются;
c) провайдер проверки квалификации располагает возможностями и ресурсами для выполнения требований;
d) программа проверки квалификации является подходящей с технической точки зрения, принимая во внимание потребности данного применения или области применения.
Примечание 1 - Такой анализ особенно важен, когда заказчик просит разработать программу проверки квалификации для определенной цели или для уровня или частоты участия, отличных от тех, которые обычно предлагаются.
Примечание 2 - Такой анализ может быть упрощен, если программа проверки квалификации полностью описана в каталоге провайдера или другом его документе и участник регистрируется для участия в стандартном раунде проверки квалификации.
7.1.1.2 Анализ должен охватывать все аспекты запросов, включая любые продукцию или услуги, предоставляемые внешним поставщиком.
7.1.1.3 Записи по такому анализу, включая любые значительные изменения, должны сохраняться. Также должны сохраняться записи соответствующих обсуждений с заказчиком, касающихся требований заказчика или результатов деятельности по проверке квалификации.
7.1.1.4 Заказчик должен быть проинформирован о любом отклонении от условий договора.
7.1.1.5 Если в запрос или договор вносятся изменения после того, как начато выполнение программы проверки квалификации, то анализ договора должен быть проведен повторно и любые изменения должны быть доведены до сведения всех сотрудников, на деятельность которых влияют данные изменения.
7.1.2 Информирование о программе проверки квалификации
7.1.2.1 Провайдер проверки квалификации должен обеспечить доступность подробной информации о программе проверки квалификации для участников и заказчиков. Эта информация должна включать:
a) цели программы проверки квалификации и соответствующие сведения о ней;
c) критерии для определения приписанного значения и оценивания характеристик функционирования;
d) соглашения о конфиденциальности;
e) ключевые сроки реализации программы;
f) любые платежи, касающиеся участия;
g) инструкции по подаче заявки на участие.
7.1.2.2 Участники и заказчики должны быть своевременно осведомлены провайдером проверки квалификации о любых изменениях, касающихся программы проверки квалификации или ее реализации.
7.1.2.3 Провайдер проверки квалификации должен вести и сохранять записи о соответствующем обмене информацией.
7.2 Разработка и планирование программ проверки квалификации
7.2.1 Общие положения
7.2.1.1 Провайдер проверки квалификации должен идентифицировать, разрабатывать и планировать виды деятельности, которые непосредственно влияют на пригодность программы проверки квалификации, а также обеспечивать выполнение этих видов деятельности в соответствии с установленными процедурами.
Примечание - При разработке и планировании программ проверки квалификации могут учитываться требования соответствующих стандартов, например таких, как ISO/IEC 17025, ISO 15189 и ISO/IEC 17020, а также требования, имеющие непосредственное отношение к целям программы проверки квалификации. Также могут рассматриваться требования безопасности и положения этического характера.
7.2.1.2 Если провайдер проверки квалификации намерен внести значительные изменения в деятельность, которая может повлиять на пригодность программы проверки квалификации, то он должен идентифицировать сопутствующие риски и организовать управление ими, чтобы гарантировать пригодность программы проверки квалификации в будущем.
Пример - Примерами таких значительных изменений являются применение новых подходов к производству образцов для проверки квалификации, оценке однородности и стабильности, определению приписанного значения, статистическому анализу, а также новые виды деятельности по проверке квалификации.
7.2.1.3 Перед началом выполнения работ по программе проверки квалификации провайдер проверки квалификации должен разработать документированный план, который оговаривает цели, задачи и базовый проект программы проверки квалификации. План должен включать нижеперечисленную информацию и, при необходимости, пояснения по выбору или исключению ее отдельных составляющих:
a) сведения о персонале, принимающем участие в разработке и реализации программы проверки квалификации;
b) сведения о деятельности, выполняемой внешними поставщиками продукции и услуг, и контактные данные этих поставщиков;
c) критерии для участия в программе проверки квалификации;
d) количество и тип предполагаемых участников программы проверки квалификации;
e) описание деятельности, которую должны будут выполнить участники, и результаты, которые они должны будут представить;
f) описание диапазона значений, или характеристик, или и того и другого, которые ожидаются для образцов для проверки квалификации;
g) потенциальные основные источники погрешностей, возникающих в области измерений или испытаний, предложенной для выполнения проверки квалификации;
h) требования к изготовлению, контролю качества, хранению и распределению образцов для проверки квалификации;
i) меры предосторожности по предотвращению сговора между участниками или фальсификации результатов и процедуры по реагированию в случае подозрений в сговоре и фальсификации;
j) описание информации, которая будет предоставлена участникам, и календарный план для различных этапов программы проверки квалификации;
k) для непрерывных программ проверки квалификации - периодичность или даты передачи участникам образцов для проверки квалификации, последний срок предоставления участниками результатов и, в случае необходимости, даты выполнения участниками измерений или испытаний;
l) любую информацию о методах или процедурах, которые участники должны применять при хранении образцов для проверки квалификации, обращении с ними, их подготовке, перевозке или утилизации, а также при выполнении измерений или испытаний;
m) методики измерений или методы испытаний, с помощью которых можно проверить однородность и стабильность образцов для проверки квалификации и в необходимых случаях определить их биологическую жизнеспособность;
n) подготовку любых типовых форм отчетности для использования участниками;
o) подробное описание используемого метода статистического анализа;
p) сведения о происхождении, метрологической прослеживаемости и неопределенности измерений любых приписанных значений.
Примечание - Неопределенность приписанных значений в дополнение к неопределенности результатов измерений, используемых для характеризации, может включать вклады неопределенности от таких источников, как неоднородность и нестабильность, а также межлабораторные различия в случае, если при характеризации используют результаты нескольких лабораторий;
q) способ обработки результатов, полученных с применением различных методов измерений или испытаний, если такая возможность допускается программой проверки квалификации;
r) критерии для оценивания характеристик функционирования участников;
s) описание данных, промежуточные отчеты или информацию, которая должна быть направлена участникам;
t) описание степени гласности или круга распространения результатов, полученных участниками, и заключений, основанных на результатах программы проверки квалификации;
u) действия, которые должны быть предприняты в случае утери, задержки поставки или повреждения образцов для проверки квалификации.
7.2.2 Методы статистического расчета
7.2.2.1 Должны быть разработаны методы статистических расчетов, отвечающие целям программы проверки квалификации и основанные на типе данных (количественные или качественные, включающие полученные по шкалам порядка и наименований), статистических допущениях, типе ошибок и на ожидаемом количестве результатов.
Примечание 1 - Метод статистического расчета охватывает процессы планирования программы проверки квалификации, а также сбора, анализа данных программы проверки квалификации и их представления в отчетности. Методы статистических расчетов часто основываются на установленных для программы проверки квалификации целях, таких как выявление определенных типов ошибок с заданной мощностью критерия или определение приписанных значений с заданной неопределенностью.
Примечание 2 - Методы анализа данных могут варьироваться от очень простых (например, описательные статистики) до комплексных, включающих статистические модели с вероятностными допущениями или комбинациями результатов, полученных в отношении различных образцов для проверки квалификации.
Примечание 3 - В случаях, когда разработка программы проверки квалификации предписывается техническим заданием, полученным, например, от заказчика или регулирующего органа, методы статистического расчета и анализа данных могут быть взяты напрямую из технического задания.
Примечание 4 - При отсутствии достоверной информации, необходимой для разработки метода статистического расчета, могут быть использованы предварительные межлабораторные сличения.
7.2.2.2 Провайдер проверки квалификации должен документировать методы статистического расчета и анализа данных, которые будут использованы для определения приписанного значения и оценивания результатов участников, причины такого выбора, а также предположения, на которых основаны методы статистического расчета и анализа данных. Провайдер проверки квалификации должен быть в состоянии продемонстрировать, что статистические допущения обоснованы и что статистические анализы выполняются в соответствии с установленными процедурами.
7.2.2.3 При разработке методов статистического анализа данных провайдер проверки квалификации должен тщательно рассмотреть следующее:
a) точность, а также неопределенность измерений, требуемые или предполагаемые для приписанных значений каждого свойства или характеристики в рамках программы проверки квалификации;
b) минимальное количество участников в программе проверки квалификации, необходимое для достижения целей статистического расчета. В случаях, когда количество участников окажется недостаточным, чтобы достичь этих целей или чтобы произвести статистически достоверный анализ результатов участников, провайдер проверки квалификации должен документировать и предоставлять участникам подробное описание альтернативных подходов, используемых для оценки характеристик функционирования участников;
c) количество значащих цифр в результате, сообщаемом участником, включая количество десятичных знаков;
d) количество образцов для проверки квалификации, подвергаемых измерениям или испытаниям, количество повторных измерений или испытаний, проводимых на каждом образце для проверки квалификации или для каждого определения;
e) процедуры, используемые для установления стандартного отклонения для оценки квалификации или другие критерии оценивания;
f) процедуры, используемые для обработки результатов участников, полученных с применением различных методов измерений или испытаний, не являющихся с технической точки зрения эквивалентными, в случае если их использование допускается программой проверки квалификации;
g) требуется ли включать в отчеты неопределенность измерений результатов участников и каким образом она должна быть использована для оценивания характеристик функционирования этих участников;
h) процедуры, используемые для идентификации выбросов, или процедуры, используемые для обращения с выбросами, или те и другие процедуры;
i) при необходимости процедуры для оценивания значений, исключенных из статистического анализа; и
j) если требуется, цели для методов статистического расчета, которые должны быть достигнуты, и периодичность проведения раундов проверки квалификации.
7.2.3 Определение приписанных значений
7.2.3.1 Провайдер проверки квалификации должен документировать процедуру для определения приписанных значений свойств или характеристик в конкретной программе проверки квалификации. По возможности эта процедура должна принимать во внимание метрологическую прослеживаемость и неопределенность измерений, необходимые для демонстрации того, что программа проверки квалификации соответствует своим целям.
Примечание - Статистические методы определения приписанного значения представлены в ISO 13528.
7.2.3.2 В программах проверки квалификации в области калибровки должны использоваться приписанные значения с метрологической прослеживаемостью.
7.2.3.3 Для программ проверки квалификации в областях, отличных от калибровки, важность, необходимость и выполнимость требований метрологической прослеживаемости приписанного значения и связанной с ним неопределенности измерений должны быть определены исходя из целей программы проверки квалификации.
Примечание - Требуемая цепь метрологической прослеживаемости может отличаться в зависимости от типа образца для проверки квалификации, свойства или характеристики, а также наличия прослеживаемых калибровок и стандартных образцов.
7.2.3.4 Когда в качестве приписанного значения используется согласованное значение, провайдер проверки квалификации должен оценить неопределенность приписанного значения [см. примечание перечисления p) 7.2.1.3] способом, описанным в плане для программы проверки квалификации.
7.2.3.5 Провайдер проверки квалификации должен иметь политику, регламентирующую вопрос разглашения приписанных значений. Политика должна быть построена таким образом, чтобы участники не могли получать преимущество от преждевременного разглашения.
7.3 Изготовление и распределение образцов для проверки квалификации
7.3.1 Изготовление образцов для проверки квалификации
7.3.1.1 Провайдер проверки квалификации должен устанавливать и выполнять процедуры для обеспечения изготовления образцов для проверки квалификации в соответствии с планом, описанным в 7.2, и подтверждения их соответствия целям программы проверки квалификации.
7.3.1.2 Провайдер проверки квалификации должен устанавливать и выполнять процедуры для обеспечения соответствующего выбора, приобретения, сбора, идентификации, подготовки, обращения, хранения и в необходимых случаях утилизации применительно ко всем образцам для проверки квалификации.
Примечание - Образцы для проверки квалификации обычно соответствуют типу образцов или материалам, с которыми лаборатория имеет дело в своей повседневной практике.
7.3.1.3 В программах проверки квалификации, в которых от участников требуется в отношении образцов для проверки квалификации выполнять такие операции, как отбор проб, подготовка к выполнению измерений или испытаний или какие-то иные манипуляции, а затем представлять их на рассмотрение провайдеру проверки квалификации, последний должен разработать соответствующие инструкции в отношении подготовки, обеспечения условий окружающей среды для хранения (где это применимо), упаковки, обращения, хранения и транспортировки образцов для проверки квалификации.
7.3.2 Оценка однородности и стабильности образцов для проверки квалификации
7.3.2.1 Должны быть установлены критерии приемлемой степени однородности и стабильности, которые должны быть основаны на учете рисков, связанных с возможным влиянием неоднородности и нестабильности образцов на оценивание характеристик функционирования участников.
7.3.2.2 Процедуры для оценки однородности и стабильности должны быть документированы и должны выполняться, когда применимо, согласно соответствующим статистическим расчетам.
7.3.2.3 Оценка однородности и стабильности должна выполняться для каждого раунда проверки квалификации после упаковывания образцов для проверки квалификации в их окончательном виде.
Примечание 1 - Однородность может быть подтверждена до упаковывания, если доказано, что упаковка не оказывает никакого влияния или если исследования стабильности материала показывают, что его желательно хранить в нерасфасованном виде.
Примечание 2 - Различные подходы к оценке однородности и стабильности, в том числе в ситуациях, когда проведение экспериментальных исследований не представляется возможным, описаны в приложении B, а также в ISO 13528 и ISO Guide 35.
7.3.2.4 Если для оценки однородности или стабильности (или обоих показателей) образцов для проверки квалификации требуется экспериментальное подтверждение, провайдер проверки квалификации должен оценить однородность и стабильность образцов для проверки квалификации с использованием подходящих для этой цели методов.
7.3.2.5 Должна быть подтверждена достаточная стабильность образцов для проверки квалификации, чтобы гарантировать, что они не будут подвергаться никаким значительным изменениям на протяжении всего времени проведения раунда проверки квалификации, включая условия хранения и транспортировки. Если это невозможно, стабильность должна количественно оцениваться, а затем рассматриваться в качестве дополнительного вклада в неопределенность измерений, связанную с приписанным значением образца для проверки квалификации, и/или учитываться в критериях, используемых для оценивания характеристик функционирования.
7.3.2.6 Если образцы для проверки квалификации, подготовленные для предыдущих раундов проверки квалификации, сохраняются для использования в следующем раунде, то значения свойств или характеристик, подлежащих определению в рамках программы проверки квалификации, должны подтверждаться провайдером проверки квалификации перед распределением образцов.
7.3.3 Обращение с образцами для проверки квалификации и их хранение
7.3.3.1 Начиная с момента изготовления образцов для проверки квалификации и до момента их распределения между участниками провайдер проверки квалификации должен гарантировать, что эти образцы надлежащим образом идентифицированы и хранятся в условиях, не допускающих их загрязнение, повреждение или порчу.
7.3.3.2 Провайдер проверки квалификации должен иметь соответствующие процедуры отправки таких образцов на хранение и их получения с хранения.
7.3.3.3 Состояние образцов для проверки квалификации, находящихся на хранении, необходимо оценивать через определенные промежутки времени или непосредственно перед распределением между участниками, для того чтобы обнаружить возможную их порчу.
7.3.3.4 При использовании потенциально опасных образцов для проверки квалификации должны быть в наличии средства для безопасного обращения с ними, их обеззараживания и утилизации.
7.3.4 Упаковка, маркировка и распределение образцов для проверки квалификации
7.3.4.1 Провайдер проверки квалификации должен управлять процессами упаковки и маркировки в объеме, необходимом для выполнения соответствующих национальных, региональных или международных требований безопасности и транспортировки.
7.3.4.2 Провайдер проверки квалификации должен документировать соответствующие условия окружающей среды, которые должны обеспечиваться при транспортировании образцов для проверки квалификации. При необходимости должен быть организован мониторинг условий окружающей среды при транспортировании образцов.
7.3.4.3 В программах проверки квалификации, предполагающих транспортировку образцов для проверки квалификации самими участниками с целью передачи их другим участникам или возврата провайдеру проверки квалификации, провайдером должны быть предоставлены документированные инструкции для такой транспортировки, позволяющие обеспечить пригодность образцов для проверки квалификации.
7.3.4.4 Провайдер проверки квалификации должен гарантировать, что этикетки надежно крепятся к упаковкам отдельных образцов для проверки квалификации и остаются легкочитаемыми и неповрежденными на всем протяжении выполнения раунда проверки квалификации.
7.3.4.5 Провайдер проверки квалификации должен использовать процедуру, позволяющую обеспечить подтверждение доставки образцов для проверки квалификации.
7.3.5 Инструкции для участников
7.3.5.1 Провайдер проверки квалификации должен достаточно заблаговременно до рассылки образцов для проверки квалификации направить участникам уведомление, содержащее ориентировочную дату получения образцов для проверки квалификации или их отправки, если только проект программы проверки квалификации не рассматривает такие действия как неуместные.
7.3.5.2 Провайдер проверки квалификации должен предоставить подробные документированные инструкции всем участникам. Инструкции для участников должны включать:
a) указание о необходимости обращаться с образцами для проверки квалификации тем же самым способом, что и с образцами, испытываемыми при повседневной работе лаборатории, и использовать те же методы измерений и испытаний, что используются при повседневной работе лаборатории, если только не существуют особые требования программы проверки квалификации, предусматривающие отступление от этого принципа;
b) подробное описание факторов, которые могут повлиять на измерения или испытания образцов для проверки квалификации, например таких, как природа образцов для проверки квалификации, условия хранения, сведения о том, ограничена ли программа проверки квалификации выбором определенных методов измерений или испытаний, а также временной график измерений или испытаний;
c) инструкции, касающиеся подготовки и/или кондиционирования образцов для проверки квалификации перед началом выполнения измерений или испытаний, которые не рассматриваются как часть предполагаемой повседневной практики лаборатории, за исключением случаев, когда эти виды деятельности являются частью программы проверки квалификации;
d) любые применимые инструкции по обращению с образцами для проверки квалификации, включая любые требования безопасности;
e) любые конкретные условия окружающей среды, которые должны соблюдаться участниками при выполнении измерений и/или испытаний, а также, если необходимо, любые требования к участникам, касающиеся отчетности о соответствующих условиях окружающей среды, регистрируемых в процессе выполнения измерений или испытаний;
f) конкретные и подробные инструкции по способу регистрации и составлению отчетов с результатами и связанными с ними неопределенностями измерений, т.е. если инструкции предусматривают включение в отчет расширенной неопределенности измерений, то информация о неопределенности в отчете должна включать коэффициент охвата и вероятность охвата.
Примечание - Подобная инструкция обычно включает в себя информацию, такую как единицы измерений, количество значащих цифр или десятичных знаков и правила составления отчета (например, включение в отчет таких слов, как "в пересчете на сухое вещество" или "как получено").
g) конкретные инструкции по предоставлению подробной информации о методе измерений или испытаний, используемом участником, если отсутствует требование в отношении использования одного и того же метода измерений или испытаний всеми участниками;
h) инструкции по возврату или передаче следующему участнику образцов для проверки квалификации, если такие действия предусматриваются;
i) крайний срок для получения провайдером проверки квалификации результатов от участников;
j) контактную информацию провайдера проверки квалификации для запросов.
7.4 Оценивание и представление в отчетах результатов программы проверки квалификации
7.4.1 Анализ данных
7.4.1.1 Результаты, полученные от участников, должны записываться и анализироваться соответствующими методами. Должны быть разработаны и внедрены процедуры для проверки достоверности ввода данных, передачи данных, статистического анализа и отчетности.
7.4.1.2 В ходе анализа данных должны быть получены итоговые статистики и статистики функционирования, а также сопутствующая информация, согласующаяся с методами статистического расчета, используемыми в программе проверки квалификации.
7.4.1.3 Влияние выбросов на итоговые статистики должно быть минимизировано путем применения соответствующего статистического подхода.
7.4.1.4 Провайдер проверки квалификации должен иметь процедуры для обработки результатов испытаний, полученных с применением различных методов измерений или испытаний, если программой проверки квалификации допускается использование участниками различных методов измерений или испытаний.
7.4.1.5 Провайдер проверки квалификации должен иметь документированные критерии и процедуры для обращения с результатами измерений или испытаний, которые являются неподходящими для их использования в статистических расчетах, например вследствие допущенной ошибки в расчетах, перестановки цифр и других грубых ошибок.
7.4.1.6 Провайдер проверки квалификации должен иметь документированные критерии и процедуры для идентификации и управления ситуациями, когда распределенные образцы для проверки квалификации и собранные для них данные были признаны впоследствии неподходящими для оценивания характеристик функционирования, например, по причине неоднородности, нестабильности, повреждения или загрязнения.
7.4.2 Оценивание характеристик функционирования
7.4.2.1 Провайдер проверки квалификации должен использовать надежные методы оценивания, которые соответствуют целям программы проверки квалификации. Методы должны быть документированы и включать описание основных принципов оценивания.
Примечание - Примеры надежных методов оценивания представлены в ISO 13528.
7.4.2.2 Если приемлемо для целей программы проверки квалификации, провайдер проверки квалификации должен представить комментарии экспертов в отношении характеристик функционирования участников применительно к следующему:
a) общая характеристика функционирования в сравнении с предварительными ожиданиями, принимая во внимание неопределенности измерений;
b) разброс результатов внутри и между участниками и сравнения с любыми предыдущими раундами проверки квалификации, аналогичными программами проверки квалификации или опубликованными данными;
c) различия в методах измерений или испытаний;
d) возможные источники погрешностей (в отношении выбросов или неудовлетворительных характеристик функционирования) и предложения по улучшению характеристик функционирования;
e) консультации и обратная связь с участниками как часть процедур постоянного совершенствования деятельности участников;
f) ситуации, когда исключительные факторы делают оценивание результатов и комментарии в отношении характеристик функционирования невозможными;
g) любые другие предложения, рекомендации или общие комментарии; и
Примечание - Может быть полезным периодически направлять участникам индивидуальные заключения во время или после выполнения конкретного раунда программы проверки квалификации. Эти заключения могут содержать обновленные итоговые характеристики функционирования отдельных участников, полученные по отношению к последовательным раундам проверки квалификации непрерывной программы проверки квалификации. Такие итоговые характеристики могут в дальнейшем анализироваться и, если требуется, использоваться для выявления тенденций.
7.4.3 Отчеты по проверке квалификации
7.4.3.1 Отчеты по проверке квалификации должны излагаться понятно и четко, быть объективными и исчерпывающими и включать данные, содержащие результаты всех участников вместе с указанием характеристик функционирования каждого участника.
Примечание - Когда указывать в отчете для участников все полученные данные нецелесообразно, то сводные результаты могут быть представлены в обобщенной форме, например табличной или графической.
7.4.3.2 Отчеты должны включать следующую информацию, если это приемлемо или если провайдер проверки квалификации не имеет веских причин не указывать ее:
a) наименование и контактные данные провайдера проверки квалификации;
b) идентификацию лица (лиц), утвердившего отчет;
c) перечисление видов деятельности, выполняемых внешними поставщиками, если такая деятельность влияет на производство или характеризацию образцов для проверки квалификации либо на предоставляемые услуги;
d) дату выпуска и статус (например, предварительный, промежуточный или окончательный) отчета;
e) уникальную идентификацию, для того чтобы все составляющие отчета воспринимались как части общего отчета, а также четкую идентификацию его конца;
f) установление степени конфиденциальности результатов;
g) уникальную идентификацию отчета и программы проверки квалификации;
h) четкое описание используемых образцов для проверки квалификации, включая необходимые подробности изготовления образцов для проверки квалификации и оценки их однородности и стабильности;
i) результаты участников, включая заявленные неопределенности измерений;
j) процедуры, используемые для статистического анализа данных;
k) статистические данные и итоговые данные, включая приписанные значения, диапазон приемлемых результатов и графические изображения;
l) подробную информацию о метрологической прослеживаемости и неопределенности измерений каждого приписанного значения;
m) процедуры, используемые для установления приписанного значения и оценивания его неопределенности;
n) приписанные значения, их неопределенности и итоговые статистики для методов измерений или испытаний, используемых каждой группой участников (если различными группами участников использовались различные методы измерений или испытаний);
o) процедуры, используемые для установления стандартного отклонения для оценки квалификации, или описание других критериев для оценивания характеристик функционирования;
p) комментарии относительно характеристик функционирования участников;
q) информацию о разработке и реализации программы проверки квалификации;
r) рекомендации по интерпретации статистического анализа;
s) комментарии или рекомендации, основанные на результатах раунда проверки квалификации.
Примечание - Для непрерывных программ проверки квалификации можно использовать более простые отчеты, допускающие исключение многих элементов данного подпункта (7.4.3.2) из обычных отчетов, но включенных в процедуры программы проверки квалификации или в периодические сводные отчеты, доступные участникам.
7.4.3.3 Отчеты должны предоставляться участникам в запланированные сроки. В последовательных программах проверки квалификации, например когда время оборота образцов для проверки квалификации может быть очень долгим, и в программах, включающих использование скоропортящихся материалов, предварительные или ожидаемые результаты могут быть представлены до того, как будут опубликованы окончательные результаты.
Примечание - Предварительные или ожидаемые результаты позволяют заранее выявить возможные ошибки.
7.4.3.4 Провайдер проверки квалификации должен иметь политику по использованию отчетов участниками и заказчиками.
7.4.3.5 Если необходимо выпустить новый или исправленный отчет о программе проверки квалификации или раунде проверки квалификации, то он должен включать следующую информацию:
b) ссылку на исходный отчет, который заменяется или исправляется;
c) идентификацию изменений и сведения о причинах изменений или переиздания отчета.
7.4.3.6 При подготовке исправленного отчета, адресованного подгруппе участников, должен быть проведен анализ потенциальных последствий внесения исправлений для других участников данной программы проверки квалификации и/или раунда проверки квалификации, чтобы убедиться в том, что внесенные исправления не оказывают влияния на общую характеристику функционирования других участников.
7.4.3.7 Если в качестве дополнения к отчету о проверке квалификации провайдер проверки квалификации публикует заключения, касающиеся участия или характеристик функционирования, то эти заключения не должны допускать неправильного толкования.
7.5 Управление процессами по реализации программы проверки квалификации
7.5.1 Технические записи
7.5.1.1 Для каждого вида деятельности по проверке квалификации провайдер проверки квалификации должен обеспечивать наличие в технических записях результатов, отчетов и достаточной информации, позволяющей, если это возможно, идентифицировать факторы, влияющие на оценивание характеристик функционирования при проверке квалификации и связанные с ними характеристики, а также обеспечить возможность повторного проведения данной деятельности по проверке квалификации в условиях, максимально близких к первоначальным. Технические записи должны включать дату и сведения о персонале, который несет ответственность за каждый вид деятельности по проверке квалификации и за проверку данных и результатов.
7.5.1.2 Данные, используемые при проверке образцов для проверки квалификации, инструкции для участников, оригиналы ответов участников и любая другая информация, включаемая в отчеты, должны быть записаны сразу после их получения/подготовки и должны отождествляться с конкретными задачами.
7.5.1.3 Провайдер проверки квалификации должен обеспечивать прослеживаемость изменений, вносимых в технические записи, к предыдущим версиям либо к исходной информации, представленной участниками. И первичные, и измененные данные и файлы должны сохраняться с указанием даты внесения изменений, сведений об аспектах, претерпевших изменения, и лицах, ответственных за данные изменения.
7.5.2 Управление данными и информацией
7.5.2.1 Провайдер проверки квалификации должен иметь доступ ко всем данным и информации, необходимым для осуществления им своей деятельности.
7.5.2.2 Правильность функционирования системы управления информацией провайдера проверки квалификации, используемой для сбора, обработки, записи, представления в отчетах, хранения или поиска данных, включая правильность функционирования интерфейсов, должна быть проверена перед внедрением этой системы в работу. При любых изменениях, включая изменения конфигурации программного обеспечения провайдера проверки квалификации или модификации коммерческого программного обеспечения, они должны быть утверждены, документированы и проверены перед началом их использования.
Примечание 1 - В настоящем стандарте понятие "система управления информацией провайдера проверки квалификации" включает в себя управление данными и информацией, содержащимися как в компьютеризированных, так и некомпьютеризированных системах. Некоторые из требований могут быть в большей степени применимы к компьютеризированным системам, чем к некомпьютеризированным системам.
Примечание 2 - Доступное на рынке коммерческое программное обеспечение при обычном его использовании в области, для которой оно предназначено, может считаться в достаточной степени валидированным.
7.5.2.3 Система управления информацией провайдера проверки квалификации должна:
a) быть защищена от несанкционированного доступа;
b) быть защищена от умышленного искажения или потери данных;
c) функционировать в условиях окружающей среды, которые соответствуют спецификациям поставщика системы или провайдера проверки квалификации, или, в случае некомпьютеризированных систем, создавать условия, обеспечивающие неизменность выполненных от руки записей и расшифровки;
d) поддерживаться в таком состоянии, которое обеспечивает целостность данных и информации;
e) включать регистрацию системных сбоев и соответствующих оперативных и корректирующих действий.
7.5.2.4 В том случае, если управление данной системой и ее поддержание осуществляются дистанционно или через внешнего поставщика услуг, провайдер проверки квалификации должен обеспечить соответствие поставщика услуг или оператора системы всем применимым требованиям настоящего стандарта.
7.5.2.5 Провайдер проверки квалификации должен гарантировать, что инструкции, руководства и справочные данные, относящиеся к системе управления информацией провайдера проверки квалификации, легко доступны для персонала.
7.5.2.6 Расчеты и передача данных должны подвергаться надлежащим систематическим проверкам.
7.5.3 Наблюдение за процессами
Провайдер проверки квалификации должен иметь процедуру, позволяющую гарантировать пригодность программы проверки квалификации. Деятельность по наблюдению за процессами должна планироваться и анализироваться [см. перечисление n) 8.9.2], а полученные данные должны записываться для процесса постоянного улучшения.
Примечание - В зависимости от конкретной программы проверки квалификации деятельность по наблюдению за процессами может включать:
- оценивание продукции и услуг внешних поставщиков;
- использование стандартных образцов или других контрольных образцов;
- передачу результатов от участников;
- контроль статистических условий для подтверждения достоверности оценивания характеристик функционирования;
- для непрерывных программ - сравнение с данными предыдущих раундов проверки квалификации.
7.5.4 Управление несоответствующей работой
7.5.4.1 Провайдер проверки квалификации должен иметь процедуру, которую применяют в случае, если какой-либо аспект применяемых им программ проверки квалификации не соответствует его собственным процедурам или требованиям, согласованным с участниками или заказчиками. Процедура(ы) должна(ы) гарантировать, что:
a) определены ответственность и полномочия для управления несоответствующей работой;
b) действия (включая приостановку работ по выполняемым программам проверки квалификации и/или раундам проверки квалификации и приостановку выдачи отчетов о программах и/или раундах проверки квалификации, если необходимо) определены и основаны на уровнях риска, установленных провайдером проверки квалификации;
c) проведено оценивание значимости не соответствующей установленным требованиям работы, в том числе анализ ее воздействия на предыдущие результаты деятельности по проверке квалификации;
d) решение о необходимости осуществления действий и сроках их реализации принимается незамедлительно вместе с решением о приемлемости несоответствующей работы;
e) участники программы проверки квалификации и заказчики при необходимости уведомляются, а не соответствующие установленным требованиям образцы для проверки квалификации или отчеты о проверке квалификации, ранее отправленные участникам, отзываются или не принимаются во внимание;
f) определена ответственность за санкционирование возобновления работы.
Примечание - Выявление работы, не соответствующей установленным требованиям, или проблем, связанных с системой менеджмента или с технической деятельностью, может иметь место в различных точках системы менеджмента и технических операциях. Примерами являются жалобы со стороны участников или заказчиков, анализы со стороны руководства и внутренние или внешние аудиты, наблюдение за процессами, изготовление образцов для проверки квалификации, оценки однородности и стабильности образцов, анализ данных, инструкции для участников, а также обращение с материалами и их хранение.
7.5.4.2 Провайдер проверки квалификации должен вести записи в отношении несоответствующей работы и необходимых действий, как указано в перечислениях b) - f) 7.5.4.1.
7.5.4.3 Если при оценке выявлено, что работа, не соответствующая установленным требованиям, может повториться, или есть сомнение в соответствии провайдера проверки квалификации его собственным процедурам, необходимо безотлагательно следовать процедурам по выполнению корректирующих действий, приведенным в 8.7.
7.6 Работа с жалобами
7.6.1 Провайдер проверки квалификации должен иметь документированную процедуру для работы с жалобами, включающую по крайней мере следующее:
a) описание процесса получения, подтверждения обоснованности и расследования жалобы, а также принятия решения о том, какие действия необходимо предпринять в ответ;
b) отслеживание и регистрация жалобы, включая действия, предпринятые для ее урегулирования;
c) обеспечение принятия необходимых мер.
7.6.2 Описание процесса по работе с жалобами должно быть опубликовано в свободном доступе.
7.6.3 При получении жалобы провайдер проверки квалификации должен удостовериться, относится ли жалоба к деятельности по проверке квалификации, и если это так, то он должен выполнить расследование по жалобе.
7.6.4 Провайдер проверки квалификации, получающий жалобу, должен нести ответственность за сбор всей необходимой информации с целью подтверждения обоснованности жалобы.
7.6.5 Когда это возможно, провайдер проверки квалификации должен подтвердить получение жалобы и представить подателю жалобы заключение по результатам ее расследования, а также, если это применимо, отчеты о ходе ее рассмотрения.
7.6.6 Расследование по жалобам и их урегулирование не должны приводить к каким-либо действиям дискриминационного характера.
7.6.7 Действия по урегулированию жалоб должны быть выполнены либо проанализированы и одобрены лицами, не принимавшими участия в деятельности, по поводу которой поступила соответствующая жалоба. Если же имеющиеся ресурсы не позволяют этого, любой применяемый альтернативный подход не должен ставить под угрозу беспристрастность.
7.6.8 Когда это возможно, провайдер проверки квалификации должен представить подателю жалобы официальное уведомление о завершении работы с жалобой.
7.6.9 Провайдер проверки квалификации несет ответственность за принятие всех решений на всех стадиях процесса работы с жалобой.
7.7 Работа с апелляциями
7.7.1 Провайдер проверки квалификации должен иметь документированную процедуру для работы с апелляциями, включающую по крайней мере следующее:
a) описание процесса получения и рассмотрения апелляции, а также принятия решения о том, какие действия необходимо предпринять в ответ;
b) отслеживание и регистрацию апелляции, включая действия, предпринятые для принятия решения по ней;
c) обеспечение принятия необходимых мер.
Примечание - Провайдеры проверки квалификации, в программах проверки квалификации которых используются процедуры оценивания характеристик функционирования, основанные исключительно на статистических методах, обычно не рассматривают апелляции. Апелляции, касающиеся оценивания характеристик функционирования, могут быть поданы в виде жалобы.
7.7.2 Описание процесса по работе с апелляциями должно быть опубликовано в свободном доступе.
7.7.3 Провайдер проверки квалификации должен подтвердить получение апелляции и представить подателю апелляции заключение по результатам ее рассмотрения, а также, если это применимо, отчеты о ходе ее рассмотрения.
7.7.4 Провайдер проверки квалификации, получающий апелляцию, должен нести ответственность за сбор всей необходимой информации с целью подтверждения обоснованности апелляции.
7.7.5 Провайдер проверки квалификации несет ответственность за принятие всех решений, принимаемых в процессе работы с апелляциями.
7.7.6 Решение по апелляции должно быть принято либо рассмотрено и утверждено лицами, не принимавшими участия в принятии решения, по поводу которого поступила соответствующая апелляция.
7.7.7 Рассмотрение апелляций и принятие решений по ним не должны приводить к каким-либо действиям дискриминационного характера.
8 Требования к системе менеджмента
8.1 Общие требования
8.1.1 Провайдер проверки квалификации должен установить, документировать, внедрить и поддерживать систему менеджмента для обеспечения и подтверждения постоянного выполнения требований настоящего стандарта и проведения работ по проверке квалификации в соответствии с областью деятельности провайдера.
8.1.2 Система менеджмента провайдера проверки квалификации должна включать в себя по крайней мере следующее:
- документацию системы менеджмента (см. 8.2)
- управление документами системы менеджмента (см. 8.3);
- управление записями (см. 8.4);
- действия, связанные с рисками и возможностями (см. 8.5);
- корректирующие действия (см. 8.7);
- внутренние аудиты (см. 8.8);
- анализ со стороны руководства (см. 8.9).
8.1.3 Провайдер проверки квалификации может обеспечивать выполнение требований согласно 8.1.2 путем установления, внедрения и поддержания системы менеджмента качества (например, в соответствии с требованиями ISO 9001). Система менеджмента качества должна способствовать поддержанию и подтверждению постоянного выполнения требований настоящего стандарта.
8.1.4 Руководство провайдера проверки квалификации должно представить доказательства приверженности к разработке и внедрению системы менеджмента и постоянному повышению ее результативности.
8.2 Документация системы менеджмента
8.2.1 Политики и цели должны быть направлены на обеспечение компетентности, беспристрастности и стабильности деятельности провайдера проверки квалификации.
8.2.2 Вся документация, процессы, системы и записи, относящиеся к выполнению требований настоящего стандарта, должны быть включены в систему менеджмента или соотнесены с ней.
8.2.3 Весь персонал, участвующий в деятельности по проверке квалификации, должен иметь доступ к тем частям документации системы менеджмента и соответствующей информации, которые применяются в сфере его ответственности.
8.3 Управление документами системы менеджмента
8.3.1 Провайдер проверки квалификации должен управлять документами (внутренними и внешними), относящимися к выполнению требований настоящего стандарта.
8.3.2 Провайдер проверки квалификации должен гарантировать, что:
a) документы проверены на пригодность уполномоченным персоналом до их издания;
b) документы периодически анализируются и при необходимости пересматриваются;
c) идентифицируются изменения и статус текущей редакции документов;
d) актуальные версии применяемых документов доступны на всех рабочих местах и их распространение контролируется;
e) документы уникальным образом идентифицированы;
f) не допускается непреднамеренное использование устаревших документов, а в случае, если они сохраняются с какой-либо целью, для них применяется соответствующая идентификация.
8.4 Управление записями
8.4.1 Провайдер проверки квалификации должен вести и сохранять разборчивые записи с целью подтверждения соблюдения требований настоящего стандарта.
8.4.2 Провайдер проверки квалификации должен осуществлять управление, необходимое для идентификации, хранения, защиты, резервного копирования, архивирования, поиска и обеспечения срока хранения своих записей, а также их уничтожения.
8.4.3 Провайдер проверки квалификации должен сохранять записи в течение периода, установленного договорными обязательствами. Доступ к данным записям должен соответствовать обязательствам в области конфиденциальности, и записи должны быть легкодоступными.
Примечание - В 7.5.1 приведены дополнительные требования, относящиеся к техническим записям.
8.5 Действия, связанные с рисками и возможностями
8.5.1 Провайдер проверки квалификации должен рассматривать риски и возможности, связанные с деятельностью по проверке квалификации, для того чтобы:
a) система менеджмента гарантировала достижение намеченных результатов;
b) развивать полученные успехи для достижения целей и задач провайдера проверки квалификации;
c) предотвращать или уменьшать нежелательные воздействия и возможные сбои в деятельности по проверке квалификации;
8.5.2 Провайдер проверки квалификации должен планировать:
a) действия, связанные с данными рисками и возможностями;
b) каким образом интегрировать и внедрять данные действия в систему менеджмента;
c) каким образом оценивать результативность данных действий.
Примечание - Хотя в настоящем стандарте указывается, что провайдер проверки квалификации планирует действия по устранению рисков, требования к формальным методам управления рисками или документированному процессу управления рисками не установлены. Провайдеры проверки квалификации могут решать, следует ли разрабатывать более обширную методологию управления рисками, например, посредством применения других руководств или стандартов.
8.5.3 Предпринимаемые действия, связанные с рисками и возможностями, должны быть соизмеримы с их потенциальным влиянием на пригодность программы проверки квалификации.
Примечание 1 - Примерами действий, связанных с рисками, могут быть разработка стратегий по предупреждению сговора между участниками и изучение возможных вариантов транспортировки образцов для проверки квалификации в ходе реализации программы проверки квалификации с целью определения наилучшего.
Примечание 2 - Возможности могут привести к расширению области деятельности по проверке квалификации, увеличению числа участников программы проверки квалификации, повышению экономической эффективности программы проверки квалификации как для провайдера проверки квалификации, так и для участников и заказчиков программы проверки квалификации, а также сокращению срока, необходимого для изготовления образцов для проверки квалификации.
8.6 Улучшения
8.6.1 Провайдер проверки квалификации должен идентифицировать и выбрать возможности для улучшений, а также предпринять необходимые действия.
Примечание - Возможности для улучшений могут быть идентифицированы по результатам анализа рабочих процедур, использования политик, основных целей, результатов аудитов, корректирующих действий, анализа со стороны руководства, предложений персонала, оценки риска, анализа данных и внешней оценки.
8.6.2 Провайдер проверки квалификации должен стремиться получать обратную связь от участников и заказчиков, как положительную, так и отрицательную. Данные, полученные при обратной связи, должны анализироваться и применяться для улучшения системы менеджмента, деятельности по проверке квалификации и обслуживания заказчиков.
Пример - Примерами различных видов обратной связи являются опросы относительно удовлетворенности участников или заказчиков, записи переговоров и обсуждение отчетов с участниками и заказчиками.
8.7 Корректирующие действия
8.7.1 При выявлении несоответствия провайдер проверки квалификации должен:
a) отреагировать на несоответствие и при необходимости:
- предпринять действия для управления несоответствием и его устранения;
- отреагировать на последствия;
b) оценить необходимость действия для устранения причин(ы) несоответствия, для того чтобы предупредить его повторное или новое проявление, посредством:
- рассмотрения и анализа несоответствия;
- выявления причин несоответствия;
- выявления существования или потенциальной возможности возникновения подобных несоответствий;
c) предпринять необходимые действия;
d) оценить результативность предпринятых корректирующих действий;
e) повторно оценить риски и возможности, выявленные по итогам планирования, если это необходимо;
f) при необходимости внести изменения в систему менеджмента.
8.7.2 Корректирующие действия должны соответствовать масштабам и последствиям обнаруженного несоответствия.
8.7.3 Провайдер проверки квалификации должен сохранять записи в качестве свидетельств следующего:
a) сущности несоответствий, причин(ы) и любых предпринятых последующих действий;
b) результативности любых корректирующих действий.
8.8 Внутренние аудиты
8.8.1 Провайдер проверки квалификации должен проводить внутренние аудиты с запланированной периодичностью для получения информации о том, является ли система менеджмента:
- собственным требованиям провайдера проверки квалификации к своей системе менеджмента, включая деятельность по проверке квалификации;
- требованиям настоящего стандарта;
b) результативно внедренной и реализуемой.
8.8.2 Провайдер проверки квалификации должен:
a) планировать, разрабатывать, внедрять и реализовывать программу аудита, в том числе в отношении периодичности, методов, сферы ответственности, планируемых требований и отчетности, которая должна учитывать важность соответствующей деятельности по проверке квалификации, изменения, влияющие на провайдера проверки квалификации, а также результаты предыдущих аудитов;
b) гарантировать, что внутренние аудиты проводятся сотрудниками, являющимися компетентными как в вопросах осуществления деятельности по проверке квалификации и проведения аудита, так и в отношении требований настоящего стандарта, а также независимыми от деятельности, в отношении которой проводится аудит, всегда, когда это позволяют имеющиеся ресурсы;
c) определять критерии аудита и область проведения каждого аудита;
d) обеспечивать доведение результатов аудита до соответствующих руководителей;
e) выполнять соответствующие коррекции и корректирующие действия без необоснованных задержек;
f) сохранять записи в качестве подтверждения реализации программы аудита и результатов аудита.
Примечание - В ISO 19011 приведены рекомендации по проведению внутренних аудитов.
8.9 Анализ со стороны руководства
8.9.1 Руководство провайдера проверки квалификации должно анализировать систему менеджмента с запланированной периодичностью, чтобы обеспечить ее постоянную пригодность, адекватность и результативность, включая заявленные политики и цели, связанные с выполнением требований настоящего стандарта.
8.9.2 Входные данные анализа со стороны руководства должны быть зарегистрированы и включать информацию относительно:
a) изменений во внутренних и внешних вопросах, имеющих отношение к провайдеру проверки квалификации;
b) достижения поставленных целей;
c) пригодности политик и процедур;
d) статуса действий, запланированных после предыдущих анализов со стороны руководства;
e) результатов последних внутренних аудитов;
g) оценок, проводимых внешними органами;
h) изменений объема и вида работ или области деятельности по проверке квалификации;
i) обратной связи от заказчиков, участников и персонала;
k) результативности реализованных улучшений;
m) результатов идентификации рисков;
n) итогов деятельности по наблюдению за процессами;
o) других значимых факторов, таких как обучение.
8.9.3 Выходные данные анализа со стороны руководства должны включать записи обо всех решениях и действиях, относящихся по крайней мере к:
a) результативности системы менеджмента и ее процессов;
b) улучшению деятельности, связанной с выполнением требований настоящего стандарта;
c) предоставлению необходимых ресурсов;
d) любой необходимости изменений.
ТИПЫ ПРОГРАММ ПРОВЕРКИ КВАЛИФИКАЦИИ
A.1 Общие положения
A.1.1 Проверки квалификации являются важным аспектом лабораторной практики во всех областях измерений, испытаний и калибровки, а также могут играть важную роль в инспекционной деятельности и деятельности по отбору проб. Программы проверки квалификации различаются в зависимости от потребностей, существующих в области, в которой они используются, свойств образцов для проверки квалификации, применяемых методов измерений или испытаний и количества участников. В самом простом случае большинство программ проверки квалификации представляют собой сличение результатов, полученных в одной лаборатории, с результатами, полученными в другой или в нескольких других лабораториях.
A.1.2 Программы проверки квалификации, как правило, имеют хотя бы одну из характеристик, объединенных в следующие классификационные признаки:
1) качественные (включая данные, полученные по шкале наименований или порядка);
2) количественные (включая данные, полученные по шкале разностей или отношений);
3) интерпретационные (включая информацию описательного или интерпретационного характера).
1) однократная (или реализуемая впервые) программа;
c) Способ распределения образцов:
2) последовательная программа с передачей образцов от одного участника к другому непосредственно или через провайдера проверки квалификации.
1) этап, предшествующий аналитическому исследованию (например, подготовка проб или порядок испытаний);
2) аналитическое исследование;
3) этап, следующий за аналитическим исследованием (например, интерпретация данных).
e) Метод определения приписанных значений (дополнительная информация приведена в приложении B):
1) опорные значения с установленной метрологической прослеживаемостью (например, к единицам SI);
2) согласованные значения на основании результатов, полученных от группы выбранных компетентных участников;
3) согласованные значения на основании результатов всех участников.
f) Критерии для оценивания характеристик функционирования (дополнительная информация приведена в приложении B):
1) на основании экспертного мнения или нормативных требований (например, предписанное значение);
2) на основании данных предыдущих раундов проверки квалификации рассматриваемой программы проверки квалификации или на основании показателей воспроизводимости применяемого метода измерений или испытаний;
3) на основании сравнения с результатами других участников;
4) с учетом неопределенности измерений результатов участников.
A.1.3 В зависимости от характеристик, объединенных в шесть классификационных признаков, перечисленных в A.1.2, может существовать множество различных видов программ проверки квалификации. При этом одна и та же программа проверки квалификации может одновременно иметь несколько характеристик из разных классификационных признаков.
A.2 Типы программ проверки квалификации
A.2.1 Программы проверки квалификации могут иметь различные классификационные признаки, зависящие от типа программы проверки квалификации, как описано в A.1.2. Ниже рассмотрены некоторые общие случаи применения таких типов проверок квалификации.
A.2.2 Параллельные программы проверки квалификации обычно касаются образцов, полученных из одного источника материала и распределенных параллельно между участниками для проведения одновременных измерений или испытаний. После завершения измерений или испытаний результаты направляются провайдеру проверки квалификации и сравниваются с приписанным значением(ями), чтобы определить характеристики функционирования отдельных участников и группы в целом. К примерам образцов для проверки квалификации, используемых в этом типе программ проверки квалификации, относятся пищевые продукты, биологические жидкости, сельскохозяйственная продукция, вода, почва, полезные ископаемые и другие природные материалы. В некоторых случаях распределяются отдельные порции ранее созданных стандартных образцов. Рекомендации или разъяснения являются типичной составляющей отчета, направляемого участникам провайдером проверки квалификации с целью содействия улучшению характеристик функционирования.
A.2.3 Последовательные программы проверки квалификации касаются образца для проверки квалификации, передаваемого последовательно от одного участника к другому или иногда направляемого обратно провайдеру проверки квалификации для перепроверки. Типичные основные особенности таких программ описаны ниже.
a) Существует референтная лаборатория (в качестве экспертной лаборатории), которая способна предоставить надежный образец для проверки квалификации и приписанное значение с метрологической прослеживаемостью и достаточно малой неопределенностью измерений по сравнению с заявленной неопределенностью измерений других участников. Для качественных или порядковых свойств приписанное значение следует определять как согласованное на основании мнений экспертов или в соответствии с другими авторитетными источниками. Для того чтобы не произошло значимого изменения приписанного значения, обычно требуется проводить контроль образца для проверки квалификации на определенных этапах выполнения программы проверки квалификации.
b) Отдельные результаты измерений или испытаний сравниваются с приписанным значением, установленным референтной лабораторией. Провайдер проверки квалификации должен принимать во внимание заявленную неопределенность измерений каждого участника или заявленный уровень экспертной оценки. Сравнение результатов измерений или испытаний по группам может оказаться сложным из-за сравнительно небольшого количества участников, имеющих сопоставимые измерительные или испытательные возможности.
c) Для завершения последовательных программ проверки квалификации требуются длительные промежутки времени (в некоторых случаях годы). Это вызывает ряд трудностей, таких как:
- обеспечение стабильности образца для проверки квалификации;
- строгий контроль за перемещением образца между участниками и временем, отводимым на измерение или испытание отдельными участниками, а также необходимость предоставлять информацию по отдельным характеристикам функционирования в процессе реализации программы проверки квалификации, не дожидаясь ее окончания;
- повышенная вероятность возникновения сговора между участниками.
d) Образцы для проверки квалификации, используемые в этом типе программ проверки квалификации, могут являться, например, исходными эталонами (например, резисторы, микрометры и частотомеры) или, в медицинских программах, гистологическими материалами с подтвержденными диагнозами.
e) В некоторых случаях приписанное значение образца для проверки квалификации может быть определено как согласованное значение, после того как все участники (или, в некоторых случаях, подгруппа участников) представят свои результаты измерений или испытаний.
f) Для последовательных программ проверки квалификации важно обеспечить соблюдение конфиденциальности и недопущение сговора между участниками, а также такой размер и такую внутреннюю однородность образца для проверки квалификации, чтобы можно было гарантировать, что образец, полученный первым участником, существенно не отличается от образца, полученного последним участником программы проверки квалификации.
A.2.4 Существует одно специфическое применение проверки квалификации, и в этом случае ее часто называют слепой или двойной слепой проверкой квалификации, когда образец для проверки квалификации неотличим от образцов обычного заказчика лаборатории или проб, получаемых лабораторией. Этот тип проверки квалификации может быть сложным в организационном отношении, так как провайдер проверки квалификации должен позаботиться о том, чтобы способ упаковки образца для проверки квалификации и порядок передачи его в лабораторию позволяли сохранить анонимность этого образца для лаборатории.
A.2.5 Обычным примером программы проверки квалификации является программа, основанная на плане с расщепленными уровнями, когда схожие (но не одинаковые) уровни свойства (измеряемой величины) или характеристики представлены двумя отдельными образцами для проверки квалификации. Этот план используется для получения оценок прецизионности участника на определенных уровнях свойства (измеряемой величины) или характеристики. Это позволяет избежать проблем, связанных с повторными измерениями или испытаниями на одном и том же образце для проверки квалификации, или проблем, связанных с включением двух одинаковых образцов для проверки квалификации в один и тот же раунд проверки квалификации.
A.2.6 Программы проверки квалификации неполного процесса и интерпретационные программы проверки квалификации представляют собой специальные типы программ проверки квалификации, включающие в себя оценивание способности участника выполнять отдельные части полного процесса измерений или испытаний, отражающие аспекты этого процесса измерений или испытаний на этапе выполнения аналитического исследования, а также на этапах до и после него. Например, в некоторых существующих программах проверки квалификации оценивают способность участников преобразовывать заданный набор данных и представлять соответствующий отчет, а не их способность проводить фактические измерения или испытания. От участников требуется давать трактовки (толкования), основанные на заданном наборе данных или на образцах для проверки квалификации, например таких, как окрашенные мазки крови для диагностирования, или отбирать и подготавливать пробы или образцы в соответствии с установленными техническими требованиями. В некоторых программах для проверки квалификации может потребоваться от участников направлять пробы провайдеру проверки квалификации для проверки или представлять ему план отбора проб.
A.2.7 Программы проверки квалификации отбора проб могут включать автоматический отбор проб и анализ или взятие проб из определенного источника либо подготовку проб из предлагаемой партии для последующих измерений или испытаний. Такие программы проверки квалификации могут разрабатываться для оценивания правильности выбора плана отбора проб и применения процедуры отбора проб или приготовления репрезентативных проб, необходимых для получения корректного заключения. Критерии для оценивания характеристик функционирования в этих программах проверки квалификации могут быть основаны на экспертном мнении. Образцы для проверки квалификации могут представлять собой встречающиеся на практике измерительные задачи, обусловленные нормативными требованиями или требованиями заказчиков. Программы проверки квалификации подобного рода обычно применяются с целью улучшения функционирования участников в таких областях, как отбор проб при анализе атмосферного воздуха, выбросов, шумового загрязнения, состояния окружающей среды в помещениях и угля.
A.3 Программы внешней оценки качества
A.3.1 Программы внешней оценки качества (External quality assessment - EQA) (например, такие, которые предусматриваются для лабораторных исследований в области медицины) предлагают большое разнообразие типов межлабораторных сличений, основанных на обычной модели программы проверки квалификации, но зачастую с более широкими возможностями применения по сравнению со многими из программ, которые описаны в A.1 и A.2. Многие программы EQA разрабатываются, чтобы обеспечить понимание полной цепочки последовательности производимых в лаборатории операций, а не только процессов, касающихся выполнения измерений или испытаний (или исследований). Большинство программ EQA являются непрерывными и включают длительный период наблюдения за характеристиками функционирования лаборатории. Характерной особенностью программ EQA является обучение участников и повышение качества. Для достижения этой цели частью отчета, направляемого участникам, являются рекомендации и разъяснения.
A.3.2 В некоторых программах EQA оценивают выполнение этапов измерений или испытаний, которые осуществляются до и после аналитического исследования, а также сам этап аналитического исследования. В таких программах EQA природа образца для проверки квалификации может значительно отличаться от тех, которые используются в более распространенных программах проверки квалификации, ограничивающихся этапом аналитического исследования. Образец для проверки квалификации может иметь вид анкеты или задания по решению определенной измерительной задачи, направляемых провайдером EQA каждому участнику для получения определенных ответов. Возможен вариант, когда образец для проверки квалификации может сопровождаться информацией относительно этапа, предшествующего выполнению аналитического исследования, что потребует от участников выбрать соответствующий подход к измерениям или испытаниям либо интерпретации результатов, а не только провести измерения или испытания. При выполнении программ, называемых "проверка проб", от участников может потребоваться предоставить свои образцы для проверки квалификации провайдеру EQA. Это могут быть специально подготовленный образец или проба (например, окрашенный препарат или биологическая ткань после фиксации) или лабораторные данные (например, результаты измерений или испытаний, отчеты лаборатории или записи об обеспечении качества/управлении качеством). Указанные аспекты не являются отличительным признаком программ EQA, и многие программы проверки квалификации также предусматривают проведение оценки процессов, входящих в цикл измерений.
A.4 Альтернативные типы межлабораторных сличений
A.4.1 Для того чтобы осуществить проведение проверки квалификации, должны существовать адекватные методы измерений или испытаний, должны быть в наличии подходящие образцы для проверки квалификации, а также, чтобы обеспечить коммерческую окупаемость подобного мероприятия, должно подобраться достаточное количество потенциальных участников. Все перечисленные условия не обязательно могут быть выполнены, если речь идет о новых областях измерений, испытаний, инспекционного контроля или отбора проб либо, например, об испытаниях новых патогенов или биологических маркеров. В таких ситуациях может быть целесообразно обратиться к другим типам межлабораторных сличений.
A.4.2 Одним особенным типом плана межлабораторных сличений, который часто используется заказчиками участников и некоторыми регулирующими органами, является тип программы с разделенной пробой. Обычно межлабораторные сличения с разделенной пробой включают сравнение данных, полученных небольшими группами участников (часто только двумя). При проведении таких межлабораторных сличений пробы продукции или материала делятся на две или более части, при этом каждый участник испытывает одну часть пробы. Межлабораторные сличения этого типа применяют для выявления недостаточной точности, установления постоянного смещения и проверки эффективности корректирующих действий. Данный план может использоваться для оценивания одного или обоих участников в качестве поставщиков услуг по измерениям или испытаниям или в случаях, когда количество участников программы слишком мало для достоверного оценивания результатов. При проведении таких межлабораторных сличений один из участников может рассматриваться как работающий на более высоком метрологическом уровне (т.е. с меньшей неопределенностью измерений), например, благодаря использованию референтных методов и более совершенного оборудования или за счет подтверждения своих характеристик функционирования путем успешного участия в общепризнанной программе межлабораторных сличений. В таких межлабораторных сличениях результаты лаборатории, работающей на более высоком метрологическом уровне, принимаются в качестве приписанных значений, и она может выступать как лаборатория-консультант или лаборатория-куратор по отношению к другому участнику(ам).
A.4.3 Может оказаться целесообразным провести пробные (или пилотные) межлабораторные сличения в соответствии с разработанным планом и схемой программы проверки квалификации, исключив при этом оценивание характеристик функционирования.
A.4.4 Двумя другими широко распространенными типами межлабораторных сличений являются совместные исследования, предназначенные для установления рабочих характеристик методов измерений или испытаний (см. ISO 5725), а также совместные исследования, проводимые с целью характеризации стандартных образцов (см. ISO Guide 35). В рамках настоящего стандарта подобные типы исследований не рассматриваются.
СТАТИСТИЧЕСКИЕ МЕТОДЫ ДЛЯ ПРОВЕРКИ КВАЛИФИКАЦИИ
B.1 Общие положения
B.1.1 Форма представления результатов проверки квалификации может быть различной, учитывая большое количество возможных типов программ проверки квалификации, описанных в приложении A. Статистические методы, используемые для анализа результатов проверки квалификации, должны соответствовать каждой ситуации, и поэтому они слишком разнообразны, чтобы все их возможные варианты можно было подробно охарактеризовать и рассмотреть в настоящем стандарте. Методы статистического анализа, которые могут применяться к большинству из существующих типов программ проверки квалификации, описанных в приложении A, приведены в ISO 13528. В ISO 13528 отмечается, что другие методы могут быть использованы при условии, что они являются статистически надежными и подробным образом описанными для участников. В ISO 13528 также приведено руководство по планированию и визуальному анализу данных. Другие справочные источники могут использоваться для специальных типов программ проверки квалификации, например в определенных областях измерений или испытаний или при освоении новых направлений применения проверки квалификации.
B.1.2 Методы, обсуждаемые в настоящем приложении и в ссылочных документах, охватывают основные шаги, являющиеся общими почти для всех программ проверки квалификации:
a) предварительная оценка однородности и стабильности образцов для проверки квалификации;
b) определение приписанного значения;
c) расчет статистик функционирования;
d) оценивание характеристик функционирования.
B.1.3 Статистические методы для аналитических исследований, отличные от тех, которые используются для обработки данных программ проверки квалификации, не рассматриваются в настоящем приложении. Для других целей использования данных межлабораторных сличений, перечисленных во введении и A.4, могут применяться другие методы обработки данных межлабораторных сличений.
B.2 Оценка однородности и стабильности образцов для проверки квалификации
B.2.1 Требования настоящего стандарта предусматривают выполнение оценки достаточности однородности и стабильности образцов для проверки квалификации с помощью надежных статистических методов. Процедура для выполнения данной задачи основана на учете риска в отношении того, что имеющиеся различия между образцами для проверки квалификации могут влиять на оценивание характеристик функционирования. Обычно выполнение данной задачи осуществляется посредством эксперимента с использованием репрезентативной выборки образцов для проверки квалификации, результаты которого должны демонстрировать небольшие приемлемые различия между образцами для проверки квалификации и последующего применения критерия достаточности однородности и стабильности, связанного с критериями оценивания характеристик функционирования. Подход, основанный на оценивании рисков, также позволяет использовать данные, полученные из предыдущего опыта и технической экспертизы. Статистические подходы, предназначенные для оценки достаточности однородности и стабильности, могут включать:
- исследование репрезентативной выборки образцов для проверки квалификации, обычно получаемой случайным образом из партии образцов для проверки квалификации после ее окончательной упаковки;
- анализ небольшой выборки образцов для проверки квалификации и сравнение различий между образцами с критериями, основанными на предыдущем опыте использования похожих образцов для проверки квалификации;
- анализ данных участников для проверки их согласованности с данными, полученными при проведении предыдущих раундов проверки квалификации (так, например, согласованность стандартного отклонения между участниками в текущем раунде с такой же статистикой в предыдущих раундах проверки квалификации, однородность образцов в которых была подтверждена экспериментальным путем, может свидетельствовать о достаточной однородности); этот подход заключается не в предварительном определении однородности образцов для проверки квалификации, а в последующей проверке, поскольку риск распространения неоднородной партии образцов для проверки квалификации является приемлемо низким.
B.2.2 Экспериментальные доказательства обычно требуются при проведении проверки квалификации в новых областях либо в случае применения новых процедур для изготовления образцов для проверки квалификации. Они также обычно необходимы для программ проверки квалификации, в которых используются неоднородные или нестабильные по своей природе материалы или потребительская продукция. Если провайдер проверки квалификации имеет опыт работы с образцами для проверки квалификации определенного типа, а также с методами их изготовления, существует лишь незначительный риск возникновения таких различий между образцами для проверки квалификации, которые могли бы повлиять на оценивание характеристик функционирования. Зачастую риски и сопутствующие расходы могут быть сведены к минимуму за счет использования предыдущего опыта и нескольких источников информации.
B.2.3 Несмотря на то, что способ оценивания однородности образцов для проверки квалификации может быть таким же, как при оценивании сертифицируемых стандартных образцов, во втором случае существует необходимость оценивать неопределенности, обусловленные различиями между образцами. С учетом необходимости получения надежной оценки данной составляющей для сертифицируемых свойств количество случайным образом отбираемых образцов может превышать количество, требуемое для целей проверки квалификации, где основная задача состоит в том, чтобы убедиться в отсутствии различий, которые могли бы оказать нежелательное влияние на результаты оценивания характеристик функционирования.
B.2.4 В случае с качественными и полуколичественными программами проверки квалификации требования к однородности и стабильности считаются выполненными, если вся репрезентативная выборка образцов для проверки квалификации имеет и (для стабильности) сохраняет с течением времени ожидаемые значения представляющих интерес свойств или характеристик.
B.2.5 Оценка однородности или стабильности также может потребоваться в случае, когда один и тот же образец для проверки квалификации последовательно передается между всеми участниками. Оценка однородности особенно важна в ситуациях, в которых значение свойства или характеристики может изменяться в зависимости от ряда факторов, таких как точка измерений или испытаний (например, глубина погружения) и частота.
B.3 Определение приписанного значения и его неопределенности
B.3.1 Существуют различные методы для установления приписанных значений, но все они не должны противоречить целям программы проверки квалификации. Наиболее распространенными методами для определения приписанного значения являются следующие:
b) использование сертифицированного стандартного образца;
c) использование результатов, полученных в одной лаборатории;
d) использование согласованного значения от экспертных лабораторий;
e) использование согласованного значения на основании результатов участников (выбранной подгруппы участников или всех участников).
Примечание - Подходы, указанные в перечислениях c), d) или e), могут включать использование референтной методики измерений.
B.3.2 Используемые статистические методы и способ оценивания характеристик функционирования в случае определения приписанного значения независимо от результатов участников (случаи, приведенные в перечислениях a), b), c), d)) будут отличаться от тех, которые будут применены в случае, когда приписанное значение выводится из результатов, полученных участниками (случай, приведенный в перечислении e)). Соответствующие статистические подходы описаны в ISO 13528.
B.3.3 Методы определения приписанных значений выбираются таким образом, чтобы обеспечить объективное оценивание участников и в то же время способствовать установлению сопоставимости результатов, полученных разными методами измерений или испытаний, как это перечислено в целях программы проверки квалификации. Может оказаться важным рассмотреть метрологическую прослеживаемость. Например, согласованные значения, определяемые на основании результатов участников и не обладающие метрологической прослеживаемостью, не подходят для использования в программах проверки квалификации в области калибровки.
B.3.4 Методы установления неопределенности приписанных значений для каждого статистического подхода подробно рассматриваются в ISO 13528. Дополнительная информация в отношении неопределенности также содержится в ISO/IEC Guide 98-3 и ISO Guide 35.
B.3.5 Для качественных и интерпретационных программ проверки квалификации доступен ряд вариантов, с помощью которых может быть выведено приписанное значение, а именно:
a) по результатам экспертной оценки;
b) с использованием имеющейся информации из сертификата на сертифицированный образец проверки квалификации;
c) на основе имеющихся знаний о происхождении или изготовлении образца (образцов) для проверки квалификации;
d) посредством использования моды или медианы результатов участников (медиана не подходит для значений качественных свойств).
B.3.6 В некоторых случаях при работе с качественными или интерпретационными программами проверки квалификации провайдер проверки квалификации может использовать согласованное значение, определяемое по согласованию с заранее установленным процентным большинством ответов (например, провайдер проверки квалификации может установить, что приписанное значение должно достигать согласования как минимум у 80% участников, чтобы ограничить риск того, что образец для проверки квалификации окажется нерепрезентативным или поврежденным). Указанный процент должен быть определен на основании целей программы проверки квалификации и уровня компетентности и опыта участников. Дополнительная информация, касающаяся обработки качественных данных, представлена в ISO 13528.
B.3.7 Если результаты участников подвергаются статистической обработке с целью определения приписанного значения или критерия для оценивания характеристик функционирования, провайдеры проверки квалификации должны иметь:
a) процедуры для работы с экстремальными результатами, которые в настоящем стандарте ранее были названы грубыми ошибками и выбросами (см. 7.4.1.5);
b) подробно описанные статистические процедуры для вычисления среднего и стандартного отклонений на основе данных участников, соответствующие целям программы проверки квалификации и количеству участников; эти процедуры должны включать этапы, которые позволяли бы убедиться в обоснованности статистических предположений (например, о том, что распределение результатов участников является унимодальным и относительно симметричным) (см. 7.2.2.3).
Примечание - В ISO 13528 рекомендуется применять робастные статистические методы для определения согласованного среднего и стандартного отклонений без необходимости исключения выбросов, однако при этом важно гарантировать, что результаты, идентифицируемые как грубые ошибки, не включаются в статистический анализ, независимо от того, используются ли робастные процедуры или нет.
B.3.8 Также следует принимать во внимание следующее:
a) если приписанные значения устанавливают как согласованные значения на основании результатов участников, то в идеале провайдер проверки квалификации должен иметь процедуру для определения достоверности приписанных значений и анализа распределения данных;
b) провайдер проверки квалификации должен иметь критерии для определения приемлемости приписанного значения на основании его неопределенности. Критерий (0,3σpt), рекомендованный в ISO 13528 для использования в большинстве случаев, основан на ограничении влияния, которое неопределенность приписанного значения оказывает на оценивание характеристик функционирования. Если этот критерий не выполняется, провайдер проверки квалификации должен применять другие способы оценивания характеристик функционирования, которые будут учитывать неопределенность.
B.4 Расчет статистик функционирования
B.4.1 Характеристики функционирования для количественных результатов
B.4.1.1 Результаты, представляемые участниками программы проверки квалификации, часто преобразовываются в статистики функционирования с целью их интерпретации и возможности сравнения с установленными целями. Задачей является представление отклонения от приписанного значения таким образом, который обеспечивал бы его простую и единообразную интерпретацию для различных раундов проверки квалификации одной и той же программы проверки квалификации, а также для различных свойств (измеряемых величин) или характеристик. Возможно применение как простых статистических методов, которые не требуют обработки данных, так и сложных методов со статистическими преобразованиями.
B.4.1.2 Статистики функционирования должны быть подходящими для интерпретации участниками. Наибольшей практической ценностью обладают такие статистики функционирования, которые выбираются в зависимости от соответствующих видов измерений или испытаний, используемых участниками, и являются понятными или общепринятыми в конкретной области или в конкретном профессиональном сообществе.
B.4.1.3 Используемые в большинстве случаев статистики для количественных результатов подробно описаны в ISO 13528 вместе с соответствующими формулами, необходимыми для их вычисления. Подробное описание является важным аспектом для правильного применения статистик, но его не представляется возможным привести в сокращенной форме в рамках настоящего стандарта. Далее приводятся основные статистические подходы.
a) Разность D между результатом участника и приписанным значением может быть рассчитана либо в виде абсолютной разности Di по формуле (B.1), либо в виде процентов от приписанного значения Di % по формуле (B.2).
где xi - результат, представленный i-м участником;
Характеристики функционирования обычно оцениваются с использованием критерия δ <*>, выраженного в виде абсолютного значения или в процентах, следующим образом:
<*> Подробная информация относительно данного критерия содержится в ГОСТ ISO 13528-2024 (пункты 8.3, 9.3).
- результат считается приемлемым и не требует выполнения каких-либо действий, если или если
;
- результат считается неприемлемым и требует выполнения корректирующих действий, если или если
.
b) Количественный показатель z рассчитывается в виде отношения разности между результатом участника и приписанным значением к заданному критерию функционирования, т.е. стандартному отклонению для оценки квалификации σpt, как показано в формуле (B.3):
Как описано в ISO 13528, стандартное отклонение σpt может быть получено одним из следующих способов:
- в виде значения, принятого экспертами, как соответствующего приемлемому уровню функционирования, установленному на основании мнения экспертов или в виде норматива (предписанное значение);
- исходя из опыта проведения предыдущих раундов проверки квалификации рассматриваемой программы проверки квалификации;
- с использованием основной модели, когда оценка может быть выведена из статистической модели воспроизводимости методов измерений или испытаний;
- с использованием комбинации стандартных отклонений повторяемости и воспроизводимости, информация о которых получена на основании ранее выполненного исследования прецизионности соответствующих методов измерений или испытаний или взята из справочной литературы;
- на основании данных, полученных в этом же раунде программы проверки квалификации, с использованием результатов участников, например, робастного стандартного отклонения, основанного на результатах участников.
Характеристики функционирования обычно оцениваются относительно стандартных критериев функционирования следующим образом:
- результат считается приемлемым, если |zi| <= 2,0;
- результат считается сомнительным (требуются предупреждающие действия), если 2,0 < |zi| < 3,0;
- результат считается неприемлемым (требуются корректирующие действия), если |zi| >= 3,0.
c) Количественный показатель z' аналогичен показателю z, но в нем учитывается поправка на неопределенность приписанного значения, и он рассчитывается в соответствии с формулой (B.4). Показатель z' учитывает стандартную неопределенность приписанного значения и используется в случаях, когда значение стандартной неопределенности приписанного значения не рассматривается как пренебрежимо малое, что приводит к такой же интерпретации, как для обычных количественных показателей z.
u(xpt) - стандартная неопределенность приписанного значения.
Оценивание характеристик функционирования может осуществляться таким же образом, как и при использовании показателя z.
d) Количественный показатель 
рассчитывается, как показано в формуле (B.5), в виде отношения разности между результатом участника и приписанным значением к суммарной стандартной неопределенности результата участника и приписанного значения. Это приводит к такой же интерпретации, как для обычных количественных показателей z.
где u(xi) - стандартная неопределенность результата измерений участника.
Характеристики функционирования могут оцениваться таким же образом, как для показателей z, или с использованием других критериев, основанных на соответствующей вероятности охвата для неопределенности.
e) Показатель En похож на показатель ζ
, за исключением того, что в нем вместо стандартных неопределенностей используются расширенные неопределенности, и он рассчитывается по формуле (B.6):
где U(xi) - расширенная неопределенность результата измерений участника;
U(xpt) - расширенная неопределенность приписанного значения.
Характеристики функционирования обычно оцениваются относительно стандартных критериев функционирования следующим образом:
- результат считается приемлемым и не требует выполнения каких-либо действий, если |(En)i| < 1,0;
- результат считается неприемлемым и требует выполнения корректирующих действий, если |(En)i| >= 1,0.
В общем случае результат будет тем лучше, чем ближе будет значение |En| к нулю, а значения, стремящиеся к 1,0, свидетельствуют о необходимости проведения дополнительного анализа. Приведенный стандартный критерий должен рассматриваться с учетом рисков, связанных с распределением вероятностей.
B.4.1.4 Также необходимо принимать во внимание следующее:
- для определения характеристики функционирования может оказаться достаточным вычислить обычную разность (или разность, выраженную в процентах) между результатом участника и приписанным значением, и ее легче всего понимают участники;
- вычисление процентилей или рангов является эффективным в случае, когда результаты в значительной степени рассеяны или асимметричны, когда получены ответы в виде порядковых данных или когда количество различных ответов ограничено. Этот метод следует использовать с осторожностью;
- в зависимости от характера измерений или испытаний может возникнуть необходимость в преобразовании результатов, но выполнять его следует с осторожностью. Например, результаты, основанные на разбавлении, являются формой геометрического масштабирования, преобразуемого логарифмически;
- если для определения стандартного отклонения для оценки квалификации применяется согласованное значение, то оценки изменчивости должны быть надежными, т.е. они должны быть основаны на достаточном количестве наблюдений, для того чтобы уменьшить влияние выбросов и достичь приемлемо низкой неопределенности. По возможности значение робастного стандартного отклонения результатов участников следует сравнивать со значениями, полученными в предыдущих раундах проверки квалификации, с целью выявления любого рода непредвиденных источников изменчивости в текущем раунде проверки квалификации.
B.4.2 Характеристики функционирования для качественных и порядковых результатов
B.4.2.1 Если используются статистические методы для обработки качественных или порядковых результатов, то они должны соответствовать характеру ответов.
B.4.2.2 Для качественных данных подходящим способом является сравнение результата участника с приписанным значением. Если они совпадают, то характеристика функционирования является приемлемой. Если они не совпадают, то необходимо использовать экспертную оценку для определения того, подходит ли результат для использования по назначению. В некоторых случаях провайдер проверки квалификации может проанализировать результаты участников и определить, что образец для проверки квалификации был неподходящим для оценивания или что приписанное значение было некорректным. Такие определения должны быть частью плана для программы проверки квалификации и должны быть понятны участникам перед началом выполнения программы.
B.4.2.3 Для порядковых результатов подходит процедура, используемая для качественных данных в соответствии с B.4.2.2. Порядковые результаты включают, например, ответы в виде указания марки или класса продукта, органолептических оценок или реакционной способности (например, 1+, 2+, 3+,...). Иногда такие ответы приводятся в виде чисел (например, 1 = плохо, 2 = неудовлетворительно, 3 = удовлетворительно, 4 = хорошо, 5 = очень хорошо). Не следует рассчитывать стандартные параметрические итоговые статистики для порядковых и качественных данных, даже если результаты представлены в числовой форме. Это объясняется тем, что подобного рода числа не принадлежат линейной шкале. Также при работе с порядковыми результатами будет неуместным использовать для оценивания данных такие статистики, как количественные показатели z. В этом случае следует использовать другие статистики для оценивания, такие как ранги или порядковые статистики, специально предназначенные для порядковых данных.
B.4.2.4 Существуют случаи, когда качественные или порядковые данные могут быть преобразованы в значения, отображаемые с помощью количественной шкалы, и получаемые для них статистики могут обрабатываться как количественные, с учетом соответствующих аспектов статистического распределения преобразованных результатов. Это могут быть следующие случаи:
a) программы проверки квалификации по определению свойства или характеристики, имеющей интенсивность, изменяющуюся нелинейным образом (порядковые данные) (например, скорость химической реакции или интенсивность вкуса), когда эти порядковые данные могут быть преобразованы в значения, располагаемые на линейной шкале с использованием объективных точек отсчета;
b) программы проверки квалификации, в которых каждый участник представляет некоторое количество качественных ответов (например, идентификация конкретного вида организма в нескольких образцах), и количественные статистики могут быть получены на основании этих результатов (например, доли ложноположительных и ложноотрицательных определений);
c) индексы характеристик функционирования, определяемые исходя из возможных последствий неправильной идентификации, например, 0 баллов - отсутствие последствий, 1 балл - неверная идентификация, но незначительные последствия, и 3 балла - значительные отрицательные последствия (примеры см. в [20], [21] и [22]).
B.4.2.5 Рекомендуется составить таблицу распределения результатов, полученных от всех участников, или построить соответствующую диаграмму вместе с указанием количества или процентного содержания результатов в каждой категории. Соответствующими итоговыми статистиками могут быть такие статистики, как мода (моды) (самые распространенные ответы) и диапазон (самый нижний и самый верхний ответы). Также подходящим критерием оценивания приемлемости результатов может быть их близость к приписанному значению; например, результаты внутри интервала, равного плюс или минус один ответ по отношению к приписанному значению, могут рассматриваться как соответствующие цели измерений или испытаний. В некоторых случаях может оказаться приемлемым оценивать характеристику функционирования на основании процентилей; например, 5% результатов, наиболее удаленных от моды или наиболее удаленных от приписанного значения, могут быть определены как недопустимые. Данный подход должен быть заложен в программу проверки квалификации (т.е. соответствие назначению) и должен быть заранее понятен участникам.
B.4.3 Комбинированные показатели функционирования
B.4.3.1 Характеристика функционирования может оцениваться на основании более чем одного результата участника в одиночном раунде проверки квалификации. Это происходит при наличии более чем одного образца для проверки квалификации для конкретного свойства (измеряемой величины), или характеристики, или совокупности взаимосвязанных свойств или характеристик. Такой подход позволяет выполнить более полное оценивание характеристик функционирования.
B.4.3.2 Графические методы, такие как, например, диаграмма Юдена, являются эффективными способами интерпретации характеристик функционирования (см. ISO 13528). Одним из распространенных комбинированных показателей для характеристик функционирования является просто количество (или процент) результатов, определенных как приемлемые.
B.4.3.3 В общем случае использование усредненных показателей для характеристик функционирования не рекомендуется, так как они могут маскировать плохую характеристику функционирования на одном или более образцах для проверки квалификации, причины которой необходимо исследовать.
B.5 Оценивание характеристик функционирования
B.5.1 Характеристики функционирования в текущем раунде проверки квалификации
B.5.1.1 Оценивание характеристик функционирования может осуществляться различными способами, позволяющими обеспечить соответствие целям программы проверки квалификации. Все подходы заключаются в сравнении результата участника с приписанным значением и определении того, могут ли какие-либо полученные разности свидетельствовать о необходимости анализа их участником или выполнения им соответствующих действий. Следует четко определить цели в отношении конкретного подхода (подходов), применяемого для каждого исследуемого свойства или характеристики:
a) оценить разность с точки зрения соответствия назначению (например, на основе нормативных критериев или технических возможностей метода измерений или испытаний), включая метрологическую прослеживаемость;
b) оценить разность относительно результатов других участников в текущем раунде проверки квалификации или в предыдущих раундах проверки квалификации (например, стандартное отклонение);
c) оценить разность относительно заявленной участником неопределенности измерений.
B.5.1.2 Для разных программ проверки квалификации и для разных свойств или характеристик в одной и той же программе проверки квалификации могут применяться различные подходы.
B.5.1.3 Статистические методы, применяемые в соответствии с тремя подходами, описанными в B.5.1.1, существенно различаются между собой.
- Для подхода согласно перечислению a) критерии известны заранее, перед началом проведения раунда проверки квалификации, и обычно не требуют выполнения статистических расчетов.
- Подход согласно перечислению b) обычно включает расчет стандартного отклонения с использованием результатов участника в текущем раунде программы проверки квалификации, но также может основываться на ожидаемом значении стандартного отклонения, которое определяется исходя из опыта, полученного при проведении предыдущих раундов проверки квалификации. Существует множество различных статистических процедур для выполнения таких расчетов, некоторые из них могут быть достаточно сложными и требовать наличия соответствующих навыков проведения статистического анализа.
- Подход согласно перечислению c) подразумевает наличие приписанного значения, обладающего метрологической прослеживаемостью, и подлежащих сравнению оценок неопределенности приписанного значения и неопределенности результата участника, однако сам процесс статистических расчетов для определения характеристики функционирования представляется несложным.
Критерии приемлемости для различных показателей функционирования рассматриваются в ISO 13528.
B.5.1.4 Там, где это возможно, следует использовать графики для наглядной демонстрации характеристик функционирования (например, гистограммы, столбиковые диаграммы ошибок, диаграммы упорядоченных количественных показателей z), как описано в ISO 13528. Такие диаграммы могут быть полезны для демонстрации многих различных аспектов характеристик функционирования и могут быть построены с использованием:
a) распределения результатов участников;
b) взаимосвязей между результатами участников, полученными на нескольких образцах для проверки квалификации;
c) сравнительных распределений для различных методов измерений или испытаний.
B.5.2 Наблюдение за характеристиками функционирования по прошествии времени
B.5.2.1 В программу проверки квалификации следует по возможности включать процедуры наблюдения за характеристиками функционирования по прошествии времени, например за период между двумя раундами проверки квалификации. Процедуры должны позволять участникам видеть изменчивость в своих характеристиках функционирования и определять, имеются ли где-то общие тенденции или несоответствия, а где характеристики функционирования изменяются случайным образом. Это может быть полезным для тех участников, от которых требуется провести анализ своих характеристик функционирования, установленных при проверке квалификации, в качестве одного из условий аккредитации.
B.5.2.2 Для облегчения интерпретации более широким кругом пользователей рекомендуется применять графические методы. В частности, для целей самосовершенствования особенно полезно использовать традиционные контрольные карты Шухарта. Таблицы данных и итоговые статистики позволяют проводить более детальный анализ. Для этих графиков и таблиц должны использоваться стандартизованные показатели функционирования, например такие, как количественные показатели z. В ISO 13528 представлены дополнительные примеры и графические методы.
B.5.2.3 Когда в качестве стандартного отклонения для оценки квалификации используется согласованное стандартное отклонение, следует проявлять осмотрительность при наблюдении за характеристикой функционирования по прошествии времени, так как состав группы участников может измениться, что окажет непредсказуемое влияние на показатели. Также характерным свойством межлабораторного стандартного отклонения является тенденция к его уменьшению по прошествии времени, так как участники постепенно осваивают программу проверки квалификации или же с течением времени улучшается сама методология измерений или испытаний. Это может стать причиной кажущегося улучшения показателей функционирования, при том что точность результатов участника остается неизменной.
СВЕДЕНИЯ О СООТВЕТСТВИИ ССЫЛОЧНЫХ МЕЖДУНАРОДНЫХ СТАНДАРТОВ МЕЖГОСУДАРСТВЕННЫМ СТАНДАРТАМ
БИБЛИОГРАФИЯ
<*> Заменен на ISO 33405:2024 Reference materials - Approaches for characterization and assessment of homogeneity and stability (Стандартные образцы. Подходы к характеризации и оценке однородности и стабильности).