Проблема разработки качества оказания медицинской помощи и пути ее оптимизации

Хафизьянова Р.Х., И.М. Бурыкин, Г.Н. Алеева. Проблема разработки качества оказания медицинской помощи и пути ее оптимизации // Экономика здравоохранения.- 2011.- № 11–12.- c. 50–56.

Резюме

Развитие медицины, появление большого количества альтернативных методов диагностики и лечения, переход на рыночные условия финансирования требует нового подхода к оценке эффективности и качества медицинской помощи. Существующий экспертный подход к оценке качества имеет много недостатков и требует пересмотра. В станах США и Европы  проблема оценки качества и безопасности медицинской помощи является ведущей и интенсивно совершенствуется последние двадцать лет. В работе представлен анализ современных методов к оценке качества медицинской помощи, рассмотрены достоинства и недостатки. Проведен сравнительный анализ и систематизированы подходы к оценке качества, используемые в США и странах Европы на основе клинических рекомендаций, критериев медицинской экспертизы и стандартов качества.

Содержание

Качество и доступность медицинской помощи являются одними из наиболее сложных проблем, стоящих перед всеми развитыми странами. Несмотря на большое число исследований и разработок до настоящего времени не существует единой и эффективной методологии построения системы качества как в отдельном медицинском учреждении, так и в здравоохранении в целом. Поэтому крайне актуально рассмотрение всех концепций, аспектов, подходов к оценке и управлению качеством.

Говоря о качестве с точки зрения сферы товаров и услуг можно встретить различные определения этого термина. В соответствии с ГОСТом 15467-79 «Управление качеством продукции. Основные понятия. Термины и определения» под качеством понимается совокупность свойств продукции, обусловливающих ее пригодность удовлетворять определенные потребности в соответствии с ее назначением. В соответствии с международным стандартом ИСО 9000:2000 качество – это совокупность свойств и характеристик продукции, которые придают ей способность удовлетворять обусловленные или предполагаемые потребности [6]. Можно также определить качество как совокупность характерных свойств, формы, внешнего вида и условий применения, которыми должны быть наделены товары и услуги для соответствия своему назначению. Таким образом, качество это второй критерий после цены, по которому потребитель определяет свое предпочтение при выборе товара или услуги.

С понятием качества товара или услуги неразрывно связано понятие системы менеджмента качества (системы управления качества, сокр. СМК), которое определяется как «система управления качеством производимой продукции в какой-либо организации». Если качество оценивается как свойство услуги или материальной вещи, то система управления качеством является обязанностью организации по управлению качеством производимых услуг или товаров. Становление СМК неразрывно связано со стандартами серии ISO 9000. Международная Организация по Стандартизации International Organization for Standardization (ISO) в 1987 году выпустила первый стандарт по системе управления качеством, названный  ISO 9000/87. В основу были положены стандарты, используемые военными для оценки качества поставщиков продукции для военных нужд. Наличие стандартов позволило разработать систему сертификации систем качества на предприятиях.

Сложность построения системы качества и согласование ее с другими процессами на предприятии привело к появлению самостоятельного направления менеджмента – менеджмент качества и формированию различных школ (подходов и концепций) управления качеством: TQM (total quality management), всеобщее управление качеством, 6-Sigm (бездефектное производство) и др. Основной целью СМК является обеспечение конкурентоспособности и финансовой устойчивости организации путем гармонизации запросов потребителей продукции, персонала предприятия, владельцев бизнеса и общества в целом.

Несмотря на интенсивный рост систем менеджмента качества в различных областях человеческой деятельности, медицина долгое время оставалась областью, где понятие качества ассоциировалось с уровнем образования и опытом работы персонала. В 70-х годах прошлого века в медицине произошли качественные сдвиги: появилось большое количество новых сложных медицинских вмешательств, усложнилось оборудование, появились новые эффективные и сильнодействующие препараты. Но наиболее значимым фактором стало изменение структуры заболеваемости — эпидемиологический переход, связанный с элиминацией инфекционных заболеваний, увеличением продолжительности жизни, ростом заболеваемости хроническими заболеваниями: диабет, атеросклероз, артериальная гипертензия и др. Это привело к геометрическому росту расходов на здравоохранение. Поскольку страхователи уже не могли обеспечить растущие потребности населения, остро встал вопрос об эффективности использования ограниченных ресурсов здравоохранения. Также важным вопросом, требующим решения, стало обеспечение безопасности пациента, связанной с высоким риском неблагоприятных эффектов и осложнений от используемых медицинских манипуляций.  

Любая система управления качеством строится на основе цикла Шухарта – Деминга, состоящего из циклических изменений по мере прохождения которых организация поднимается на качественно иной уровень развития. Цикл a состоит из этапов планирования (Р — Plan), выполнения (D — Do), проверки (изучения) (Check — С, Study — S) и действия (Action — А). Выстраивая систему качества, организатор обязан следовать этому плану, выполняя последовательно все этапы [6].

Самой важной отправной точкой построения системы непрерывного улучшения качества является критерии его показателей. Мы полагаем, что выполнить цикл качества можно только при условии оценки параметров улучшаемого процесса и при отсутствии методологии и инструментов измерения качества проведение системного улучшения услуги или продукта становится не выполнимым. Исследователь без объективной оценки качества оказания медицинской помощи никогда не сможет определить как необходимость изменений в системе здравоохранения, так и эффективность проводимых управленческих решений.

Отсутствие эффективной методологии оценки качества всегда было слабым местом построения систем управления качеством в медицине. В этой области комплексность и многофакторность процессов не позволяет сразу и однозначно оценить качество выполненных манипуляций и принятых решений, последствия которых могут быть оценены спустя годы в виде повышения продолжительности жизни или развития поздних осложнений.

Многие принципы построения систем качества в медицине были заимствованы из промышленности, главными из которых являются разработка и внедрение стандартов, нормативных документов, описывающих требования к выполнению технологии медицинских манипуляций, или оптимальному алгоритму диагностики и лечения. В зарубежной литературе подобные требования формировались в нормативные документы, издаваемые различными сообществами, и получили названия клинических рекомендаций (КР) или руководств [11, 12].

В процессе построения системы качества на основе клинических рекомендаций исследователями был накоплен значительный опыт решения проблем их внедрения. Было показано, что внедрение и использование клинических рекомендаций в деятельности медицинской организации позволяет получить значительный прирост результативности оказания медицинской помощи за счет повышения ее качества. В тоже время, многочисленными исследованиями было показано, что само по себе внедрение клинических рекомендаций в деятельность медицинского учреждения не приводит к ожидаемому изменению устоявшейся клинической практики [11]. Однако, в отличие от сферы производства и услуг, где процедуры оценки соответствия стандартам просты и четко регламентированы, комплексность и сложность клинических рекомендаций не позволяет страховым компаниям и пациентам «напрямую» использовать клинические рекомендации для оценки качества оказания медицинской помощи.

Для успешного внедрения клинических рекомендаций в деятельность медицинских организаций, по мнению ряда исследователей, необходимо придерживаться пяти ключевых положений. Во-первых, необходимо перейти от методического и добровольного использования клинических рекомендаций к использованию в качестве оценочного и регулирующего инструмента. Во-вторых, использование клинических рекомендаций должно быть увязано со стратегическими целями развития медицинской организации. В-третьих, за счет необходимого сотрудничества разработчиков и пользователей рекомендаций противоречия и неопределенности должны быть максимально устранены. В-четвертых, стратегия внедрения КР должна учитывать культуру и структуру организации. В-пятых, необходимы мероприятия направленные на специфические измерения, которые позволяют оценить процесс внедрения рекомендаций в клиническую практику здравоохранения.

Тем не менее, следует отметить, что создание КР само по себе не приводит к улучшению качества оказания медицинской помощи, поэтому необходимым является разработка четкого организационно — управленческого механизма, который позволил бы оценить результаты внедрения их в клиническую практику. Следует напомнить, что без этапа контроля параметров качества после внедрения усовершенствований цикл Шухарта – Деминга не будет выполнен.

Проводя параллели оценки качества в здравоохранении со сферой производства товаров и оказания услуг можно выделить два основных компонента – это качество процесса и качество результата. За качество процесса отвечает производитель, тогда как оценка результата осуществляется потребителем, который подтверждает или отвергает, выбирая данную услугу или продукт или отказываясь от нее. Следует отметить, что в медицине условия взаимодействия несколько иные. Неполная информированность о медицинской услуге, как таковой, и разное понимание качества со стороны врача и пациента усложняют процессы построения системы качества. Для потребителя — пациента важным является субъективное состояние его здоровья и качество жизни в данный момент времени, тогда как для врача большее значение имеют клинические показатели, нормализация функций организма, профилактика возможных осложнений и отдаленных последствий. При этом у пациента отсутствует право выбора и он ограничен в возможности заменить необходимую медицинскую услугу на альтернативную. Повлиять на результаты терапии он может частично, полностью выполняя назначения врача и его рекомендации по изменению образа жизни.

Сложной проблемой является взаимосвязь качества лечения и здоровье пациента после оказания ему медицинской помощи. Например, для клинического случая исходом может быть улучшение, выздоровление, появление осложнений, ухудшение состояния здоровья и смерть пациента. В масштабах медицинского учреждения они будут отражать относительные величины смертности, выздоровления, инвалидности и др.

Существует общепринятое мнение, что по результатам исходов можно оценить деятельность медицинского учреждения. Например, если в клинике А смертность от инфаркта ниже, чем в клинике В, то качество лечения в клинике А выше. Повышение заболеваемости в конкретно взятом районе может быть связано с низким качеством работы профилактического звена учреждений здравоохранения.

Однако, на результаты оказания медицинской помощи влияют не только используемые технологии и качество фармакотерапии, но и состояние пациента, тяжесть заболевания, пол, возраст, наличие сопутствующей патологии и др. Соответственно высокая смертность в клинике А может быть вызвана более тяжелым состоянием поступивших пациентов. Поэтому, прямое использование результатов исходов для оценки качества не всегда является обоснованным.

Это распространенное заблуждение было также опровергнуто научными работами ряда исследователей. Изучение различия смертности от инфаркта миокарда не выявило взаимосвязи между разницей в смертности и качеством оказываемой медицинской помощи [13]. Оценка качества процесса является необходимым компонентом, позволяющим выявить скрытые проблемы лечебно-диагностического процесса. В частности, изучение работы офисов врачей общей практики в Англии не выявило корреляции между возрастной и половой структурой пациентов и частотой назначения ряда индикаторных исследований (уровня холестерина, креатинина). На основании этих данных авторами исследования утверждалось, что различия в процессе и стереотипах диагностики и лечения заболеваний являются основной причиной наблюдаемых явлений [14]. Исследование частоты использования различных лабораторных микробиологических исследований выявило необъяснимую разницу между лабораториями клиник различных регионов. Даже после исключения всех кофакторов таких как структура заболеваемости и характеристика пациентов разница между лабораториями была статистически достоверной. По мнению авторов исследования, причиной этих различий является различный подход врачей этих клиник при терапии инфекционных заболеваний [15].

Эти данные показывают более значимую роль оценки процесса оказания медицинской помощи. Регистрация только исходов лечения не позволяет адекватно оценить качество медицинской помощи и поэтому она должна быть неразрывно связана с оценкой самого процесса оказания медицинской помощи в целом. Поэтому, мы считаем, что разработка эффективной и достоверной системы оценки процесса оказания медицинской помощи является также приоритетным направлением здравоохранения.

Изначально качество медицинской помощи оценивалось на основе так называемого ситуационно-экспертного подхода. В его основе лежит использование труда профессионала — эксперта, который анализируя медицинскую документацию, выявляет дефекты процесса оказания медицинской помощи, имеющиеся несоответствия, использование нерациональных методов лечения, оценивает адекватность и эффективность используемых подходов. По результатам экспертизы составляется экспертное заключение. Итоги работы экспертов могут использоваться для принятия управленческих решений. Но следует учитывать, что для реализации такого подхода необходимы высококвалифицированные эксперты, что приводит к высокой стоимости выполняемой ими работы. С одной стороны эксперту необходимо самосовершенствоваться, работая в клинической области, с другой стороны, экспертиза небольшой выборки медицинских карт затратна как по времени, так и по ресурсам.

Важным моментом понимания низкой эффективности такого подхода является понятие о «скрытых знаниях» [9]. В своей работе эксперт оперирует малоформализованными знаниями из своего опыта, результатами ранее им успешно решенных клинических ситуаций. Рассуждения эксперта базируются на «знаниях, накопленных из своего личного опыта доступные только ему самому». В этой ситуации возникает сложная проблема, связанная с доказательностью и обоснованностью принимаемых решений, поскольку опыт человека может содержать большое число заблуждений и представлений, не подкрепленных доказательными фактами [10]. Эксперты, имея различный опыт, будут давать неоднозначные оценки по одному и тому же случаю оказания медицинской помощи или клинической ситуации. Субъективизм экспертов будет порождать проблему «ложноотрицательных» результатов, когда дефекты могут быть пропущены в силу невнимательности. На количество выявленных нарушений будут оказывать влияние разные стимулы. При установлении финансовых санкций за выявление нарушений у эксперта появляется стимул к повышению количества дефектов при проводимых проверках и снижению (сокрытию) дефектов выявляемых самими организациями. Стремление руководителей к достижению высокого рейтинга медицинского учреждения будет стимулировать сотрудников к сокрытию фактов наличия дефектов, что ведет к их низкой выявляемости. Скорректировать эти стимулы крайне сложно. В итоге результаты работы нескольких экспертов не позволяют адекватно судить о качестве оказанной медицинской помощи.

Клинические рекомендации в свою очередь – это формализованные «явные» знания, основанные на систематизации опыта огромного числа экспертов, клинических исследований и обзоров медицинской литературы. Используя их как основу для построения критериев качества можно нивелировать от субъективизма и неопределенности скрытых знаний, присущих отдельно взятому человеку.

Все вышеизложенное стало основой того, что в развитых странах экспертиза качества медицинской помощи, основанная на ситуационно-экспертном подходе, перестала быть основным инструментом его оценки. Результаты целенаправленных исследований показали, что большее значение для оценки качества имеют системные нарушения процесса, нежели выявление отдельных дефектов в работе. Системные нарушения и дефекты оказывают гораздо большее влияние на результаты терапии и отдаленные исходы, чем отдельные выявленные случаи [12].

Важным трендом развития системы оценки качества является переход к популяционным оценкам. Зарубежные исследователи отказались от оценки качества лечения отдельного пациента и перешли на оценку качества его в популяции, т.е. (различных групп и слоев), поскольку популяционные оценки не содержат искажений, вызванные отдельными случаями. С использованием ситуационно-экспертного подхода возможна оценка лишь определенной доли случаев (например, 1-5 % всех историй болезни). Проверить все случаи не представляется возможным в силу затратности подхода. Поскольку оценивается только доля популяции, в результатах такой оценки будет присутствовать систематическая ошибка, связанная с методологией отбора случаев для экспертизы. Учесть такие факторы как сезонность, субъективизм отбора случаев для экспертизы представляется затруднительным. В то время как, измерение с использованием формализованных показателей позволяет оценить процесс в целом по популяции и провести сравнения на уровне региона или медицинского учреждения.

Подобная количественная оценка качества медицинской помощи получила название индикаторной и в ее основе лежит набор формализованных индикаторов. В отечественной литературе публикации на тему создания и использования индикаторов малочисленны, практически отсутствует их систематизация. В доступной литературе, как правило, цитируются и анализируются индикаторы, описанные в зарубежных исследованиях [5]. Мы полагаем, в связи с различной системой организации медицинской помощи практическое использование индикаторов, которые разработаны за рубежом, представляется затруднительным.

Тем не менее, формализованность оценки индикаторов делает процесс оценки максимально объективным. В процессе построения итоговой оценки индикатора случайные отклонения нивелируются, что делает такой метод устойчивым к отклонениям и выбросам. Сопоставимый набор индикаторов позволяет оценивать временную динамику показателей, различия между субъектами оказания медицинской помощи и изменение индикаторов в ответ на внедрение различных программ, направленных на совершенствование отечественного здравоохранения.

К сожалению, в нашей стране подобная методология оценки качества пока не используется. Привлечение зарубежного опыта крайне ограничено  в связи с иной структурой и оснащенностью здравоохранения, что делает необходимой разработку собственной национальной и региональной системы индикаторов качества оказания медицинской помощи.

Следует отметить, что в основе построения системы качества в зарубежных странах используются два компонента. Первым компонентом являются клинически ориентированные руководства, которые могут использоваться врачами, научными работниками, преподавателями, обучающими практических врачей. Эти документы помогают врачам в принятии решения по выбору тактики диагностики, рационального способа лечения, а также технологии используемых медицинских вмешательств.

Ко второму компоненту относятся документы, связанные с технологией оценки качества: критерии медицинской экспертизы (medical review criteria), стандарты качества (quality standarts), индикаторы эффективности (таб. 1.). Посредством этих документов, имеющих юридическую силу, и разработанной методологии специалисты страховых организаций, медицинские учреждения могут оценить эффективность и качество медицинской помощи. По результатам можно вывести количественные показатели качества работы различных медицинских учреждений, которые позволят провести их сравнительную оценку.

В США и странах Европы были сформированы комитеты, которые разрабатывали и совершенствовали необходимые требования, ключевые направления, техническое обеспечение и другие аспекты необходимые при разработке руководств. В США, в частности, такой комитет был создан на базе Института медицины (IOM) [12]. По определению IOM, практические рекомендации являются «систематически разрабатываемыми утверждениями для содействия практическому врачу и пациенту о необходимости и должной медицинской помощи для специфической клинической обстановки» [12]. При этом «систематически разрабатываемые утверждения» формируются исходя из анализа литературы, отбора результатов исследований и согласованного мнения экспертов.

В критерии медицинской экспертизы входят нормативные документы, которые используется экспертами при проведении аудита учреждений или при проверке первичной медицинской документации. Индикаторы эффективности — оценочные показатели выполнения положений рекомендации или руководства. Данные показатели оцениваются по выбранной популяции и выражаются в виде доли случаев, в которых данный признак имеется в наличии, и рассчитываются по отношению к общему объему выборки. Стандарты качества отражают должный уровень индикатора эффективности (таб. 1).

Таблица 1 — Документы системы контроля качества в здравоохранении, принятые в США и странах Европы [12].

Клинические руководстваСистематически разрабатываемые руководства для помощи врачу и пациенту в принятии решения
Критерии медицинской экспертизыСистематически разрабатываемые руководства, которые используются для оценки специфического решения врача, выполненной технологии, услуги и исхода.
Индикаторы эффективностиМетоды или инструменты для оценки соответствия действий врача клиническому руководству.
Стандарты качества1) минимальный уровень допустимого результата; 2) наилучший уровень эффективности или результата; 3) перечень допустимых значений эффективности или результата.

В основе действующей системы нормативных документов по качеству в Российской Федерации лежат стандарты, методические рекомендации, руководства [4]. Разработано большое количество документов и рекомендаций российскими профильными сообществами. Однако, до настоящего момента законодательно не определены механизмы и пути их внедрения в практику и не разработаны критерии контроля их выполнения, что вызывает критику со стороны специалистов [2, 7]. Определенный российский парадокс связан с тем, что, несмотря на разработку огромного объема нормативных документов по качеству, контроль их внедрения не осуществляется полновесно. Отсутствует законодательная база по единой методологии оценки соответствия медицинской помощи стандартам, что приводит к практике вольного толкования нормативных документов [1]. Имеются юридические разногласия в отношении обязательности применения стандартов [8].

Как известно, в стандарте конкретно указаны объемы медицинской помощи, а не рекомендации врачу по оптимальной диагностике или лечению, указаны частота и кратность процедур. В тоже время, если рассчитать клинико-экономическую матрицу по результатам лечения в конкретном учреждении, она будет отличаться от стандарта [3].

Возникает вопрос, связаны ли данные отличия с качеством оказанной медицинской помощи? На объем медицинской помощи влияют несколько факторов. Наиболее важный фактор – это качество оказания медицинской помощи. Разные специалисты в силу различий в опыте и квалификации будут использовать диагностические и лечебные мероприятия с различной частотой. В ряде случаев исследования могут быть не выполнены из-за отсутствия квалифицированных специалистов или необходимой квалификации.

Среди факторов, не связанных с качеством и оказывающих влияние на объем медицинской помощи, следует отметить, степень тяжести заболевания, наличие сопутствующей патологии, оснащенность оборудованием медицинского учреждения и др. При поступлении большего числа пациентов с более легким течением заболевания клинико-экономическая матрица сместиться в сторону меньшего объема медицинской помощи, а при поступлении более тяжелых пациентов, имеющих сопутствующую патологию (сахарный диабет, бронхиальная астма, артериальная гипертензия, сердечная недостаточность и т.д.) — в сторону оказания большего количества медицинских услуг. Оснащенность учреждения современным оборудованием будет способствовать к увеличению объемов медицинской помощи. Поэтому, оценивая соответствие оказания медицинской помощи федеральному стандарту и строя клинико-экономическую матрицу, невозможно проведение оценки взаимосвязи с регистрируемыми изменениями объема оказания медицинской помощи с ее качеством и иными факторами. Кроме того, отделить имеющиеся друг от друга не представляется возможным.

С точки зрения врача, использовать стандарт как руководство представляется затруднительным. Если в стандарте для медицинского исследования указана частота менее единицы, например 0,5, то принять на основании этого решение о целесообразности или необходимости данной услуги пациенту не представляется возможным. Необходим анализ литературных источников и выбор показаний к назначению указанной медицинской услуги конкретному пациенту в конкретной клинической ситуации. Наличие кратности проведения той или иной процедуры, или лабораторного исследования в стандарте также не обеспечивает врача информацией необходимой для принятия решения.

Общепринято, что при разработке клинических рекомендаций или руководств необходимо оценивать каждую рекомендацию с позиции доказательной медицины, присваивая каждому положению КР уровень доказательности. Это дает врачу полезную информацию, необходимую для принятия правильных решений. В федеральных стандартах данная информация отсутствует, что затрудняет оценку врачом необходимости той или иной манипуляции.

Таким образом, исследуя различные подходы к оценке качества оказания медицинской помощи, можно заключить, что требуется дальнейшее совершенствование методологии и создание единого алгоритма его контроля, а не ограничиваться только созданием стандартов, рекомендаций и руководств, что позволит повысить качество оказания медицинской помощи.

Литература

  1. Быкова Ж.Е. Методические подходы к оценке медико-экономических стандартов и возможности их использования в практике здравоохранения / Ж.Е.Быкова // Проблемы социальной гигиены и история медицины.- 1996.- №1.- С.47-49.
  2. Гетьман М.А. Рекомендовать нельзя обязать // Медицинский вестник.- 2008.- №30.
  3. Клинико-экономические   матрицы   планов   ведения   больных  как основа расчета затрат на обеспечение медицинской помощи / Р.А.  Хальфин , Е.П. Какорина, П.А. Воробьев и др. // Пробл. стандартизации в здравоохранении. — 2004. — №9. — С.3-11.
  4. Лукъянцева Д.В. Прошлое настоящее и будущее стандартов // Проблемы стандартизации в здравоохранении.- 2007.- №8.- c.3-7.
  5. Полубенцева Е.И., Улумбекова Г.Э., Сайткулов К.И. Клинические рекомендации и индикаторы качества в системе управления качеством медицинской помощи: Методические рекомендации.- М.:ГЭОТАР Медиа, 2006.- 60 с.
  6. Ребрин Ю.И. Управление качеством: Учебное пособие.- Таганрог, 2004.- 174 с.
  7. Самородская И.В. Управление без доказательств / И.В.Самородская, В.И.Перхов // «Медицинский вестник».- 2008.- №38 (465).- с.4-5.
  8. Стожаров В.В. Перспективы использования медицинских стандартов: правовые аспекты / В.В.Стожаров, Н.И.Вишняков, Н.В. Кечаева // Менеджер здравоохранения, 2005. — N 9. — С. 15-17.
  9. Хафизьянова Р.Х., Бурыкин И.М., Алеева Г.Н. Управление знаниями как фактор конкурентноспособности учреждений здравоохранения в современных рыночных условиях. Материалы Международной научно – практической конференции «Роль неправительственных организаций в решении проблем, связанных с разработкой и внедрением инновационных технологий во всех сферах человеческой деятельности» (1 часть).- Казань, 2009.- с. 388 – 393.
  10. Хафизьянова Р.Х., Бурыкин И.М., Алеева Г.Н.. Математическая статистика в экспериментальной и клинической фармакологии.- Казань: Медицина, 2006.- 374 с.
  11. Curry S.J. Organizational interventions to encourage guideline implementation // Chest.- 2000.- 118(2).- 40S-46S.
  12. Institute of Medicine. Committee on Clinical Practice Guidelines. Guideline for clinical practice: from development to use. Field M.J. Lohr K.N., editors.- Washington, DC: National Academy Press.- 1992.
  13. Mant J. Detecting differences in quality of care: the sensitivity of measures of process and outcome in treating acute myocardial infarction / J.Mant, N.Hicks // BMJ.- 1995.- v.23(311).- p.793-6.
  14. Is clinical practice variability the major reason for differences in pathology requesting patterns in general practice? / W.S.Smellie, M.J.Galloway, D.Chinn, P.Gedling // J Clin Pathol.- 2002.- v.55(4).- p.312-4.
  15. Smellie W.S. A laboratory based intervention to improve appropriateness of lipid tests and audit cholesterol lowering in primary care / W.S.Smellie, R.Lowrie, E.Wilkinson // BMJ.- 2001.- v.323(7323).- p.1224-1227.