Мудрый Экономист

Оценка качества услуг в сфере культуры: методология и методика формирования и измерения показателей

"Руководитель автономного учреждения", 2012, N 4

Формирование набора показателей качества государственных услуг и определение способов их измерения является краеугольным камнем и одновременно наиболее проблемным этапом процесса стандартизации государственных социальных услуг. В настоящей статье представлена методика стандартизации таких услуг, разработанная в Новосибирской области и апробированная в учреждениях культуры региона <1>.

<1> Статья подготовлена по материалам выступления на Межрегиональной научно-практической конференции "Менеджмент качества в сфере культуры. Опыт. Проблемы. Решения", организованной Министерством культуры Новосибирской области.

Аргументы "за" и "против"

Деятельность учреждений культуры и продукты духовного производства менее всего поддаются стандартизации и формализованной оценке. Поэтому формирование показателей качества для этой сферы - процесс, проблематичный вдвойне. Во-первых, сами представления о качестве и стандарте качества духовного продукта исторически изменчивы: существует множество примеров неприятия публикой и критикой произведений, впоследствии ставших классикой, признанными шедеврами. Во-вторых, оценка качества зависит от аудитории (восприятия творческого продукта различными социальными группами). Диаметрально противоположные оценки зачастую дают произведениям искусства и критики. В-третьих, стандартизация таит угрозу усиления политической ангажированности искусства, диктата государства, возрождения цензуры.

Аргументы в пользу стандартизации тоже весьма существенны. Прежде всего, стандарт государственной услуги является основой для "обратной связи" по деятельности учреждений. Для коммерческих организаций вообще и социальной сферы в частности такую роль выполняет рынок: потребители "голосуют ногами". Бюджетным организациям - а учреждения социальной сферы и в особенности сферы культуры на современном этапе социально-экономического развития страны не могут, на наш взгляд, существовать без бюджетной поддержки - "обратную связь" необходимо выстраивать. Именно стандарт качества повышает эффективность взаимодействия поставщика и потребителя за счет упорядочения обязательств первого перед вторым, создания (в случае включения опроса потребителей в систему мониторинга и оценки качества услуги) механизма контроля и оценки услуг со стороны потребителя.

Кроме того, стандарт государственной услуги оптимизирует и рационализирует контроль качества услуг со стороны государства, является необходимым элементом системы управления и бюджетирования по результатам.

Роль управления, ориентированного на результат (в частности, бюджетирования по результатам), и стандарта государственных услуг как неотъемлемого элемента этой технологии в повышении качества госуслуг становится очевидной, если представить процесс управления по результатам в виде последовательности, определенной установками Концепции административной реформы <2> и Концепции реформирования бюджетного процесса <3>. В частности, можно выделить следующие этапы внедрения управления по результатам в сфере предоставления государственных услуг:

  1. формирование набора показателей результативности;
  2. разработка стандарта услуги;
  3. мониторинг показателей результативности;
  4. оценка эффективности использования бюджетных средств, соответствия показателей результативности и стандарта;
  5. бюджетирование на основе оценки эффективности;
  6. корректировка деятельности, не соответствующей стандарту, поощрение деятельности, соответствующей стандарту.
<2> Одобрена Распоряжением Правительства РФ от 25.10.2005 N 1789-р.
<3> Одобрена Постановлением Правительства РФ от 22.05.2004 N 249.

Этапы стандартизации

Однако, несмотря на очевидную позитивную роль стандартов в повышении качества государственных услуг, процесс реальной стандартизации осложняется рядом проблем.

Во-первых, со стороны представителей ряда отраслей социальной сферы (прежде всего образования и культуры) наблюдается стойкое неприятие характеристики их деятельности как сферы предоставления услуг и обслуживания, зачастую отторгается сама идея стандартизации и формализации оценки качества со стороны органов власти. Основания этого неприятия частично были приведены выше.

Во-вторых, отсутствует единая или вариативная методика разработки стандартов и выделения показателей их качества, необходимая нормативно-правовая база недостаточна.

В-третьих, не решены вопросы организационного, кадрового, финансового обеспечения процесса стандартизации на уровне как органов власти, так и организаций, предоставляющих государственные услуги.

Специалисты кафедры государственного и муниципального управления Сибирской академии государственной службы (Новосибирск) в 2007 - 2008 гг. провели исследование и предложили подход к решению ряда представленных проблем применительно к сфере культуры (в частности, к театрально-зрелищным учреждениям) <4>. Мы разработали методологию и методику стандартизации государственных услуг, в соответствии с которыми были сформированы стандарт услуг театрально-зрелищных учреждений и система мониторинга их оказания.

<4> Гранты СибАГС и администрации Новосибирской области "Разработка стандартов бюджетных услуг в сфере культуры, предоставляемых за счет средств областного бюджета населению Новосибирской области" и "Разработка системы мониторинга исполнения государственных функций и оказания государственных услуг в сфере культуры органами исполнительной власти Новосибирской области и подведомственными организациями".

Предложенная методика рассматривает процесс стандартизации как последовательность следующих этапов:

  V   Разработка стандарта государственной услуги:
- формирование модели стандарта качества услуг;
- анализ и декомпозиция процессов предоставления государственной
услуги;
- классификация процессов в соответствии с разделением их на
непосредственное предоставление услуг и создание условий для него;
- выявление показателей качества услуг;
- определение источника информации о показателях и способах их
измерения.
---------------------------------------------------------------------
V Мониторинг качества фактически предоставляемых государственных услуг,
выявление значений показателей на основе:
- опроса потребителей;
- наблюдений экспертов;
- опроса производителей (поставщиков) услуг;
- статистического наблюдения.
---------------------------------------------------------------------
V Оценка степени соответствия качества фактически предоставляемых
государственных услуг стандартам качества.
---------------------------------------------------------------------
V Интегральная оценка качества предоставляемых госуслуг.
---------------------------------------------------------------------
V Корректировка нормативных значений показателей или других элементов
стандарта качества услуги.

Остановимся на наиболее проблемных и методологически значимых результатах исследования, нашедших отражение в предложенной методике стандартизации.

Модель стандарта

Первым результатом стала модель стандарта государственной услуги в сфере культуры. При ее формировании авторы определили, во-первых, структуру стандарта государственной услуги, во-вторых, способ оценки качества каждого из ее элементов.

Структура стандарта была представлена совокупностью двух элементов: стандарта процессов создания условий для предоставления услуги и стандарта процесса предоставления услуги. При этом первый элемент включает в себя стандарты руководящих, основных и вспомогательных процессов, а второй - стандарты предоставления основных и сопутствующих услуг (см. ниже).

Структура стандарта государственных услуг

           ---------------------------------------------------¬
¦ Стандарты государственных услуг в сфере культуры ¦
L------T-------------------------------------T------
¦/ ¦/
-------------------------------------------¬ ----------------------------¬
¦ Стандарты (регламенты) процессов создания¦ ¦ Стандарты процесса ¦
¦ условий для предоставления услуг ¦ ¦ предоставления услуг ¦
L---------------------------------------T--- L-------------------------T--
¦ ¦
-------------------------------------¬ ¦ -----------------------¬ ¦
¦ Стандарты руководящих процессов ¦<-+ ¦ Стандарты основных ¦<-+
L------------------------------------- ¦ ¦ услуг ¦ ¦
-------------------------------------¬ ¦ L----------------------- ¦
¦ Стандарты основных процессов ¦<-+ -----------------------¬ ¦
L------------------------------------- ¦ ¦ Стандарты ¦<--
-------------------------------------¬ ¦ ¦ сопутствующих услуг ¦
¦ Стандарты вспомогательных процессов¦<-- L-----------------------
L-------------------------------------

При оценке качества каждого из этих элементов авторы исходили из ряда предпосылок: как методологическая основа использовалась "модель оправданных ожиданий" (термин Р. Оливера), качество рассматривалось как "степень, с которой совокупность собственных характеристик выполняет требования" (Международный стандарт ИСО 9000:2000).

Принятие модели оправданных ожиданий за основу стандарта качества потребовало определения конкретных субъектов ожидания, то есть субъектов, задающих требования стандарта. Так, их круг при формировании стандарта качества услуг театрально-зрелищных учреждений будет включать непосредственных потребителей услуг, общественность, заказчиков услуг (органы управления сферой культуры), а также экспертов, являющихся носителями ожиданий с позиций передового мирового уровня.

Взаимодействие субъектов при формировании стандарта качества услуг (требований к качеству услуг)

------------------¬                                            -----------¬
¦Потребители услуг¦<------------------------------------------>¦Органы ГМУ¦
L--------------T--- L--T--------
/¦ L------------¬ -------------- /¦
¦ ¦/ ¦/ ¦
¦ -----------------------------------¬ ¦
¦ ¦ Формирование стандарта качества ¦ ¦
¦ L----------------------------------- ¦
¦ /¦ /¦ ¦
¦/ -------------- L------------¬ ¦/
---------------+--¬ ---+-------¬
¦ Поставщики услуг¦<------------------------------------------>¦ Эксперты ¦
L------------------ L-----------

К информации, необходимой для формирования стандартов качества - требований субъектов ожиданий, относятся данные об уровне требований к качеству услуг по результатам опросов потребителей, прогнозные показатели требований потребителей, существующие ГОСТы на вспомогательные процессы и др.

Данные, необходимые для формирования стандарта бюджетных услуг

-------------------¬  ---------------------------------¬  ----------------¬
¦Уровень требований¦ ¦ Социальные нормативы, ¦ ¦ Прогнозные ¦
¦ к качеству услуг +¬ ¦ государственные и муниципальные¦ -+ показатели ¦
¦ по результатам ¦¦ ¦ здания и заказы, реализующие ¦ ¦¦ потребителей ¦
¦ опросов ¦¦ ¦ цели государственной социальной¦ ¦¦ ¦
¦ потребителей ¦¦ ¦ политики ¦ ¦¦ ¦
L-------------------¦ L----------------T---------------- ¦L----------------
L------¬ ¦ -------
¦/ ¦/ ¦/
-------------------¬ ---------------------------------¬ ----------------¬
¦ Экспертные ¦ ¦ Стандарт качества услуг ¦ ¦ Существующие ¦
¦ заключения о ¦ ¦ ¦ ¦ ГОСТы на ¦
¦ требовании к ¦->¦ ¦<-+вспомогательные¦
¦ качеству и ¦ ¦ ¦ ¦ процессы ¦
¦ доступности услуг¦ ¦ ¦ ¦ ¦
L------------------- L--------------------------------- L----------------
/¦ /¦ /¦
-------- ¦ L------¬
-------------------¬¦ ----------------+----------------¬ ¦----------------¬
¦ Данные ¦¦ ¦ Данные о ресурсах учреждений и ¦ ¦¦ Статистические¦
¦ бенчмаркетинга +- ¦ организаций, предоставляющих ¦ L+ и отчетные ¦
¦ ¦ ¦ услуги ¦ ¦ данные ¦
L------------------- L--------------------------------- L----------------

Методика проведения мониторинга

Следующие результаты, полученные в рамках исследования, - модель и методика проведения мониторинга качества услуг в сфере театрально-зрелищных учреждений. Практика стандартизации показала отсутствие единого подхода к организации мониторинга. Во-первых, зачастую его проведение не регламентировано какой-либо методикой или нормативным актом, а реализуется только в форме контроля исполнения государственного задания. Во-вторых, распространено нежелание представителей органов власти и организаций, предоставляющих государственные услуги, проводить опросы потребителей данных услуг. Это нежелание, на наш взгляд, связано как с недостатком финансовых средств, квалифицированных кадров и методик, так и с неадаптивным перенесением в сферу мониторинга и оценки услуг "идеологии" менеджмента качества, первоначально разработанного применительно к производственной сфере.

Вместе с тем модель оправданных ожиданий предполагает выявление (через анализ как объективных, так и субъективных показателей) мнения потребителей услуг. На необходимость привлечения населения при формировании стандарта и проведении мониторинга также ориентируют административная и бюджетная реформы, нацеленные на внедрение управления по результатам.

Действительно, большинство зарубежных стран, которые внедряют управление по результатам (например, США, Великобритания, Австралия, Новая Зеландия, Канада, Нидерланды, Швеция, Дания), для выявления предпочтений потребителей о качестве госуслуг проводят постоянный мониторинг их мнений. Так, в Германии для формирования у населения положительного мнения о качестве получаемых государственных услуг предусмотрено использование специальных постановлений, защищающих потребителей и предполагающих особые процедуры разрешения конфликтных ситуаций, а также проведение регулярных опросов потребителей. Муниципалитеты Великобритании организуют регулярные опросы о качестве предоставляемых услуг и степени соответствия их объема и качества налоговой нагрузке.

Авторы исследования попытались обосновать необходимость использования в адаптированном виде опыта зарубежных стран. Разработанная система мониторинга предполагает измерение значений показателей качества фактически предоставляемых государственных услуг с использованием следующих основных методов: опрос потребителей, наблюдения экспертов, опрос производителей государственных услуг, статистическое наблюдение.

Так, потребители могут дать субъективную оценку некоторым показателям качества государственных услуг: например, оценить, нравится ли им репертуар театра, игра актеров, устраивает ли работа гардероба, буфета. Опрос может проводиться непосредственно в учреждениях, предоставляющих госуслуги, а также путем размещения анкет на сайтах данных учреждений.

Опрос потребителей позволит оценить степень их удовлетворенности получаемыми услугами. В меньшей степени он поможет определить, соответствует ли качество фактически предоставляемых государственных услуг стандартам качества данных услуг. В то же время по результатам анкетирования потребителей можно выявить те показатели качества услуг, которые получили наименьшую оценку, что свидетельствует о необходимости их совершенствования.

Методом экспертного наблюдения можно оценить те показатели предоставляемых услуг, которые зачастую не могут оценить потребители в силу того, что они просто не знают фактической ситуации либо нормативных значений этих показателей (например, соблюдение требований пожарной безопасности). Экспертным наблюдением также можно оценить объективные, но не отраженные в статистических формах характеристики оказания государственных услуг (например, количество дней работы учреждения в неделю, наличие указателей месторасположения учреждения, число жалоб и результаты проверок Роспотребнадзора, наличие механизма обратной связи).

Для оценки некоторых показателей необходимо проводить опрос производителей услуг. Например, при мониторинге оказания услуг театрально-зрелищными учреждениями подобный опрос позволит оценить такие показатели, как наличие и число распространителей билетов, наличие современной техники, обеспечивающей безопасность, наличие случаев пропажи одежды и вещей. Также важно знать условия проведения репетиций, комфортность работы основного и вспомогательного персонала.

Контроль качества методом статистического наблюдения осуществляется относительно тех показателей, которые отражаются в статистических формах, представляемых учреждениями-производителями в органы власти (например, для театрально-зрелищных учреждений это могут быть формы 9-НК "Сведения о деятельности театра", 12-НК "Сведения о деятельности концертного учреждения"), а также в государственном задании. Этот метод применим для оценки таких показателей качества услуг театрально-зрелищных учреждений, как число гастролей, сборы от продажи билетов, количество зрителей, приобщенных к культурному наследию, доля спектаклей нового репертуара.

Использование трех последних методов в большей степени способствует оценке соответствия качества фактически предоставляемых государственных услуг стандартам качества данных услуг. Каждый из этих методов предполагает оценку определенного перечня показателей по единой шкале (например, пятибалльной).

Все названные методы включают в себя не только оценку каждого из предлагаемых показателей, но и определение потребителем, производителем и экспертом коэффициента относительной важности каждого оцениваемого показателя в общей оценке качества государственной услуги. Например, потребители могут оценить степень значимости каждого фактора по шкале от 1 до 5.

Оценка качества услуг

После того, как будут определены значения показателей качества фактически предоставляемых государственных услуг и оценена степень соответствия этого качества стандартам, целесообразно провести непосредственно оценку качества предоставляемых государственных услуг.

Так, оценка качества услуг каждого театрально-зрелищного учреждения, в котором осуществлялась апробация разработанной методики стандартизации и мониторинга оказания государственных услуг, проводилась при помощи вербально-числовой шкалы Харрингтона.

Вербально-числовая шкала Харрингтона

  N п/п 
 Содержательное описание градаций 
       Численное значение
    1   
Очень высокая                     
            0,8 - 1
    2   
Высокая                           
          0,64 - 0,8
    3   
Средняя                           
          0,37 - 0,64
    4   
Низкая                            
          0,2 - 0,37
    5   
Очень низкая                      
            0 - 0,2

Использование данной шкалы позволяет оценить качество государственной услуги на основе полученных разными методами (на основе опроса потребителей и производителей услуг, экспертного и статистического наблюдения) количественных оценок (например, по пятибалльной шкале).

Предложенная система мониторинга оказания государственных услуг позволяет не только установить степень соответствия качества фактически предоставляемых государственных услуг стандартам, но и провести анализ услуг в динамике или в разрезе производителей данных услуг. Также важно, что данная система мониторинга позволяет оценить реализацию государственного задания учреждениями.

Выводы и обозначившиеся проблемы

Апробация разработанной методики стандартизации и мониторинга позволила сделать ряд выводов и выявила проблемы системного характера. На наш взгляд, данная методика подходит для контроля со стороны органов власти и потребителей, способствует выявлению "узких мест" в деятельности учреждения, совершенствованию качества менеджмента.

Однако данная технология явно недостаточна для интегральной оценки деятельности учреждения культуры. Стало ясно, что ряд показателей качества невозможно оценить ни через опрос потребителей, ни через экспертное (в узком значении слова) наблюдение, ни через анализ статистических данных. Самое главное - качество основного продукта (спектакля, концерта) - все время ускользает от оценки, не поддается формализованному измерению. Остается некий неформализуемый остаток, но именно он и является решающим для интегральной оценки. Представляется, что адекватная и объективная оценка невозможна без привлечения экспертного сообщества и методик оценивания, позволяющих уменьшить его (сообщества) субъективность.

Трудность разработки этих технологий упирается в проблему более общего характера - неразвитость в России института оценки эффективности и результативности деятельности органов власти и государственных учреждений в целом и оценки качества государственных услуг в частности. Без такого института затруднены не только интегральная оценка и оценка качества услуг экспертным сообществом, но и постоянный мониторинг с использованием разработанной нами методики. В частности, профессиональных усилий и институциональной поддержки требуют, на наш взгляд, социологический опрос потребителей и поставщиков услуг, оценка по статистическим показателям, синтез результатов, полученных из различных источников и представленных в разных системах измерения. Создание методологических, организационно-правовых, финансовых, кадровых (включая вопросы подготовки специализированных кадров) основ данного института является задачей ближайшего будущего.

А.З.Фахрутдинова

Д. ф. н.,

доцент,

зав. кафедрой

государственного

и муниципального управления

Сибирской академии

государственной службы