UNIVERSIDADE FEDERAL DE MINAS GERAIS INSTITUTO MATERNO INFANTIL PROF. FERNANDO FIGUEIRA (IMIP) CURSO DE ESPECIALIZAÇÃO EM METODOLOGIA AVALIATIVA PARA SERVIÇOS DE SAÚDE LETÍCIA MILENA FERREIRA DA SILVA Estudo de Avaliabilidade do Projeto AMQ – Avaliação Para Melhoria da Qualidade da Estratégia Saúde da Família ORIENTADORA: Sonia Natal RJ, 2009 II Avaliação Para Melhoria da Qualidade da Estratégia Saúde da Família: Estudo de Avaliabilidade Trabalho de conclusão do curso de especialização em Metodologia Avaliativa para Serviços de Saúde. Aluna: Letícia Milena Ferreira da Silva Orientadora: Sonia Natal RJ, 2009 III Sumário página 1. Introdução 1 2. Estudo de Avaliabilidade 3 3. Justificativa 3 4. Objetivos 4 5. Metodologia 4 5.1. Fontes de evidências e métodos de coleta 4 5.2. Análise 4 6. Resultados 5 6.1 Fundamentação do AMQ 5 6.2. Estrutura do projeto AMQ: Padrões de Qualidade e Componentes do Programa 6 6.3. Os sete elementos de Thurston (1991) 10 6.4. Modelo Teórico do Programa 13 6.5. Modelo Lógico do Programa 15 7. Discussão 17 8. Considerações finais 19 9. Limitações do estudo 20 10. Produtos 20 11. Bibliográfica consultada 21 1 Avaliação Para Melhoria da Qualidade da Estratégia Saúde da Família: Estudo de Avaliabilidade. 1. Introdução A avaliação é uma atividade presente em diversos setores da sociedade. Na área da Saúde ainda apresenta-se incipiente, entretanto, vem se desenvolvendo progressivamente através de pesquisas acadêmicas e da incorporação de pesquisas avaliativas na gestão, com o propósito de subsidiar as tomadas de decisão bem como a formulação de políticas. (Ministério da Saúde, 2005a) A institucionalização da avaliação é hoje um dos mais importantes desafios dos sistemas de Saúde. Visa à qualificação da atenção à saúde através da construção de processos estruturados e sistemáticos, coerentes com os princípios do Sistema Único de Saúde (SUS) e, abrangentes em suas várias dimensões. O Ministério da Saúde compreende que a institucionalização da avaliação deve estar vinculada à elaboração de uma política de avaliação de políticas e programas no âmbito do SUS, da qual o monitoramento e avaliação da Atenção Básica devem fazer parte. (Ministério da Saúde, 2005a) Dessa forma, foi desencadeado, em 2003, um processo de discussão que culminou na construção de uma Política Nacional de Monitoramento e Avaliação para a Atenção Básica e, a partir daí, iniciou-se a implementação de diversas atividades relacionadas com alguns de seus aspectos. Em decorrência do acelerado crescimento da Estratégia Saúde da Família e os investimentos recentes na sua expansão após mais de uma década de implantação, surgiu a necessidade de desenvolver metodologias e ferramentas para as ações de monitoramento, avaliação e qualificação das ações e serviços oferecidos. A utilização de processos avaliativos críticos e reflexivos contribui efetivamente para que gestores e profissionais tenham informações e adquiram conhecimentos necessários a tomada de decisão, atendendo, dessa forma, a demandas e necessidades de saúde com qualidade, resolubilidade e satisfação do usuário. (Ministério da Saúde, 2005b). Com o intuito de estreitar a relação entre o campo da avaliação e da qualidade, a partir da elaboração da Política Nacional de Monitoramento e Avaliação da Atenção Básica, o Ministério da Saúde desenvolveu o projeto Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família (AMQ). A elaboração desse projeto teve como principal objetivo oferecer aos gestores municipais, coordenadores e profissionais da estratégia Saúde da Família ferramentas de auto-avaliação que possibilitasse, além do monitoramento das ações desenvolvidas, também o disparo de iniciativas de 2 melhoria da qualidade. Além disso, o projeto também visa contribuir diretamente na capacitação técnica dos atores envolvidos, no que tange a temática da avaliação e do monitoramento. A Política de Monitoramento e Avaliação da Atenção Básica é composta por seis componentes que objetivaram contribuir para a institucionalização da avaliação no Sistema Único de Saúde (SUS), além de apoiar a tomada de decisão na gestão nos diversos níveis, prestar contas à sociedade e produzir conhecimento. O projeto AMQ está inserido em dois dos componentes da Política, especificados abaixo:  Monitoramento e Avaliação - Apresenta oito sub-componentes, atividades propostas e/ou realizadas pela coordenação de acompanhamento e avaliação: Aperfeiçoamento do sistema de informação da Atenção Básica (SIAB); dinamização dos indicadores do pacto da Atenção Básica; monitoramento da implantação do componente I do PROESF (Programa de Expansão e Consolidação da Saúde da Família); construção do MonitorAB; estudos de linha de base (ELB); Avaliação para Melhoria da Qualidade da estratégia Saúde da Família (AMQ); análise de indicadores de saúde segundo grau de cobertura da Saúde da Família; fortalecimento da capacidade técnica das secretarias estaduais (SES) em monitoramento e avaliação.  Desenvolvimento da capacidade avaliativa – Apresenta quatro sub-componentes: Fortalecimento da Coordenação de Acompanhamento e Avaliação da Atenção Básica do Ministério da Saúde; fortalecimento da capacidade técnica da SES em monitoramento e avaliação; estudos de linha de base e Avaliação para Melhoria da Qualidade da estratégia Saúde da Família. O projeto AMQ propõe, dentro de uma perspectiva de gestão interna, uma auto-avaliação orientada por instrumentos dirigidos aos profissionais da Estratégia Saúde da Família, coordenadores e gestores locais. Além de promover a cultura avaliativa e a gestão da qualidade no âmbito da Atenção Básica, orienta a formação de um diagnóstico no que tange a organização e o funcionamento dos serviços e suas práticas, partindo dos princípios e diretrizes da estratégia Saúde da Família. Dessa forma, é possível identificar os estágios de desenvolvimento, assim como as potencialidades e pontos consolidados da estratégia Saúde da Família no município. Orienta, ainda, a elaboração de planos de intervenção para a resolução dos problemas verificados, de maneira estratégica. (Ministério da Saúde, 2005b). A identificação de problemas e o acompanhamento dos resultados no processo de auto- avaliação favorecem o entendimento sobre o modo como vem sendo desenvolvida a Estratégia 3 Saúde da Família e, dessa forma, favorecendo o aperfeiçoamento das diretrizes, a resolutividade em áreas prioritárias, a identificação de novas linhas de trabalho e diferentes abordagens acerca das necessidades dos usuários do sistema de saúde. Como conseqüência uma mudança na situação de saúde da população é gerada, sendo os principais beneficiários desta iniciativa os próprios usuários, com a melhoria do acesso aos serviços, maior resolubilidade e atenção humanizada. 2. Estudo de Avaliabilidade O estudo de avaliabilidade é um conjunto de procedimentos que precedem a etapa da avaliação. São considerados fundamentais para a caracterização do processo de avaliação apontando para sua utilidade e oportunidade. O estudo de avaliabilidade permite que a etapa seguinte, avaliação propriamente dita, seja desenvolvida com maior facilidade, maximizando seus potenciais e favorecendo também a racionalização de recursos, frequentemente escassos para o processo avaliativo. Espera-se de um estudo de avaliabilidade: 1) uma descrição abrangente e detalhada do projeto ou programa (o Modelo Lógico do projeto ou do programa); 2) a descrição das perguntas que a avaliação pretende responder; 3) o desenho ou Modelo Teórico da avaliação e 4) o consenso entre todos os envolvidos na avaliação, sobre os itens anteriores. O estudo de avaliabilidade busca, através de avaliações e críticas, uma descrição coerente de um plano para a avaliação que se seguirá, tornando-a mais consistente e com maior credibilidade. (Thurston, 2005; Natal, 2007) Thurston propõem para o estudo de avaliabilidade um sistema que apresenta sete elementos para serem descritos: (a) limitação do programa por identificação das metas, objetivos, e atividades que constituem o programa; (b) revisão dos documentos disponíveis no programa; (c) modelagem (MLP) dos recursos disponíveis, programa de atividades pretendidas, impactos esperados e conexões causais presumidas; (d) supervisão do programa, ou obtenção de um entendimento preliminar de como o programa opera; (e) desenvolvimento de um modelo de programa avaliável (MTA); (f) identificação de usuários da avaliação e outros principais envolvidos; e (g) obtenção de um acordo quanto ao procedimento de uma avaliação. (Thurston, 2005) 3. Justificativa O projeto AMQ, implantado em 2005, traz para o cenário uma nova proposta de auto- avaliação. Dessa forma, ainda pouco se conhece sobre a implantação do projeto nos municípios. A possibilidade de determinar o grau de implantação municipal do projeto AMQ, bem como no que 4 resulta a influência do contexto nesse processo, permite aos gestores e coordenadores gerenciar, com maior clareza e controle das adversidades previstas, a implantação do AMQ no município. Para o Ministério da Saúde, conhecer o processo implantação e as influências contextuais possibilitará a formulação de estratégias que futuramente podem ser multiplicadas para outros municípios brasileiros que estejam iniciando o processo de implantação. O estudo de avaliabilidade, como já apresentando anteriormente, faz-se necessário para determinar se o projeto tem as características necessárias para ser tratado como “programa” e ser avaliado, portanto o estudo de avaliabilidade se configura como uma importante ferramenta para avaliação futura. Por meio desse estudo, é possível planejar uma avaliação muito mais coerente com a realidade, com maior rendimento, de custo e tempo contribuindo para um melhor desenvolvimento do processo de avaliação. 4. Objetivos: 4.1 Objetivo geral:  Verificar se o projeto AMQ possui características necessárias para ser avaliado. 4.2 Objetivos Específicos:  Descrever o programa;  Construir o Modelo Teórico de avaliação;  Construir o Modelo Lógico do programa. 5. Metodologia Será realizado um estudo de avaliabilidade, com abordagem qualitativa baseado no sistema dos sete elementos proposto por Thurston (2005). 5.1. Fontes de evidências Como fonte de evidencias serão utilizados os documentos abaixo:  Dados secundários – Serão utilizados dados secundários extraídos a partir do Documento técnico (Ministério da Saúde, 2005b) e instrumentos de auto-avaliação AMQ (Ministério da Saúde, 2005b), site do projeto e aplicativo digital AMQ (www.saude.gov.br/amq) e “Avaliação na Atenção Básica em Saúde- Caminhos da Institucionalização” (Ministério da Saúde, 2005a). 5 5.2. Análise Será realizada uma análise descritiva para a identificação dos sete elementos propostos acima. 6. Resultados Os resultados serão apresentados em duas etapas. Na primeira a descrição do programa e na segunda a descrição dos sete elementos propostos por Thurston. 6.1. Fundamentação do Projeto de Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família (AMQ) A Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família adota, como referência conceitual no campo da avaliação, o modelo proposto por Donabedian baseado na teoria dos sistemas em que se consideram os elementos de estrutura, de processo e resultado, tendo como foco de análise os serviços de saúde e suas práticas assistenciais. (Ministério da Saúde, 2005b). A abordagem estrutural consiste na premissa de que processos de cuidado em saúde com boas pré-condições são mais adequados e favorecem resultados mais positivos do que os com condições básicas precárias. No projeto AMQ, os aspectos de estrutura incluem: Infra-estrutura, que abrange ambiente físico, equipamentos, bem como profissionais e recursos humanos de saúde das unidades. A abordagem de processo se fundamenta basicamente na realização de ações previstas para determinada atividade. Dessa forma, se todos fazem aquilo que é considerado correto, a probabilidade de se obter um resultado melhor é maior. No projeto AMQ os aspectos processuais se referem aos aspectos organizativos, tecno científicos e interpessoais. Em relação aos organizativos, considera-se a atuação das equipes na organização do serviço e das atividades bem como considerando a interlocução com outros atores sociais, instituições e organizações locais. Os aspectos tecno-científicos incluem a competência tecno-científica que abrange as atividades destinadas a fortalecer conhecimentos e práticas em saúde, e a protocolização do atendimento, que se refere ao desenvolvimento e utilização de manuais e condutas de atendimento, prevenção e promoção em saúde de acordo com os princípios do Sistema Único de Saúde (SUS). No que tange a relação interpessoal incluem-se o acolhimento, que se refere à prestação de serviço “humanizado” ao usuário e escuta de queixas e necessidades de saúde, buscando uma atenção resolutiva, e a comunicação interpessoal que se refere ao nível de informação e comunicação que possa existir durante a realização das práticas. 6 A abordagem de resultado é muito evidente, pois está diretamente ligada a realização dos objetivos do cuidado em saúde. O efeito dos processos, influenciado também pela estrutura, na realização de ações e práticas segundo metas pré-estabelecidas, geram os resultados que no projeto AMQ são apresentados da seguinte forma: Os resultados diretos, que se relacionam com os efeitos das atividades desenvolvidas na unidade (acesso, adequação dos serviços, efetividade) e os resultados de saúde na população, que dependem também de uma série de fatores que vão além da prestação dos serviços da equipe de Saúde da Família, como participação de outros setores e atores da área social. No projeto AMQ os aspectos de estrutura e resultado são utilizados na auto-avaliação com menor ênfase. Os instrumentos de auto-avaliação que compõem o projeto AMQ privilegiam os elementos de processo, em especial os processos de trabalho. (Vuori, 2007; Ministério da Saúde, 2005b). 6.2. Estrutura do projeto AMQ: Padrões de Qualidade e Componentes do Programa Para estruturar o projeto AMQ foram considerados padrões de qualidade. Os padrões de qualidade são utilizados frequentemente em avaliações externas e internas. Devido ao crescente interesse em programas de melhoria da qualidade, a Sociedade Internacional de Qualidade na Atenção à Saúde - ISQua (International Society for Quality in Healthy Care, 2009) definiu princípios para a construção de padrões, independente do uso ou aplicação. A partir desses princípios, foram construídos os padrões AMQ. Para que os padrões tivessem legitimidade, foi considerado um conjunto de características básicas: Abrangência, que se refere à visão integral do sistema, bem como a capacidade de utilização em todo o território nacional; sensibilidade para evidenciar mudanças; e facilidade na aplicação. Devido a grande diversidade existente nos municípios brasileiros, optou-se pela elaboração dos padrões do tipo categórico, “sim e não”, estabelecendo, dessa forma, parâmetros de qualidade bem definidos. (Ministério da Saúde, 2005b). Os padrões de qualidade estão organizados em estágios de qualidade incrementais que vão de “elementar” a “avançado”, onde cada estágio representa um momento do processo de implantação. No projeto, os padrões de qualidade se organizam da seguinte forma:  Padrões do Estágio E - Qualidade Elementar - abordam elementos fundamentais de estrutura e as ações mais básicas da estratégia SF, Imprescindíveis, elementos básicos para a estruturação da estratégia SF. 7  Padrões do Estágio D - Qualidade em Desenvolvimento - abordam elementos organizacionais iniciais e o aperfeiçoamento de alguns processos de trabalho. Caracterizam a estratégia SF em fase de desenvolvimento, um pouco mais elaborada que no estágio elementar, mas ainda não consolidada.  Padrões do Estágio C - Qualidade Consolidada (abordam processos organizacionais consolidados e avaliações iniciais de cobertura e resultado das ações). Possuem elementos que caracterizam a concretização da estratégia, firme, consolidada.  Padrões do Estágio B - Qualidade Boa (abordam ações de maior complexidade no cuidado e resultados mais duradouros e sustentados). Possuem elementos que caracterizam um avanço nas práticas, já sinalizando para a melhoria da qualidade.  Padrões do Estágio A - Qualidade Avançada (colocam-se como o horizonte a ser alcançado, com excelência na estrutura, nos processos e, principalmente, nos resultados). (Ministério da Saúde, 2005b). Cada padrão respondido positivamente sinaliza para o estágio de qualidade já estabelecido, ou seja, se um padrão de qualidade elementar obtiver resposta “sim”, significa que naquela determinada questão abordada, a qualidade elementar foi alcançada. No quadro 1, pode-se observar exemplos de padrões de qualidade dos estágios Elementar e Desenvolvimento, ambos referentes ao Sistema de informação da Atenção Básica (SIAB). (Ministério da Saúde, 2005b). Quadro 1: 4.01 E Cadastramento das famílias é atualizado mensalmente (S) (N) O padrão refere-se à ação preconizada de que as famílias da área sejam visitadas mensalmente, oportunizando-se a atualização da ficha A do SIAB. Considerar, para resposta afirmativa, a atualização do sistema de informação. 4.05 D A ESF utiliza informações do SIAB para o planejamento do trabalho. (S) (N) O padrão refere-se à utilização doas informações presentes na ficha A do SIAB para o planejamento do trabalho de ESF: População, grupos etários, doenças referidas e condições de moradia, dentre outras. Fonte: Cadernos de Auto-avaliação do projeto AMQ Após a elaboração dos padrões de qualidade, seguiu-se a validação dos mesmos através da apresentação e discussão com expertos na área de avaliação, qualidade e Atenção Básica. Também participaram do grupo de trabalho ampliado, técnicos do Ministério e representantes de secretarias 8 estaduais e municipais. A discussão permitiu possíveis ajustes no que tange objetivos dos padrões: objeto, alcance e propósito de avaliação. Em seguida, os padrões foram organizados em instrumentos de auto-avaliação e foram novamente submetidos à análise no que se refere à validade (medir o q se pretende), confiabilidade e factibilidade. A validação dos instrumentos de auto-avaliação foi realizada em duas etapas: A pré- validação e a validação em si. A pré-validação consistiu na discussão detalhada dos padrões com usuários potenciais. Foi realizada em dois municípios, Petrópolis-RJ e Olinda-PE, contemplando gestores, coordenadores e profissionais das equipes de Saúde da Família. O principal objetivo foi observar a aplicabilidade e pertinência dos padrões selecionados em municípios de diferentes regiões e características diversas. O resultado da pré-validação foi analisado e a partir daí os padrões e instrumentos foram re- elaborados para o teste piloto quanti-qualitativo, caracterizando assim, a validação propriamente dita. O teste piloto foi realizado em 24 municípios brasileiros, com a participação de mais de 500 equipes distribuídas por todas as regiões do país. Após o teste-piloto, a partir do debate com esses colaboradores, os instrumentos foram readequados pela equipe técnica do projeto e organizados em uma estrutura organizacional de cinco instrumentos de avaliação. Esses instrumentos correspondem às dimensões do projeto AMQ, que representam o tema, o recorte da realidade a ser abordado. Juntas, as dimensões formam as unidades de análise ou componentes, que representam o objeto a ser avaliado. Para a construção do projeto AMQ, foram considerados dois componentes ou Unidades de Analise: gestão e equipe. Cada um destes componentes foi desagregado em dimensões e cada uma destas corresponde a um instrumento de auto-avaliação. No quadro 2 é possível observar os dois componentes considerados para o projeto AMQ, suas dimensões e subdimensões e sua relação com os instrumentos de auto-avaliação. Os aspectos da unidade de análise Gestão a serem avaliados incluem a prioridade dada pelo gestor de saúde à estratégia, contemplando seu caráter substitutivo, sua capacidade de conduzir ações e serviços, monitoramento e avaliação, bem como a participação social na sua elaboração, execução e controle. Os elementos de estrutura embora devam ser avaliados pelas próprias equipes são de responsabilidade dos gestores, dessa forma, a dimensão “Unidade Saúde da Família” também está inserida no componente “Gestão”. Em relação à unidade de análise “Equipe” foram enfocados os aspectos de processo, em especial processos de trabalho, bem como os de resultado, 9 relacionados aos campos de atuação, objetivos e diretrizes estabelecidas. (Ministério da Saúde, 2005b). Quadro 2: Componentes ou unidades de análise, dimensões e subdimensões propostas para a avaliação para melhoria da qualidade da estratégia saúde da Família. COMPONENTES OU UNIDADES DE ANÁLISE DIMENSÃO SUBDIMENSÃO INSTRUMENTOS DE AUTO- AVALIAÇÃO CORRESPONDENTES Gestão Desenvolvimento da Estratégia SF Implantação e implementação da SF no município Instrumento nº. 1: Direcionado aos gestores locais e sua equipe. Integração da rede de serviços Gestão do trabalho Fortalecimento da coordenação Coordenação Técnica das Equipes Planejamento e integração Instrumento nº. 2: Direcionado aos coordenadores municipais de saúde da Família e equipe. Acompanhamento das equipes Gestão da educação permanente Gestão da avaliação Normatização Unidade Saúde da Família. Infra- estrutura e equipamentos da unidade SF. Instrumento nº. 3: Direcionado ao responsável ou equipe responsável pela unidade da Saúde da Família. Insumos, imuno-biológicos e medicamentos. Equipes Consolidação do Modelo de Atenção. Organização do trabalho em Saúde da Família Instrumento nº. 4: Direcionado às equipes de Saúde da Família. Acolhimento, humanização e responsabilização. Promoção da Saúde. Participação comunitária e controle social. 10 Vigilância à Saúde I: Ações gerais da equipe SF. Atenção à Saúde. Saúde de Crianças. Instrumento nº. 5: Direcionado aos profissionais de nível superior das equipes de Saúde da Família. Saúde de Adolescentes. Saúde de mulheres e homens adultos. Saúde de idosos Vigilância à saúde II: Doenças transmissíveis. Vigilância à saúde III: Agravos com prevalências regionalizadas. Padrões loco-regionais. Fonte: Documento técnico do projeto AMQ A primeira etapa da implantação do projeto AMQ é a adesão municipal. O gestor municipal poderá aderir ao projeto de maneira voluntária e participativa. Inicia-se então um processo de sensibilização e capacitação dos potenciais participantes, que tem como principal objetivo, envolver os profissionais de saúde na proposta de melhoria da qualidade. Em seguida é realizada a auto- avaliação. Após o preenchimento dos instrumentos todas as respostas obtidas devem ser inseridas no aplicativo digital AMQ. O aplicativo digital tem como finalidade compilar os dados para posterior análise que poderá ser realizada através dos relatórios gerados pelo aplicativo, sendo realizado dessa forma um diagnóstico da situação encontrada no município. Após a realização da auto-avaliação, que tem duração proposta de seis meses, e posterior formação de um diagnóstico inicial apontando para as fragilidades e potenciais da estratégia Saúde da Família no município, propõe-se a elaboração de planos de intervenção. Os planos de intervenção podem ser definidos com o auxilio da matriz de intervenção, disponibilizada pelo projeto AMQ. Propõe-se que as intervenção sejam trabalhadas no período de 6 a 12 meses gerando iniciativas locais de melhoria da qualidade. Após esse período inicia-se uma nova auto-avaliação, onde poderão ser observados os avanços nos estágios de qualidade. O projeto propõe que sejam realizadas, no mínimo, três auto-avaliações. 6.3. Os sete elementos Thurston 11 Abaixo, no quadro 3, estão apresentados os sete elementos do sistema proposto por Thurtson, adotados para este estudo. Quadro 3: Os sete elementos do sistema proposto por Thurtson Elementos Resultado (a) metas, objetivos, e atividades que constituem o programa;  Meta: Avançar na qualidade da atenção no âmbito da estratégia Saúde da Família, através da utilização dos instrumentos AMQ de maneira sistemática, estabelecendo assim, um ciclo de melhoria contínua da qualidade.  Objetivo: Fomentar o monitoramento e a avaliação da estratégia Saúde da Família; disponibilizar ferramentas facilitadoras para o diagnóstico situacional e o planejamento de intervenções; contribuir para a inserção da dimensão da qualidade em todos os espaços de atuação da estratégia SF; contribuir para construção da capacidade avaliativa de técnicos e profissionais da estratégia. Atividades: As atividades estão descritas e nesse estudo podem ser observadas no Modelo Lógico do AMQ (figura 2). (b) revisão dos documentos; Para o estudo de avaliabilidade foram considerados os seguintes documentos: O Documento Técnico AMQ, os instrumentos de auto-avaliação do projeto AMQ, O Documento “Avaliação na Atenção Básica em Saúde – Caminhos da Institucionalização’”. No documento técnico encontra-se a descrição do projeto: embasamento teórico; justificativa, objetivos e metas; diretrizes; metodologia; informações sobre a estratégia Saúde da Família; conceito de qualidade em saúde; descrição de experiências internacionais e atribuições das esferas gestoras. Nos instrumentos é possível visualizar as questões que são utilizadas no processo de auto-avaliação. Os instrumentos são os documentos referentes à parte prática do projeto. No Documento “Avaliação na Atenção Básica em Saúde – Caminhos da Institucionalização” encontra-se a descrição da Política de Acompanhamento e Avaliação da 12 Atenção Básica e seus componentes. Foi utilizado com o propósito de situar o projeto AMQ na Política. (c) modelagem dos recursos disponíveis, programa de atividades pretendidas, impactos esperados e conexões causais presumidas. O projeto AMQ não definiu um Modelo Lógico estruturado, entretanto disponibiliza informações que contribuíram para a construção do mesmo neste estudo. Os recursos disponíveis, programas e atividades pretendidas estão descritos no Modelo Lógico do AMQ (figura 2). (d) supervisão do programa, ou obtenção de um entendimento preliminar de como o programa opera. No item 6.2 está descrito toda a operacionalização do projeto AMQ. Não há supervisão prevista para o projeto AMQ. A coordenação nacional do projeto, Ministério da Saúde, apenas poderá ser observar através do aplicativo digital, o desenvolvimento do projeto nos municípios. (e) desenvolvimento de um modelo de programa avaliável; impactos esperados e conexões causais presumidas. Espera-se atingir uma melhoria na qualidade da Atenção Básica e consequentemente a satisfação do usuário. Presumi-se que com a implantação do projeto sejam atingidos resultados satisfatórios que poderão impactar positivamente na saúde da população, através de uma Atenção Básica de Qualidade. O modelo de programa avaliável pode ser observado através do Modelo Teórico do AMQ (figura 1) (f) identificação de usuários da avaliação e outros principais envolvidos.  Profissionais das equipes de Saúde da Família;  Coordenadores de equipes de Saúde da Família (caso exista no município);  Equipe de coordenação da Atenção Básica/Saúde da Família;  Gerências/Coordenações de áreas a fins, como Saúde da Mulher, Criança, etc.;  Equipe de informática e de digitação. (g) obtenção de um acordo quanto ao procedimento de Não há obtenção de acordo quanto ao procedimento de avaliação. 13 uma avaliação. 6.4. Modelo Teórico do Programa Segundo Hartz para a análise de implantação é recomendado os componentes: Externo, organizacional, de implementação e efetividade. Baseando-se na análise de implantação proposta por Hartz, foi construído um Modelo Teórico para o projeto Avaliação da Qualidade da estratégia Saúde da Família, como apresentado na figura 1. Foi considerado ainda o componente político, onde foi abordado o papel do Ministério da Saúde, representado pelo Departamento de Atenção Básica/ Secretaria de Atenção à Saúde (DAB/SAS/MS). O contexto político contempla principalmente a concepção do projeto, através da elaboração de diretrizes, e estratégias de operacionalização do projeto, que se consolida através do repasse de recursos, da realização de oficinas de capacitação, bem como do monitoramento do projeto. O componente organizacional fica por conta da Secretaria Municipal de Saúde, uma vez que esta tem autonomia técnico-gerencial e político-financeira do projeto. Além de também se responsabilizar por injetar recursos para a implantação do projeto. O componente Implementação é viabilizado através da atuação da Secretaria Municipal de Saúde. A execução do projeto é de responsabilidade das equipes de Saúde da Família, bem como da gestão municipal e coordenação da Saúde da Família. Os principais efeitos do projeto AMQ são: a tomada de decisão mais precisa e consciente, mediante a um processo de avaliação e monitoramento; e a promoção da cultura avaliativa, gerando dessa forma, a melhoria contínua da qualidade. O contexto externo, influência diretamente todos os outros componentes. Situações de mudanças de governo são as causas mais freqüentes de alterações no componente político, bem como no componente implementação. No caso AMQ, embora durante a elaboração e implantação do projeto tenha havido uma participação intensa de algumas secretarias estaduais de saúde (SES), o papel da SES não está bem definido no processo de implantação do projeto, o que pode causar divergências e competições quanto ao gerenciamento e acompanhamento do projeto. Os municípios podem pactuar independentemente das SES. Entretanto, os municípios que trabalharam junto as suas respectivas SES obtiveram sucesso na implantação do projeto. 14 DAB/SAS/MS: Diretrizes Recursos Capacitação Monitoramento Político AB - Secretaria Municipal de Saúde Gestão Municipal: Execução do AMQ Organizacional: Autonomia técnica gerencial Autonomia político financeira Recursos Implementação Efeitos: . Tomada de decisão . Promover a cultura avaliativa M el h o ri a d a Q u al id ad e d a A B S at is fa çã o d o U su ár io Contexto Externo SES: fragilidade Seu papel e dispensável Acesso ao aplicativo Figura 1: Modelo Teórico do AMQ 15 6.5. Modelo Lógico do Programa Foi desenvolvido o Modelo Lógico, conforme a figura 2, para a análise de implantação municipal, baseado na proposta do AMQ, considerando apenas o componente gestão e foram incluídos os componentes político e avaliação. No componente político foram abordadas as atividades relacionadas às decisões políticas no âmbito municipal. O primeiro passo para implantação do projeto é a adesão municipal, formalizada pelo gestor municipal. A não realização desta atividade implica na inviabilização da implantação do projeto. É a partir daí que são disparadas todas as outras atividades. Recomenda-se também a apresentação do projeto ao Conselho Municipal, bem como a pactuação de estratégias e metas. Outra questão política importante que se configura como uma das atividades do componente político é a viabilização dos recursos. O componente organizacional refere-se à organização necessária para que a avaliação propriamente dita aconteça. Para isso se faz necessária a elaboração de estratégias que viabilizam a implantação, por exemplo: Local para oficinas; disponibilidade de tempo na agenda das equipes para a realização das atividades previstas pelo projeto. A sensibilização dos profissionais da estratégia e gerencias da Atenção Básica é uma importante atividade e caminha em consonância com as diretrizes do AMQ, mais especificadamente a livre adesão, que se aplica não somente à gestão, mas também aos demais envolvidos. A realização da atividade relacionada à capacitação é fundamental para que o componente “Implantação” aconteça de forma adequada. No componente Implantação estão as atividades relacionadas à avaliação propriamente dita. Na atividade “momento avaliativo”, os participantes utilizam os instrumentos de auto-avaliação, respondo as questões propostas. Em seguida na atividade “digitação dos instrumentos” as repostas, obtidas durante o momento avaliativo, são digitadas no aplicativo digital do AMQ, que vai gerar um relatório de diagnóstico. Na atividade “Relatório de Diagnóstico” é feita a análise desse relatório, onde são observados os nós críticos da estratégia SF no município. A partir daí são selecionados pontos que deverão sofrer intervenção, com objetivo de elevar a qualidade da atenção. Na atividade “Matriz de intervenção” são planejadas as intervenções e posteriormente executadas. 16 Adesão ao projeto Reunião com conselho municipal Viabilização de recursos Implantação do AMQ Desenvolvimento de estratégias de implantação Sensibilização dos profissionais da ESF e gerentes / coordenadores da Atenção Básica Realização de Oficinas de capacitação Atividades Impacto I. Político II. Organizacional III. Implantação Equipes com adesão ao projeto e capacitadas Gerências/coordenações da Atenção Básica envolvidas com o AMQ Momento avaliativo Digitação dos instrumentos Relatório de Diagnóstico Utilização da matriz de intervenção AMQ Implantado Resultado final R ec u rs o s H u m a n o s R ec u rs o s F in a n ce ir o s E q u ip a m en to s e in su m o s M el h o ri a C o n tí n u a d a Q u a li d a d e E S F c o m Q u a li d a d e R es o lu ti v id a d e S a ti sf a çã o d o s U su á ri o s Resultados Intermediários Recursos Figura 2: Modelo Lógico do Programa 17 7. Discussão O projeto AMQ é de livre adesão por parte dos municípios e pode ser pactuado pelos municípios através do Pacto pela Vida, um compromisso entre os gestores do SUS em torno de prioridades que apresentam impacto sobre a situação de saúde da população brasileira. Além disso, há proposta de incentivo para os municípios que aderirem ao projeto, através do PROESF (Projeto de Expansão e Consolidação da Estratégia Saúde da Família), mas que ainda não foi implementada. A implantação bem sucedida desse projeto poderá acarretar impactos significantes na qualidade da estratégia nos municípios. Essa discussão propõe a partir do sistema dos 7 elementos propostos por Thurtson, descritos anteriormente, discutir, o projeto AMQ, enquanto um programa avaliável, estabelecendo ferramentas fundamentais para a avaliação futura. Em relação ao item (a) - metas, objetivos, e atividades que constituem o programa - o programa não atendeu todas as questões. No que tange as metas foi utilizada a estratégia SMART de definição de metas. (Ministério da Saúde, 2009) Na estratégia SMART para que a meta seja caracterizada como bem definida é necessário que sejam específica, mensurável, apropriada, realista e apresentar temporalidade. No quadro 4 é possível se observar a aplicação da estratégia SMART ao programa AMQ. Quadro 4: Metas do AMQ, segundo a estratégia SMART de definição de metas. METAS SMART METAS AMQ ESpecífica: O programa não estabelece metas específicas. Não define o que deve ser alcançado e o “quanto”. Mensurável: A meta do programa não é mensurável. A meta como apresentada ela depende de outras estratégias e fatores para ser alcançadas. Apropriada: A meta do está relacionada com o que o programa se propõe a realizar. Realista: Teoricamente a meta é alcançável dada a disponibilidade de recursos e experiência, mas necessita de avaliação para verificar a viabilidade da mesma. Temporalidade: Teoricamente sim, no aplicativo digital os tempos estão bem definidos, entretanto existem possibilidades de se driblar tais prazos. Por exemplo, uma equipe que não cumpriu o prazo poderá ser excluída e inserida novamente, gerando outras datas. Ainda em relação ao item (a) observou-se que os objetivos do programa são bem definidos e relacionados com as metas e o programa. 18 Em relação às atividades, também previstas no item (a), o programa também apresentou dificuldades. Não há definição clara do papel do estado nas atividades. É fundamental o engajamento das secretarias estaduais de saúde (SES) na implantação do programa. Através da experiência de trabalho, foi possível observar que em estados onde a SES fez parte desse processo, com ações bem definidas, grande parte dos municípios obtiveram sucesso na implantação. Pode-se citar como exemplo, o caso do estado do Espírito Santo, onde a SES definiu e estruturou um planejamento de atividades de capacitação e acompanhamento dos municípios, culminando em um Seminário de implantação do AMQ no estado. O item (b) - revisão dos documentos disponíveis - apresentou conformidade satisfatória. O programa disponibiliza documentos contendo informações importantes e necessárias para a implantação. Além disso, foi utilizado para o estudo de avaliabilidade o documento “Avaliação na Atenção Básica – Caminhos da Institucionalização”, onde estão descritos os componentes da Política de Monitoramento e Avaliação da Atenção Básica, que foi importante para a contextualização do projeto dentro da política. No que se refere ao item (c) - modelagem dos recursos disponíveis, programa de atividades pretendidas, impactos esperados e conexões causais presumidas - constatou-se a ausência de um Modelo Lógico. Entretanto, apresentou informações, através dos documentos e site, sobre recursos, atividades e impactos esperados, que foram suficientes para a construção do Modelo Lógico do Programa. Dessa forma sistematizada foi possível observar com maior afinco as etapas do programa dentro dos contextos político, organizacional e de avaliação. Em relação ao item (d) - supervisão do programa, ou obtenção de um entendimento preliminar de como o programa opera - a descrição da operacionalização do programa foi obtida através dos documentos revisados, sinalizando mais uma vez para a boa consistência dos mesmos. Já em relação à supervisão do programa foram constatadas algumas dificuldades. A ausência de supervisão no programa dificulta a operacionalização do mesmo. No âmbito municipal a coordenação poderá estabelecer critérios próprios de supervisão, entretanto a coordenação geral do AMQ, no Ministério da Saúde não toma conhecimento dessas atividades. No âmbito nacional, é possível observar o andamento da implantação através do aplicativo digital AMQ, desde que sejam digitados os dados municipais. Entretanto não controle dessa digitação, uma vez que não há metas específicas e mensuráveis. 19 No item (e) - desenvolvimento de um modelo de programa avaliável; impactos esperados e conexões causais presumidas - destaca-se que o programa não apresenta um Modelo Teórico, mas traz informações, através dos documentos, importantes para a construção do mesmo, apontando mais uma vez para a consistência teórica na qual o programa foi desenvolvido. A opção de embasar o Modelo Teórico na análise de implantação proposta por Hartz, proporcionou a construção de um modelo que considera aspectos importantes na avaliação de um programa, através dos componentes: externo, organizacional, de implementação e de efetividade. O item (f) - identificação de usuários da avaliação e outros principais envolvidos - foi identificado através de informações extraídas dos documentos e do site e apresenta definições bastante claras. Apesar disso, através da experiência de trabalho com o programa, observou-se que essa definição pode sofrer alterações em casos isolados, de acordo com a realidade de cada município, ficando a critério do mesmo estabelecer novas definições. Entretanto, alguns envolvidos são imprescindíveis e tem seu papel também pré-definido. São eles: o gestor e/ou sua equipe de assessoria, que responde o instrumento nº1; a coordenação da Saúde no município, que responde o instrumento nº2; a equipe completa, que responde o instrumento nº4 e a equipe de profissionais de nível superior, que responde o instrumento nº5. O item (g) - obtenção de um acordo quanto ao procedimento de uma avaliação – será encaminhado para os próximos passos deste estudo. Como o estudo de avaliabilidade não utilizou fonte primária para coleta de dados, o contato com municípios e estados foi limitado, impossibilitando a realização desta ação. 8. Considerações finais A oportunidade de realizar um estudo avaliabilidade da implantação do projeto AMQ ressalta a importância do projeto de contribuir para a melhoria da estratégia Saúde da Família. Através desse estudo foi possível rever detalhadamente os documentos do projeto, buscando estabelecer ferramentas fundamentais para o planejamento de uma avaliação futura. Destacam-se como pontos positivos do programa: A consistência dos documentos disponíveis, fundamentais no processo de resposta aos 7 elementos propostos por Thurtson; a participação de secretarias municipais e estaduais de saúde, na construção do programa; a proposta de difusão da 20 cultura avaliativa e da dimensão da qualidade na estratégia Saúde da Família; o estimulo ao trabalho em equipe. Como fragilidades do programa destacam-se a ausência de recursos vinculados à execução do programa e à ausência de definição do papel das secretárias estaduais de saúde. 9. Limitações do estudo Por falta de recursos financeiros não foi possível envolver os interessados no estudo de avaliabilidade, que é uma das principais estratégias para a aceitação da avaliação e utilização dos resultados da avaliação. Outra limitação decorrente do não envolvimento dos interessados foi a impossibilidade de pactuar o Modelo Lógico, indicadores e padrões. 10. Produtos Estão previstos como produtos dessa avaliação 1 artigos científicos e 1 apresentação em congresso da área. 21 11. Bibliográfica consultada Brasil. Ministério da Saúde. Secretaria de Atenção à saúde. Departamento de Atenção Básica. Avaliação da Atenção Básica em Saúde: Caminhos da Institucionalização. Brasília, DF: Ministério da Saúde, 2005a. Brasil. Ministério da Saúde. Secretaria de Atenção à saúde. Departamento de Atenção Básica. Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família. Brasília DF: Ministério da Saúde, 2005b. Brasil. Ministério da Saúde. Secretaria de Vigilância em Saúde. Programa Nacional de DST/AIDS. Oficina de Capacitação em Avaliação com foco na Melhoria do Programa. Brasília DF: Ministério da Saúde, 2009. Felisberto, E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: Reabrindo o debate. Rio de Janeiro, RJ: Revista Ciência & Saúde Coletiva, vol 11 nº 3, Abrasco, 2006. International Society for Quality in Healthy Care Inc. ALPHA International Principles for Standards. Disponível em www.isqua.org.au. Acessado em: jun. 2009. Hartz, ZMA. Avaliação em Saúde: Dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro, RJ: Fiocruz, 1997. Natal, S; Santos, EM; Felisberto, E; Alves, CKA. Estudo de Caso: Avaliação Formativa do Componente Fortalecimento Técnico das Secretarias de Estado de Saúde em Monitoramento e Avaliação – Relatório Executivo.Rio de Janeiro, RJ: ENSP/FIOCRUZ – IMIP – MS/DAB, 2007. Thurston, WE; Ramaliu, A. Avaliação da avaliabilidade de um programa para sobrevivente de tortura: Lições aprendidas. The Canadian Journal of Program Evaluation, vol.20 nº2, páginas 1-25. Canadian Evaluation Society, 2005. 22 Vuori, H. A qualidade da saúde. Recife, PE: Apostila do Curso de especialização em metodologia Avaliativa para serviços de Saúde. 7º Modulo. 2007. (Texto apresentado originalmente com o título Estratégias para melhoria da qualidade dos cuidados de saúde, no seminário de avaliação dos serviços de saúde – Aspectos metodológicos, Opas, Escola Nacional de saúde Pública, Rio de Janeiro, Brasil, novembro (21 a 25) de 1988. Tradução: Maria José Lindgren Alves)