Population Reports - Série Q - Nº 01 - Melhoria da Interação entre o/a Cliente e o/a Prestador/a de Serviços de Saúde - 07 - Avaliação da Qualidade da ICP

A monitoração e a avaliação são essenciais aos esforços para criar e manter uma boa comunicação entre os prestadores de serviços de saúde e os clientes. Sem a monitoração e a avaliação, é difícil saber se o desempenho dos prestadores de serviços de saúde é adequado ou não, se os clientes estão satisfeitos com os serviços, que tipos de problemas existem, e se as melhorias tentadas foram eficazes. O processo de avaliação também estimula a criação de abordagens inovadoras à melhoria da ICP e testa a utilidade das mesmas.

Dependendo de sua finalidade, uma avaliação de ICP pode ser desde uma análise informal das práticas de uma única clínica, conduzida pelo pessoal de atendimento direto ao público, até uma avaliação rigorosa de um programa inteiro conduzida por peritos externos para satisfazer às exigências de responsáveis pelas políticas públicas e organizações doadoras. A ICP pode estar sujeita a uma avaliação independente ou fazer parte de uma avaliação mais ampla e abrangente.

Seja qual for a abordagem usada, as avaliações de ICP são mais úteis quando adotam uma visão mais abrangente e progridem de forma sistemática. Para capturar os muitos e variados fatores que influenciam a qualidade e eficácia da ICP, as avaliações devem examinar bem mais do que a forma em que o cliente e o profissional de saúde interagem. Elas devem também examinar a correção da informação técnica veiculada e se o estabelecimento de saúde e os sistemas organizacionais gerais apóiam as boas práticas de ICP. A adoção de um processo sistemático, como, por exemplo, a estrutura de 6 passos ilustrada na Figura 1, torna as constatações das avaliações de ICP mais confiáveis, relevantes e úteis (27).

Veja as figuras 7-1 e  7.2

Existem muitas pessoas interessadas no bom funcionamento do programa de planejamento familiares, inclusive prestadores de serviços de saúde, clientes, membros da comunidade, gerentes, e responsáveis pelas políticas públicas. Se os engajarmos no projeto e implementação da avaliação de ICP, estaremos garantindo que a avaliação refletirá opiniões variadas e abordará preocupações importantes (5, 149). Isto também aumenta a probabilidade de que os interessados valorizem os resultados e coloquem em prática as recomendações (20, 162).

Os pesquisadores devem entender o que um programa está buscando atingir antes que eles possam medir a sua eficácia. Para tanto, é necessário dispor de uma descrição completa do programa que, no caso da ICP, primeiro define objetivos tais como garantir a escolha bem informada e o sigilo. Depois explica como vários elementos do programa (que podem ser o suprimento de anticoncepcionais, a disposição física das instalações, as diretrizes de orientação, e os sistemas de supervisão) destinam-se a ajudar a alcançar tais metas.

O objetivo de uma avaliação determina sua concepção e metodologia, inclusive o que pode ser aceito como evidência, como os dados são coletados e por quem, e que alegações podem ser feitas com base nos resultados. Geralmente as avaliações se encaixam em uma das duas categorias abaixo, dependendo de suas intenções (119, 128, 129):

• Avaliações formativas identificam formas de melhorar as operações do programa — por exemplo, ao avaliar os pontos fortes e fracos das práticas de supervisão de ICP.
• Avaliações conclusivas medem os resultados ou impactos de um programa — por exemplo, ao avaliar se um sistema de credenciamento atendeu seu objetivo de melhoria da qualidade da ICP.

As avaliações formativas tendem a usar métodos de pesquisa relativamente simples, freqüentemente métodos qualitativos, envolvendo muito os interessados na concepção, implementação e análise (119, 129). Por exemplo, uma avaliação formativa da qualidade do atendimento municipal na Tanzânia empregou uma abordagem altamente participativa. Cinqüenta supervisores locais ajudaram a projetar uma ferramenta de medição da qualidade para as equipes de pessoal, que a usaram para observar as operações em suas próprias instalações e para chegar a um consenso se os serviços de planejamento familiar atendiam ou não aos padrões preestabelecidos. Esta abordagem motivou os membros do pessoal a examinarem francamente a qualidade dos serviços e a tratar dos problemas de prestação de serviços (20).

Em contraste, as avaliações conclusivas exigem propostas de pesquisas relativamente sofisticadas e métodos rigorosos e quantitativos porque elas influenciam as decisões relativas a políticas e a programas nos níveis nacional ou internacional (119, 128, 129). Por exemplo, uma avaliação conclusiva do impacto dos seriados de rádio sobre a ICP, na área rural do Nepal, exigiram uma equipe muita bem treinada de pessoal de coleta de dados, analistas e estatísticos, além de uma quantidade substancial de recursos e uma logística complexa. O Projeto de Comunicação de Rádio fez pesquisas antes e depois das intervenções de uma amostra nacionalmente representativa de mulheres casadas; pré e pós-testes de trabalhadores de saúde que participaram na educação à distância via rádio; três levas de observações e entrevistas de clientes à saída de consultas em clínicas selecionadas; e uma análise dos dados de fluxo de clientes em postos de saúde sentinela (153).

A credibilidade das constatações obtidas com as avaliações depende dos tipos de dados coletados, de sua qualidade e quantidade e dos métodos usados para coletar os dados (27). Duas questões são cruciais: transformar os conceitos de ICP em indicadores mensuráveis, e escolher as fontes adequadas de dados (92).

Os indicadores têm que ser específicos e mensuráveis. A avaliação da qualidade da ICP exige transformar objetivos gerais – tais como o estabelecimento de uma boa relação com os clientes ou permitir a eles que façam suas próprias escolhas – em indicadores específicos e mensuráveis do desempenho de um indivíduo ou de um programa. Indicadores confiáveis também refletem informações confiáveis e objetivas e são sensíveis a mudanças de desempenho.

A criação de indicadores mensuráveis, que avaliem com precisão a comunicação interpessoal e o trabalho de orientação, demonstrou ser uma tarefa difícil (140). Muitos indicadores exigem um julgamento subjetivo, como, por exemplo, decidir se um profissional de saúde explorou suficientemente as necessidades e preferências de um/a cliente de planejamento familiar. Outros indicadores, tais como a capacidade de ouvir atentamente, podem ser mais difíceis de julgar porque não são verbais e variam de uma cultura a outra. Mesmo indicadores aparentemente bem definidos tais como a precisão da informação prestada, podem ser surpreendentemente difíceis de avaliar no contexto de uma conversação real.

Muitas organizações já prepararam listas extensas de indicadores de ICP como parte da avaliação dos treinamentos (42) ou das próprias instituições de saúde (7). A Tabela 2 apresenta indicadores de ICP usados na Pesquisa Rápida de Qualidade (QIQ), uma ferramenta prática, barata e comprovada para medir a qualidade do atendimento em serviços de planejamento familiar (104, 154).

Fontes múltiplas de dados fortalecem as conclusões. As observações de consultas, as entrevistas com clientes e prestadores de serviços de saúde, e as auditorias das unidades/clínicas são fontes comuns de dados para avaliar a comunicação interpessoal e o trabalho de orientação/aconselhamento. Freqüentemente, as avaliações de ICP utilizam múltiplas fontes de dados, compensando assim pelas deficiências de uma fonte em comparação a outra, e para que a coerência dos resultados possa ser testada (119).

As abordagens da observação têm diferentes vantagens e deficiências. Três abordagens já foram usadas para observar as interações entre clientes e prestadores de serviços de saúde: observação direta, análise da interação e clientes simulados. A observação direta exige a presença de observadores bem treinados – geralmente pessoal que trabalha em campo ou supervisores – para acompanhar a consulta e avaliar a qualidade da interação usando um guia estruturado de observação (7, 68). Mas é justamente a presença de um observador a maior deficiência do método. Quando os clientes sabem que estão sendo observados, eles poderão se sentir menos inclinados a falar, enquanto que os prestadores de serviços de saúde poderão estar fazendo maior esforço do que o normal. Uma seleção e treinamento apropriados dos observadores são essenciais para se garantir a confiabilidade dos dados; se não for assim, observadores diferentes poderão interpretar e relatar as ações dos prestadores de serviços de saúde também de forma diferente (14).

A análise de fitas de áudio ou vídeo gravadas durante as interações pode evitar os problemas em potencial causados pela presença de um observador, porém o custo é muito maior (73). Depois de gravar e, às vezes, transcrever a consulta, os pesquisadores usam um guia de codificação para classificar e quantificar tudo que foi dito tanto pelo/a cliente como pelo/a profissional da saúde (36). As ferramentas de auto-avaliação, que ajudam os prestadores de serviços de saúde a avaliarem seu próprio desempenho, baseados na memória ou em gravações, são uma variação da análise da interação (68, 77).

A abordagem do cliente simulado ou "oculto" treina as pessoas da própria comunidade a reconhecer um bom atendimento e depois as envia em busca de serviços de saúde, sem revelar ao profissional de saúde que tais "clientes" estão participando de um estudo. Depois disto, o cliente simulado faz um relatório de volta aos pesquisadores sobre sua experiência com cada profissional de saúde procurado e cada instituição. A definição cuidadosa do perfil do cliente simulado e a limitação do relatório a comportamentos específicos dos prestadores de serviços de saúde e a características específicas das instituições aumentam a objetividade e a confiabilidade dos relatórios (96, 120). Evidentemente, esta abordagem não permite a avaliação do comportamento do próprio/a cliente.

Veja tabela 7.1

Entrevistas capturam as opiniões dos clientes e dos prestadores de serviços de saúde. Ao entrevistar os clientes logo ao saírem de suas consultas podemos nos informar do que ocorreu durante as consultas e se os clientes saíram satisfeitos com as mesmas. Mas os clientes podem não se lembrar exatamente do que aconteceu durante a sessão de orientação, ou então confundem suas lembranças com outras discussões de grupo ou outros eventos clínicos (14). Mais importante ainda, quando, ao mesmo tempo, as expectativas são baixas, os clientes respondem com parcialidade para serem corteses com os entrevistadores, contando-lhes exatamente o que estes desejam ouvir, e se houver medo de criticar as pessoas com algum poder, os clientes poderão dar a impressão de que estão completamente satisfeitos com os serviços e evitarem criticar a clínica e seu pessoal, tornando os resultados tendenciosos e falsamente positivos (14, 36, 104). Os avaliadores podem reduzir este tipo de resultado tendencioso entrevistando as pessoas em particular (56), longe da clínica, e usando pessoal que não trabalhe na clínica em questão (104).

As entrevistas estruturadas ou semi-estruturadas com os prestadores de serviços de saúde podem avaliar seu conhecimento do planejamento familiar, da comunicação interpessoal e das técnicas de orientação. As entrevistas podem ser particularmente úteis para sondar as atitudes dos prestadores de serviços de saúde com relação ao uso de anticoncepcionais por grupos tais como adolescentes, mulheres solteiras, homens, prostitutas, mulheres sem filhos, ou mulheres que já têm muitos filhos. Mas nem sempre as práticas reais dos prestadores de serviços de saúde correspondem ao seu conhecimento ou às suas atitudes declaradas (116).

Auditorias das instituições avaliam o ambiente para a ICP. Observadores podem fazer visitas às clínicas e centros de saúde para avaliar até que ponto estas instituições estão prontas para prestar serviços de qualidade que levem em consideração uma boa ICP. Por exemplo, os observadores podem avaliar se as instalações oferecem espaço para a realização de consultas privadas, se estão sendo adotadas diretrizes de ICP e outros recursos de suporte, e se os sistemas de logística garantem um fornecimento uniforme e contínuo de anticoncepcionais (104).

Para interpretar os resultados, avaliar as implicações do programa e fazer recomendações práticas, os pesquisadores necessitam consultar todas as partes interessadas (5, 112). Para ajudar estas partes a entenderem os resultados da avaliação, os pesquisadores devem colocar os dados dentro do contexto apropriado, por exemplo, comparando os resultados com o desempenho histórico, com normas nacionais ou com resultados encontrados em outras partes. Além disso, eles devem propor explicações alternativas dos resultados e discutir a probabilidade de cada um (27). Por sua vez, os prestadores de serviços de saúde e gerentes podem contribuir à discussão com seu conhecimento das realidades práticas, inclusive o entendimento de prioridades políticas e restrições de recursos.

Veja Figura 7.3 e Quadro 7.1

Por exemplo, ao avaliar a educação dos clientes na Indonésia sobre as técnicas essenciais de comunicação, os pesquisadores buscaram retorno dos clientes, prestadores de serviços de saúde, educadores de clientes e gerentes de programas (78). Os gerentes comentaram que o método de instrução testado – aconselhamento individual dos clientes – não era viável em grande escala, enquanto que os clientes e educadores sugeriram que o auto-aprendizado, as discussões em grupo e os meios de comunicação de massa podiam ensinar aos clientes as mesmas técnicas. Tendo em vista tais observações, os pesquisadores prepararam recomendações correspondentes.

Para garantir que uma avaliação tenha realmente impacto na prestação dos serviços, os pesquisadores devem criar um plano estratégico para divulgar as constatações feitas e convencer os responsáveis pela tomada de decisões a empreender as ações necessárias. Muitos fatores determinam se os tomadores de decisões prestam ou não atenção aos resultados da avaliação, entre eles, a forma de apresentação e a divulgação das constatações, as opiniões dos próprios tomadores de decisões sobre a relevância dos resultados das pesquisas e a credibilidade e idoneidade dos pesquisadores, as normas organizacionais, e a dificuldade da decisão a ser tomada (88, 113, 149).

Os gerentes de programas e os responsáveis pelas políticas têm maiores probabilidades de colocar em prática as recomendações se estiverem envolvidos desde os estágios iniciais do processo de avaliação – por exemplo, ajudando a formular as perguntas da pesquisa – e se receberem resumos e interpretações claras e convincentes dos resultados. Um plano de comunicação deve identificar o diferente público alvo, por exemplo, representantes do Ministério da Saúde, gerentes distritais, supervisores, prestadores de serviços da área de planejamento familiar e membros da comunidade e, sem seguida, adaptar as mensagens e os canais de comunicação a cada um deles (4, 5, 112).

Population Reports é publicado pelo Population Information Program, Center for Communication Programs, The Johns Hopkins School of Public Health, 111 Market Place, Suite 310, Baltimore, Maryland 21202-4012, USA.

Palavras chave: icp, avaliação, saúde, mais, programa, avaliações, ser, é, clientes, são, também, passo, que, prestadores, saúde clientes, prestadores serviços saúde, serviços saúde, prestadores serviços, bem, monitoração avaliação,