Observações Etnográficas na Avaliação da Usabilidade de Dispositivos Móveis de Coleta de Dados Estatísticos



Baixar 64.8 Kb.
Encontro01.03.2018
Tamanho64.8 Kb.

Observações Etnográficas na Avaliação da Usabilidade de Dispositivos Móveis de Coleta de Dados Estatísticos

Patricia Tavares

Departamento de Informática Aplicada da Universidade Federal do Estado do Rio de Janeiro (UNIRIO) e IBGE

patricia.tavares@uniriotec.br


Luiz Agner

Instituto Brasileiro de Geografia e Estatística (IBGE) e UniverCidade

luizagner@gmail.com


Simone Bacellar Leal Ferreira

Departamento de Informática Aplicada da Universidade Federal do Estado do Rio de Janeiro (UNIRIO)

simone@uniriotec.br





Cópias digitais ou impressas deste artigo são permitidas desde que sejam para uso pessoal ou em sala de aula e com as devidas referências, não se prestando para fins comerciais. Por favor, mantenha este aviso na primeira página.
Interaction South America 2010

2 a 4 de dezembro Curitiba - Paraná – Brasil



Copyright 2010 IxDA Curitiba
RESUMO


O presente artigo apresenta o método, resultados e conclusões preliminares de observações de campo inspiradas em técnicas etnográficas. Foi analisada a usabilidade do aplicativo desenvolvido para os PDAs (Personal Digital Assistants) da Pesquisa Nacional por Amostra de Domicílios Contínua do IBGE. A técnica foi aplicada com a participação de entrevistadores que utilizam PDAs, dispositivos móveis para coleta de dados durante as pesquisas domiciliares do Instituto. As conclusões obtidas a partir das “observações etnográficas” revelaram dados qualitativos inusitados sobre a usabilidade. Os autores reuniram relatos sobre o emprego do PDA no ambiente de campo, apontando seus principais problemas de uso.

Palavras-chave


Usabilidade, PDA, metodologia, etnografia, design, estatística.

abstract

This article presents the methodology, results and findings of field observations where we analyzed the usability of the software developed for PDAs of the IBGE National Household Sample Continuous. Ethnography inspired field observations were applied with the participation of users who use mobile devices to collect data for statistical research. The conclusions from field observation qualitative data revealed to be surprising or unusual. To register difficulty of use, the authors gathered reports of interviewers on the use of PDA in the field environment, pointing out its major problems.

Keywords


Usability, PDA, methodology, ethnography, design, statistics.

INTRODUÇÃO


Com o avanço da tecnologia da informação, as pessoas e as organizações necessitam cada vez mais de sistemas desenvolvidos com qualidade. Como é por intermédio das interfaces que as pessoas se comunicam com os sistemas para executar suas tarefas, elas precisam ser cada vez mais projetadas com foco na usabilidade [6].

Existem diferentes métodos de avaliação de usabilidade: há aqueles sem a presença de usuários - os “métodos de inspeção” ou “métodos analíticos ou prognósticos”; e há aqueles que envolvem usuários, chamados de “método de observação” ou “testes com os usuários”. Estes podem ser realizados em seu contexto de uso, no campo, ou em ambientes monitorados, como os laboratórios de usabilidade [4].

O método proposto neste trabalho representa o mix de quatro abordagens diversificadas de avaliação: a observação em contexto de uso (aqui referida também pela expressão “observação etnográfica” – mas deixando claro que não se trata do método tradicional da etnografia, tal como é concebida e aplicada pelas ciências sociais), os testes de usabilidade com emprego de laboratório portátil, as entrevistas semi-estruturadas, e a inspeção heurística.

Na primeira fase do método, o usuário foi observado em seu contexto primordial de uso, ou seja, utilizando o PDA (Personal Digital Assistants) em visitas de campo, ao entrevistar cidadãos em seus domicílios. A segunda fase consistiu em uma observação feita em ambiente semi-controlado, onde o usuário foi entrevistado e observado, em local de trabalho, realizando tarefas que simulam situações verdadeiras que ocorrem, com freqüência, nas suas atividades de campo.

O método proposto aqui foi desenvolvido e aplicado para avaliação de usabilidade de um software criado para o PDA a ser utilizado pelos entrevistadores da Pesquisa Nacional por Amostra de Domicílios Contínua (PNAD Contínua) do Instituto Brasileiro de Geografia e Estatística (IBGE) [12].

Neste artigo, será dada ênfase especial à parte inicial do método que trata da aplicação de observações etnográficas, de caráter exploratório, e seus resultados. A segunda fase do método já foi explorada em outros textos de comunicação científica [12].

a tecnologia em contexto de coleta de dados


Segundo Greene [5], a introdução de uma tecnologia pode transformar o contexto de uma entrevista para coleta de dados estatísticos e pesquisas domiciliares, contribuindo para a sensação de que este é um evento importante para o informante.

Em alguns casos, a curiosidade sobre a tecnologia pode chamar mais pessoas para observar ou participar das entrevistas. Às vezes isso ajuda a “quebrar o gelo”, ficando mais fácil falar com outros membros de uma família ou da comunidade. Em algumas raras situações, a tecnologia poderá inspirar medo ou ansiedade [5].

Os métodos de coleta de dados assistida por computadores são conhecidos pelos termos CADC (Computer-Assisted Data Collection), ou pelo termo europeu CADAC, CASIC (Computer-Assisted Survey Information Collection) e CAI (Computer-Assisted Interviewing); os métodos tradicionais de papel e lápis são muitas vezes denotados por PAPI (Paper-And-Pencil Interviewing).

A característica principal das entrevistas apoiadas por computador é que as perguntas são orientadas na ordem correta, seguindo um algoritmo disponibilizado em um programa interativo na tela do computador.

O software tem a capacidade de configurar a ordem e o tipo de questões baseando-se nas respostas anteriores, ou na informação que já dispõe sobre o entrevistado. As respostas são inseridas diretamente neste computador por um entrevistador ou pelo próprio entrevistado [7].

Como alternativa aos questionários em papel, a CADC é bem aceita pelos entrevistados e pelos entrevistadores e a qualidade dos dados melhora, especialmente quando os questionários complexos são utilizados.

Em geral, os entrevistados reagem positivamente ao uso do computador durante uma entrevista: eles atribuem um maior grau de profissionalismo à pesquisa. A interação social com o entrevistador é descrita como confortável [7].

A pesquisa que representa o objeto de estudo deste trabalho – a PNAD Contínua – representa mais uma iniciativa do Instituto Brasileiro de Geografia e Estatística no sentido de integrar a tecnologia móvel para apoiar o processo de entrevista e de coleta de dados sobre as condições de vida da população brasileira - através do desenvolvimento e da aplicação de um questionário eletrônico (figura 1), como já ocorreu nos Censos 2007 e 2010.


a pesquisa pnad contínua


A PNAD Contínua é uma nova pesquisa do IBGE, que pretende permitir uma investigação contínua sobre trabalho e rendimento da população. Ela é o resultado da fusão de duas pesquisas do Instituto, a Pesquisa Mensal de Empregos e a Pesquisa Nacional por Amostra de Domicílios [8].

O IBGE começou a testar a metodologia e o sistema, a partir de outubro de 2009, nos estados do Pará, Pernambuco, Rio de Janeiro, São Paulo, Rio Grande do Sul e no Distrito Federal, prosseguindo com o teste, no ano de 2010, no Rio de Janeiro. Em 2011, a pesquisa será oficialmente lançada em todo o País [9].

A PNAD Contínua é realizada a partir de uma amostra de aproximadamente 179.000 domicílios e tem como núcleo básico questões sobre trabalho e rendimento. Além disso, vai investigar temas adicionais, como: educação de jovens e adultos, migração, educação profissional, trabalho infantil, fecundidade, mobilidade social, nupcialidade, saúde, segurança alimentar, tecnologia da informação e comunicação, transferências de renda e uso do tempo [8].

Para a sua coleta de dados, foram desenvolvidos sistemas para PDA e sistemas de gerenciamento dos dados. Este estudo de usabilidade analisou a facilidade de uso do aplicativo desenvolvido para o dispositivo móvel com o objetivo de gerar recomendações para torná-lo mais eficiente e adequado, aprimorando a qualidade e a satisfação na coleta de dados.





Figura 1 - Detalhes da interface do protótipo da PNAD Contínua para dispositivo móvel, versão 1.0.9.

O método de avaliação de usabilidade aplicado no presente trabalho, batizado por nós de entrevistas baseadas em cenários e tarefas, procurou preservar as características essenciais de um método científico, para emprestar credibilidade às suas conclusões e à apresentação dos seus resultados. Este método foi desenvolvido para atender às condições e às peculiaridades do contexto do IBGE e já havia sido experimentado anteriormente na avaliação da usabilidade de um aplicativo para o Censo Demográfico 2010, tendo sido apresentado e discutido em comunicações científicas anteriores [12].

A pesquisa, de caráter qualitativo, teve seis etapas: (a) pesquisa bibliográfica e documental; (b) observações etnográficas; (c) seleção da amostra de participantes; (d) entrevistas baseadas em cenários e tarefas; (e) análise dos resultados; (f) comunicação dos resultados.

Neste paper, serão apresentados os detalhes e alguns resultados qualitativos reunidos durante a etapa de “observações etnográficas”. Deixamos claro, entretanto, que este termo proposto não deve ser confundido com a aplicação tradicional do método etnográfico, tal como é compreendido por outras disciplinas, como explicaremos a seguir.


técnicas etnográficas em ihc


Segundo Cooper [3], etnografia é um termo tomado emprestado da Antropologia que significa um estudo imersivo e sistemático de culturas humanas. Segundo Burke e Kirk [1], a etnografia não é um método, é mais propriamente uma categoria de pesquisas em Interação Humano-Computador.

Tendo sido adotada na Antropologia e na Sociologia, a etnografia se baseia na observação de interações humanas em um dado ambiente ou atividade social. Pode ser descrita como a observação de pessoas em seu contexto cultural.

Uma cultura é formada por determinados valores, práticas, relações e identificações. Deste modo, um ambiente de trabalho (como um escritório ou uma fábrica) pode ser descrito como uma cultura, pois é caracterizado por padrões, práticas de negócios (formais ou informais), e por relações entre colegas de trabalho e com os gerentes.

De acordo com os autores acima citados, há uma série de razões pelas quais a etnografia passou a ser importante para o projeto de interface. Essas razões são as seguintes:

1 - o estudo etnográfico é um meio poderoso de identificar as necessidades do usuário e enxergar o sistema pelo olhar do usuário.

2 - descobre a verdadeira natureza do trabalho realizado: é muito comum os usuários desempenharem suas tarefas de modo diferente daquilo que foi prescrito. No caso de uma coleta de dados assistida por computador, por exemplo, nós descobrimos que o estudo etnográfico poderá ser útil ao evidenciar se os usuários enunciam as perguntas da entrevista empregando linguagem informal ou popular, de modo diverso do que é proposto no questionário eletrônico oficial. Ou, ainda, será possível observar se desenvolvem confiança no dispositivo, ou se freqüentemente procuram realizar um bypass no seu funcionamento normal, com o intuito de evitar lentidão, travamentos ou perda de informações.

3 – outra vantagem do estudo etnográfico é que o pesquisador obtém um alto grau de compreensão do usuário e pode desempenhar o seu papel em sessões de projeto participativo.

4 - a natureza aberta (não enviesada) da etnografia habilita o registro de revelações surpreendentes sobre como o sistema é utilizado no campo.

Como nos estudos sociológicos, os etnógrafos precisam estar imersos na cultura do usuário para melhor entender o que se passa em torno dele. Assim, os etnógrafos devem olhar, participar e perguntar sobre as atividades do seu dia-a-dia. Sob o ponto de vista do projeto, deve-se começar a raciocinar como um usuário.

Se o objetivo da etnografia social é compreender como o indivíduo ou grupo interage dentro de sua cultura, na etnografia para o projeto de sistemas, por outro lado, o objetivo é verificar como o sistema é realmente utilizado. Visa a identificar problemas na maneira como é usado, assim como os efeitos do sistema na cultura específica do local de trabalho, para descobrir possibilidades de desenvolvimento, dentro daquela atividade ou local.

Os métodos etnográficos podem descobrir fatos inusitados e valiosos que jamais seriam identificados por métodos in house. A maior parte dos dados do estudo etnográfico é elicitado através de observação pessoal, entrevistas ou gravações em áudio e vídeo. Seus resultados são informações qualitativas como declarações, impressões, opiniões e descrições do ambiente ou local.

Segundo Burke e Kirk [1], há termos empregados em IHC que são praticamente sinônimos de etnografia como:

1 - estudos de campo: termo alternativamente utilizado no sentido de etnografia;

2 - investigação contextual (contextual inquiry): método ligeiramente mais específico, focado no modo de dirigir perguntas ao usuário;

3 - estudo observacional: significa simplesmente olhar o usuário em seu contexto de trabalho, sem dirigir-lhe quaisquer perguntas;

4 - observação participante: focada em realizar as atividades cotidianas de trabalho, lado a lado com o usuário.

Para Cooper [3], estudos contextuais desenvolvidos no processo do design de interação devem trazer o espírito da pesquisa social etnográfica e aplicá-lo em um nível micro. Em vez de tentar compreender comportamentos e rituais sociais de uma cultura inteira, seu objetivo deve ser compreender comportamentos e rituais de grupos de pessoas que interagem com produtos específicos.

Hugh Beyer e Karen Holtzblatt (apud [3]) foram os pioneiros na aplicação de uma técnica de “entrevistas etnográficas”, a que eles denominaram contextual inquiry (investigação contextual). Esta técnica se tornou rapidamente uma referência na indústria de software. O seu método foi baseado no modelo mestre-aprendiz, ou seja, o entrevistador observava e fazia perguntas como se fosse um principiante e o usuário, o seu mestre.

Os dois autores citados enumeraram quatro princípios básicos que notabilizam o seu método etnográfico:

1 - Contexto: em vez de entrevistar usuários em uma sala branca e asséptica, a observação e a interação devem se dar no seu ambiente comum de trabalho, fornecendo o contexto apropriado para o produto.

2 - Parceria: a entrevista deve ocorrer de modo a ser uma exploração colaborativa com o usuário, alternando-se entre a observação do trabalho e a discussão sobre a sua estrutura e detalhes.

3-Interpretação: a maior parte do trabalho do pesquisador será ler nas entrelinhas o que acontece a partir dos dados reunidos sobre o comportamento dos usuários, o que eles declaram e como se relacionam com o seu ambiente.

4-Foco: o designer deve sutilmente direcionar a entrevista para captar dados relevantes ao projeto do software.

Cooper et al. [3] enumeram os seguintes melhoramentos emprestados por sua equipe à técnica original da investigação contextual de Beyer e Holtzblatt, visando a maior eficiência na sua prática projetual:

- Encurtamento: a investigação contextual propõe entrevistas de dia inteiro, mas Cooper considera suficiente realizar entrevistas de campo com não mais que uma hora de duração, com cerca de seis usuários bem-selecionados;

- Equipes enxutas: apesar de Beyer e Holtzblatt proporem uma equipe grande, Cooper et al. sugerem ser mais eficaz realizar observações, seqüencialmente, com uma equipe de trabalho enxuta formada por duas ou três pessoas. Todos os observadores devem interagir com os usuários além de analisar e compilar os dados;

- Identificação de objetivos: a identificação e a priorização dos objetivos dos usuários devem ser realizadas antes de relacionadas as tarefas específicas;

- Pesquisar além do contexto corporativo: a “entrevista etnográfica” pode buscar informações e ser aplicada também fora do contexto corporativo.

Cooper et al. explicam que as suas entrevistas etnográficas podem ser agrupadas de modo a refletir diferentes fases cronológicas, com foco mais abrangente e amplo, no início, passando a abordar funções e tarefas específicas nas últimas etapas. Os stakeholders podem ser acionados para agendar entrevistados adequados a cada fase do ciclo de entrevistas.

Para Cooper, as regras básicas das “entrevistas etnográficas” são: entrevistar no local onde a interação acontece; evitar perguntas fixas; focar em objetivos primeiro, só depois em tarefas; evitar transformar o usuário em designer de interface; evitar discussões sobre tecnologias; encorajar a contação de histórias; solicitar a demonstração dos artefatos pelo usuário; não formular perguntas que geram vieses nas respostas.

Após cada “entrevista etnográfica”, a equipe de projetistas deve se reunir, comparar e discutir as observações, verificando se questões levantadas pelas entrevistas anteriores foram respondidas. As fotos e os vídeos devem ser revisados e postados em um local público, como um mural. Será útil utilizar esses dados na preparação da estratégia a ser adotada durante as próximas observações.

ACOMPANHAMENTO DE TRABALHO DE CAMPO


Os autores agendaram acompanhamentos com equipes em trabalhos de campo da PNAD Contínua, onde o dispositivo móvel de coleta de dados pode ser observado em seu contexto real de uso. O objetivo foi reconhecer os problemas e compreender as dificuldades e as vantagens da coleta de dados assistida pelo PDA e como o dispositivo impacta o comportamento do entrevistador e do informante.

Para compreender melhor como o entrevistador da PNAD Contínua realiza seu trabalho, os autores acompanharam três equipes do IBGE em entrevistas domiciliares reais da pesquisa.

Em primeiro lugar, participaram de uma visita de campo no bairro do Leblon. Em seguida, acompanharam uma equipe de trabalho do IBGE em diversos bairros no subúrbio carioca (Encantado, Piedade, Bonsucesso e Higienópolis). Em outra ocasião, os autores realizaram visita a uma agência de coleta. Depois disso, foi empreendida visita de campo a Tanguá (figura 2), no interior do Estado do Rio de Janeiro, uma área com características rurais.



Figura 2 - Registro de observações etnográficas:
entrevistador aborda um domicílio selecionado em Tanguá, setor com características rurais no Estado do Rio de Janeiro.

As nossas observações etnográficas realizadas durante o acompanhamento dessas equipes no campo foram registradas em imagens, entrevistas em áudio e vídeo, e anotações, apresentando a visão do usuário sobre a interação com o dispositivo móvel no campo.

Como conclusão mais evidente dos acompanhamentos em contexto de uso, percebeu-se a importância da usabilidade na construção de aplicativos para os PDAs. Tais equipamentos possuem limitações físicas, como telas e teclados reduzidos. A navegação intuitiva e a identificação eficiente de conteúdos textuais são necessidades absolutas em dispositivos móveis em situação de pesquisa.

Em geral, usuários em ambientes fixos concentram-se melhor enquanto que, em ambientes móveis, tendem a se distrair em função de atividades que acontecem no ambiente [10].

Os autores do artigo puderam verificar que, como são utilizados em ambientes externos, os PDAs precisam suportar condições ambientais adversas (calor, frio, umidade, seca, luz natural e artificial), dependendo do local de uso. Concordamos com Simões et al. [11] que o público-alvo é um desafio, pois o trabalho de campo é realizado com milhares de pessoas de variados perfis e localizações geográficas.

A mobilidade impõe limites físicos, visuais e cognitivos ao usuário [2]. Somam-se a estes fatores a dificuldade de acesso a domicílios (áreas de alto risco, distantes ou rurais, em condomínios classe média alta), onde cada vez mais o informante tem restrições de receber o entrevistador. Para registrar tais dificuldades, os autores reuniram relatos dos entrevistadores sobre o uso do dispositivo móvel no ambiente externo, apontando seus problemas.



O contraste de cores da tela do PDA com a luz solar foi o problema mais citado nestes relatos: os pesquisadores fotografaram o dispositivo sob a incidência da luz do sol e puderam comprovar a gravidade desse problema, que impede a leitura do questionário (figura 3).



Figura 3 - O dispositivo da PNAD Contínua sob a
incidência da luz solar: legibilidade prejudicada.


RELATÓRIOS DE OBSERVAÇÕES


Nos três textos a seguir, apresentamos partes selecionadas dos relatórios elaborados pelos autores a partir das observações etnográficas relacionadas à fase de testes da pesquisa PNAD Contínua. Os textos representam sínteses gerais das observações dos pesquisadores; todos os nomes de indivíduos citados foram alterados para preservação de privacidade.

Relatório de Trabalho de Campo no Leblon


Numa ensolarada tarde de outono, fomos acompanhar o trabalho de campo de um dos entrevistadores da pesquisa PNAD Contínua, no Leblon, um bairro nobre da zona sul do Rio de Janeiro.

Estávamos em campo eu, Manuela, que trabalha junto à Diretoria de Informática e integra a da equipe de desenvolvimento do aplicativo do PDA, Roberto, um supervisor da pesquisa, responsável pela área, e Reinaldo, o entrevistador destacado para acompanharmos, que iria, nesse dia, trabalhar numa rua do alto Leblon.

Esta área apresenta a característica de possuir muitos edifícios residenciais de famílias de classe média alta que, não raro, moram em grandes apartamentos ou em coberturas de luxo.

Após cerca de dez tentativas infrutíferas de abrir domicílios para aplicar o questionário da PNAD Contínua, finalmente conseguimos entrar em uma residência a ser pesquisada. O supervisor Reinaldo ficou nos aguardando na portaria e subimos pelo elevador até uma das coberturas, onde fomos recebidos por dona Marlene, que estava em casa acompanhada da empregada. Reinaldo apresentou-me e a Manuela como supervisores e perguntou se poderíamos acompanhar a entrevista, no que obtivemos a anuência da dona da casa, embora não sem demonstrar certa surpresa quanto ao número de pessoas a entrar em sua casa.

Ao entrarmos, dona Marlene nos encaminhou para uma ampla varanda, decorada com vasos de plantas e muito bom gosto, onde havia dois sofás, cadeiras e uma mesa de centro. Reinaldo sentou-se no local indicado pela entrevistada, mas logo foi forçado a reacomodar-se devido à luminosidade solar que incidia sobre o seu PDA, impedindo a visibilidade de sua operação.

A entrevista iniciou-se às 11h25min e terminou por volta das 12h25min. Durante a observação da entrevista e do uso do dispositivo de mão, eu e Manuela pudemos registrar por escrito diversos detalhes da interação com o informante.

A maior parte das perguntas dirigidas à entrevistada foi enunciada de modo informal. Observamos que o entrevistador (considerado pela chefia um dos seus melhores funcionários) adaptou, à sua maneira, as perguntas que a pesquisa apresentava na tela do PDA, empregando linguagem bastante coloquial. Tal estratégia contribuiu para descontrair a entrevista, aproximando-a de uma conversação comum.

A entrevistada passou a conversar em tom informal com o entrevistador, dando mais detalhes do que o que estava sendo estritamente perguntado. Isso gerou a necessidade de uma dose extra de interpretação das informações por parte do entrevistador.

A entrevistada passou a relatar um pouco da história de sua vida. O entrevistador perguntou alguns fatos por curiosidade pessoal, mesmo estando fora do questionário da PNAD Contínua. Isto contribuiu para tornar o clima da entrevista ainda mais descontraído.

A nossa observação destacou a grande experiência e habilidade pessoal do entrevistador Reinaldo, assim como a cordialidade e boa educação da entrevistada.

Reinaldo começou o questionário perguntando qual era o último curso que dona Marlene havia concluído. Ela informou que foi o mestrado. Com esta resposta, Reinaldo deduziu algumas outras: por exemplo, nem precisou perguntar se sabia ler e escrever.

Reinaldo precisou de um tempo considerável entre cada uma das perguntas do questionário para operar o PDA. Durante os intervalos, clicava diversas vezes na tela touch-screen do dispositivo móvel com a sua caneta. Dona Marlene mostrou-se um pouco entediada, esperando ele terminar a operação e partir para a próxima pergunta.

Reinaldo teve que voltar atrás nas perguntas do questionário, pois a informante disse que era arquiteta, mas depois corrigiu a informação, dizendo que vivia principalmente da renda de aluguéis.

Além disso, o entrevistador sentiu dificuldade de encaixar uma aposentadoria proveniente do exterior, declarada pela entrevistada, em uma categoria específica no questionário eletrônico.

Reinaldo também se confundiu na interpretação de respostas para certas questões, como a relação de trabalho da filha da informante, que era produtora de cinema. Após perguntas extras, fora do questionário, esta informação se esclareceu.

Ficou demonstrado certa necessidade de cultura geral por parte do entrevistador para a correta interpretação de algumas respostas sobre a produção de filmes. A informante teve dificuldade em estimar o número de horas trabalhadas de sua filha, por não ser este um trabalho com horários rigidamente estabelecidos.

Demonstrando experiência com as perguntas do questionário, o entrevistador fez cálculos financeiros mentalmente, o que ajudou a informante a responder perguntas sobre seus rendimentos totais.

Dona Marlene respondeu pelas três pessoas da casa: ela, Oswaldo, seu marido e Mariana, sua filha. Quando não sabia de alguma informação específica, ela ligava para o marido. Em uma das perguntas, dona Marlene não conseguiu o contato com o sr. Oswaldo e Reinaldo então foi para a próxima pergunta. Depois, conseguiu falar com o sr. Oswaldo e recebeu a informação. Reinaldo precisou de um grande tempo para encontrar a pergunta no PDA e inserir a informação que faltava.

A entrevistada telefonou três vezes para o marido para confirmar dados demográficos e confirmar rendimentos. Na última vez, ela colocou o marido em contato direto com o entrevistador pelo telefone.

Após o término da entrevista, perguntamos a Reinaldo o motivo de ele adaptar as perguntas e não seguir o fluxo exato do questionário. Ele sabia que a coordenação da PNAD Contínua orienta que o fluxo do questionário seja rigorosamente seguido, mas alegou que, se seguisse este fluxo, seria cansativo e estressante para o informante. Ele apontou que alguns informantes já ficaram ofendidos com certas perguntas. Por este motivo, procura abreviar o questionário com a intenção de tornar a entrevista menos aborrecida.

Relatório de Visita à Agência de Coleta


Eu e Carlos marcamos para uma quarta-feira, às 10 horas, mais um teste de campo do software da PNAD Contínua. O local escolhido foi um posto de coleta na área urbana do Rio de Janeiro, onde são concentrados trabalhos coletados de diversos bairros da área central e portuária da cidade.

Fomos recebidos por Soraia, uma das supervisoras da casa. Conversamos um pouco com ela sobre como eram conduzidos os trabalhos da pesquisa. Ela se mostrou grande conhecedora do trabalho do Instituto, falando também sobre as demais pesquisas domiciliares. Fazia comparações e enfocou as vantagens e desvantagens de cada uma delas, entusiasmada em poder expor suas idéias e sugestões.

Soraia aparentava ter uns 45 anos de idade, usava roupa de cores discretas, colares e pulseiras nem tanto, e um suave perfume. Após a breve conversa inicial, pedimos a ela para nos apresentar Bruna, que participaria do ensaio de interação.

Fomos ao encontro de Bruna, uma jovem bonita, não muito alta, de uns 22 anos. Pedi para ela aguardar um pouco o Carlos, que já estava a caminho. Soube que ela estava fazendo faculdade de Fonoaudiologia e que trabalhava na pesquisa da PNAD Contínua porque o horário de trabalho era compatível com o das aulas na faculdade.

Soraia contou que ela era uma ótima agente de pesquisas que ingressou no último concurso. Este concurso foi realizado para suprir as necessidades de recursos humanos do Instituto, mas tinha como desvantagem a contratação temporária por dois anos. Soraia comentou que o contrato já estava no final e eles não tinham a perspectiva de prorrogar o prazo, lamentando a perda de mais uma funcionária competente.

Carlos chegou logo em seguida. Antes de começamos o ensaio de interação com Bruna, fomos conversar com o chefe da agência para explicar a importância do nosso trabalho. Ele ficou interessado em detalhes sobre o teste de usabilidade e combinamos de conversar após o seu término.

Enquanto Carlos conduzia os trabalhos com a Bruna, fiquei observando o movimento da agência. Ela era composta por dois salões com diversas mesas em estilo antigo, em madeira escura, enfileiradas e bastante preservadas, e uma sala reservada para o chefe. O ambiente lembrava os filmes que retratam repartições públicas da década de 1940, mais ou menos o período em que a Instituição foi criada pelo presidente Getúlio Vargas.

Os funcionários iam de um lado para o outro, atendendo telefones nas diversas mesas e falando alto, algumas vezes atrapalhando o estudo. Um deles até passou distraidamente atrás de Bruna, aparecendo na gravação realizada pela webcam, em uma das tarefas do ensaio. Carlos delicadamente pediu para que ele saísse do foco da câmera.

Reparei que o chefe da agência, o sr. Gonzaga, era um “faz tudo”, pois em um momento ele se propôs a subir uma escada para trocar uma lâmpada queimada da sala onde estávamos. A agência estava bem cuidada e em cada salão podia-se ouvir música ambiente, que saía de caixas de som.

Após o término do teste, fomos ao encontro do chefe. Era um homem com idade aparente entre 55 e 60 anos, um antigo funcionário do Instituto. Encontramo-lo agora debaixo da sua mesa de trabalho consertando a conexão elétrica dos cabos de um computador.

Ele demonstrou muito interesse em nosso trabalho, dizendo que a nossa visita era de suma importância. Segundo ele, muitas vezes, as necessidades do campo são desconhecidas e sistemas são construídos sem que os usuários possam ter a oportunidade de contribuir com sua experiência.

Soraia veio a nosso encontro e os dois começaram a colocar diversos temas em pauta. Discutiu-se a carência de recursos humanos, pois os concursos públicos não estavam suprindo a quantidade de funcionários que estavam se aposentando.

A nova geração de funcionários é formada por jovens que ainda não atingiram os 30 anos, universitários em sua maioria, e que estão bastante acostumados a avanços tecnológicos e ao uso de sites e redes sociais na Internet.

Segundo eles, estes jovens funcionários são contratados por períodos de até dois anos e muitos são descomprometidos com o trabalho, por serem temporários. Por outro lado, alguns funcionários temporários mostram-se perfeitos para as tarefas, mas precisam ser dispensados assim que o prazo de contrato se expira.

Os dois veteranos concordaram em vários pontos, mostrando preocupação quanto ao futuro da Instituição que, na sua visão, estaria ameaçado devido ao grande número de aposentadorias que ocorreriam em breve.

Disseram que os treinamentos eram insuficientes para dar conta da enorme rotatividade de profissionais. E que as pesquisas só são concluídas porque alguns servidores “dão o seu sangue” e fazem “das tripas coração” para obter os dados no campo.

Relatório de Campo em Setor Rural


Após algumas visitas de campo a áreas urbanas do Rio de Janeiro, resolvemos realizar nossas observações etnográficas em uma área rural. Eu e Carlos entramos em contato com Gláucio, um coordenador de pesquisa e pedimos sua sugestão. Ele propôs visitarmos a região de Tanguá, um local sob responsabilidade da agência de Itaboraí, onde são geralmente coletados dados de setores que, apesar de formalmente considerados áreas urbanas, têm características marcadamente rurais.

Seguimos os três num automóvel para o referido setor, acompanhados de Ubiratan, um entrevistador bastante tagarela. No caminho, sem parar de falar, reclamou que não havia normalmente carros para ir a setores afastados. Gláucio interferiu na conversa, enfatizando que os veículos existentes eram prioridade do censo demográfico.

No decorrer da viagem, fomos percebendo que as características urbanas, como asfalto, meio-fio, placas e edificações, foram gradativamente escasseando e dando lugar às características de uma região rural. Em um momento da viagem, Ubiratan percebeu que já tínhamos passado de um supermercado, que era seu último ponto de referência para a entrada no setor.

Adentramos por uma rua sem asfalto. Observamos a quantidade de sítios que iam aparecendo no caminho. Em vários pontos, pudemos passar em meio ao gado pastando e a muitos pés de laranja. Ubiratan comentou que esta era a paisagem típica do local, e que o município era grande produtor de laranjas. Apesar de estarmos no inverno, o sol era muito forte e o céu azul. Notamos ao passar por diversas poças d’água que, se estivesse chovendo, não conseguiríamos chegar ao setor, caso o nosso veículo não contasse com tração nas quatro rodas.

Cerca de meia hora depois, com bastante dificuldade e algumas voltas desperdiçadas por entre alamedas sem calçamento nem placas, em meio a densas plantações e áreas de pasto, Ubiratan localizou um dos domicílios selecionados. Estacionamos o nosso veículo sob uma sombra em frente a uma casa bem simples, com detalhes da pintura e do reboco descascando. Havia um cachorro que começou a latir mas parou logo em seguida. Um arbusto com flores enfeitava o lado de fora da casa e uma gaiola com um passarinho estava pendurada na parte da frente da varanda, por onde também passeava um galo.

Um morador chegou à porta. Ubiratan se identificou e pediu licença para fazer a entrevista em nome do IBGE. O cidadão ficou um pouco desconfiado mas aceitou a abordagem. Era um homem calmo que usava uma bermuda surrada, estava de chinelos e sem camisa. Percebemos que tinha músculos bem definidos, com a pele curtida de sol, aparentando ter uns quarenta anos. Mais tarde, revelou ser lavrador.

Ubiratan buscou uma sombra na varanda, sentando-se na sua mureta, tendo sido acompanhado pelo dono da casa. Após solicitar e beber um copo d’água, ele ligou o seu PDA, começou a usá-lo silenciosamente; o informante estava com paciência e, ao mesmo tempo, mostrava curiosidade, esperando pelas perguntas. A entrevista começou por volta de 12:15h.

Ubiratan foi empregando palavras simples e assim conseguiu ganhar a confiança do informante para obter os dados que precisava.

O informante ficou um pouco envergonhado ao falar o quanto ganhava por mês. Disse que era lavrador, mas que muitas vezes não ganhava nada porque perdia toda a lavoura. Ele respondeu com educação a todas as perguntas, mas não compreendeu aquela que indagava se ele gostaria de trabalhar mais horas.

Ubiratan gastou um tempo explicando o propósito desta pergunta para o homem, mas ele não conseguiu entender. Gláucio também tentou explicar, mas ele e a esposa continuaram com dúvidas. Como iria alguém querer trabalhar mais se já trabalhava tanto?

Na hora de responder ao questionário relativo à sua esposa, o lavrador a chamou para ajudar. Ela disse que voltou a estudar à noite e que ia de bicicleta para a escola. Era empregada doméstica; ganhava cerca de R$ 350,00 por mês. Ubiratan não perguntou quem era o responsável pelo domicílio, por isto, não sabemos se ele apontou o lavrador ou a esposa. Enquanto ocorria a entrevista, eu e Carlos íamos registrando nossas observações por escrito.

Percebemos que as pessoas eram simples, mas educadas e não cometiam muitos erros de linguagem. Um segundo homem de meia idade que não se identificou e a filha do casal, de cerca de uns dez anos, uniram-se ao grupo da varanda, demonstrando curiosidade. No quintal da casa, circulavam galinhas e patos e o galo cantava. Pareceu-nos que a família consumia quase tudo o que plantava.

A entrevista durou cerca de 45 minutos. Nos despedimos, tiramos fotos e fomos embora. Respondendo a uma indagação de Carlos, Ubiratan disse no carro que as últimas alterações realizadas no PDA, sugeridas pelos estudos de usabilidade, melhoraram a interação e que o novo teclado virtual havia ficado bem melhor.

PARA EFEITO DE CONCLUSÃO


O presente artigo apresentou a parte exploratória do método de observações envolvendo usuários, para avaliação de usabilidade de um dispositivo móvel de coleta de dados de entrevistas domiciliares, com ênfase em técnicas de observações etnográficas. Ele foi desenvolvido para ser aplicado junto aos entrevistadores que utilizaram PDAs durante a versão experimental da Pesquisa Nacional por Amostra de Domicílios Contínua (PNAD Contínua).

O método de avaliação apresentou essencialmente duas etapas: a primeira consistiu em acompanhar os usuários do PDA em seu contexto de uso no campo (“observações etnográficas”), e a segunda envolveu gravações e registros sistemáticos de tarefas realizadas enquanto os usuários interagiam com o PDA em um laboratório de usabilidade portátil.

A segunda etapa do método foi discutida em outras comunicações científicas [12], ficando o presente texto reservado especificamente à apresentação de detalhes e resultados qualitativos das observações etnográficas do trabalho do usuário no campo.

O impacto desse tipo de entrevista apoiada por computador na qualidade dos dados tem sido avaliado sistematicamente por institutos de pesquisas de outros países. Sua principal característica é que as perguntas são orientadas pelo sistema na ordem correta, seguindo um algoritmo disponibilizado em um programa interativo apresentado na tela do computador. As respostas são inseridas diretamente, neste computador, com dados digitados pelo entrevistador ou pelo entrevistado.

Como foi visto, a etapa exploratória do trabalho incluiu procedimentos de observação em campo inspiradas nas técnicas da pesquisa etnográfica incorporada à IHC. Tendo sido adotada na Antropologia e na Sociologia, o estudo etnográfico se baseia na observação de interações humanas em um dado ambiente de trabalho ou em uma atividade social.

A nossa experiência demonstrou que a observação etnográfica, tal como proposta, pode ser considerada muito importante para o projeto de interface, pois este tipo de estudo habilita o projetista a enxergar o sistema pelo olhar do usuário, revelando a natureza real e não idealizada do trabalho.

Uma série de conclusões foi obtida dos resultados dessas observações, muitas das quais revelaram dados surpreendentes ou inusitados. A mobilidade impõe limites físicos, visuais e cognitivos ao usuário. Para registrar tais dificuldades, os autores reuniram relatos de entrevistadores sobre o uso do PDA no ambiente externo, apontando seus principais problemas.

O contraste de cores da tela do dispositivo com a luz solar foi um dos problemas mais citados nestes relatos: os pesquisadores puderam conferir, na prática, a gravidade deste evento que impacta seriamente a legibilidade do texto das perguntas do questionário.

Somou-se a esses fatores a dificuldade de acesso a domicílios que podem estar em áreas de risco, rurais, ou distantes. No caso de condomínios classe média alta, cada vez mais o informante impõe restrições de diversas ordens para receber o entrevistador.

Nas observações etnográficas que realizamos ficou também evidente que o entrevistador - não raramente - realiza suas tarefas de modo diverso ao que lhe foi prescrito no treinamento. Por exemplo, utiliza linguagem coloquial e popular para formular as perguntas, em vez de lê-las formalmente, e inverte a ordem das questões propostas pelo software de questionário eletrônico, com o objetivo de reduzir a duração da entrevista, ou torná-la menos entediante e mais natural para o entrevistado.

Evidências reunidas nos estudos de campo embasaram e reforçaram conclusões obtidas nos testes com o emprego de laboratório de usabilidade portátil, em ambiente semi-controlado, paralelamente realizados. Isto nos permite afirmar que as duas técnicas têm grande potencial quando são aplicadas de modo complementar.

Na fase de comunicação dos resultados, as conclusões do estudo, assim como as recomendações técnicas para a solução de problemas de usabilidade, foram repassadas para a equipe de desenvolvimento do software visando implementações e correções técnicas.



Além de artigos científicos, as conclusões do presente estudo foram apresentadas em seminário para outras equipes internas, visando a disseminar e institucionalizar o emprego da metodologia de avaliação de usabilidade em dispositivos móveis, com o objetivo de contribuir para tornar mais eficientes e seguros os processos de coleta de dados estatísticos.

REFERÊNCIAS


  1. Burke, J.; Kirk, A. Choosing Human-Computer Interaction (HCI) Appropriate Research Methods – Ethnographic Methods [online]. Disponível em: http://otal.umd.edu/hci-rm/ethno.html Acesso em: 14/06/2010.

  2. Burzagli, L., Billi, M., Palchetti, E., Catarci, T., Santucci, G., & Bertini, E. Accessibility and Usability Evaluation of MAIS Designer: A New Design Tool for Mobile Services. Universal Access in HCI, Part II, HCII 2007, LNCS 4555, pp. 275–284, 2007.

  3. Cooper, A.; Reimann, R.; Cronin, D. About Face 3: The Essentials of Interaction Design. Indianapolis, IN; Wiley Publishing, Inc., 2007.

  4. Dias, C. Usabilidade na Web: criando portais mais acessíveis. 2ªEd., R.J, Alta Books, 2007.

  5. Greene, P.D. Handheld computers as tools for writing and managing field data. Field Methods, 13(2):181-197. 2001. Disponível em: . Acesso em: 02 de setembro de 2010.

  6. Leal Ferreira, S.B., & Nunes, R. e-Usabilidade, Rio de Janeiro, LTC, 2007.

  7. Leeuw, E.D.; Hox, J.J.; Snijkers, G. The effect of computer-assisted interviewing on data quality. A review. Pp. 173-198 in B. Blyth (ed.) Market Research and Information Technology. ESOMAR Monogaph. Amsterdam: Esomar. 1998. Disponível em: . Acesso em: 02 de setembro de 2010.

  8. IBGE - Instituto Brasileiro de Geografia e Estatística. Quinto Fórum do Sistema Integrado de Pesquisas Domiciliares por Amostragem. Disponível em: . Acesso em: 15/12/2008.

  9. Leitão, M. Brasil terá um retrato da nova dinâmica do trabalho. Disponível em: . Acesso em: 29/03/2010.

  10. Loureiro, A. A. F. et al. Comunicação Sem Fio e Computação Móvel: Tecnologias, Desafios e Oportunidades. Minicurso apresentado no Congresso da Sociedade Brasileira de Computação. Campinas, SP. Ago. 2003. Disponível em: . Acesso em: 11/06/2008.

  11. Simões, et al. Experiência: Coleta de dados por computadores de mão para censos de proporções continentais. Concurso Inovação na Gestão Pública Federal. Disponível em: . Acesso em: 11/06/2009.

  12. Tavares, P.; Agner, L.; Leal Ferreira, S. B. Avaliação de Usabilidade de Dispositivos Móveis de Coleta de Dados Domiciliares Através de Entrevistas Baseadas em Cenários e Tarefas. IHC 2010 – IX Simpósio Sobre Fatores Humanos em Sistemas Computacionais. October 5-8, 2010, Belo Horizonte, MG, Brasil.


NOTAS


Os autores agradecem aos apoios das equipes da Unidade Estadual do IBGE do Rio de Janeiro, da Codes (Diretoria de Informática) e da Diretoria Executiva do IBGE, sem os quais esta pesquisa não teria sido possível. As opiniões emitidas neste artigo são de exclusiva e inteira responsabilidade dos autores, não exprimindo, necessariamente, o ponto de vista do IBGE.



Compartilhe com seus amigos:


©ensaio.org 2017
enviar mensagem

    Página principal