Protocolo de autoavaliação da fala em público: modelo teórico, desenvolvimento e validação
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Primeiro orientador
Membros da banca
Resumo
Introdução: a comunicação oral em público é uma forma de comunicação que ocorre em situações em que um indivíduo transmite informações, ideias, opiniões ou narrativas presencialmente para uma plateia. Essa forma de comunicação pode ocorrer em contextos acadêmicos, sociais ou profissionais. Nessa atividade comunicativa, o orador enfrenta desafios, como desenvolver um discurso coerente, informar e entreter o público, adaptar a mensagem ao público-alvo e apresentar-se de forma clara e confiante. Grande parte das pessoas se sente desconfortável ou insegura com a exposição pública. Sabe-se que o uso de estratégias de enfrentamento ajuda a lidar com a situação. Contudo, não há na literatura instrumentos validados que avaliem as estratégias autorregulatórias utilizadas por um orador em situações de fala em público. Desta forma, torna-se relevante elaborar e validar um instrumento de autoavaliação sobre o enfrentamento da fala em público. Objetivos: realizar uma revisão de literatura dos instrumentos de avaliação e autoavaliação da fala em público de indivíduos adultos; elaborar e validar um instrumento de autoavaliação sobre estratégias de enfrentamento da fala em público; desenvolver evidências de validade baseadas no conteúdo e nos processos de resposta do instrumento de enfrentamento da fala em público e constatar evidências de validade baseadas na estrutura interna do instrumento de enfrentamento da fala em público. Métodos: trata-se de um estudo metodológico de validação de instrumento quanti-qualitativo. Seguiu-se o modelo de elaboração de instrumentos proposto por Luiz Pasquali, que contempla procedimentos teóricos, empíricos e analíticos, atendendo aos critérios de validade orientados pelo nos critérios do Standards for Educational and Psychological Testing (SEPT). A tese originou um estudo de revisão integrativa; um estudo de evidências de validade baseadas no conteúdo e nos processos de resposta do instrumento e um estudo de evidências de validade baseadas na estrutura interna. Para a análise de dados do estudo de revisão foi realizada de forma descritiva, incluindo a ficha avaliativa dos estudos de avaliação e autoavaliação da fala em público (autor e ano, local, amostra, delineamento do estudo, formas de avaliação da fala em especificação quanto à validação do instrumento; presença ou ausência de instrumento anexado ao estudo; aspectos avaliados e categorias de respostas dos itens avaliados) e duas nuvens de palavras com a categorização dos aspectos avaliativos da fala em público. No estudo de evidências baseadas nos processos de resposta e no conteúdo do teste foi calculado o índice de validade de conteúdo por itens (IVC-I), para determinar a concordância entre os juízes especialistas. No processo de resposta foram analisadas qualitativamente as reações verbais e não verbais dos respondentes. Para as etapas de evidência de validade baseada na estrutura interna do instrumento foram realizadas análises da consistência interna (alfa de Cronbach), Análise Fatorial Confirmatória (AFC) e Teoria de Resposta ao Item (TRI). Resultados: na revisão integrativa: “Instrumentos de avaliação e autoavaliação da fala em público: uma revisão da fala em público” foram identificados 2539 artigos; após aplicação dos critérios de elegibilidade, 21 artigos foram incluídos na revisão. A maioria dos estudos eram de delineamento transversal, realizados com universitários, de autoavaliação, sem especificação quanto à validação. Não há padronização conceitual dos aspectos avaliativos e categorias de respostas dos instrumentos de investigação. Nos instrumentos de autoavaliação, os aspectos mais avaliados foram ansiedade ao falar em público, voz, velocidade de fala, competência comunicativa, pitch, articulação e loudness. Os instrumentos de avaliação, contemplaram aspectos avaliativos como a voz, velocidade de fala, articulação, pausas, loudness, pitch e gestos. No segundo artigo, intitulado “Escala de Coping para a Fala em Público-ECOFAP: evidências de validade de conteúdo e processos de resposta”, o processo de obtenção das evidências de validade baseadas no conteúdo foi realizado em duas etapas incluindo definição conceitual do construto, elaborado com base nos preceitos teóricos da fala em público e da Teoria Motivacional do Coping (TMC); formulação dos itens e chaves de respostas, estruturação do instrumento, avaliação por um comitê de dez especialistas, reestruturação dos itens da escala e elaboração da versão piloto da ECOFAP. As evidências baseadas no processo de resposta foram investigadas com uma amostra de conveniência de 30 pessoas, com e sem dificuldades de fala em público, sendo 20 mulheres e 10 homens, com idade média de 25 anos, no campus de uma universidade brasileira, pertencentes a diferentes extratos sociais e profissões. A primeira versão da ECOFAP foi elaborada com 46 itens, divididos pelas 12 famílias de coping. Já a segunda versão da ECOFAP teve 60 itens e após a avaliação dos especialistas e aplicação da versão piloto na amostra de 30 pessoas a ECOFAP ficou composta por 48 itens. No terceiro artigo: “Escala de Coping para a Fala em Público-ECOFAP: evidências baseadas na estrutura interna” realizou-se as análises do coeficiente de Alfa de Cronbach, Análise Fatorial Confirmatória (AFC) e Teoria de Resposta ao Item (TRI). Os resultados indicaram uma boa consistência interna do instrumento, com estrutura de dois fatores, totalizando 30 itens. O item mais discriminativo foi “Esclareço para todos que não me saio bem nessa atividade” e o item de maior dificuldade para endosso da categoria de resposta discordo totalmente foi “Busco apoio de um profissional para aprender a falar bem em público”. A ECOFAP demonstrou ter uma estrutura interna sólida e propriedades psicométricas adequadas. O instrumento é confiável e válido para avaliar estratégias de coping relacionadas à fala em público. Recomenda-se seu uso como uma ferramenta de autopercepção para indivíduos adultos que enfrentam situações de fala em público em contextos acadêmicos e profissionais. Considerações finais: a ECOFAP mostra-se uma ferramenta promissora para a área de estudos sobre a comunicação, fornecendo insights significativos sobre as estratégias de coping utilizadas pelos indivíduos ao enfrentar situações de fala em público. A escala contribui para o desenvolvimento de intervenções eficazes e personalizadas, visando melhorar a habilidade de comunicação oral e reduzir o impacto negativo da ansiedade e do estresse nas apresentações públicas.
Abstract
Introduction: Public speaking is a form of communication that occurs in situations where
an individual transmits information, ideas, opinions or narratives in person to an
audience. This form of communication can occur in academic, social or professional
contexts. In this communicative activity, the speaker faces challenges such as
developing a coherent speech, informing and entertaining the audience, adapting the
message to the target audience and presenting oneself clearly and confidently. Many
people feel uncomfortable or insecure with public exposure. It is known that the use of
coping strategies helps to deal with the situation. However, there are no validated
instruments in the literature that assess the self-regulatory strategies used by a speaker
in public speaking situations. Thus, it becomes relevant to develop and validate a selfassessment instrument on coping with public speaking. Objectives: to conduct a
literature review of assessment and self-assessment instruments for public speaking of
adult individuals; to develop and validate a self-assessment instrument on coping
strategies for public speaking; to develop evidence of validity based on content and
response processes of the public speaking coping instrument and to ascertain evidence
of validity based on the internal structure of the public speaking coping instrument.
Methods: this is a methodological study of quantitative-qualitative instrument validation.
The instrument development model proposed by Luiz Pasquali was followed, which
includes theoretical, empirical and analytical procedures, meeting the validity criteria
guided by the Standards for Educational and Psychological Testing (SEPT) criteria. The
thesis originated an integrative review study; a study of evidence of validity based on
content and response processes of the instrument and a study of evidence of validity
based on internal structure. For data analysis of the review study, it was carried out
descriptively, including the evaluative sheet of studies on assessment and self-
assessment of public speaking (author and year, location, sample, study design, forms
of evaluation of speech in specification regarding validation of the instrument; presence
or absence of instrument attached to the study; aspects evaluated and categories of
responses to evaluated items) and two word clouds with categorization of evaluative
aspects of public speaking. In the study of evidence based on response processes and
test content, the content validity index per item (IVC-I) was calculated to determine
agreement among expert judges. In the response process, verbal and non-verbal
reactions from respondents were analyzed qualitatively. For stages of evidence of
validity based on internal structure of instrument were performed internal consistency
analyses (Cronbach’s alpha) and Confirmatory Factor Analysis (CFA) Results: in
integrative review: “Assessment and self-assessment instruments for public speaking: a
review of public speaking” the objective was to describe and analyze studies that used
instruments to assess and self-assess public speaking by adult individuals. The guiding
question was “What are the types, aspects evaluated and response categories of
instruments that assessed public speaking by adult individuals in the last ten years?”
PubMed, LILACS and SciELO databases were used; 2539 articles were identified; after
applying eligibility criteria, 21 articles were included in review. Most studies were crosssectional design, conducted with university students, self-assessment, without
specification regarding validation. There is no conceptual standardization of evaluative
aspects and response categories for instruments. In self-assessment instruments, the
most evaluated aspects were anxiety when speaking in public, voice, speech rate,
communicative competence, pitch, articulation and loudness. The evaluation
instruments included evaluative aspects such as voice, speech rate, articulation, pauses,
loudness, pitch and gestures. In the second article, entitled Coping Scale for Public
Speaking-ECOFAP: evidence of content validity and response processes. The objective
was to develop evidence of validity based on content and response processes of a selfassessment coping instrument for public speaking, the Coping Scale for Public Speaking
(ECOFAP). The process of obtaining evidence of validity based on content was carried
out in two stages including conceptual definition of the construct, elaborated based on
the theoretical precepts of public speaking and the Motivational Theory of Coping (TMC);
formulation of items and response keys, structuring of the instrument, evaluation by a
committee of ten specialists, restructuring of scale items and elaboration of ECOFAP
pilot version. Evidence based on response process was investigated with a convenience
sample of 30 people, with and without difficulties in public speaking, being 20 women
and 10 men, with an average age of 25 years, on the campus of a Brazilian university,
belonging to different social strata and professions. The first version of ECOFAP was
elaborated with 46 items, divided by 12 coping families. The second version of ECOFAP
had 60 items and after evaluation by specialists and application of pilot version in sample
of 30 people ECOFAP was composed by 48 items. In the third article: Coping Scale for
Public Speaking-ECOFAP: evidence based on internal structure”, the objective was to
investigate the psychometric properties of ECOFAP, and for that purpose analyses were
performed using Cronbach’s alpha coefficient, Confirmatory Factor Analysis (CFA) and.
Results indicated good internal consistency of instrument with structure of twelve factors
with 30 items being three items in each factor. ECOFAP demonstrated to have a solid
internal structure and adequate psychometric properties. The instrument is reliable and
valid to assess coping strategies related to public speaking. Its use is recommended as
a self-perception tool for adult individuals facing public speaking situations in academic
and professional contexts. Final considerations: ECOFAP proves to be a promising
tool for the field of communication studies providing significant insights into coping
strategies used by individuals when facing public speaking situations. The scale
contributes to development of effective and personalized interventions aimed at
improving oral communication skills and reducing negative impact of anxiety and stress
on public presentations.
Assunto
Inquéritos e Questionários, Estudo de Validação, Fala, Psicometria, Dissertação Acadêmica
Palavras-chave
Inquéritos e questionários, Fala em público, Estudo de validação, Psicometria