Autor: Mariana Lima Bandeira / Portafolio: Qualitative / Vie. 24 de May de 2024

Transcripción de este video

(Transcripción automatizada sin revisión humana)

00:00:42:08 A Só Fast Shop empresa é líder na implementação de ferramentas analíticas e sofware especializado. Receba você nesta apresentação. Palestrante Dra. Mariana Lima Bandeira Doutora em Administração pela Fundação Getúlio Vargas, Rio de Janeiro e professora titular da Universidade Angina Simon Bolívar, no Equador. Bem, muito bom dia a todos os participantes desse webcast. Bom, gostaria de começar agradecendo pelo convite. 00:01:25:16 Realmente eu acho que esse webcast já estava pendente. Sobre a triangulação, eu acho que tem muitos mitos a respeito disso, algumas premissas, enfim, que as vezes os pesquisadores aprendem na metade do caminho e eles nunca pensam o que é a triangulação, a triangulação, exatamente para que ela seja. Serve. Eu lembro que quando eu comecei com a minha carreira acadêmica, eu estava justamente, ou seja, eu aprendi, digamos assim, nesse sentido, que a triangulação era para validar os dados qualitativos. 00:01:58:13 Então era uma forma de de dar uma validade para esses estudos que nós fizemos usando entrevistas, grupos focais e observação. E não é necessariamente só isso, mas começou sendo essa proposta, mas depois vem tomando a força, que é um processo de triangulação, planificado, incorporado. Tem para a qualidade do estudo. Então isso pode enriquecer os resultados, pode enriquecer inclusive a produção de conhecimento. 00:02:31:29 Se nós podemos planejar esse processo de triangulação, nem sempre a triangulação é necessária. Então nós também precisamos perceber quando utilizar a triangulação, quando não, quando vai ser importante, vai contribuir ou quando não. Então eu acho tão oportuno esse webcast, então eu vou planejar isso com muito carinho. Então gostaria de compartilhar agora a minha experiência com vocês. Sejam todos muito bem vindos! 00:03:01:08 Muito obrigada pela participação. A nossa no nosso tema de hoje é um enfoque analítico para a triangulação de dados com Marcos. Quer dizer, a ebom não é apenas entender o âmbito da triangulação, mas também ver as ferramentas disponíveis que eu mais queria a tem para apoiar esse processo. Então, a agenda de hoje está formada por alguns aspectos. O que é a triangulação? 00:03:11:08 Os tipos de triangulação eu coloquei aqui em forma de pergunta, mas na verdade tem mais de um tipo de triangulação. 00:03:44:20 Iremos abordar também. Há três tipos de triangulação no Marcos, Quer dizer. Então eu vou mostrar como é possível trabalhar com a triangulação de dados também. Como os pesquisadores podem trabalhar com o Marcos, que é a. Tem uma ferramenta muito útil para trabalhar em equipe e também a triangulação no análise e análise qualitativa, que seria uma triangulação teórica. Então bem, vamos passar depois para as perguntas dos participantes. 00:04:19:00 Então o conceito de triangulação vai além de validar os dados. Na verdade é a combinação de diferentes métodos e perspectivas. E eu coloquei perspectivas intencionalmente, pois é claro que as perspectivas incluem coleta de dados, perspectivas de pesquisadores, quando você quando são combinados diferentes pesquisadores para coleta ou análise de dados, então diferentes métodos há no sentido de métodos mesmo. 00:04:35:02 Você pode trabalhar com a revisão sistemática da literatura e depois incluir, por exemplo, um estudo qualitativo, ou seja, utilizar diferentes métodos de pesquisa. Você pode combinar esses métodos. 00:05:12:12 Para responder às perguntas de pesquisa, então seja um projeto de tese de mestrado. Enfim, Nesse sentido, a triangulação precisa ser planejada porque. Isso implica tempo você para executar a triangulação dos dados ou da sua metodologia. Isso demanda um certo tempo que você precisa contemplar, não no cronograma. E esse tempo também gera custos. 00:05:34:23 Então, por exemplo, quando nós estamos lidando com um estudo um pouco mais complexo que você quer trabalhar com diferentes teorias nesse caso, você poderia incorporar também os diferentes pesquisadores que já têm essa apropriação teórica. Isso pode demandar custos em termos de capacitação. 00:05:48:18 De apropriação, de discussão dos dados, dos temas. As categorias e também a preparação, a preparação dos próprios pesquisadores. 00:06:17:06 Para ser coerente no que diz respeito às perguntas que queremos propor, se é uma entrevista ou uma pesquisa, uma enquete. A preparação também demanda uma apropriação do sistema de codificação que iremos preparar. Então, tudo isso demanda um certo planejamento para que possa ser executado com o rigor metodológico que é necessário a triangulação. Eu já falei um pouquinho sobre isso antes. 00:06:42:03 Ela pode ter diferentes objetivos. Ela pode servir para validar, ou seja, para mostrar como o estudo foi concebido desde a consciência do método. Os processos metodológicos tem que ter esse rigor, tem que ter esse rigor acadêmico também. 00:07:22:29 Podemos produzir mais conhecimento através da triangulação, ou seja, isso enriquece a produção de conhecimento. Quando nós combinamos diferentes perspectivas, às vezes nós não estamos chegando a nenhuma referência teórica nem apropriação metodológica que cada pesquisador tem. Mas essa combinação certamente enriquece todos os dados e também poderia ser ser útil para pode ser usada em estudos qualitativos e mistos não apenas os qualitativos, mas também os mistos, pois. 00:08:02:08 Tem alguns estudos mistos onde nós usamos os dados qualitativos para confirmar o que foi medido através de uma enquete. Eu pesquisa quantitativa ou o contrário? Depois do qualitativa fazer uma enquete para confirmar ou não os números apresentados anteriormente, os dados apresentados anteriormente no estudo qualitativo, então a produção também pode ser interessante para isso. Então, como tem diferentes tipos de triângulo ação, você entende que pode ser utilizada com diferentes objetivos. 00:08:13:17 Quais são os tipos de triangulação que nós temos? Essa é uma tipologia desenvolvida na década de 70. 00:08:48:24 E foi revisitada em 2011, reforçando essa ideia de que nós temos diferentes tipos de triangulação. Nós podemos ter triangulação de dados quando nós usamos diferentes fontes de dados. E esse texto, ou seja, nós temos que três aspectos, que é o tempo. Você pode coletar dados em tempos diferentes e comparar esses tempos, comparar, enriquecer, ver a evolução ao longo do tempo, enfim, comparar e confirmar. 00:09:19:11 Ou então não confirmar algumas suposições. O segundo quesito espaço. Também poderíamos falar de diferentes organizações hoje, de diferentes países, de diferentes regiões e cidades. E você também pode fazer uma combinação entre esses diferentes tipos de dados coletados em espaços diferentes ou diferentes grupos de pessoas. Então, por exemplo, grupos. 00:09:53:10 De pessoas divididas por idade ou por gênero, ou pessoas que têm filhos ou outras que não. Enfim, é necessário uma característica específica para poder construir a teoria. Para poder validar essa teoria. É no Marcos que nós vamos fazer uma pequena demonstração sobre como poderíamos trabalhar com esses diferentes subtipos da triangulação de dados. Então o tempo também poderia ser associado. 00:10:03:07 É o espaço. De certa forma, também poderia estar associado a documentos. 00:10:39:19 Eu quero ver, por exemplo, a evolução da responsabilidade social na literatura. Então eu poderia trabalhar com tempos diferentes e separar por grupos e construir um conhecimento, ou seja, ligando as diferentes épocas. Então, já no caso do espaço, nós poderíamos nos apropriar também dessa categoria na revisão da literatura para falar sobre as diferentes revistas que publicaram estudos em diferentes regiões onde foram publicados os estudos e fazer a construção de conhecimento. 00:10:43:25 Nesse quesito. 00:11:16:14 Então, Marcos, quer dizer, a é possível trabalhar com sistemas de documentos? É uma ferramenta que nós temos que é chamada de tabela cruzada, que ela serve para fazer a comparação entre os diferentes tempos ou grupos de pessoas, apropriando eles de diferentes formas, cada um com uma ferramenta diferente. E também tem um outro tipo de triangulação nos pesquisadores, que pode ser tanto na coleta de dados quanto na análise de dados. 00:12:12:11 Quando nós temos a triangulação de pesquisadores na coleta de dados, como nós fazemos, então nós temos todo o processo de preparação, de conhecimento, de domínio da ferramenta. Ou seja, perguntas temos uma série de assuntos. Existe uma discussão teórica para que. Tenhamos um background o mais homogêneo possível para poder ir a campo antes. Então tem todo esse processo de preparação para que os observadores e entrevistadores acadêmicos que participam dessa produção de dados para que tenha esse primeiro background e na hora que eles vão em campo e vão fazer a coleta de dados ou produzir textos, eles irão produzir esses textos com perspectivas diferentes. 00:12:47:26 E esses textos vão ser combinados num processo de triangulação entre os pesquisadores. Também tem um segundo momento, onde nós podemos ter a triangulação do pesquisador, que é a partir da análise de dados. Então, dentro desse processo de preparação, também nós temos um processo de validação de um sistema de códigos. Quando nós validamos um sistema de códigos. Nós podemos distribuir, às vezes a coleta de dados para um pesquisador específico É na hora de analisar e codificar esses dados. 00:13:02:14 Nós podemos distribuir entre diferentes pesquisadores a mesma transcrição e ver como eles interpretam esses códigos no texto. 00:13:46:06 E o Marcos quer deixar na parte de trabalhar com a equipe, ter um processo de codificação por equipe, ou seja, cada um codifica com o sistema de códigos que foi outorgado para isso e o pesquisador principal pode depois revisar esse processo de codificação, comparar de dois em dois e fazer um acordo entre a codificação. Essa ferramenta é como se fosse um processo decisório que é baseado em apropriação teórica de códigos e também na comparação. 00:14:08:03 Entre as codificações que os dois pesquisadores fizeram nesse mesmo documento. Nós vamos mostrar um rápido exercício para que vocês vejam como fazer isso. Cadê? Ai? Bom, e também tem um tipo de triangulação teórica. 00:14:58:15 Essa triangulação teórica nasce de de elementos da teoria fundamentada. Para enriquecer os resultados. Nessa triangulação teórica são usadas diferentes perspectivas, hipóteses, suposições para analisar um mesmo fenômeno, entender do que um fenômeno social ou humano e social pode ser interpretado de diferentes formas. Então nós usamos diferentes perspectivas de hipóteses, suposições para análise de dados e produção do conhecimento. Há uma tendência D'Hoffryn, que é o autor que trabalha com o desenho nos projetos de pesquisa, e ele tem um texto muito interessante. 00:15:29:18 Ele tem inclusive um livro que está disponível na web e ele trabalha com essa proposta de que antes a triangulação era utilizada apenas para validar estudos qualitativos e hoje adquiriu um protagonismo muito relevante para produzir conhecimento. É quando a triangulação teórica é utilizada. Sabemos que é um processo bem complexo trazer muitas teorias, nem que sejam duas teorias para analisar um fenômeno. 00:16:11:03 Mas construir enriquece esse Esse tipo de análise. E como nós podemos fazer isso? Como nós podemos usar a Max que der para fazer uma triangulação teórica através do próprio sistema de codificação, usando uma matriz dos sistemas de códigos. Para cada perspectiva tem uma matriz que trabalha com códigos diferentes. Se cada código está ligado a uma teoria, nós podemos cruzar e ver qual em qual trecho do texto. 00:16:20:00 Nós poderíamos associar ou analisar com essas hipóteses. Então é uma ferramenta muito prática. 00:16:58:21 E a triangulação metodológica é quando nós combinamos diferentes técnicas e métodos para a coleta e análise de dados. Então, por exemplo, bem se diz que na triangulação metodológica, quando você está coletando dados, você poderia usar escalas diferentes e um mesmo instrumentos para fazer a coleta de dados. Então poderia ser, por exemplo, uma escala fechadas, ou seja, perguntas fechadas e perguntas abertas, ou combinar resultados de diferentes instrumentos, como por exemplo, uma enquete e uma entrevista ao mesmo tempo. 00:17:29:17 Ou seja, uma observação e poderíamos combinar os diferentes instrumentos, isso na coleta e na análise de dados. Esses dados dados textuais tem diferentes formas de mensagens, tem uma sistemática. Enfim, às vezes é um discurso narrativa. Então você poderia combinar e enriquecer esse processo de resultados. 00:17:53:26 Ao trabalhar no Marcos, que ideia! Nós também podemos usar esse esquema de códigos para diferentes tipos de análises e para fazer essa articulação, essa mesma que nós estamos fazendo desde a perspectiva teórica. Então vamos para a prática agora, para que eu possa mostrar um pouco esses exercícios. 00:18:16:04 Que vocês veem um projeto que já está em aberto. Eu fiz um processo diferente aqui. Vocês veem que tem duas pastas com o mesmo nome Berlim, perdão, Berlim, Dani e Berlim, Mario e essas duas pastas. 00:18:45:20 E quando eu vou usar uma ferramenta do Marcos, quer dizer, a esse que é um exemplo de triangulação entre pesquisadores diferentes, Então tem a entrevista de Selim. Essa entrevista original eu envio para a Dani esse projeto. Aqui nesse eu trabalho em equipe. Eu vou exportar os dados para um arquivo de intercâmbio e um arquivo que tem uma extensão diferente do Marcos. 00:19:23:16 Quer dizer, a Daniela recebe esse arquivo, ela abre um novo projeto. Importe esse arquivo que eu enviei para ela codifica a entrevista. Na hora de exportar eu coloco quais são os códigos que eu, como pesquisadora principal, eu vou dizer Olha, define. Nesse texto eu conheci conjuntos de códigos e quando ela faz importação desse arquivo, ela também vai receber esse conjunto de códigos que encaminhei através desse arquivo de intercâmbio e isso precisa. 00:19:54:04 Ela também precisa guardar como arquivo de intercâmbio. Quando ela termina de codificar, ela exporta esse arquivo como um arquivo de intercâmbio. Não é que ela vai salvar e vai ter a mesma, a mesma extensão, então ela precisa precisa ser um arquivo com extensão diferente. Depois que ela exporta, eu venho aqui. Eu tenho o mesmo documento, com o mesmo nome, com as codificações diferentes. 00:20:27:25 Aqui ela tem 56, a da Mari e a da Dani tem 59. Então eu tenho dois arquivos de dois pesquisado que dois pesquisadores codificaram e eu vou avaliar como foi esse processo de codificação. Então, aqui na ferramenta de análise eu já importei novamente o meu arquivo que a Dani me devolveu. Então vou fazer um acordo de inter codificação e eu vou avaliar. 00:20:58:00 Nessas entrevistas eu criei que pastas com nomes diferentes, mas os documentos eles precisam ter o mesmo nome, pois nós vamos fazer essa avaliação. E aqui tem um tipo de acordo. Que Berlim, Dani, Berlim, Mari são as pastas onde nós salvamos as nossas entrevistas que foram codificadas por ambas. E agora eu vou escolher essa última opção de códigos em segmentos. 00:21:12:24 Então aqui eu vou identificar quais são os processos. Que têm o mesmo processo de codificação. Depois eu clico em OK. 00:22:00:26 E eu vou me deparar com três elementos três resultados onde eu preciso trabalhar. Então o primeiro é em relação ao próprio acordo. O grau de correlação. Nesse sistema aqui de código, os dois códigos foram codificados por ambos dois e dois trechos. Dois segmentos foram codificados por ambas ou foi codificado por uma só uma delas, e assim sucessivamente. Porque situation, por exemplo, nós trabalhamos aqui com seis trechos que foram codificadas por ambas, dois nesse outro assunto, nesse outro tema. 00:22:18:22 Então aqui eu posso ver qual foi a coerência. Eu poderia dizer que a maior parte dos códigos foram identificados por ambas. A maior parte dos segmentos foram codificados por ambas da mesma forma. 00:22:54:01 Então, até que eu poderia deduzir que o sistema de códigos é um sistema consolidado e coerente entre todos os pesquisadores. Ou seja, nesse processo de capacitação teórica dos sistemas de códigos, eu tive sucesso nesse sentido. E aqui, nessa segunda tabela, ele me mostra em quais desses temas houve uma discrepância. Então aqui são dois. Mas se eu tenho seis pesquisadores, eu vou ter que fazer esse exercício de um de dois em dois. 00:23:00:05 Ou seja, considerando o processo de codificação de cada um. 00:23:21:26 E aqui, por exemplo, eu vejo que esse código, esse primeiro código foi codificado pelo codificador dois, mas o codificador não codificou. Então eu tenho uma opção aqui onde eu clico com o botão direito. 00:23:33:26 Aqui. Mas bom, na verdade eu poderia colocar adotar essa solução do codificador, adotar a solução do codificador. Dois. 00:24:06:19 Bom, agora vamos supor que eu não estou de acordo nem com o processo de codificação e nem com o outro. Eu posso vir aqui na interface do Max, quer dizer, assim vocês observam bem, aqui eu posso transitar entre os dois textos. E eu posso eliminar, por exemplo, esse código e dizer não, isso não está correto e posso ir tomando decisões nesse processo de avaliação. 00:24:36:11 Essa ferramenta é muito poderosa para trabalhar em equipe, para trabalhar com diferentes perspectivas dos outros pesquisadores em relação a esse processo de codificação e também te dar resultados sobre como está esse sistema de códigos que você supostamente já tinha validado antes. Então, quando há muitas discrepâncias, quer dizer que o sistema de códigos não está muito bem consolidado ou tem algum problema que nós precisamos, enfim, nos juntar para definir? 00:24:41:25 Nesse sentido? 00:24:47:12 Agora, sobre as ferramentas do Max que deram. 00:25:16:22 Para trabalhar com as codificações de dados, ou seja, a triangulação de dados. E métodos Em métodos mistos nós temos o que nós chamamos de tabela cruzada. Quando nós clicamos aqui, é o momento. Eu preciso trabalhar com. 00:25:38:25 Um destino pré e vou ativarão os códigos que tem mais códigos aqui. O outro sítio chama ativar esses códigos é bom ativando os códigos da matriz da tabela cruzada. 00:26:04:18 Ou seja, é onde já incluí esse grupo de entrevistas de Berlim. Eu não sei se vocês lembram que é triangulação de dados. Pode ser feita entre pessoas entre diferentes tempos. Então eu poderia, por exemplo, trabalhar aqui com a literatura, o ano da publicação ou o período de publicação. E poderia também fazer criação de grupos. Então aqui eu estou dividindo. 00:26:18:07 Eu tenho entrevistas realizadas na cidade de Berlim e outras entrevistas que foram feitas em Hamburgo. 00:26:28:28 Então. Aqui eu coloco apenas para códigos ativados. 00:27:00:12 E aqui nas entrevistas, eles vão. Ele vai me mostrar uma tabela com dados quantitativos em relação a quantos segmentos dessas entrevistas de Berlim, desses grupos de documentos foram codificados? Quantos de Hamburgo ou quantos de Berlim? Quantos? Roma Office em Berlim? Hamburgo é bom? 00:27:31:26 Para poder analisar o conteúdo dessas entrevistas, eu posso ver aqui nesse ícones de matrizes de segmento que me mostra todos os segmentos que eu fiquei. Então, por exemplo, aqui em flexibilidade, se eu clico com o botão esquerdo aqui, perdão do lado esquerdo com o código, se eu clico no código, eu já consigo identificar quais seriam as principais diferenças e concordâncias entre um e outro. 00:27:47:25 Eu também posso gerar um documento no Word, no Excel ou também posso exportar isso em forma de tabela no Excel com essas duas possibilidades? Ou seja, para comparar esses grupos de pessoas. 00:28:04:05 Eu poderia ter mais pessoas e mais cidades aqui. Nós estamos trabalhando com pessoas e locais, então é fácil. Mas poderíamos ter também três, quatro, cinco grupos de pessoas que poderíamos analisar. 00:28:15:16 E um ou outro tipo de triangulação, que é a triangulação teórica. Eu gostaria de abrir um ou outro projeto do Marcos Reder a. 00:28:50:29 Vocês lembram que na triangulação teórica eu estou usando as diferentes perspectivas para analisar o mesmo fenômeno e como consequência, eu posso ter diferentes sistemas de codificação, então diferentes códigos. Certamente os códigos seriam os temas ou subtemas que estão ligados a essa teoria. Neste meu projeto há um projeto que eu tenho. Que eu trabalhei com duas perspectivas. 00:29:06:25 E uma foi usada no artigo e a outra eu construí com uma outra abordagem. 00:29:30:00 Aqui Então tem aqui as entrevistas que foram codificadas. E é que eu tenho, por exemplo, a análise direto das entrevistas. Aqui eu tenho as aborda uma abordagem teórica e uma outra análise empírica da encampado. 00:29:59:22 E que era um artigo que nós tínhamos enviado. Então nós podemos. Trabalhar com diferentes abordagens teóricas e depois. Deixar escolher um aqui. Só um momento. Então, se nós temos, por exemplo, aqui esse passo tradition e avanços. 00:30:15:16 Então aqui eu estou codificando o mesmo segmento com dois códigos um de uma teoria e o outro de uma segunda da teoria. Então eu poderia fazer a mesma coisa aqui. 00:30:24:03 Deixa eu selecionar esse outro trecho só para ilustrar. 00:30:29:06 Então eu uso. 00:30:43:26 Um segundo código e aqui em ferramentas visuais eu tenho uma matriz de relação de códigos. Então, nessa matriz de relações de códigos. 00:31:03:20 Eu vou só fazer uma coisa aqui para que ela apareça práxis a mental. Só selecionar. 00:31:19:03 Selecionando aqui. 00:31:56:14 Colocar aqui também. Então, na matriz de relações de códigos, eu coloco códigos ativados, as colunas também códigos ativados, Então ele vai fazer uma interseção de códigos no mesmo segmento. E ele vai me dar uma matriz na qual posso analisar onde estão contemplados esses segmentos. Então, como vocês veem aqui, esses aqui em cima são os códigos de linhas e colunas. 00:32:25:11 É onde eles se encontram. Eu vou ter, ou seja, quanto maior o quadradinho. Ou você pode também colocar um pouco de uma forma um pouco mais espaçada ou colocar bolinhas. Ou você pode colocar números para mostrar o sistema de codificação. Quantos códigos existem, quantos segmentos foram codificados ali, Então ele mostra aqui. E se o cara analisar o texto onde essas duas abordagens teóricas se encontram? 00:33:02:12 Eu tenho uma matriz de segmentos, então a medida que eu vou clicando nos códigos, elas vão aparecendo aqui. Então. É claro, nós temos muito pouco tempo e precisamos. Hoje em dia nós temos muito pouco tempo na vida. Nós precisamos ser mais práticos e procurar apoio no nosso projeto de pesquisa, principalmente aqueles que trabalham com projeto e querem aprender e criar, ou seja, contribuir de alguma forma para uma pesquisa científica de qualidade e de relevância. 00:33:34:03 Então o Max que dar é um software que nos oferece muitas oportunidades de construção de conhecimento e nos apoia também com o quesito tempo de qualidade. Então, muito obrigada! É isso que eu gostaria de passar para vocês e de hoje eu passo para as perguntas e estou às ordens para respondê las. Muito obrigado! 00:33:54:09 Oi Mariana, muito obrigada pela tua apresentação. Primeiramente nós temos uma pergunta no chat da Susana. Ela pediu para você repetir o nome do autor que explica os tipos de triangulação. 00:34:04:12 Ou o nome do autor? 00:34:38:23 Norma Bem, sim, Norman, Tens em. Está no chat. Muito obrigada, Mariana. Tem uma outra pergunta sobre se é possível gerar gráficos com o Marcos Cardeais. Você tem algum tipo de guia para ajudar nesse processo? Bem, o Marcos que tenho um manual em espanhol, uns guias rápidos e nós também temos cursos do Marcos que inclusive nós estamos. 00:34:47:27 Nós temos um curso assim crônico, mas eu acho que tem um curso sincrônico que. 00:35:10:18 Que vai ser. Eu acho que em julho eu não sei se a Dani pode me ajudar com essa data. É bom. Nesse escorço nós vamos mostrar tudo, inclusive as ferramentas gráficas. Tem uma ferramenta interessante no Marcos Cardeais, que é a comparação de documentos. Isso poderia ser feito numa análise da literatura, por exemplo, fazer uma comparação de documentos sobre processos de codificação, por exemplo. 00:35:18:01 Também tem. É bom, tem muitos gráficos. 00:35:25:06 O Marcos, que é um software que produz diferentes tipos de gráfico. 00:35:59:02 Muito obrigada, Mariana. Ô Carlos, pergunta como seria uma análise para textos? Em buscas feitas no Google, utilizando a triangulação? Que ferramentas? O que passos podemos seguir para Para ajudar num processo de pesquisa na internet, utilizando a triangulação? São. 00:36:12:24 Eu não sei se você está me perguntando sobre o processo de busca na base de dados. Cada base tem filtros diferenciados. 00:36:52:20 Então domínio feito em diferentes processos de filtragens diferentes. E o mesmo acontece no Google quando você pesquisa no Google. Mas quando você usa esses filtros, você poderia utilizar, por exemplo, nos períodos de tempo, então usar esse período de tempo para agrupar os textos. Marcos Redhead É a partir desse agrupamento, você pode fazer uma triangulação em função do tempo, ou seja, do tipo de dados em função do tempo ou também. 00:37:30:08 É uma proposta de idiomas. Por exemplo, o que foi produzido em tais em um tal idioma? Sobre um determinado assunto e fazer uma triangulação em diferentes idiomas, por exemplo, você também poderia usar a triangulação de um único idioma tempo, mas, por exemplo, com o exercício que eu fiz, o que nós estamos fazendo agora no outro processo de pesquisa, eu trabalho com o comportamento humano, comportamento social são os meus temas mais relevantes e nós fizemos um exercício muito interessante. 00:37:49:09 Ou seja, nós observamos se escopos avançados. Quais foram os assuntos mais importantes que surgiram a partir de um processo da gestão de talento humano? O que era mais importante nessa gestão de talento humano? 00:38:19:14 Nós fizemos esse processo para tentar entender o tempo e surgiram os temas e depois que nós fizemos isso, nós comparamos. Ou seja, nós fizemos a mesma pesquisa e usamos isso para as bases regionais. E aqui também tem muitas revistas consideradas de amantes. E nós fizemos uma comparação. 00:38:33:21 Bom, eu estou finalizando esse processo, mas esse é um processo de triangulação também. Ou seja, você está trabalhando com dois grupos diferentes de documentos. Muito obrigada! 00:38:59:25 Antes de continuar com as perguntas, gostaria de lembrar que vocês vão receber na tela uma enquete e pedimos que gentilmente vocês respondam antes de sair do webcast. Nós temos uma pergunta no chat. A Diana pergunta como se escreve no relatório o tema da triangulação. 00:39:28:21 Ou seja, como? Como incorporar isso numa publicação, num relatório de uma pesquisa? Bem, cada vez mais as publicações estão exigindo dados metodológicos para mostrar o rigor com o qual foi conduzido esse estudo, essa pesquisa. Então, a triangulação faz parte do processo de pesquisa, como já falei anteriormente. Então, desde o projeto de pesquisa, você precisa propor isso. Então, no artigo temos a parte metodológica. 00:39:58:27 Então, quando você vai explicar, por exemplo, o seu modelo de observação ou se você usou um modelo teórico metodológico, você precisa incluir que tipo de triangulação é a base. Então? Não precisa colocar um conceito de triangulação, mas coloque qual é o objetivo que você quer conseguir fazendo essa triangulação. Porque que é importante? 00:40:34:28 Ou seja, que tipo de triangulação vai ser feita e como? Então tem formas? A depender do objetivo, você poderia utilizar o tempo, espaços, dados, ou seja, triangulação entre pesquisadores, processo da validação, sistema de códigos. Então tem diferentes tipos e formas, digamos assim, de procedimentos de triangulação que você poderia utilizar. Mas sim, é muito importante. Você já mostra falar os detalhes, ou seja, isso é muito rico quando você acrescenta no seu texto. 00:41:00:07 Ok, Mariana, muito obrigada! Então eu vou aproveitar essa pergunta que foi feita aqui para falar um pouquinho mais detalhadamente sobre o que a Mariana falou a pouco sobre o curso sincrônico que acontecerá em julho. A ideia desse curso abordar de uma forma global, mas quer dizer, a. 00:41:16:20 É bom. Isso é sobre as perguntas que foram feitas anteriormente no chat, Então aqui nós temos uma abordagem metodológica sobre a pesquisa qualitativa. Falaremos também. 00:42:01:29 Sobre como Max pode ser útil para apoiar esse processo de pesquisa qualitativa de acordo com as tipologias de documentos ou os dados que vocês estiverem trabalhando que vocês queiram explorar através das diferentes ferramentas do Max, que dá desde a codificação até as ferramentas de análise, como vocês perguntaram pelo chat, ou seja, ferramentas que estão ligadas a visualização de dados e que além disso, nós podemos conectar isso com um espaço muito interessante do Max, que dá para criar um relatório progressivo onde vocês propõem uma triangulação como parte da metodologia. 00:42:23:16 E é assim, aos poucos poderíamos começar a acrescentar essas ferramentas visuais que apoiam o processo de análise, sem precisar esperar até o final para fazer isso. Também conta com ferramentas complementares com as quais o Max quer dar conta, Enfim, ligadas a aplicações da inteligência artificial. 00:42:29:22 E ferramentas para a gestão do trabalho em equipe. 00:42:57:20 Para saber maiores informações vocês podem encontrar. Vocês podem entrar em contato conosco ou podem se inscrever aqui nessa página, nesse site, nessa página do site. Então, bem, muito obrigada a todos! Obrigada Mariana pela apresentação. Tem uma outra pergunta? 00:43:11:29 Se você pode mostrar alguma das ferramentas visuais do Max que a. 00:43:16:26 Deixe me ver aqui. 00:43:44:07 Aqui, entre as ferramentas visuais, nós temos os mapas, mapas conceituais. Podemos gerar mapas. Eu vou usar os que nós já temos aqui. Vocês podem ver aqui que tem alguns mapas onde nós podemos trabalhar com sistemas de códigos, mostrar e mostrar, por exemplo, como funciona esse processo. Ou podemos comparar a partir de um modelo de dois casos a entrevista três por exemplo, a entrevista 15. 00:44:20:01 Eu estou trabalhando com essas duas entrevistas e eu posso comparar, por exemplo, na metade que aparecem todos os códigos em comum ao longo da entrevista e do lado esquerdo ou direito. Foram códigos com um e com o outro. Então tudo isso poderia ser conectado numa folha de trabalho que geram uma folha Word com todo o resultado do sistema de codificação, códigos dos segmentos codificados, mapas visuais e estatísticas que poderíamos incluir no relatório, também podemos formar uma nuvem de palavras. 00:44:53:03 Então, por exemplo, deixa eu selecionar aqui uma entrevista. Eu vou arrastar dois documentos para cá e vamos ver agora a nuvem de palavras que é formada. Então tem diferentes formas de fazer isso. Mas aqui nós podemos ver que tem, por exemplo, governança, gerente, bem estar em português. E nós podemos mudar as cores. Tem várias cores, cores super bonitas. 00:45:26:12 Eu que gosto da arte, bom, adoro triângulos também, de figuras diferentes, diferentes figuras geométricas. Temos gráficos comparativos de perfil entre os documentos individuais. Então o que que é um gráfico comparativo de perfil? Ele mostra quais são os códigos. 00:45:34:24 Ai eu escolhi um que não tinha sido selecionado. 00:46:04:13 Agora sim. Então na loja colorimos ele. Aqui você pode ver como foi o comportamento da entrevista, a área da entrevista, bem como esses, ou seja, como comparar esses códigos. Eles tem um todo, um sistema de cores diferentes. Também temos o retrato de documentos, onde nós podemos ver o processo de codificação e tem muitas formas de organizar essa informação. 00:46:29:17 Então aqui nós colocamos a direita como se fosse uma ajuda, uma memória desse processo de codificação. Aqui poderíamos só olhar o documento, ter uma ideia de que, por exemplo, a influência internacional ou da parte política e de governança são os assuntos mais importantes, mais relevantes para essa pessoa que foi entrevistada. 00:47:01:29 Temos tendências de palavras, padrões de comparação de documentos e também, enfim. E temos os gráficos também, mas os gráficos. E quando nós trabalhamos com entrevistas, então temos gráficos em Barra Nova, formato circular para mostrar a porcentagens. Por exemplo, tem uma outra pergunta que é no chat. 00:47:15:07 Se é possível abrir o Marcos, quer dizer, a 24 abrir um projeto de 2022? Sim. 00:47:21:18 Ok. 00:47:49:20 Assim. Você pode abrir o arquivo do Marcos. Quer dizer, 22. Marcos Que ideia! 24 Com normalidade ele vai transformar ele num projeto adaptado para mais que der 2024. Ele vai salvar ele nesse formato se você precisar fazer o contrário, ou seja, passar um projeto de do Max que é de 2024 para o Marcos, que é A21022, você precisa salvar. 00:48:06:03 Como salvar o documento como opção Ponto MX 22 com a extensão MX 22 que você permite salvar ele nesse formato? É bem simples. 00:48:09:18 Ótimo. 00:48:37:15 Ok, muito bem, Obrigado a todos pela participação, pela presença de todos. Muito obrigada Mariana pela sua exposição e por compartilhar sobre a sua experiência e sobre os seus bons diferentes conselhos em relação aos demais que esperamos encontrar em breve. Um muito obrigado, Um ótimo dia e um ótimo final de semana a todos. Obrigada da Ana Elisa, a toda equipe. 00:48:47:25 Para obter mais informações sobre software ou tópicos relacionados, não hesite em entrar em contato no e-mail. Em Treinamentos arroba Safra Shop Ponta com. A Só Fast Shop empresa é líder na implementação de ferramentas analíticas e sofware especializado. Receba você nesta apresentação. Palestrante Dra. Mariana Lima Bandeira Doutora em Administração pela Fundação Getúlio Vargas, Rio de Janeiro e professora titular da Universidade Angina Simon Bolívar, no Equador. Bem, muito bom dia a todos os participantes desse webcast. Bom, gostaria de começar agradecendo pelo convite. 00:01:25:16 Realmente eu acho que esse webcast já estava pendente. Sobre a triangulação, eu acho que tem muitos mitos a respeito disso, algumas premissas, enfim, que as vezes os pesquisadores aprendem na metade do caminho e eles nunca pensam o que é a triangulação, a triangulação, exatamente para que ela seja. Serve. Eu lembro que quando eu comecei com a minha carreira acadêmica, eu estava justamente, ou seja, eu aprendi, digamos assim, nesse sentido, que a triangulação era para validar os dados qualitativos. 00:01:58:13 Então era uma forma de de dar uma validade para esses estudos que nós fizemos usando entrevistas, grupos focais e observação. E não é necessariamente só isso, mas começou sendo essa proposta, mas depois vem tomando a força, que é um processo de triangulação, planificado, incorporado. Tem para a qualidade do estudo. Então isso pode enriquecer os resultados, pode enriquecer inclusive a produção de conhecimento. 00:02:31:29 Se nós podemos planejar esse processo de triangulação, nem sempre a triangulação é necessária. Então nós também precisamos perceber quando utilizar a triangulação, quando não, quando vai ser importante, vai contribuir ou quando não. Então eu acho tão oportuno esse webcast, então eu vou planejar isso com muito carinho. Então gostaria de compartilhar agora a minha experiência com vocês. Sejam todos muito bem vindos! 00:03:01:08 Muito obrigada pela participação. A nossa no nosso tema de hoje é um enfoque analítico para a triangulação de dados com Marcos. Quer dizer, a ebom não é apenas entender o âmbito da triangulação, mas também ver as ferramentas disponíveis que eu mais queria a tem para apoiar esse processo. Então, a agenda de hoje está formada por alguns aspectos. O que é a triangulação? 00:03:11:08 Os tipos de triangulação eu coloquei aqui em forma de pergunta, mas na verdade tem mais de um tipo de triangulação. 00:03:44:20 Iremos abordar também. Há três tipos de triangulação no Marcos, Quer dizer. Então eu vou mostrar como é possível trabalhar com a triangulação de dados também. Como os pesquisadores podem trabalhar com o Marcos, que é a. Tem uma ferramenta muito útil para trabalhar em equipe e também a triangulação no análise e análise qualitativa, que seria uma triangulação teórica. Então bem, vamos passar depois para as perguntas dos participantes. 00:04:19:00 Então o conceito de triangulação vai além de validar os dados. Na verdade é a combinação de diferentes métodos e perspectivas. E eu coloquei perspectivas intencionalmente, pois é claro que as perspectivas incluem coleta de dados, perspectivas de pesquisadores, quando você quando são combinados diferentes pesquisadores para coleta ou análise de dados, então diferentes métodos há no sentido de métodos mesmo. 00:04:35:02 Você pode trabalhar com a revisão sistemática da literatura e depois incluir, por exemplo, um estudo qualitativo, ou seja, utilizar diferentes métodos de pesquisa. Você pode combinar esses métodos. 00:05:12:12 Para responder às perguntas de pesquisa, então seja um projeto de tese de mestrado. Enfim, Nesse sentido, a triangulação precisa ser planejada porque. Isso implica tempo você para executar a triangulação dos dados ou da sua metodologia. Isso demanda um certo tempo que você precisa contemplar, não no cronograma. E esse tempo também gera custos. 00:05:34:23 Então, por exemplo, quando nós estamos lidando com um estudo um pouco mais complexo que você quer trabalhar com diferentes teorias nesse caso, você poderia incorporar também os diferentes pesquisadores que já têm essa apropriação teórica. Isso pode demandar custos em termos de capacitação. 00:05:48:18 De apropriação, de discussão dos dados, dos temas. As categorias e também a preparação, a preparação dos próprios pesquisadores. 00:06:17:06 Para ser coerente no que diz respeito às perguntas que queremos propor, se é uma entrevista ou uma pesquisa, uma enquete. A preparação também demanda uma apropriação do sistema de codificação que iremos preparar. Então, tudo isso demanda um certo planejamento para que possa ser executado com o rigor metodológico que é necessário a triangulação. Eu já falei um pouquinho sobre isso antes. 00:06:42:03 Ela pode ter diferentes objetivos. Ela pode servir para validar, ou seja, para mostrar como o estudo foi concebido desde a consciência do método. Os processos metodológicos tem que ter esse rigor, tem que ter esse rigor acadêmico também. 00:07:22:29 Podemos produzir mais conhecimento através da triangulação, ou seja, isso enriquece a produção de conhecimento. Quando nós combinamos diferentes perspectivas, às vezes nós não estamos chegando a nenhuma referência teórica nem apropriação metodológica que cada pesquisador tem. Mas essa combinação certamente enriquece todos os dados e também poderia ser ser útil para pode ser usada em estudos qualitativos e mistos não apenas os qualitativos, mas também os mistos, pois. 00:08:02:08 Tem alguns estudos mistos onde nós usamos os dados qualitativos para confirmar o que foi medido através de uma enquete. Eu pesquisa quantitativa ou o contrário? Depois do qualitativa fazer uma enquete para confirmar ou não os números apresentados anteriormente, os dados apresentados anteriormente no estudo qualitativo, então a produção também pode ser interessante para isso. Então, como tem diferentes tipos de triângulo ação, você entende que pode ser utilizada com diferentes objetivos. 00:08:13:17 Quais são os tipos de triangulação que nós temos? Essa é uma tipologia desenvolvida na década de 70. 00:08:48:24 E foi revisitada em 2011, reforçando essa ideia de que nós temos diferentes tipos de triangulação. Nós podemos ter triangulação de dados quando nós usamos diferentes fontes de dados. E esse texto, ou seja, nós temos que três aspectos, que é o tempo. Você pode coletar dados em tempos diferentes e comparar esses tempos, comparar, enriquecer, ver a evolução ao longo do tempo, enfim, comparar e confirmar. 00:09:19:11 Ou então não confirmar algumas suposições. O segundo quesito espaço. Também poderíamos falar de diferentes organizações hoje, de diferentes países, de diferentes regiões e cidades. E você também pode fazer uma combinação entre esses diferentes tipos de dados coletados em espaços diferentes ou diferentes grupos de pessoas. Então, por exemplo, grupos. 00:09:53:10 De pessoas divididas por idade ou por gênero, ou pessoas que têm filhos ou outras que não. Enfim, é necessário uma característica específica para poder construir a teoria. Para poder validar essa teoria. É no Marcos que nós vamos fazer uma pequena demonstração sobre como poderíamos trabalhar com esses diferentes subtipos da triangulação de dados. Então o tempo também poderia ser associado. 00:10:03:07 É o espaço. De certa forma, também poderia estar associado a documentos. 00:10:39:19 Eu quero ver, por exemplo, a evolução da responsabilidade social na literatura. Então eu poderia trabalhar com tempos diferentes e separar por grupos e construir um conhecimento, ou seja, ligando as diferentes épocas. Então, já no caso do espaço, nós poderíamos nos apropriar também dessa categoria na revisão da literatura para falar sobre as diferentes revistas que publicaram estudos em diferentes regiões onde foram publicados os estudos e fazer a construção de conhecimento. 00:10:43:25 Nesse quesito. 00:11:16:14 Então, Marcos, quer dizer, a é possível trabalhar com sistemas de documentos? É uma ferramenta que nós temos que é chamada de tabela cruzada, que ela serve para fazer a comparação entre os diferentes tempos ou grupos de pessoas, apropriando eles de diferentes formas, cada um com uma ferramenta diferente. E também tem um outro tipo de triangulação nos pesquisadores, que pode ser tanto na coleta de dados quanto na análise de dados. 00:12:12:11 Quando nós temos a triangulação de pesquisadores na coleta de dados, como nós fazemos, então nós temos todo o processo de preparação, de conhecimento, de domínio da ferramenta. Ou seja, perguntas temos uma série de assuntos. Existe uma discussão teórica para que. Tenhamos um background o mais homogêneo possível para poder ir a campo antes. Então tem todo esse processo de preparação para que os observadores e entrevistadores acadêmicos que participam dessa produção de dados para que tenha esse primeiro background e na hora que eles vão em campo e vão fazer a coleta de dados ou produzir textos, eles irão produzir esses textos com perspectivas diferentes. 00:12:47:26 E esses textos vão ser combinados num processo de triangulação entre os pesquisadores. Também tem um segundo momento, onde nós podemos ter a triangulação do pesquisador, que é a partir da análise de dados. Então, dentro desse processo de preparação, também nós temos um processo de validação de um sistema de códigos. Quando nós validamos um sistema de códigos. Nós podemos distribuir, às vezes a coleta de dados para um pesquisador específico É na hora de analisar e codificar esses dados. 00:13:02:14 Nós podemos distribuir entre diferentes pesquisadores a mesma transcrição e ver como eles interpretam esses códigos no texto. 00:13:46:06 E o Marcos quer deixar na parte de trabalhar com a equipe, ter um processo de codificação por equipe, ou seja, cada um codifica com o sistema de códigos que foi outorgado para isso e o pesquisador principal pode depois revisar esse processo de codificação, comparar de dois em dois e fazer um acordo entre a codificação. Essa ferramenta é como se fosse um processo decisório que é baseado em apropriação teórica de códigos e também na comparação. 00:14:08:03 Entre as codificações que os dois pesquisadores fizeram nesse mesmo documento. Nós vamos mostrar um rápido exercício para que vocês vejam como fazer isso. Cadê? Ai? Bom, e também tem um tipo de triangulação teórica. 00:14:58:15 Essa triangulação teórica nasce de de elementos da teoria fundamentada. Para enriquecer os resultados. Nessa triangulação teórica são usadas diferentes perspectivas, hipóteses, suposições para analisar um mesmo fenômeno, entender do que um fenômeno social ou humano e social pode ser interpretado de diferentes formas. Então nós usamos diferentes perspectivas de hipóteses, suposições para análise de dados e produção do conhecimento. Há uma tendência D'Hoffryn, que é o autor que trabalha com o desenho nos projetos de pesquisa, e ele tem um texto muito interessante. 00:15:29:18 Ele tem inclusive um livro que está disponível na web e ele trabalha com essa proposta de que antes a triangulação era utilizada apenas para validar estudos qualitativos e hoje adquiriu um protagonismo muito relevante para produzir conhecimento. É quando a triangulação teórica é utilizada. Sabemos que é um processo bem complexo trazer muitas teorias, nem que sejam duas teorias para analisar um fenômeno. 00:16:11:03 Mas construir enriquece esse Esse tipo de análise. E como nós podemos fazer isso? Como nós podemos usar a Max que der para fazer uma triangulação teórica através do próprio sistema de codificação, usando uma matriz dos sistemas de códigos. Para cada perspectiva tem uma matriz que trabalha com códigos diferentes. Se cada código está ligado a uma teoria, nós podemos cruzar e ver qual em qual trecho do texto. 00:16:20:00 Nós poderíamos associar ou analisar com essas hipóteses. Então é uma ferramenta muito prática. 00:16:58:21 E a triangulação metodológica é quando nós combinamos diferentes técnicas e métodos para a coleta e análise de dados. Então, por exemplo, bem se diz que na triangulação metodológica, quando você está coletando dados, você poderia usar escalas diferentes e um mesmo instrumentos para fazer a coleta de dados. Então poderia ser, por exemplo, uma escala fechadas, ou seja, perguntas fechadas e perguntas abertas, ou combinar resultados de diferentes instrumentos, como por exemplo, uma enquete e uma entrevista ao mesmo tempo. 00:17:29:17 Ou seja, uma observação e poderíamos combinar os diferentes instrumentos, isso na coleta e na análise de dados. Esses dados dados textuais tem diferentes formas de mensagens, tem uma sistemática. Enfim, às vezes é um discurso narrativa. Então você poderia combinar e enriquecer esse processo de resultados. 00:17:53:26 Ao trabalhar no Marcos, que ideia! Nós também podemos usar esse esquema de códigos para diferentes tipos de análises e para fazer essa articulação, essa mesma que nós estamos fazendo desde a perspectiva teórica. Então vamos para a prática agora, para que eu possa mostrar um pouco esses exercícios. 00:18:16:04 Que vocês veem um projeto que já está em aberto. Eu fiz um processo diferente aqui. Vocês veem que tem duas pastas com o mesmo nome Berlim, perdão, Berlim, Dani e Berlim, Mario e essas duas pastas. 00:18:45:20 E quando eu vou usar uma ferramenta do Marcos, quer dizer, a esse que é um exemplo de triangulação entre pesquisadores diferentes, Então tem a entrevista de Selim. Essa entrevista original eu envio para a Dani esse projeto. Aqui nesse eu trabalho em equipe. Eu vou exportar os dados para um arquivo de intercâmbio e um arquivo que tem uma extensão diferente do Marcos. 00:19:23:16 Quer dizer, a Daniela recebe esse arquivo, ela abre um novo projeto. Importe esse arquivo que eu enviei para ela codifica a entrevista. Na hora de exportar eu coloco quais são os códigos que eu, como pesquisadora principal, eu vou dizer Olha, define. Nesse texto eu conheci conjuntos de códigos e quando ela faz importação desse arquivo, ela também vai receber esse conjunto de códigos que encaminhei através desse arquivo de intercâmbio e isso precisa. 00:19:54:04 Ela também precisa guardar como arquivo de intercâmbio. Quando ela termina de codificar, ela exporta esse arquivo como um arquivo de intercâmbio. Não é que ela vai salvar e vai ter a mesma, a mesma extensão, então ela precisa precisa ser um arquivo com extensão diferente. Depois que ela exporta, eu venho aqui. Eu tenho o mesmo documento, com o mesmo nome, com as codificações diferentes. 00:20:27:25 Aqui ela tem 56, a da Mari e a da Dani tem 59. Então eu tenho dois arquivos de dois pesquisado que dois pesquisadores codificaram e eu vou avaliar como foi esse processo de codificação. Então, aqui na ferramenta de análise eu já importei novamente o meu arquivo que a Dani me devolveu. Então vou fazer um acordo de inter codificação e eu vou avaliar. 00:20:58:00 Nessas entrevistas eu criei que pastas com nomes diferentes, mas os documentos eles precisam ter o mesmo nome, pois nós vamos fazer essa avaliação. E aqui tem um tipo de acordo. Que Berlim, Dani, Berlim, Mari são as pastas onde nós salvamos as nossas entrevistas que foram codificadas por ambas. E agora eu vou escolher essa última opção de códigos em segmentos. 00:21:12:24 Então aqui eu vou identificar quais são os processos. Que têm o mesmo processo de codificação. Depois eu clico em OK. 00:22:00:26 E eu vou me deparar com três elementos três resultados onde eu preciso trabalhar. Então o primeiro é em relação ao próprio acordo. O grau de correlação. Nesse sistema aqui de código, os dois códigos foram codificados por ambos dois e dois trechos. Dois segmentos foram codificados por ambas ou foi codificad

Uma abordagem analítica para a triangulação de dados com MAXQDA

O planejamento e o rigor metodológico na análise qualitativa é uma condição importante para garantir a qualidade do estudo, sua legitimidade e a obtenção de resultados consistentes de uma pesquisa. Este webcast tem o objetivo de mostrar como a triangulação pode ser utilizada em um estudo qualitativo de forma prática. Ensinaremos de forma didática a abordagem passo a passo para o uso da triangulação em um estudo qualitativo, usando as ferramentas do MAXQDA. Ilustraremos esse processo com um exercício prático, abordando diferentes ferramentas de forma transversal.

Etiquetas relacionadas

Educación
Enseñanza
Investigación

¡Comparte este video con tus colegas!

Copiar link

Facebook

Instagram