Entrevistas Sintéticas: Sim ou Não para Pesquisa de Usuários?

Entrevistas com usuários sintéticos. Tem havido muito entusiasmo em plataformas de redes sociais como LinkedIn e Reddit sobre este assunto, especialmente sobre seus prós e contras.

Mas será que é realmente o remédio milagroso que dizem ser para profissionais de UX e marketing? Ou existe realmente alguma substância por trás da ideia? Afinal, todo o objetivo da pesquisa UX é observar e entrevistar usuários reais, aprender sobre seus pontos de dor e identificar fatores que tornam suas experiências únicas.

As entrevistas tradicionais são caras, sim, mas no final, elas permitem descobrir as nuances e complexidades por trás das interações e emoções humanas.

Ferramentas de IA Generativa como ChatGPT, que funcionam com modelos de linguagem grandes altamente avançados, só podem criar participantes de IA que espelham a média coletiva, carecendo das personalidades diversas e idiossincrasias encontradas na demografia comum.

No entanto, para pesquisadores que querem superar o problema da página em branco, ou para multinacionais enfrentando fricção organizacional, a pesquisa sintética pode de fato ser o catalisador que coloca as coisas em movimento. O custo e o tempo necessários, em comparação com as alternativas tradicionais, também são bastante mínimos.

Então, isso significa que você pode substituir pessoas reais por usuários gerados por IA em seus estudos de pesquisa de mercado? Ou confiar em entrevistas sintéticas para tomar decisões importantes; decisões que poderiam ter um grande impacto em seu negócio? Vamos investigar isso.

Dados Sintéticos & Usuários Sintéticos

Antes de entrarmos em entrevistas sintéticas, ou personas sintéticas, precisamos falar sobre dados sintéticos. Dados sintéticos não são algo recente; têm sido amplamente utilizados para treinar modelos de linguagem grandes quando os dados de treinamento originais se esgotam.

Como é evidente pelo nome, dados sintéticos são dados artificiais gerados usando inteligência artificial (IA). Não são coletados de fontes reais, nem representam dados do mundo real, mas são derivados de padrões encontrados no mundo real.

Agora, qual é o atrativo? Bem, é barato e relativamente mais fácil de gerar.

Dados do mundo real são frequentemente propensos a erros e vieses, mas dados sintéticos podem ser projetados de forma a minimizar esses erros. Você pode gerar dados que se assemelham ao seu conjunto de dados original sem compartilhar informações sensíveis ou pessoalmente identificáveis, então você não precisa se preocupar com leis de privacidade do usuário.

Além disso, é útil quando você está lidando com públicos específicos ou em casos onde os dados disponíveis são incompletos ou limitados.

Todos sabem que leva muito dinheiro e tempo para compilar pesquisa de mercado original de usuários e clientes. Esta é uma das principais razões pelas quais grandes marcas e pequenas empresas estão usando dados sintéticos para obter insights valiosos sobre seu público-alvo hoje.

Isso nos leva aos usuários sintéticos...

Respondentes sintéticos estão em alta na pesquisa de marketing e design. IA generativa está sendo usada em todo lugar, então não é surpresa que pessoas nessas áreas (embora não todas) estejam aproveitando para criar usuários sintéticos.

Em termos simples, personas sintéticas são avatares digitais ou representações virtuais de seus clientes ou usuários. Não são como as personas tradicionais desenvolvidas por profissionais de marketing ou design, mas são construídas com IA e tecnologias de aprendizado de máquina.

A maneira mais fácil de criar uma é através de LLMs como GPT-4: comece descrevendo seus clientes-alvo, depois especifique seus objetivos, desafios e necessidades, e finalmente, adicione sua ideia de produto ou serviço, que servirá como solução para esses problemas. Depois disso, solicite que adote a "persona" desse público.

Você pode gerar centenas ou até milhares de personas geradas por IA que representam certos grupos demográficos e podem responder com precisão às suas pesquisas e entrevistas. Como ferramentas como ChatGPT são treinadas em conjuntos de dados diversos que incluem conversas escritas e faladas de múltiplas fontes e indústrias, elas podem imitar os comportamentos e preferências de uma variedade de usuários.

Assim, você pode usar usuários sintéticos para simular vários cenários e executar testes antes de lançar seus produtos ou serviços no mercado. Eles podem processar grandes volumes de dados e fornecer feedback para apoiar iterações de design e campanhas.

No entanto, apesar de todos os seus usos, as personas sintéticas têm uma limitação fundamental: se você está lidando com um conceito novo ou tentando entender um novo tipo de cliente, como trabalhadores de plantação na Colômbia, elas provavelmente não serão suficientes.

Como Christopher Roosen, um defensor do Design Centrado no Humano, explica:

"A IA generativa é baseada em uma captura da internet... ela armazena a estrutura de todos os preconceitos da internet, que inclui preconceitos contra pessoas ricamente apresentadas em todas as suas cores, formas e ideias e em direção a uma apresentação muito estereotipada das pessoas."

A IA tem dificuldade em representar pessoas sub-representadas online, então quando você pede para gerar personas para trabalhadores na Colômbia, ela pode criar estereótipos genéricos porque os dados com os quais foi treinada contêm representações superficiais de pessoas assim. Suas ferramentas podem perder pontos-chave, recorrer a clichês e carecer da profundidade necessária para responder a perguntas destinadas a grupos novos ou marginalizados.

Agora, O Que São Entrevistas Sintéticas?

Entrevistas sintéticas são similares às entrevistas com usuários; no entanto, em vez de fazer perguntas para pessoas reais, você interage com participantes sintéticos (também conhecidos como usuários sintéticos), geralmente através de diálogo baseado em texto ou formatos baseados em pesquisa, para coletar insights dos usuários sobre vários tópicos.

Agora, qualquer pessoa que já tenha feito pesquisa, seja entrevistas ou grupos focais, sabe como pode ser demorado e caro. Afinal, é preciso muito planejamento, coordenação e profissionais treinados apenas para preparar as perguntas certas. Além disso, você precisa conversar com muitas pessoas para identificar os objetivos e pontos de dor corretos.

Comparado a isso, as entrevistas sintéticas parecem oferecer uma alternativa mais rápida e econômica para realizar conversas com seus usuários ou clientes.

De acordo com John Whalen em sua lição "Hands on with Synthetic Users: Customer Research's Future," entrevistas sintéticas são ideais para:

• Gerar ideias em estágio inicial.
• Entrevistar públicos específicos sem precisar encontrá-los e recrutá-los.
• Fazer perguntas investigativas ou sensíveis em um ambiente seguro e livre de riscos.
• Explorar situações hipotéticas ou futuras.

Não importa o tipo de perguntas que você faça; usuários sintéticos nunca hesitam.

Mas os dados gerados ou saída que você obtém nem sempre são perfeitos. Essas respostas de entrevistas podem responder o "o quê", mas não necessariamente o "por quê".

Você perde o contexto sutil que apenas um rosto ou voz humana pode fornecer – sem microexpressões, entonações e linguagem corporal. As entrevistas sintéticas também têm dificuldade em capturar a profundidade das emoções humanas, já que palavras escritas frequentemente falham em incluir a riqueza contextual encontrada no processo tradicional de pesquisa.

É por isso que você deve regularmente avaliar e validar entrevistas sintéticas contra respostas humanas. Por que a abordagem híbrida? Porque os dados da entrevista podem ser gerados por IA, mas as decisões que você toma com base neles terão um impacto no mundo real.

Entrevistas Sintéticas antes do ChatGPT

Scott Stevens e Michael Christel discutiram o tópico de entrevistas sintéticas em 1998, em seu artigo "Synthetic Interviews: The Art of Creating a "Dyad" Between Humans and Machine-Based Characters." Naturalmente, os pesquisadores da Carnegie Mellon focaram em Synthetic Interviews, a tecnologia desenvolvida pela universidade.

O artigo deles definiu Entrevistas Sintéticas como:

"Um meio de conversar em profundidade com um indivíduo ou personagem, permitindo que os usuários façam perguntas de maneira conversacional... e recebam respostas relevantes e pertinentes às perguntas feitas."

A tecnologia deveria ser "realista" ao transmitir informações, de uma forma que refletisse o pensamento humano e os processos mentais. Os usuários podiam fazer perguntas a personas geradas por computador (CG) através de interfaces faladas ou digitadas para entender suas preferências, comportamento e valores.

Para isso acontecer, milhares de videoclipes de atores humanos foram gravados e armazenados em um banco de dados. Esses atores foram filmados respondendo a possíveis perguntas, junto com clipes não-verbais extras, como beber café, coçar a cabeça ou sorrir, para fazer os personagens parecerem mais humanos.

Essas respostas eram então apresentadas em um formato de cabeça falante, para que os usuários pudessem sentir que estavam cara a cara com a personalidade. As personas CG também incluíam hábitos únicos das personalidades retratadas, como Albert Einstein, para torná-las mais autênticas.

A interface permitia que os usuários falassem normalmente em um microfone e estabelecessem o fluxo da entrevista. O sistema de reconhecimento de voz analisaria suas perguntas usando seus LLMs existentes e forneceria resultados precisos para perguntas relevantes e resultados aceitáveis para perguntas inesperadas (leia o artigo para entender o que isso significa).

Naquela época, essa tecnologia era vista como uma forma de oferecer experiências interativas com atores, líderes religiosos e outras figuras públicas.

Isso foi antes das ferramentas de IA generativa surgirem. Agora, você pode simplesmente pedir a um modelo para "agir como" uma pessoa específica, ou no nosso caso, um grupo específico de clientes ou usuários, e ele irá gerar instantaneamente respostas realistas, menos as cabeças falantes, é claro.

Gerando entrevistas sintéticas com IA

Conduzir pesquisa de usuário sem pessoas parece difícil, mas não é. Realmente. Tudo que você precisa é uma ferramenta de IA generativa, uma boa ideia de quem é seu público-alvo e o conjunto certo de prompts e perguntas.

• Ferramentas de IA Conversacional: ChatGPT, Gemini, ou Claude.
• Público-alvo/persona: Um documento Word ou PDF que descreve perfis de clientes, como seus dados demográficos (idade, gênero, localização), perfil profissional, motivadores psicológicos, tarefas a serem realizadas, comportamento de compra, principais obstáculos e mais.

Além disso, defina suas necessidades de pesquisa. Quais são seus objetivos e casos de uso? O que você quer aprender com esta sessão de entrevista? Isso ajudará você a estruturar suas perguntas de entrevista. Decida quantos usuários sintéticos você quer, em qual formato (texto, respostas de pesquisa) e quão diversas suas respostas devem ser.

Para fins de demonstração, criaremos sete usuários sintéticos para nosso produto mais recente, persona de pesquisa by Delve AI, usando a versão gratuita do ChatGPT.

O primeiro passo é fazer upload de um documento contendo detalhes sobre nosso grupo ideal de usuários – isso ajuda a limitar os respondentes a uma certa demografia. Em seguida, adicionamos a descrição do produto e especificamos o número de participantes sintéticos que queremos que o sistema gere usando um prompt bem elaborado.

Uma vez solicitado, o ChatGPT instantaneamente gerou diversos personas sintéticos. Aqui está um exemplo de um chamado Dan Miller, VP de Marketing em uma empresa de e-commerce.

Executamos as seguintes perguntas de entrevista (envolvendo uma mistura de questões abertas e estilo pesquisa) através de cada um desses personas.

• Você pode me explicar como você ou sua equipe criam personas atualmente?
• Que tipos de dados você normalmente usa? (ex.: transcrições de entrevistas, resultados de pesquisas, análises web, etc.)
• Quanto tempo geralmente leva para sua equipe criar ou atualizar personas?
• Em uma escala de 1 a 5, quão confiante você está de que seus personas atuais representam com precisão seus usuários? (1 = Nada confiante, 5 = Extremamente confiante)
• Quais são os maiores desafios que você enfrenta ao criar ou manter personas?
• Se uma ferramenta pudesse ajudá-lo a gerar personas precisos e baseados em dados em apenas minutos a partir de sua pesquisa existente, qual seria o valor disso para você ou sua equipe?
• Que recursos você esperaria ou precisaria de uma ferramenta como essa?
• Você já usou alguma ferramenta baseada em IA ou automatizada para criação de personas antes? Se sim, como foi sua experiência?
• Você estaria aberto a testar uma nova ferramenta que o ajuda a criar personas mais rapidamente usando seus dados de pesquisa?
• Na sua opinião, o que tornaria este tipo de produto 'imprescindível' em vez de apenas 'bom ter'?

Pedimos ao chatbot para resumir as respostas da entrevista em um relatório limpo e profissional, destacando os problemas ou preocupações que eles têm com o produto, do que gostam nele e citações de apoio.

Como esperado, o sistema identificou a maioria dos problemas comuns que os usuários associariam a esse tipo de criação de personas - saída genérica, preocupações com privacidade, etc. Isso foi seguido por um resumo do que eles gostaram no produto, que, novamente, não foi tão ruim.

Este processo de entrevista nos deixou com coisas que nossos potenciais usuários podem se importar, mas nada fora do comum. As respostas foram rápidas – todo o exercício levou cerca de 15 minutos – no entanto, esses dados só podem ser usados para criar perguntas melhores e mais específicas para seus usuários reais.

Você pode ver os resultados completos, junto com os prompts e perguntas usados aqui.

Seus dados de entrevista são tão bons quanto os usuários sintéticos que o sistema constrói. Então, se você deseja gerar entrevistas sintéticas dessa maneira, revise minuciosamente os dados do cliente que você inseriu no modelo para garantir qualidade. Existem vieses ou lacunas? Você está incluindo os dados corretos desde o início? Você está treinando o sistema para imitar algo, então certifique-se de que esse "algo" é realmente o que você deseja.

Para que os LLMs gerem dados que espelhem a complexidade e nuances das respostas humanas reais, você precisa de bons prompts.

Lembre-se: Bons dados de entrada + prompts bem elaborados = Saída de entrevista de qualidade.

Depois que os dados sintéticos são gerados, valide-os antes de usá-los. Execute verificações manuais e utilize ferramentas de validação para avaliar qualidade, consistência e precisão. Os stakeholders são céticos em relação a dados sintéticos (e com razão), então seja transparente se estiver usando dados gerados por IA em seus relatórios de pesquisa de usuário.

Problemas potenciais com entrevistas sintéticas

Michael Mace compara Synthetic Users, uma ferramenta que usa IA generativa para simular entrevistas com clientes, com entrevistas com pessoas reais em seu artigo "Can AI replace discovery interviews? A competitive comparison."

Se tivermos que discutir os contras dos respondentes sintéticos e, consequentemente, das entrevistas sintéticas, seu post fornece um ótimo ponto de partida.

Mace conduziu um estudo entre Synthetic Users e UserTesting (que permite fazer perguntas a pessoas reais de um painel online) usando uma ideia inovadora – um serviço de carona que usa carros voadores.

Os resultados deste estudo não foram favoráveis aos usuários sintéticos.

Synthetic Users foi definitivamente rápido. Você cria os usuários, adiciona as perguntas, e as respostas são geradas em minutos. Em contraste, usar UserTesting exigiu um dia inteiro – escrevendo um plano, configurando filtros, esperando respostas e depois analisando os resultados. E mesmo assim, encontrar as pessoas certas com as características desejadas foi difícil.

A questão com Synthetic Users é que, se você define um usuário com um problema específico, ele não questionará se esse problema existe. Simplesmente assume que existe. Assim, você acaba com usuários hipotéticos que não existem na realidade.

O que é um problema.

Até mesmo as transcrições geradas eram um pouco perfeitas demais, sem palavras de preenchimento, repetições ou frases incompletas. Faltavam os sinais emocionais que o UserTesting oferecia, já que não havia vídeos ou expressões para analisar.

Além disso, os participantes sintéticos soavam similares entre si, com respostas quase idênticas.

Eles pareciam básicos, médios e desconectados da vida real. Usuários reais, embora suas respostas fossem menos refinadas, trouxeram mais variedade e detalhes.

Além da velocidade e uma visão básica do seu público, esta ferramenta não ajudou em nada a aprender mais sobre a forma como seus clientes pensam e reagem. O que, infelizmente, é o problema com a maioria das metodologias de pesquisa sintética.

Pesquisa Sintética: Crie Usuários, Pesquisas e Entrevistas Simuladas com Delve AI

Analisamos as formas manuais de conduzir pesquisa sintética; agora, vamos verificar as formas impulsionadas por IA. O Software de Pesquisa Sintética da Delve AI é uma das ferramentas que ajuda você a criar personas de IA para seus usuários ou clientes, e utilizá-las para realizar pesquisas e entrevistas.

Atualmente, o software de pesquisa inclui três funcionalidades:

• Usuários simulados
• Pesquisas
• Entrevistas

Construídas a partir de fontes de dados próprias e públicas, essas personas virtuais são escaláveis e diversas. Você pode gerar qualquer número de usuários e conduzir quantas entrevistas quantitativas e qualitativas desejar.

Etapa 1: personas

Você precisa criar personas base antes de desenvolver usuários simulados. Para isso, você precisa assinar um de nossos produtos de persona.

Atualmente, nosso gerador de personas por IA oferece seis deles:

• Customer persona (baseado em seus dados de CRM)
• Website persona (para visitantes/compradores do seu site)
• Social persona (para suas audiências de mídia social)
• Competitor persona (para concorrentes)
• Research persona (para seus usuários)
• Audience persona (baseado na descrição do seu público)
• Employee persona (para o ambiente de trabalho)

Neste caso, construiremos personas usando a ferramenta persona de pesquisa mencionada anteriormente.

Cadastre-se ou faça login na Delve AI, vá para persona de pesquisa e faça upload dos seus documentos. Você pode incluir qualquer coisa relevante, como transcrições de entrevistas, relatórios de pesquisas, notícias do setor ou perfis de usuários anteriores.

Clique em "Criar Personas", e a Delve AI desenvolverá personas baseadas nos dados que você forneceu. Não se preocupe se você não tiver material de pesquisa; apenas adicione uma breve descrição do seu público-alvo junto com alguns detalhes sobre seu produto ou negócio (opcional), e nós cuidaremos do resto.

Além de suas entradas, nossa plataforma se baseia no aprendizado de milhares de personas geradas anteriormente para criar perfis únicos de clientes. O resultado pode ser uma ou múltiplas personas, dependendo do seu público e caso de uso. Cada um desses segmentos contém detalhes da persona, distribuição e mapas de jornada.

Clique em DETALHES DA PERSONA, e você verá dados demográficos do usuário, estilo de vida, status profissional, aspirações, fatores que influenciam decisões de compra, motivadores psicológicos (objetivos, motivações, necessidades) e desafios principais.

Isso é seguido por informações sobre seus canais de comunicação preferidos, redes sociais, brands, sites de compras, música, programas de TV, filmes, canais do YouTube, podcasts, subreddits, recursos influentes e mais.

A aba DISTRIBUIÇÃO mostra como seu público está distribuído dentro de um segmento específico, dividido por canal, rede social, idade, gênero, idioma, localização, níveis de atividade e tópicos (tanto ressonantes quanto genéricos).

A última aba, JORNADAS DO CLIENTE, contém mapas de jornada do usuário divididos em fases distintas, explorando os objetivos, ações, problemas e processos de pensamento dos seus usuários.

Observação: Suas personas são automaticamente atualizadas com dados novos todos os meses, e você também pode complementá-las com dados adicionais de pesquisa.

Passo 2: Usuários Simulados

Agora que construímos as personas, vamos passar para a próxima etapa, ou seja, gerar usuários sintéticos. Por que isso é necessário? Porque você não pode realizar entrevistas sem eles.

Para começar, vá ao painel de Pesquisa Sintética e compre o número de usuários que você precisa – por exemplo, 100. Então, crie um painel com este grupo e dê um nome, como Marketing Insights Group. Isso ajudará você a organizar e gerenciar seus públicos posteriormente.

Você será direcionado a uma tela onde poderá selecionar a(s) persona(s) ou produto persona que deseja usar para gerar usuários sintéticos. Aqui, escolheremos um segmento da persona de pesquisa chamado Edward Collins.

Como mostrado abaixo, o software gerou 100 usuários sintéticos baseados naquele segmento específico de persona de usuário. Cada usuário inclui uma opção "Iniciar Chat", que você pode usar para interagir com eles (veja Digital Twin para mais informações).

Passo 3: Pesquisas + Entrevistas

Nossas personas simuladas estão prontas; é hora de realizar pesquisas e entrevistas com usuários.

Na barra lateral, clique em Marketing Insights Group, então selecione Pesquisas no menu suspenso. No painel, clique no botão "Criar Pesquisa". Você será solicitado a inserir o nome da sua pesquisa (ex.: Pesquisa de adequação ao mercado), especificar o número de usuários (ex.: 100), e fazer upload de um arquivo CSV que contém suas perguntas.

Seu arquivo pode incluir vários tipos de perguntas, como múltipla escolha, escala de avaliação, escala Likert, perguntas abertas e classificação. Levará apenas um curto período para suas respostas serem geradas.

Junto com os resultados, você poderá analisar quais respondentes deram respostas específicas para cada pergunta e até mesmo perguntar os motivos por trás de suas escolhas usando a funcionalidade de chat.

Você também pode pedir feedback sobre outros assuntos relacionados a marketing e produto. No exemplo acima, perguntamos a um usuário quais fatores influenciaram sua decisão de concluir uma compra ao fazer compras online.

O que torna esta ferramenta diferente

Uma grande crítica à pesquisa gerada por IA é que ela carece da autenticidade, profundidade e nuances emocionais que normalmente se obtém de entrevistas reais. Isso, e a preocupação de que vieses nos dados de treinamento podem potencialmente distorcer seus resultados de pesquisa.

Como Niloufar Salehi escreve em seu artigo sobre usuários sintéticos:

"O objetivo principal de gastar tempo entrevistando pessoas e então... analisando as grandes quantidades de dados coletados é a capacidade de se conectar com elas, construir confiança, aprofundar, pedir que compartilhem histórias e aprender sobre seus sentimentos e emoções. Os mecanismos de síntese de padrões não possuem nenhuma dessas características."

No entanto, para pessoas ou equipes que estão começando, especialmente aquelas sem tempo ou orçamento para pesquisas extensivas com usuários, entrevistas sintéticas podem ser uma alternativa atraente e acessível.

O Software de Pesquisa Sintética da Delve AI não recruta pessoas. Ou as entrevista.

Mas ele usa as informações que você coletou sobre seus usuários para criar públicos semelhantes. Esses usuários virtuais, construídos a partir de personas geradas usando seus dados primários (CRM, análise web), secundários (dados de audiência social, inteligência competitiva) e dados da Voz do Cliente, não são algo genérico que o ChatGPT criou.

Eles são personalizados para o caso de uso do seu negócio e provavelmente forneceriam uma melhor compreensão dos seus usuários e suas necessidades principais.

Vamos Olhar pelo Lado Positivo

Entrevistas sintéticas podem ser problemáticas, mas apenas se os usuários simulados com os quais você as realiza forem genéricos, imprecisos ou tendenciosos. A qualidade das personas sintéticas está diretamente relacionada à qualidade das respostas que você obtém; quanto melhor a qualidade, melhores as respostas.

Então, cabe a você selecionar, ou se estiver disposto, construir um software de pesquisa sintética confiável (o que exigirá muitos recursos).

Depois de encontrar um, você pode aproveitá-lo para identificar os problemas óbvios antes de realizar entrevistas reais. Usuários sintéticos também são bons para gerar novas ideias. Perspectivas novas ou opiniões que já existiam, mas você não sabia sobre elas.

É evidente que, no estágio em que estão agora, as entrevistas sintéticas devem apenas complementar seus estudos de pesquisa. Usuários simulados nunca devem ter precedência sobre usuários reais. Você pode usá-los para testar múltiplos cenários, mas sempre valide esses resultados com suas descobertas de pesquisa reais.

No final das contas, não importa o tipo de usuários que você escolhe; o que importa são as perguntas que você faz, ou não faz.