Wizard of Oz & Analyzing Qualitative Data - Research Methods in Human Computer Interaction

Wizard of Oz  & Analyzing Qualitative Data - Research Methods in Human Computer Interaction

Wizard of Oz

Ogden y Bernick (1996) describen ampliamente el  uso  de  Interfaces  de  Lenguaje  Natural  en  la Interacción  humano-computador.  En  esta descripción se incluyen aspectos de evaluación y diseño de este tipo de interfaces, para las cuales una  de  las  técnicas  principales  de  diseño  está constituida por los  denominados “Experimentos Mago de Oz” (en adelante MDO).  Estos  experimentos  se  realizan  con  la participación de un humano que se conoce como “Mago”o  “Cómplice”,  quien  simula,  sin conocimiento del participante en el experimento, el  papel  que  desempeña  el  computador  durante una  interacción  humano-computador  (Fraser  y Gilbert, 1991).

Ogden y Bernick (1996) describen ampliamente el  uso  de  Interfaces  de  Lenguaje  Natural  en  la Interacción  humano-computador.  En  esta descripción se incluyen aspectos de evaluación y diseño de este tipo de interfaces, para las cuales una  de  las  técnicas  principales  de  diseño  está constituida por los  denominados “Experimentos Mago de Oz”.  Estos  experimentos  se  realizan  con  la participación de un humano que se conoce como “Mago”o  “Cómplice”,  quien  simula,  sin conocimiento del participante en el experimento, el  papel  que  desempeña  el  computador  durante una  interacción  humano-computador  (Fraser  y Gilbert, 1991).
En  Meyer  (2002)  se  establecen  algunos  usos identificados de la técnica MDO en relación con la elaboración de prototipos de sistemas:
•  Probar  la  eficacia  del  sistema:  Se  pueden modificar  las  estrategias  de  diálogo  de acuerdo  con  los  resultados  sucesivos  que vaya arrojando el experimento.
•  Analizar el comportamiento de las personas en la interacción con una máquina, con el fin de  extraer  la  información  lingüística  que necesitará  el  sistema  real  cuando  deba interpretar  los  mensajes  del  usuario.  Se deberían  comparar  los  corpus  persona-persona  que  se  tengan  disponibles  con  los corpus  persona-sistema  informático  que  se recolecten con el experimento;  para ello, se toman  en  consideración:  la  duración  de  la interacción, los tiempos de espera, el número de  turnos  utilizados  desde  que  el  usuario solicita la información hasta que se le facilita y  el  número  de  llamadas  que  se  desvían porque el Mago no es capaz de contestarlas. Estos  elementos  suministran  parámetros  de diseño del sistema definitivo.
•  Entrenar  el  módulo  de  reconocimiento,  ya que  en  la  mayoría  de  las  aplicaciones  se requiere  el  reconocimiento  del  habla espontánea.

Analyzing Qualitative Data

• La característica más singular del análisis de datos cualitativos es que implica la codificación humana. 
• La ausencia de datos numéricos y medidas directas hace que el análisis de datos cualitativos sea más susceptible a la interpretación sesgada o la manipulación subjetiva. 
• Por lo tanto, es fundamental adoptar procedimientos y técnicas bien establecidos para garantizar un análisis de alta calidad que sea válido y confiable.
• Nuestras discusiones sobre estudios de casos, entrevistas y etnografía introducen tipos de datos marcadamente diferentes asociados con preguntas de investigación y métodos de análisis que no son tan claros. 
• En lugar de buscar medidas numéricas, estos estudios cualitativos intentan estudiar textos, observaciones, vídeos y artefactos para comprender situaciones complejas. 
• El análisis de estos datos a menudo plantea desafíos que rara vez surgen con datos cuantitativos, ya que nos cuesta interpretar comentarios ambiguos y comprender situaciones complejas. Para empeorar las cosas, ni siquiera sabemos cuál es la "verdad", como múltiples investigadores podrían (y a menudo lo hacen) tener diferentes perspectivas sobre la misma situación.
• Los métodos cualitativos aceptan que la subjetividad es inherente al proceso de interpretación de datos cualitativos, y se esfuerzan por mostrar que las interpretaciones se desarrollan metódicamente para ser consistentes con todos los datos disponibles y representativos de múltiples perspectivas.

11.2 Objetivos y etapas del análisis cualitativo

• El objetivo del análisis cualitativo es convertir los datos no estructurados que se encuentran en los textos y otros artefactos en una descripción detallada sobre los aspectos importantes de la situación o problema en consideración. Esta descripción puede tomar muchas formas, incluidas narraciones textuales, diagramas gráficos y tablas de resumen.
• Según Corbin y Strauss ( Corbin y Strauss, 2014), el análisis de datos cualitativos consta de tres etapas:
• Comenzamos con un conjunto de datos que contiene información sobre nuestro problema de interés.
• En la segunda etapa, profundizamos en cada componente para encontrar propiedades y dimensiones descriptivas relevantes. En muchos casos, necesitamos comprender no solo la naturaleza de cada componente, sino también cómo se relacionan entre sí.
• En la tercera etapa, usamos el conocimiento que obtuvimos al estudiar cada componente individual para comprender mejor la sustancia original y hacer inferencias sobre esa sustancia.

11.3 Análisis de contenido

• El análisis de contenido se refiere al proceso de desarrollar una descripción representativa de texto u otra entrada no estructurada.
• "Cualquier técnica para hacer inferencias mediante la identificación objetiva y sistemática de características específicas de los mensajes"(Holsti, 1969). Según esta definición, el análisis de contenido no solo se aplica a la información textual, sino también a los materiales multimedia, como dibujos, música y videos

11.3.1 ¿Qué es el contenido?

• El objetivo del análisis de contenido generalmente cubre dos categorías: contenido de medios y contenido de audiencia. 
• El contenido de los medios puede ser cualquier material en publicaciones impresas (libros, diarios, revistas, periódicos y folletos), programas de transmisión (Programas de televisión o radio), sitios web (Sitios web de noticias, portales web, sitios web personales o blogs) o cualquier otro tipo de grabación (por ejemplo, fotos, películas o música).
• El contenido de la audiencia es retroalimentación recopilada directa o indirectamente de un grupo de audiencia. El contenido de la audiencia se puede recopilar a través de una variedad de métodos, como encuestas, cuestionarios, entrevistas, grupos focales, diarios y observaciones.

11.3.2 Preguntas a considerar antes del análisis de contenido

Primero, debe tener una definición clara del conjunto de datos que se analizará.

• Una vez que se especifica una definición clara del conjunto de datos, debe estudiar los datos detenidamente y eliminar los datos que no cumplan con los criterios de la definición. 
• Los estudios de análisis de contenido también deben definir claramente la población de la que se extrae el conjunto de datos. Otros factores que deben considerarse al definir la población incluyen, entre otros, edad, género, profesión, educación y experiencia en el dominio.
• En tercer lugar, debe conocer el contexto específico de los datos. El análisis de datos fuera de contexto no tiene sentido y está muy sesgado. Cualquier palabra, término y reclamo debe interpretarse en el contexto específico del que se extrae. La consideración del contexto es un proceso iterativo, que ocurre en múltiples niveles a lo largo del análisis. Antes del análisis de datos, debe tener una comprensión clara del contexto de nivel superior de su conjunto de datos.

11.4 Análisis de contenido de texto

11.4.1 Esquemas de codificación

Analizar el contenido del texto implica asignar categorías y descriptores a bloques de texto, un proceso llamado "codificación". Un malentendido común es que la codificación no es más que parafrasear el texto y contar el número de palabras clave en el texto. En realidad, la codificación es mucho más que eso.

Según lo declarado por Corbin y Strauss ( Corbin y Strauss, 2014), la codificación "implica interactuar con datos, hacer comparaciones entre datos, etc., y al hacerlo, derivar conceptos para representar esos datos, y luego desarrollar esos conceptos en términos de sus propiedades y dimensiones".

El análisis cualitativo sólido depende de conceptos identificados con precisión que luego sirven como "categorías para las cuales se buscan datos y en los cuales se agrupan los datos" ( Blumer, 1969 ). Los conceptos y categorías también son un medio para establecer relaciones (por ejemplo, correlación, relaciones causales, etc.) entre diferentes entidades. Las categorías de codificación pueden provenir de varias fuentes: un marco teórico existente, la interpretación del investigador (conceptos denotados por la investigación) y términos originales proporcionados por los participantes (códigos in vivo).

Existen dos enfoques diferentes para analizar los datos: codificación emergente y codificación a priori . 

• La codificación emergente se refiere a los análisis cualitativos realizados sin ninguna teoría o modelo que pueda guiar su análisis; simplemente comience por observar conceptos o ideas interesantes y refine continuamente esas ideas hasta que pueda formar un modelo coherente que capture los detalles importantes. 
• La codificación a priori implica el uso de una teoría o hipótesis establecidas para guiar la selección de categorías de codificación. Estas categorías pueden provenir de trabajos publicados previamente en áreas relacionadas, o de sus propias investigaciones previas sobre el tema en cuestión.

11.4.1.1 Teoría fundamentada y codificación emergente

La teoría fundamentada es un método de investigación inductivo que es fundamentalmente diferente de los métodos tradicionales de investigación experimental. La teoría fundamentada parte de un conjunto de observaciones o datos empíricos y nuestro objetivo es desarrollar una teoría fundamentada a partir de los datos. La teoría fundamentada puede aplicarse a una variedad de métodos de investigación discutidos en este libro, como la etnografía, los estudios de casos y las entrevistas. La principal diferencia entre las estrategias de investigación cualitativa que son principalmente descriptivas o exploratorias y la teoría fundamentada es su énfasis en el desarrollo de la teoría a partir de la interacción continua entre la recopilación de datos y el análisis de datos.

 La clave para llevar a cabo una investigación de teoría fundamentada exitosa es ser creativo y tener una mente abierta ( Myers, 2013 ).

El método de la teoría fundamentada generalmente consta de cuatro etapas:

• codificación abierta: analizamos el texto e identificamos cualquier fenómeno interesante en los datos. Normalmente, cada fenómeno único recibe un nombre o código distintivo. Dado un texto para analizar, lo leería, tratando de identificar los patrones, opiniones, comportamientos u otros temas que parezcan interesantes.

• desarrollo de conceptos: las colecciones de códigos que describen contenidos similares se agrupan para formar "conceptos" de nivel superior, que luego se pueden agrupar para formar "categorías" (la tercera etapa). Las definiciones de los conceptos y categorías a menudo se construyen durante esta fase del análisis. La identificación y definición de las relaciones entre estos conceptos, un proceso a menudo denominado "codificación axial"

• agrupando conceptos en categorías;

• formación de una teoría: nuestro objetivo es crear declaraciones inferenciales y predictivas sobre los fenómenos registrados en los datos. Más específicamente, desarrollamos conexiones o correlaciones causales explícitas entre los conceptos y categorías identificados en las etapas anteriores. Este proceso podría ser seguido por una codificación selectiva, en la cual los datos previamente codificados podrían revisarse desde el contexto de la teoría emergente.

 La teoría fundamentada obviamente tiene una serie de ventajas:

• Primero, proporciona un enfoque sistemático para analizar datos cualitativos, en su mayoría basados ​​en texto, lo cual es imposible usando el enfoque experimental tradicional. 
• En segundo lugar, en comparación con otros métodos de investigación cualitativa, la teoría fundamentada permite a los investigadores generar teoría a partir de datos cualitativos que pueden ser respaldados por una amplia evidencia como se demuestra en la codificación completa.

Desventajas:

• El énfasis en la codificación detallada y exhaustiva puede hacer que los investigadores se entierren en detalles y se sientan perdidos en los datos, lo que dificulta la identificación de conceptos y temas de nivel superior que son críticos para la formulación de la teoría.
• Las teorías desarrolladas con este método pueden ser difíciles de evaluar. A diferencia del enfoque experimental tradicional en el que la hipótesis está claramente respaldada o rechazada por datos cuantitativos recopilados a través de experimentos replicables y bien controlados, la teoría fundamentada comienza con información textual y se somete a múltiples rondas de recolección y codificación de datos antes de que la teoría emerja completamente de los datos.
•  La evaluación del resultado depende de medidas que son menos directas, como la cadena de evidencia entre el hallazgo y los datos, el número de instancias en los datos que respaldan el concepto específico y la familiaridad del investigador con el tema relacionado.
• Los hallazgos del enfoque de la teoría fundamentada pueden estar influenciados por las opiniones preconcebidas de los investigadores y, por lo tanto, pueden estar sujetos a sesgos. Los investigadores deben ser creativos y de mente abierta.

11.4.1.2 Codificación a priori y marcos teóricos

En la etapa de diseño de la investigación, los marcos teóricos pueden ayudarlo a enmarcar las preguntas de investigación, decidir el enfoque de investigación específico a adoptar (es decir, encuesta, entrevista, grupo focal, etc.) e identificar los conceptos y preguntas que se incluirán en cada enfoque . Al analizar la información del texto, los marcos teóricos pueden ayudarlo a identificar las principales categorías y elementos que deben codificarse y explicar los resultados de su investigación. Por lo tanto, al comienzo de un proyecto de investigación, es importante estudiar la literatura de investigación y averiguar si existe algún marco teórico relacionado con el tema de investigación que está investigando.

11.4.1.3 Construir una estructura de código

Una vez identificados los elementos clave de codificación, se pueden organizar y presentar en una lista de códigos (también llamada "nomenclatura" o "libro de códigos"). Una nomenclatura es una lista de categorías numeradas destinadas a representar el conjunto completo de posibles respuestas a una pregunta específica ( Lyberg y Kasprzyk, 1997).

Una lista de códigos normalmente está integrada en una estructura jerárquica, que contiene múltiples niveles, cada nivel representa conceptos con cantidades crecientes de detalles.

11.4.2 Codificación del texto

recomendamos los siguientes pasos para la codificación:

1. Busca artículos específicos.
2. Haga preguntas constantemente sobre los datos.
3. Hacer comparaciones constantemente en varios niveles.

11.4.2.1 Buscar elementos clave

• Los objetivos entregan información importante. 
• Las palabras, frases y oraciones que describen acciones también son importantes. Le dicen lo que hacen los usuarios con la aplicación o técnica específica. También le dicen qué funciones se usan con frecuencia y cuáles se usan con menos frecuencia. Una vez que detecte un código de acción en los datos, puede seguirlo y examinar si el usuario describió el resultado de la acción.
• Las causas también están asociadas con acciones fallidas. Cada vez que una acción falla total o parcialmente, vale la pena buscar las causas de la falla. ¿El error se remonta al usuario o la aplicación? Si es causado por el usuario, ¿qué tipos de capacidades están involucradas?
• Las declaraciones sobre el contexto de la interacción o el uso también son importantes. Diferentes tipos de usuarios pueden informar diferentes niveles de satisfacción para la misma aplicación con medidas de rendimiento similares porque el contexto de comparación es drásticamente diferente ( Sears et al., 2001).
• Finalmente, las descripciones de los estilos y estrategias de interacción también son información valiosa que es difícil de examinar durante los estudios empíricos de laboratorio.

11.4.2.2 Hacer preguntas sobre los datos

Una buena manera de ayudar a detectar patrones y conexiones interesantes en los datos es hacer preguntas constantemente sobre los datos. 

Esas preguntas pueden estar relacionadas con la acción específica, su resultado y sus consecuencias, así como las causas de las acciones fallidas. La mayoría de esas preguntas son preguntas prácticas que pueden ayudarlo a identificar desafíos de interacción y fallas de diseño.

11.4.2.3 Hacer comparaciones de datos

Tanto durante el proceso de codificación como en la etapa posterior para interpretar los resultados, se le recomienda hacer comparaciones en múltiples niveles. Primero, puede comparar instancias en diferentes categorías de codificación.

En segundo lugar, puede comparar los resultados entre diferentes grupos de participantes.

Tercero, puede comparar los hallazgos en sus datos con la literatura previamente reportada. ¿Sus hallazgos se alinean con la literatura existente o es contradictorio? Si sus hallazgos difieren de la literatura existente, ¿puede explicar por qué? ¿Es incorrecta la literatura existente? ¿O es la diferencia causada por un contexto diferente?

11.4.2.4 Grabar los códigos

Cuando encuentre un elemento en el contenido que desea describir con un código, debe tener en cuenta exactamente lo que está codificando y qué códigos está asignando.

11.4.2.5 Iterar y refinar

La codificación cualitativa conduce a la construcción de un marco conceptual en evolución. A medida que examina los datos en bruto y asigna códigos a los elementos de esos datos, en efecto está organizando los componentes y construyendo una comprensión que crecerá y cambiará a medida que continúe. Para los esfuerzos de codificación emergentes, la adición de nuevos códigos es la aparición de su comprensión.

11.4.3 ASEGURAR UN ANÁLISIS DE ALTA CALIDAD

¿cómo podemos hacer que nuestro análisis cualitativo sea válido y confiable?

La validez significa que utilizamos procedimientos bien establecidos y bien documentados para aumentar la precisión de los hallazgos ( Creswell, 2013 ). Más estrictamente hablando, la validez examina el grado en que un instrumento mide lo que está destinado a medir ( Wrench et al., 2013 ).

La confiabilidad se refiere a la consistencia de los resultados ( Creswell, 2013 ): si diferentes investigadores que trabajan en un conjunto de datos común llegan a conclusiones similares, se dice que esas conclusiones son confiables.

11.4.3.1 Validez

Existen tres enfoques principales para la validez: validez aparente, validez de criterio y validez de constructo.

• La validez aparente también se llama validez de contenido. Es un criterio de validez subjetiva que generalmente requiere que un investigador humano examine el contenido de los datos para evaluar si en su "cara" parece estar relacionado con lo que el investigador pretende medir.
• La validez de criterio intenta evaluar qué tan precisa puede ser una nueva medida para predecir un concepto o criterio previamente validado. Por ejemplo, si desarrollamos una nueva herramienta para medir la carga de trabajo, podríamos querer que los participantes completen un conjunto de tareas, utilizando la nueva herramienta para medir la carga de trabajo de los participantes.
• La validez de constructo o factorial generalmente se adopta cuando un investigador cree que no hay un criterio válido disponible para el tema de investigación bajo investigación. La validez de constructo es una prueba de validez de un constructo teórico y examina "¿Qué construcciones explican la varianza en el rendimiento de la prueba?"

11.4.3.2 Fiabilidad

Debido a la naturaleza del análisis de contenido, es más vulnerable a sesgos e inconsistencias que el enfoque cuantitativo tradicional. Por lo tanto, Es particularmente importante seguir procedimientos específicos durante el proceso de codificación y utilizar diversas medidas para evaluar la calidad de la codificación. El objetivo final del control de confiabilidad es garantizar que diferentes personas codifiquen el mismo texto de la misma manera (Weber, 1990 ).

Los controles de fiabilidad abarcan dos dimensiones: estabilidad y reproducibilidad. La estabilidad también se llama confiabilidad intracodificador . Examina si el mismo codificador califica los datos de la misma manera durante todo el proceso de codificación. En otras palabras, si se le pide al codificador que codifique los mismos datos varias veces, ¿la codificación es constante una y otra vez?

En el contexto del análisis de contenido, la fiabilidad del intercodificador se adopta ampliamente para medir la reproducibilidad. Examina si diferentes codificadores codifican los mismos datos de manera consistente. En otras palabras, si se les pide a dos o más codificadores que codifiquen los mismos datos, ¿es consistente su codificación? 

11.4.3.3 Codificadores subjetivos versus objetivos

Cuando los codificadores son las mismas personas que desarrollaron el esquema de codificación, y en muchos casos también diseñan el estudio y recopilan los datos, se les llama codificadores subjetivos o internos . Cuando los codificadores no participan en el diseño del estudio, la recopilación de datos o el desarrollo del esquema de codificación, se denominan codificadores objetivos o externos .

Debido a que los codificadores subjetivos suelen ser los propios investigadores, conocen bien la literatura y tienen un conocimiento sustancial y experiencia en el tema relacionado. Ese conocimiento y especialidad pueden ayudarlos a comprender los términos y conceptos proporcionados por los participantes y detectar los temas subyacentes en el texto. También requieren un entrenamiento mínimo ya que ellos mismos desarrollaron el esquema de codificación. Sin embargo, el hecho de que ya hayan trabajado tan estrechamente con los datos se convierte en una desventaja durante la codificación real. El conocimiento adquirido puede limitar sus habilidades para pensar más allá de los conceptos establecidos en su mente. A veces pueden formar significados ocultos de la codificación sin ser conscientes de ello. La consecuencia es que la confiabilidad reportada por los codificadores subjetivos puede estar inflada.

Por el contrario, los codificadores objetivos generalmente no tienen un conocimiento previamente adquirido del tema y, por lo tanto, pueden estar más abiertos a posibles instancias en los datos. La confiabilidad reportada por los codificadores objetivos es menos probable que se infle. Sin embargo, su falta de conocimiento y experiencia en el dominio también puede dificultar su capacidad de comprender con precisión los datos y detectar instancias interesantes. Además, los codificadores objetivos generalmente necesitan una cantidad considerable de capacitación y todo el proceso puede ser muy costoso.

11.5 Análisis de contenido multimedia

La información multimedia también presenta desafíos sustanciales para el análisis de datos. Para encontrar patrones interesantes en las interacciones, los datos de imagen, audio y video deben codificarse para instancias específicas (es decir, un gesto, evento o sonido específico). Sin el soporte de herramientas automatizadas, el investigador tendría que pasar manualmente horas de grabaciones de audio o video para identificar y codificar las instancias de interés específico. Este proceso puede llevar mucho tiempo, ser tedioso y, en muchos casos, poco práctico.

Las técnicas para el análisis de contenido multimedia se basan en múltiples dominios, incluidos el procesamiento de imágenes, la visión por computadora, el reconocimiento de patrones y los gráficos. Uno de los enfoques comúnmente adoptados y utilizados por todos esos campos es el aprendizaje automático.

Conclusiones

Estando en la fase de observación y recolección de datos, en la que parte de nuestro trabajo es empatizar y conocer los problemas de las personas, es muy importante realizar el análisis de los datos cualitativos, pues que estos son en los que nos enfocamos más en historias de las personas y nos han contando los problemas que tengan con respecto a alguna situación. Gracias a estas actividades podemos encontrar problemas no previstos y poder categorizar los problemas y enriquecer la información de los usuarios y mientras más información tengamos mejor para que podamos encontrar los núcleos de problema y podamos definirlo bien para su solución. Esta actividad es de suma importancia en la ingeniería en software en la etapa de Requisitos de Software, y los que traduzcan los datos cualitativos a requisitos debe de tener habilidades de análisis de datos y.de poder tener una mente abierta a posibilidades y de ser creativo a la hora de encontrar puntos claves en la información cualitativa.