La IA frente a la codificación manual de extremo abierto: eficiencia, precisión e información

Durante un estudio cuantitativo reciente en Q2 Insights, tuvimos la oportunidad de comparar tres enfoques diferentes para la codificación de extremo abierto utilizando el mismo conjunto de datos:

• Codificación manual de extremo abierto
• Codificación de extremo abierto impulsada por IA a través de una plataforma de encuestas que utiliza modelos lingüísticos grandes (LLM) para generar información tanto en texto como en gráficos
• Codificación basada en IA mediante una herramienta independiente que aprovecha LLM y GenAI para analizar comentarios abiertos, agruparlos en temas y presentar hallazgos resumidos, ideas e imágenes

Como era de esperar, los métodos impulsados por la IA superaron a la codificación manual en términos de velocidad, costo y precisión. La herramienta de inteligencia artificial específica resultó particularmente eficaz para su tarea específica, pero esto no disminuye las capacidades y la versatilidad más amplias de la plataforma de encuestas basada en la inteligencia artificial que utilizamos.

‍

¿Qué es la codificación de extremo abierto?

En el pasado, codificar las respuestas a preguntas abiertas en encuestas o investigaciones cualitativas, como entrevistas o grupos focales, era un proceso lento y costoso. Las preguntas abiertas permiten respuestas desestructuradas, lo que añade complejidad. Los analistas tenían que crear códigos para cada categoría de respuesta, lo que a menudo generaba varias columnas de códigos por pregunta. Este proceso requería un «marco de código» que asignara números a cada respuesta y debía perfeccionarse continuamente antes de poder comenzar el análisis. Cuando se hacía manualmente, la codificación abierta era, y sigue siendo, una pesadilla.

Este es un ejemplo del aspecto que podría tener la codificación de extremo abierto:

‍

Enorme variabilidad en la calidad de la codificación manual de extremo abierto

Uno de los principales desafíos de la codificación manual es la incoherencia en la calidad. El resultado depende de la habilidad y la atención al detalle de los analistas que lo realizan. Cuando se hace bien, la codificación manual puede proporcionar información valiosa. Sin embargo, si se hace apresuradamente o sin cuidado, conduce a un análisis superficial y poco fiable. Incluso en el caso de analistas experimentados, los errores humanos, la fatiga, la codificación descuidada y la interpretación subjetiva introducen variabilidad, lo que dificulta la codificación manual de código abierto, especialmente en estudios a gran escala.

‍

La codificación de extremo abierto de IA aborda la variabilidad humana

La codificación basada en IA resuelve muchos problemas de la codificación manual al garantizar la velocidad y la coherencia y reducir los errores humanos. La IA puede analizar grandes volúmenes de respuestas abiertas, aplicando el mismo rigor a cada una de ellas e identificando rápidamente temas y patrones que harían que los analistas humanos tardarían mucho más tiempo. Esto permite a los investigadores centrarse más en interpretar las ideas que en la laboriosa tarea de codificar. Se sigue recomendando la revisión y supervisión de investigadores humanos; sin embargo, por lo general serán mínimas.

Las herramientas de inteligencia artificial también pueden marcar respuestas inusuales o complejas para su revisión humana, lo que garantiza que no se pierdan matices importantes. Si bien es posible que la IA no sustituya por completo las habilidades de perspicacia e interpretación de los analistas humanos, agiliza drásticamente el proceso y hace que la codificación sea más escalable y eficiente.

‍

Ejemplo de diferencias entre los enfoques de IA

En un estudio, nos centramos en el Museo Navy SEAL de San Diego, cuya inauguración está prevista para 2025, y en un museo existente en Fort Pierce (Florida), el Museo Navy SEAL, y comparamos los enfoques impulsados por la IA con la pregunta abierta: «¿Qué te imaginas que el Museo Navy SEAL ofrecería a los visitantes?»

• La plataforma de encuestas de IA generó gráficos detallados y coloridos, que permitieron a los usuarios profundizar en los hallazgos de alto nivel, con temas como «Exposiciones» y «Experiencias interactivas».
• La herramienta de IA independiente resumió los temas en párrafos sin imágenes interactivas, identificando temas de alto nivel como «Historia», «Artefacto» y «Colección completa». Su producto único incluía descripciones narrativas detalladas de estos temas, que proporcionaban un contexto más profundo a cada hallazgo.

La codificación de extremo abierto de la plataforma de IA arrojó los siguientes hallazgos. El gráfico se proporciona únicamente con fines ilustrativos. El gráfico real que ofrecía la plataforma no solo era más atractivo visualmente, sino que también era interactivo, lo que permitía a los usuarios profundizar en los hallazgos de nivel superior. En el gráfico siguiente, las barras de color naranja representan los temas y las barras de color verde azulado representan las declaraciones representativas. El% que aparece junto a la opción es el soporte esperado, que es un cálculo basado en la IA que se basa en el% estimado de la muestra que estaría de acuerdo con esa afirmación o tema. El porcentaje que aparece junto a las barras es el% del total de respuestas.

‍

Qué ofrecería el Museo Navy SEAL a los visitantes

La codificación abierta de IA a través de una herramienta independiente proporcionó un gráfico de las categorías de comentarios de nivel superior y una descripción detallada de cada tema en forma de párrafo. Curiosamente, los temas de alto nivel eran diferentes de los de la codificación abierta impulsada por la IA a través de una plataforma de encuestas. La siguiente imagen muestra los subtemas de un tema, «un lugar interesante para visitar», junto con los resúmenes de cada uno de ellos, incluidos los recuentos de opiniones.

‍

Uno de los resultados de la herramienta de IA independiente que se diferencia de la codificación abierta impulsada por la IA a través de una plataforma de encuestas es un resumen de las respuestas incluidas en cada tema en forma de párrafo. Estos son algunos ejemplos:

‍

Historia

Es probable que la historia de los Navy SEAL abarque el inicio, la evolución y los logros significativos de la organización. Se profundizará en la formación de la unidad de élite, sus heroicas misiones y los sacrificios realizados por sus miembros a lo largo de la historia. También se incluirá el rico legado de los Navy SEAL, su papel en la configuración de la historia naval y sus contribuciones a la seguridad nacional.

‍

Artefacto histórico

La historia y los artefactos de los Navy SEAL incluirían una amplia gama de objetos históricos, reliquias e información relacionada con los Navy SEAL, una fuerza de operaciones especiales de élite de la Marina de los Estados Unidos. Los visitantes podrán explorar las exhibiciones que destacan la historia, los logros y la importancia del grupo en el ejército estadounidense durante el siglo pasado. El museo albergará artefactos históricos, fotografías y exhibiciones que brindarán información sobre los orígenes y la evolución de los Navy SEAL, incluida su participación en eventos importantes como la Segunda Guerra Mundial. Además, es probable que el museo ofrezca información sobre el personal, los uniformes, las armas y el equipo famosos de la Marina utilizados a lo largo de la historia, así como monumentos conmemorativos en honor a grandes oficiales navales.

‍

Experiencia completa e inmersiva

Los consumidores creen que el Museo Navy SEAL ofrecerá a los visitantes una experiencia completa e inmersiva, que mostrará la rica historia, los logros y los sacrificios de estas fuerzas de élite. A través de exhibiciones interactivas, exhibiciones de equipos y homenajes a los héroes caídos, el museo educará e informará a los visitantes sobre el riguroso entrenamiento, las heroicas misiones y el legado de los Navy SEAL. Ofrece una visión de la historia y los orígenes de la Marina, y permite a los visitantes explorar las diversas áreas en las que operan estos equipos. Es probable que el museo también ofrezca la oportunidad de ver el monumento conmemorativo y los metales de los Navy SEAL, así como de aprender sobre la historia de los Navy SEAL de los Estados Unidos a través de exhibiciones interactivas.

‍

Resumen

Este artículo compara la codificación manual de código abierto con dos enfoques basados en la IA (a través de una plataforma de encuestas y una herramienta independiente). El estudio reveló que los métodos basados en la inteligencia artificial son más rápidos, más consistentes y menos costosos. La herramienta de inteligencia artificial independiente es excelente en tareas especializadas, mientras que la plataforma de encuestas ha demostrado tener capacidades más amplias. La codificación manual, si bien puede ser reveladora, conlleva una variabilidad significativa en cuanto a la calidad debido a factores humanos, un desafío que la IA ayuda a mitigar.

‍

Kirsty Núñez es el presidente y principal estratega de investigación de Q2 Insights, una firma de consultoría de investigación e innovación con alcance internacional y oficinas en San Diego. Q2 Insights se especializa en muchas áreas de la investigación y el análisis predictivo, y utiliza activamente productos de inteligencia artificial para mejorar la velocidad y la calidad de la entrega de información y, al mismo tiempo, aprovechar los conocimientos y la experiencia de los investigadores humanos.

‍