"Señor, quiero hacerle algunas preguntas si está de acuerdo?"
Con esta frase, nuestro investigador resumió el guión de 120 palabras proporcionado para obtener el consentimiento informado de los participantes en nuestra encuesta, un guión diseñado, en particular, para enfatizar que la participación no resultaría en asistencia directa. Las organizaciones humanitarias, los institutos de investigación y los think tanks de todo el mundo realizan miles de investigaciones cada año. ¿Cuántos sufren de desafíos éticos similares? ¿Y cuántos resultados de encuestas de calidad inferior quedan fuera del radar debido a la falta de garantía de calidad efectiva?
Estábamos investigando la relación entre desplazamiento interno, movimientos transfronterizos y soluciones duraderas en Borno, un estado lingüísticamente diverso en el noreste de Nigeria. Antes del inicio de la recopilación de datos, Translators Without Borders (TWB) tradujo la encuesta a Hausa y Kanuri para limitar el riesgo de errores de traducción debido a la mala interpretación de la terminología. . Sin embargo, incluso con este esfuerzo, no todos los enumeradores podían leer hausa o kanuri. Aunque los investigadores pasaron un día completo siguiendo las traducciones grupales, todavía existe el riesgo de que las barreras del idioma hayan afectado la calidad de la investigación. La terminología humanitaria es a menudo compleja, matizada y difícil de traducir con precisión a otros idiomas. Un precedente estudio por traductores sin fronteras en el noreste de Nigeria, por ejemplo, descubrieron que solo el 57% de los enumeradores entendían la palabra "insurgencia".
Solo conocemos la redacción exacta de esta entrevista porque decidimos grabar algunas de nuestras encuestas usando una grabadora de audio. Se registraron un total de 96 entrevistas de encuesta. El quince por ciento de estos archivos se transcribieron a Hausa o Kanuri y TWB los tradujo al inglés. Estas transcripciones en inglés se compararon con las respuestas codificadas por el enumerador, lo que nos permitió analizar la precisión de nuestros resultados. Si bien el proceso ha sido útil, los resultados generan preocupaciones importantes.
El consentimiento no siempre fue completamente informado
Los esfuerzos para obtener el consentimiento informado han sido limitados, a pesar del guión proporcionado. Según el consultor, los investigadores se sintieron apurados debido a la gran cantidad de personas que esperaban para participar en la encuesta, pero la gente estaba interesada en participar precisamente por la incredulidad de que la participación podría resultar en un asistencia, que destaca la necesidad de consentimiento informado.
Además de estos desafíos éticos, no informar a los participantes sobre los objetivos de la investigación aumenta el riesgo de sesgo en los resultados, lo que lleva a las personas a adaptar sus respuestas para aumentar sus posibilidades de recibir ayuda. Los problemas relacionados con la capacidad, el lenguaje o el diseño del cuestionario también pueden tener un impacto negativo en los resultados de la encuesta, socavando la validez de las conclusiones.
Las respuestas codificadas por el enumerador no siempre coincidían con las transcripciones
Durante el aseguramiento de la calidad de los datos, también identificamos discrepancias significativas entre las transcripciones de las entrevistas y los datos de la encuesta. En algunos casos, los entrevistadores habían adivinado la respuesta más probable en lugar de hacer la pregunta correctamente, sacando conclusiones basadas en su comprensión del contexto en lugar de las experiencias de los encuestados. Si la respuesta no era clara, se seleccionaron opciones de respuesta aleatoria sin pedir aclaraciones. Algunas preguntas fueron completamente ignoradas, pero las respuestas aún ingresaron a las encuestas. El siguiente ejemplo, que compara un extracto de una transcripción de la entrevista con los datos de la encuesta grabada, ilustra estas discrepancias.
| Transcripción de la entrevista. | Datos de la encuesta |
| entrevistador: ¿Quieres volver a Khaddamari? encuestado: Sí quiero. entrevistador: ¿Cuándo quieres volver? encuestado: En cualquier momento cuando hay paz. Sabes que nos mudamos aquí. entrevistador: Si el lugar se vuelve pacífico, ¿volverás? encuestado: Si se vuelve pacífico, volveré. |
¿Quieres volver a Khaddamari en el futuro? sí ¿Cuándo crees que es probable que vuelvas? Mes próximo ¿Cuál es la razón principal que te motiva a volver? Mejora de seguridad ¿Cuál es la segunda razón más importante? Nostalgia ¿Cuál es el principal problema que actualmente impide el regreso a Khaddamari? Inseguridad alimentaria ¿Cuál es el segundo problema más importante que impide el retorno? Costo de retorno financiero |
En ningún momento de la entrevista, el entrevistado mencionó que era probable que regresara dentro del próximo mes. La inseguridad alimentaria o los costos financieros tampoco fueron citados como factores que impiden el retorno. Sin grabaciones de audio, nunca hubiéramos sido conscientes de estos problemas. La transcripción, incluso solo una muestra de nuestras grabaciones de audio, llamó la atención sobre problemas importantes con los datos. En lugar de confiar ciegamente en datos de baja calidad, pudimos triangular información de otras fuentes y usar transcripciones de entrevistas como datos cualitativos. También hemos incluido una sección sobre limitaciones formuladas en el informe, reconociendo los problemas de calidad de los datos.
Creemos que estos problemas de calidad de datos son comunes. Las encuestas, simplemente, pueden no ser la herramienta más adecuada para recopilar datos en los contextos en los que operamos. Por supuesto, es necesario ser más conscientes y más transparentes de los límites de las investigaciones.
A pesar de estas limitaciones, no hay duda de que las encuestas continuarán siendo ampliamente utilizadas en la comunidad humanitaria y más allá. Las investigaciones están integradas en la estructura y los procesos de la industria humanitaria. A pesar de los desafíos que enfrentamos en Nigeria, continuaremos utilizando las encuestas nosotros mismos. Ahora sabemos, sin embargo, que las grabaciones de audio son invaluables para fines de garantía de calidad.
Una estrategia de grabación de audio manual es difícil de replicar a gran escala
En un mundo ideal, todas las entrevistas de la encuesta serían grabadas, transcritas y traducidas. Esto no solo mejoraría los procesos de garantía de calidad, sino que también complementaría los datos de la encuesta con historias y citas cualitativas ricas. Sin embargo, traducir y transcribir grabaciones requiere una gran cantidad de recursos técnicos y humanos.
Desde un punto de vista técnico, grabar archivos de audio de encuestas no es sencillo. Las herramientas comunes de recolección de datos en teléfonos celulares, como Kobo, no ofrecen grabaciones de audio completas como características estándar en las encuestas. También hay problemas de almacenamiento, ya que los archivos de audio ocupan mucho espacio en los teléfonos celulares y superan los límites de las herramientas de encuestas fuera de línea o el almacenamiento en caché del navegador. Las grabadoras de audio son fáciles de encontrar y bastante confiables, pero requieren un flujo de trabajo paralelo y un proceso de codificación cuidadoso para garantizar que cada archivo de audio esté conectado correctamente. ; encuesta correspondiente.
Desde el punto de vista del tiempo, este proceso es lento y complejo. Por lo general, se tarda aproximadamente seis horas en transcribir una hora de contenido de audio. En hausa y kanuri, dos idiomas de bajos recursos que carecen de traductores experimentados, una hora de transcripción a menudo tomó más de ocho horas. Las transcripciones de Hausa o Kanuri tuvieron que ser traducidas al inglés, un proceso que tomó 8 horas adicionales. Por lo tanto, cada encuesta registrada de 30 minutos requirió aproximadamente un día hábil adicional para procesarse por completo. Para poner esto en perspectiva, una persona debe trabajar a tiempo completo todos los días durante casi un año para transcribir y traducir una encuesta de 350 personas.
La tecnología del lenguaje puede ofrecer cierto apoyo
En idiomas como el inglés o el francés, ya existen soluciones para acelerar considerablemente este proceso. Las tecnologías de texto a voz, las mismas tecnologías utilizadas para enviar mensajes de texto por voz, han mejorado considerablemente en los últimos años con la adopción de enfoques de aprendizaje automático. Esto permite que las grabaciones de audio se transcriban y traduzcan en segundos, no en días. Las tasas de error de estas herramientas automatizadas son bajas y algunos casos incluso están cerca de competir con la producción humana. Para los trabajadores humanitarios que trabajan en contextos con idiomas bien dotados como el español, el francés o incluso algunos dialectos árabes, estas tecnologías lingüísticas ya pueden ofrecer un apoyo significativo que hace que un flujo de trabajo de investigación de audio sea más viable.
Para los idiomas de bajos recursos como el hausa, el kanuri, el swahili o el rohingya, estas tecnologías no existen o son poco confiables. De hecho, estos idiomas carecen de viabilidad comercial para ser idiomas prioritarios para las empresas de tecnología, y a menudo no hay datos suficientes para capacitar a las tecnologías de traducción automática. Para cerrar la brecha digital entre idiomas, Traducteurs sans frontières ha lanzado recientemente un ambicioso esfuerzo llamado Gamayun: la iniciativa para la igualdad de idiomas. Esta iniciativa tiene como objetivo desarrollar conjuntos de datos lingüísticos y tecnologías en idiomas de bajos recursos relevantes para contextos humanitarios y de desarrollo. El objetivo es desarrollar soluciones personalizadas que puedan ayudar a romper las barreras del idioma y hacer que las soluciones de este tipo sean más accesibles y alcanzables. Sin embargo, esta es una visión a largo plazo y muchas herramientas tardarán meses o incluso años en desarrollarse por completo.
Mientras tanto, hay cuatro cosas que puede hacer ahora para incorporar flujos de trabajo de audio en sus esfuerzos de recopilación de datos.
- Grabe sus encuestas usando grabadoras. Es un proceso valioso, incluso si está limitado en cómo puede usar las grabaciones en este momento. En nuestra experiencia, es menos probable que los investigadores salten preguntas o secciones enteras intencionalmente si saben que están siendo grabadas. Se está trabajando para integrar los flujos de trabajo de audio directamente en Kobo y otras herramientas topográficas, pero por ahora, una grabadora de cinta es una herramienta accesible y asequible.
- Transcribe y traduce una pequeña muestra de tus grabaciones. Incluso un puñado de transcripciones pueden resultar herramientas útiles de verificación y capacitación. Le recomendamos que complete las traducciones en la fase piloto de su encuesta, para darle tiempo para ajustar la capacitación o el diseño de la encuesta si es necesario. Esto al menos puede ayudar con las verificaciones puntuales de los investigadores que le interesan, o simplemente verificar un tema clave, como el tema del consentimiento informado.
- Ejecute sus grabaciones con herramientas automáticas de transcripción y traducción. Esto solo será posible si trabaja en los idiomas principales, como español o francés. La tecnología se está desarrollando rápidamente, y cada mes más y más idiomas están disponibles y la calidad de estas tecnologías está mejorando. Los servicios disponibles comercialmente están disponibles a través de Microsoft, Google y Amazon, entre otros, pero estos servicios a menudo tienen un costo, especialmente a gran escala.
- Colabora con TWB para mejorar la tecnología de los idiomas de bajos recursos. TWB está buscando activamente socios para impulsar los procesos de grabación y transcripción de audio, para ayudar a recopilar datos de voz y texto para construir tecnologías de idiomas para idiomas de bajos recursos. TWB también está buscando socios interesados en integrar activamente estas soluciones automatizadas o semiautomáticas en los flujos de trabajo existentes. Contáctanos si quieres unirte: (protegido por correo electrónico)
Escrito por: Chloé Sydney, investigadora asociada en IDMC Eric DeLuca, responsable de monitoreo, evaluación y aprendizaje en Traductores sin Fronteras
en relación
