La encuesta como técnica de investigación se caracteriza por utilizar una serie de procedimientos estandarizados, a partir de cuya aplicación se recogen, procesan y analizan un conjunto de datos de una muestra estimada como representativa de una población o universo mayor, al cual se extrapolarán los resultados que de ella se obtengan.
Confiabilidad de una encuesta
A nivel general los pasos metodológicos a seguir en una encuesta pasan por determinar y formular el tema de investigación, una selección de la muestra a relevar, la confección de la herramienta a través de la cual obtener los datos, la elección de la forma de aplicación, codificación, procesamiento y análisis de los datos relevados, y elaboración del informe que surge de los mismos.
En cada uno de ellos hay que ser muy precisos y cuidadosos y evitar errores a los efectos de que los resultados provenientes de la aplicación de la técnica sean válidos y confiables (cuidado que hay personas que no aceptan sus errores).
Resulta fundamental tener bien claro el tema de investigación, pues de nada sirve todos los pasos siguientes si la base está mal formulada para lo cual resulta vital como punto de partida certero.
Luego de realizar éste primer y fundamental paso, se debe proceder a seleccionar la muestra segundo paso en donde debemos ser muy cautos para no caer en errores muestrales, es por ello que la técnica del muestreo que parte de dos principios fundamentales como son la ley de los grandes números y el teorema de límite central, debe controlar en principio los siguientes aspectos: Las unidades del sub-conjunto debe haber sido seleccionadas al azar, seguido de que deben tener una probabilidad conocida de ser seleccionadas, y a su vez debemos conocer el error probable con el cual se va a trabajar. Los muestreos probabilísticos representan los únicos a través de los cuales podemos extrapolar los resultados muestrales a la población, con niveles de confianza y margen de error conocidos.
Debemos tener en cuenta diversos aspectos a la hora de determinar la muestra como ser: determinar la población y los parámetros pertinentes que pretendemos trabajar, escoger el marco apropiado de muestreo es decir de donde extraeremos la muestra siendo cuidadosos de que se encuentren todas las unidades del universo incluidas en dicho marco, escoger posteriormente el tipo de muestreo en este caso probabilístico a utilizar y el método apropiado, sea al azar simple, azar sistemático, estratificado proporcional y/o por conglomerados polietápico. Posteriormente debemos determinar el tamaño de la muestra, aspecto fundamental ya que no depende de su magnitud, sino del carácter representativo que tenga la misma. Lo importante es conocer cuántas son las unidades del universo y cómo están distribuidas para realizar posteriormente una buena selección en función de la metodología elegida. Es importante validar la muestra para asegurarnos de que hemos procedido a una correcta selección. Una vez relevada la información debemos ser muy cuidadosos a la hora de la codificación, procesamiento, control de los datos relevados que posteriormente se transformarán en el informe que surgirá del estudio realizado.
Validez de una encuesta
Anteriormente mencionábamos la importancia de no tener errores muestrales que generen sesgos, y ellos pueden partir de diversos ítems: seleccionar una muestra que no resulte representativa de la población o universo a extrapolar, una mala capacitación de los entrevistadores si se realiza en forma personal o telefónica, la falta de respuestas y/o respuestas incompletas en el llenado del formulario, y la direccionalidad en las respuestas inducidas por el entrevistador.
En la actualidad son muy utilizadas las encuestas en línea, para las cuales se deben tener diversos recaudos para no caer en posibles sesgos, ya que aparece una mayor incidencia de la afinidad al uso de las tecnologías por parte de grupos de edades jóvenes que de otros integrantes del universo, la incidencia del aumento del rechazo que en contactos personales e incluso telefónicos si bien se da es menor.
La técnica de la encuesta en sí resulta neutra, lo que hay que tomar especiales recaudos en aspectos de rigurosidad metodológica, el cuidado en no caer en sesgos que incidan en los resultados tanto en la elaboración de las herramientas a utilizar y en la preparación de quienes la van a aplicar, y por último en el pasaje a lenguaje de máquina, procesamiento, y elaboración de los informes, todo esto contribuye a que sus resultados sean válidos y confiables. Asimismo, en referencia a los encuestados preservar el anonimato de los mismos, como forma de preservar de futuro la confiabilidad de los públicos en la reserva de sus opiniones.
Luego de este breve resumen de todos los pasos involucrados en una encuesta y los posibles errores conviene ahondar un poco más en estos últimos, a los mismos los podemos dividir en errores derivados del muestreo y errores que no son derivados del muestreo.
Errores derivados del muestreo
En los errores derivados del muestreo se incluye un tema que es el que suele concentrar, en general, la mayor atención entre los usuarios de encuestas. El mismo, es el del tamaño de la muestra. En general se parte de la base que si una encuesta tiene un tamaño “grande” de muestra tendrá resultados confiables. Como ya se expuso, el tamaño de la muestra no es el único tema relevante al lograr una “buena” muestra. Debe considerarse también cómo fueron elegidos los individuos que participarán de la encuesta, es decir qué técnica de muestreo se aplicará. Hay técnicas que son más eficientes y requieren menor tamaño de muestra para lograr el mismo error que otras menos eficientes y que deberán, para el mismo error, tener un tamaño de muestra mayor.
Pero analizando nuevamente el tamaño de muestra debe considerarse que el mismo depende de tres grandes elementos:
- la variabilidad (varianza) de la variable que se está midiendo
- el error estadístico que el usuario de la encuesta está dispuesto a aceptar
- y la probabilidad con que se quiere trabajar.
Estos dos últimos son determinados por el investigador dentro de ciertos rangos que son aceptados. La varianza, o debe estimarse, o en el caso de proporciones, se suele trabajar con varianza máxima. En última instancia estos tres elementos pueden llevar a que dos técnicos determinen tamaños de muestra diferentes y que no son “incorrectos”. De lo que no cabe duda es de que, cuanto más grande el tamaño de la muestra, desde el punto de vista estadístico, los resultados de la muestra tendrán mayor probabilidad de estar más cerca de los valores de la población bajo estudio. En resumen, hay un tamaño de muestra mínimo con el cual se está dispuesto a trabajar, en la medida que ese tamaño sea más grande, y cumpla con una correcta selección de las unidades, mayor probabilidad de obtener mejores resultados.
Por otro lado, como ya se ha expuesto, otro tema muy importante, es la técnica de muestreo, que puede ser probabilística o no probabilística. La gran diferencia entre estos dos grupos de técnicas de muestreo es que, en las primeras, los individuos que participan son elegidos por el azar, mientras que, en las segundas, interviene algún criterio del técnico. Esto último hace que ese criterio pueda estar afectando de alguna forma los resultados y que los resultados sufran algún tipo de sesgo. En los muestreos no probabilísticos no puede afirmarse cuál es la exactitud de los datos relevados. Puede ser muy buena, como puede ser muy mala. No hay forma de determinarlo. Es por ello que, de poderse, se trabaja con muestreo probabilístico, aunque muchas veces al ser esto imposible o muy costoso, se opta por un muestreo no probabilístico, sin poder afirmar cuál es la representatividad de los resultados para su extrapolación.
Otro elemento que puede afectar la calidad de los datos obtenidos a partir de una muestra es el marco de muestreo. El marco de muestreo no es ni más ni menos que de donde se eligen las unidades muestreadas. Hay muchos casos, donde no se cuenta con un marco de muestreo que contenga a toda la población que se quiere representar con la muestra. Por lo tanto, más allá de que se haya determinado un correcto tamaño de muestra y seleccionado una buena técnica de muestreo (en realidad, muchas veces la técnica de muestreo está fuertemente influida por el marco muestral con que se cuenta) no puede obtenerse una “buena” muestra.
Hoy en día es muy común caer en algunos de los errores antes mencionados al realizar encuestas por Internet. Por lo general es difícil contar con el marco muestral que contenga adecuadamente la población bajo estudio, lo que impide realizar un correcto muestreo probabilístico. Por lo que nada podría afirmarse sobre la “exactitud” de los resultados.
Errores que no son derivados del muestreo
Estos errores pueden dividirse en dos grandes grupos, por un lado, los errores que pueden surgir por la no respuesta de la unidad seleccionada en la muestra y por otro se agrupan una serie de errores que tienen que ver con los que responden.
Hoy en día es cada vez más común que el entrevistado rechace contestar la encuesta. Si tomamos en cuenta que en el muestreo probabilístico (en el no probabilístico también puede serlo) es fundamental que responda aquel individuo que fue seleccionado al aplicar la técnica de muestreo que se consideró apropiada, cada rechazo es una posible fuente de sesgo. Con altas tasas de rechazo aumentan considerablemente la posibilidad de tener sesgos. Es por ello que es importante que quien responda la encuesta, sea aquel que fue elegido “por el muestreo” y no quien quiera o pueda participar.
Con respecto a los errores asociados a la respuesta, estos pueden provenir del técnico, del encuestador y del encuestado. Es un tema para otro artículo, sin embargo, no debe dejarse de considerar, dentro de los errores atribuibles al encuestador, está el posible fraude, al inventar algunas respuestas o toda la encuesta. En este caso la forma de minimizar el posible riesgo que de que esto ocurra está íntimamente ligado al porcentaje de supervisión que se realiza (aumenta sensiblemente los costos), una selección y entrenamiento adecuados y una remuneración también adecuada.
Podría por ello afirmarse que la calidad de la encuesta es como la calidad de una cadena, alcanza con que un eslabón de la cadena sea defectuoso para que toda la cadena esté defectuosa.
Jorge Castro
Sociólogo egresado de la Universidad de la República, Montevideo, Uruguay, Postgrado en Sociología Urbana egresado de la Universidad de la República, Montevideo, Uruguay, Postgrado en Metodología de la Investigación egresado de la Universidad de la Empresa, Montevideo, Uruguay, elaborando tesis de Maestría en Educación cursada en la Universidad de la Empresa, Montevideo, Uruguay. Docente de Ciencias Sociales de la Universidad de la Empresa. Miembro del Comité de Evaluación de Prácticas de Responsabilidad Social en Deres, Montevideo, Uruguay, Miembro del Comité Académico Internacional de la Facultad de Diseño y Comunicación de la Universidad de Palermo, Buenos Aires, República Argentina.
Julio Fitipaldo
Contador Público egresado de la Universidad de la República, Montevideo, Uruguay. Master en Dirección y Administración de Empresas (MBA) egresado de la Universidad de la Empresa, Montevideo, Uruguay. Postgrado en Metodología de la Investigación egresado de la Universidad de la Empresa, Montevideo, Uruguay. Especialización en Investigación de Mercados en las áreas cualitativa y cuantitativa, Auditoria de Mercado y Medición de Audiencia. Trabajó en Investigación de Mercados por más de 40 años. Ejerce la docencia hace más de 30 años.
