Estadística
Definición
La estadística es una rama de las matemáticas que se ocupa de la recopilación, organización, análisis, interpretación y presentación de datos. Al aplicar estadísticas a, por ejemplo, un problema científico, industrial o social, es convencional comenzar con una población estadística o un proceso de modelo estadístico para estudiar. Las poblaciones pueden ser temas diversos, como "todas las personas que viven en un país" o "cada átomo que compone un cristal". Las estadísticas abarcan todos los aspectos de los datos, incluida la planificación de la recopilación de datos en términos del diseño de encuestas y experimentos. Ver glosario de probabilidad y estadística.
Cuando los datos del censo no se pueden recopilar, los estadísticos recopilan datos mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas. El muestreo representativo asegura que las inferencias y conclusiones pueden extenderse razonablemente desde la muestra a la población como un todo. Un estudio experimental implica tomar medidas del sistema en estudio, manipular el sistema y luego tomar mediciones adicionales usando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las mediciones. Por el contrario, un estudio observacional no implica manipulación experimental.
Se usan dos métodos estadísticos principales en el análisis de datos: estadística descriptiva, que resume datos de una muestra usando índices tales como la media o desviación estándar y estadísticas inferenciales, que extraen conclusiones de datos que están sujetos a variación aleatoria (p. Ej., Errores de observación, variación de muestreo). Las estadísticas descriptivas se refieren con mayor frecuencia a dos conjuntos de propiedades de una distribución (muestra o población): la tendencia central (o ubicación ) busca caracterizar el valor central o típico de la distribución, mientras que la dispersión (o variabilidad)) caracteriza el grado en que los miembros de la distribución se separan de su centro y entre sí. Las inferencias sobre estadísticas matemáticas se realizan bajo el marco de la teoría de la probabilidad, que se ocupa del análisis de fenómenos aleatorios.
Un procedimiento estadístico estándar implica la prueba de la relación entre dos conjuntos de datos estadísticos, o un conjunto de datos y datos sintéticos extraídos de un modelo idealizado. Se propone una hipótesis para la relación estadística entre los dos conjuntos de datos, y esto se compara como una alternativa a una hipótesis nula idealizada de ausencia de relación entre dos conjuntos de datos. Rechazar o refutar la hipótesis nula se realiza mediante pruebas estadísticas que cuantifican el sentido en el que se puede probar que el valor nulo es falso, dados los datos que se usan en la prueba. Trabajando desde una hipótesis nula, se reconocen dos formas básicas de error: errores de tipo I (la hipótesis nula se rechaza falsamente dando un "falso positivo") y errores de tipo II (la hipótesis nula no se rechaza y se pierde una diferencia real entre poblaciones un "falso negativo").
Los procesos de medición que generan datos estadísticos también están sujetos a error. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos (sesgo), pero otros tipos de errores (p. Ej., Error, como cuando un analista informa unidades incorrectas) también pueden ser importantes. La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas.
Se puede decir que las estadísticas han comenzado en la civilización antigua, desde al menos el siglo V a. C., pero no fue sino hasta el siglo XVIII que comenzó a extraer más fuerza del cálculo y la teoría de la probabilidad. En años más recientes, las estadísticas se han basado más en el software estadístico para producir pruebas como el análisis descriptivo.
Alcance
Algunas definiciones son:
- El diccionario Merriam-Webster define las estadísticas como "una rama de las matemáticas que se ocupa de la recopilación, el análisis, la interpretación y la presentación de masas de datos numéricos".
- El estadístico Sir Arthur Lyon Bowley define las estadísticas como "declaraciones numéricas de hechos en cualquier departamento de investigación que se relacionan entre sí".
La estadística es un cuerpo matemático de la ciencia que pertenece a la colección, análisis, interpretación o explicación, y presentación de datos, o como una rama de las matemáticas. Algunos consideran que las estadísticas son una ciencia matemática distinta en lugar de una rama de las matemáticas. Si bien muchas investigaciones científicas utilizan datos, las estadísticas se refieren al uso de datos en el contexto de la incertidumbre y la toma de decisiones frente a la incertidumbre.
Estadística matemática
La estadística matemática es la aplicación de las matemáticas a las estadísticas. Las técnicas matemáticas utilizadas para esto incluyen el análisis matemático, el álgebra lineal, el análisis estocástico, las ecuaciones diferenciales y la teoría de probabilidad de la teoría de medidas.
Visión de conjunto
Al aplicar estadísticas a un problema, es una práctica común comenzar con una población o proceso para estudiar. Las poblaciones pueden ser temas diversos, como "todas las personas que viven en un país" o "cada átomo que compone un cristal".
Idealmente, los estadísticos recopilan datos sobre toda la población (una operación llamada censo). Esto puede ser organizado por institutos estadísticos gubernamentales. Las estadísticas descriptivas se pueden usar para resumir los datos de población. Los descriptores numéricos incluyen la media y la desviación estándar para los tipos de datos continuos (como el ingreso), mientras que la frecuencia y el porcentaje son más útiles en términos de describir datos categóricos (como la raza).
Cuando un censo no es factible, se estudia un subconjunto elegido de la población llamada muestra. Una vez que se determina una muestra que es representativa de la población, se recopilan datos para los miembros de la muestra en un entorno de observación o experimental. De nuevo, las estadísticas descriptivas se pueden usar para resumir los datos de muestra. Sin embargo, el dibujo de la muestra ha estado sujeto a un elemento de aleatoriedad, por lo que los descriptores numéricos establecidos de la muestra también se deben a la incertidumbre. Para aún extraer conclusiones significativas sobre toda la población, estadísticas inferenciales es necesario. Utiliza patrones en los datos de muestra para extraer inferencias sobre la población representada, teniendo en cuenta la aleatoriedad. Estas inferencias pueden tomar la forma de: responder preguntas de sí / no sobre los datos (pruebas de hipótesis), estimar características numéricas de los datos (estimación), describir asociaciones dentro de los datos (correlación) y relaciones de modelado dentro de los datos (por ejemplo, análisis de regresión). La inferencia puede extenderse a la predicción, predicción y estimación de valores no observados en o asociados con la población estudiada; puede incluir extrapolación e interpolación de series de tiempo o datos espaciales, y también puede incluir extracción de datos.
Recopilación de datos
Muestreo
Cuando no se pueden recopilar los datos completos del censo, los estadísticos recopilan datos de muestra mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas. Las estadísticas en sí también proporcionan herramientas para la predicción y el pronóstico a través de modelos estadísticos. La idea de hacer inferencias basadas en los datos de la muestra comenzó a mediados de la década de 1600 en relación con la estimación de poblaciones y el desarrollo de precursores del seguro de vida.
Para utilizar una muestra como guía para toda una población, es importante que realmente represente a la población general. El muestreo representativo asegura que las inferencias y conclusiones pueden extenderse de manera segura desde la muestra a la población en general. Un problema importante radica en determinar en qué medida la muestra elegida es realmente representativa. Las estadísticas ofrecen métodos para estimar y corregir cualquier sesgo dentro de la muestra y los procedimientos de recopilación de datos. También hay métodos de diseño experimental para experimentos que pueden disminuir estos problemas al comienzo de un estudio, fortaleciendo su capacidad para discernir las verdades sobre la población.
La teoría de muestreo es parte de la disciplina matemática de la teoría de la probabilidad. La probabilidad se usa en las estadísticas matemáticas para estudiar las distribuciones muestrales de las estadísticas de muestra y, más en general, las propiedades de los procedimientos estadísticos. El uso de cualquier método estadístico es válido cuando el sistema o la población bajo consideración satisface las suposiciones del método. La diferencia en el punto de vista entre la teoría de probabilidad clásica y la teoría de muestreo es, más o menos, que la teoría de la probabilidad parte de los parámetros dados de una población total para deducir las capacidades que pertenecen a las muestras. La inferencia estadística, sin embargo, se mueve en la dirección opuesta, deduciendo inductivamente de las muestras a los parámetros de una población mayor o total.
Estudios experimentales y observacionales
Un objetivo común para un proyecto de investigación estadística es investigar la causalidad y, en particular, extraer una conclusión sobre el efecto de los cambios en los valores de los predictores o las variables independientes en las variables dependientes. Hay dos tipos principales de estudios estadísticos causales: estudios experimentales y estudios observacionales. En ambos tipos de estudios, se observa el efecto de las diferencias de una variable independiente (o variables) sobre el comportamiento de la variable dependiente. La diferencia entre los dos tipos radica en cómo se realiza realmente el estudio. Cada uno puede ser muy efectivo. Un estudio experimental implica tomar medidas del sistema en estudio, manipular el sistema y luego tomar mediciones adicionales usando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las mediciones. A diferencia de, un estudio observacional no implica manipulación experimental. En cambio, se recopilan datos y se investigan las correlaciones entre los predictores y la respuesta. Si bien las herramientas de análisis de datos funcionan mejor con datos de estudios aleatorizados, también se aplican a otros tipos de datos, como experimentos naturales y estudios observacionales, para los cuales un estadístico utilizaría un método de estimación más estructurado y modificado (p. Ej., Diferencia en diferencias variables de estimación e instrumentales, entre muchos otros) que producen estimadores consistentes.
Experimentos
Los pasos básicos de un experimento estadístico son:
- Planificación de la investigación, incluida la búsqueda del número de réplicas del estudio, utilizando la siguiente información: estimaciones preliminares sobre el tamaño de los efectos del tratamiento, hipótesis alternativas y la variabilidad experimental estimada. Es necesario considerar la selección de sujetos experimentales y la ética de la investigación. Los estadísticos recomiendan que los experimentos comparen (al menos) un tratamiento nuevo con un tratamiento o control estándar, para permitir una estimación no sesgada de la diferencia en los efectos del tratamiento.
- Diseño de experimentos, utilizando el bloqueo para reducir la influencia de las variables de confusión, y la asignación aleatoria de tratamientos a los sujetos para permitir estimaciones no sesgadas de los efectos del tratamiento y el error experimental. En esta etapa, los experimentadores y estadísticos escriben el protocolo experimental que guiará la ejecución del experimento y que especifica el análisis primario de los datos experimentales.
- Realizando el experimento siguiendo el protocolo experimental y analizando los datos siguiendo el protocolo experimental.
- Examinando más a fondo el conjunto de datos en análisis secundarios, para sugerir nuevas hipótesis para estudios futuros.
- Documentar y presentar los resultados del estudio.
Los experimentos sobre el comportamiento humano tienen preocupaciones especiales. El famoso estudio de Hawthorne examinó los cambios en el entorno de trabajo en la planta Hawthorne de Western Electric Company. Los investigadores estaban interesados en determinar si una mayor iluminación aumentaría la productividad de los trabajadores de la línea de montaje. Los investigadores primero midieron la productividad en la planta, luego modificaron la iluminación en un área de la planta y verificaron si los cambios en la iluminación afectaban la productividad. Resultó que la productividad efectivamente mejoró (en las condiciones experimentales). Sin embargo, el estudio es muy criticado hoy en día por los errores en los procedimientos experimentales, específicamente por la falta de un grupo de control y la ceguera. El efecto Hawthorne se refiere a encontrar que un resultado (en este caso, la productividad del trabajador) cambió debido a la observación misma.
Estudio observacional
Un ejemplo de un estudio observacional es uno que explora la asociación entre el tabaquismo y el cáncer de pulmón. Este tipo de estudio generalmente utiliza una encuesta para recopilar observaciones sobre el área de interés y luego realiza un análisis estadístico. En este caso, los investigadores recolectarán observaciones tanto de fumadores como de no fumadores, quizás a través de un estudio de cohortes, y luego buscarán la cantidad de casos de cáncer de pulmón en cada grupo. Un estudio de casos y controles es otro tipo de estudio observacional en el que se invita a las personas con y sin el resultado de interés (por ejemplo, cáncer de pulmón) a participar y se recopilan sus historias de exposición.
Tipos de datos
Se han hecho varios intentos para producir una taxonomía de los niveles de medición. El psicofísico Stanley Smith Stevens definió escalas nominales, ordinales, de intervalo y de razón. Las mediciones nominales no tienen un orden de clasificación significativo entre los valores, y permiten cualquier transformación de uno a uno. Las mediciones ordinales tienen diferencias imprecisas entre los valores consecutivos, pero tienen un orden significativo para esos valores, y permiten cualquier transformación para preservar el orden. Las mediciones de intervalo tienen distancias significativas entre las mediciones definidas, pero el valor cero es arbitrario (como en el caso de las mediciones de longitud y temperatura en grados Celsius o Fahrenheit) y permite cualquier transformación lineal. Las medidas de relación tienen tanto un valor cero significativo como las distancias entre diferentes medidas definidas, y permiten cualquier transformación de reescalado.
Dado que las variables que se ajustan solo a medidas nominales u ordinales no se pueden medir de forma razonable numéricamente, a veces se agrupan como variables categóricas, mientras que las medidas de razón y de intervalo se agrupan como variables cuantitativas, discretas o continuas, debido a su naturaleza numérica. Dichas distinciones a menudo pueden correlacionarse libremente con el tipo de datos en informática, en que las variables categóricas dicotómicas pueden representarse con el tipo de datos Booleano, variables categóricas politómicas con enteros arbitrariamente asignados en el tipo de datos integrales y variables continuas con el tipo de datos real que involucran cómputo de coma flotante Pero el mapeo de los tipos de datos informáticos a los tipos de datos estadísticos depende de qué categorización de estos últimos se esté implementando.
Se han propuesto otras categorizaciones. Por ejemplo, Mosteller y Tukey (1977) distinguieron grados, rangos, fracciones contadas, recuentos, montos y saldos. Nelder (1990) describió recuentos continuos, relaciones continuas, relaciones de recuento y modos categóricos de datos. Ver también Chrisman (1998), van den Berg (1991).
La cuestión de si es o no apropiado aplicar diferentes tipos de métodos estadísticos a los datos obtenidos a partir de diferentes tipos de procedimientos de medición se complica por cuestiones relacionadas con la transformación de variables y la interpretación precisa de las preguntas de investigación. "La relación entre los datos y lo que describen simplemente refleja el hecho de que ciertos tipos de enunciados estadísticos pueden tener valores de verdad que no son invariables bajo algunas transformaciones. Si una transformación es sensata o no para contemplar depende de la pregunta que uno intenta responder "(Hand, 2004, p.82).
Terminología y teoría de la estadística inferencial
Estadísticas, estimadores y cantidades fundamentales
Considere variables aleatorias independientes distribuidas de forma idéntica (IID) con una distribución de probabilidad dada: la inferencia estadística estándar y la teoría de estimación definen una muestra aleatoria como el vector aleatorio dado por el vector de columna de estas variables IID. La población examinada se describe mediante una distribución de probabilidad que puede tener parámetros desconocidos.
Una estadística es una variable aleatoria que es una función de la muestra aleatoria, pero no una función de parámetros desconocidos . La distribución de probabilidad de la estadística, sin embargo, puede tener parámetros desconocidos.
Considere ahora una función del parámetro desconocido: un estimador es una estadística utilizada para estimar dicha función. Los estimadores de uso común incluyen la media muestral, la varianza imparcial de la muestra y la covarianza de la muestra.
Una variable aleatoria que es una función de la muestra aleatoria y del parámetro desconocido, pero cuya distribución de probabilidad no depende del parámetro desconocido se denomina cantidad pivote o pivote. Los pivotes ampliamente utilizados incluyen el puntaje z, el estadístico chi cuadrado y el valor t de Student.
Entre dos estimadores de un parámetro dado, se dice que el que tiene un error cuadrático medio más bajo es más eficiente. Además, se dice que un estimador es imparcial si su valor esperado es igual al valor verdadero del parámetro desconocido que se está estimando, y asintóticamente imparcial si su valor esperado converge en el límite del verdadero valor de dicho parámetro.
Otras propiedades deseables para los estimadores incluyen: estimadores UMVUE que tienen la varianza más baja para todos los valores posibles del parámetro a estimar (esta es usualmente una propiedad más fácil de verificar que la eficiencia) y estimadores consistentes que convergen en probabilidad al verdadero valor de tal parámetro .
Esto todavía deja la pregunta de cómo obtener estimadores en una situación dada y llevar a cabo el cálculo, se han propuesto varios métodos: el método de momentos, el método de máxima verosimilitud, el método de mínimos cuadrados y el método más reciente de estimación de ecuaciones.
Hipótesis nula e hipótesis alternativa
La interpretación de la información estadística a menudo puede implicar el desarrollo de una hipótesis nula que generalmente (pero no necesariamente) no existe relación entre las variables o que no se produjo ningún cambio a lo largo del tiempo.
La mejor ilustración para un novato es la situación que enfrenta un juicio criminal. La hipótesis nula, H 0 , afirma que el acusado es inocente, mientras que la hipótesis alternativa, H 1 , afirma que el acusado es culpable. La acusación se produce debido a la sospecha de la culpa. El H 0 (status quo) está en oposición a H 1 y se mantiene a menos que H 1 esté respaldado por evidencia "más allá de una duda razonable". Sin embargo, "no rechazar H 0 " en este caso no implica inocencia, sino simplemente que la evidencia fue insuficiente para condenar. Entonces el jurado no necesariamente acepta H 0 pero no rechaza H0 . Si bien no se puede "probar" una hipótesis nula, se puede probar cuán cerca está de ser cierto con una prueba de potencia, que prueba errores de tipo II.
Lo que los estadísticos llaman una hipótesis alternativa es simplemente una hipótesis que contradice la hipótesis nula.
Error
Trabajando desde una hipótesis nula, se reconocen dos formas básicas de error:
- Errores tipo I donde la hipótesis nula es falsamente rechazada dando un "falso positivo".
- Errores tipo II donde la hipótesis nula no se rechaza y se pierde una diferencia real entre poblaciones dando un "falso negativo".
La desviación estándar se refiere al grado en que las observaciones individuales en una muestra difieren de un valor central, como la muestra o la media poblacional, mientras que el error estándar se refiere a una estimación de la diferencia entre la media muestral y la media poblacional.
Un error estadístico es la cantidad por la cual una observación difiere de su valor esperado, un residuo es la cantidad que una observación difiere del valor que asume el estimador del valor esperado en una muestra dada (también llamada predicción).
El error cuadrático medio se usa para obtener estimadores eficientes, una clase ampliamente utilizada de estimadores. El error cuadrático medio es simplemente la raíz cuadrada del error cuadrático medio.
Muchos métodos estadísticos buscan minimizar la suma residual de cuadrados, y estos se denominan "métodos de mínimos cuadrados" en contraste con las desviaciones absolutas mínimas. Este último otorga el mismo peso a los errores pequeños y grandes, mientras que el anterior da más peso a los errores grandes. La suma residual de cuadrados también es diferenciable, lo que proporciona una propiedad práctica para hacer la regresión. Los cuadrados mínimos aplicados a la regresión lineal se denominan métodos mínimos cuadrados ordinarios y los mínimos cuadrados aplicados a la regresión no lineal se denominan mínimos cuadrados no lineales. También en un modelo de regresión lineal, la parte no determinista del modelo se denomina término de error, perturbación o más simplemente ruido. Tanto la regresión lineal como la regresión no lineal se tratan en mínimos cuadrados polinomiales,
Los procesos de medición que generan datos estadísticos también están sujetos a error. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos (sesgo), pero otros tipos de errores (p. Ej., Error, como cuando un analista informa unidades incorrectas) también pueden ser importantes. La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas.
Estimación de intervalo
La mayoría de los estudios solo muestra una parte de una población, por lo que los resultados no representan por completo a toda la población. Cualquier estimación obtenida de la muestra solo se aproxima al valor de la población. Los intervalos de confianza permiten a los estadísticos expresar qué tan cerca la estimación de la muestra coincide con el valor verdadero en toda la población. A menudo se expresan como intervalos de confianza del 95%. Formalmente, un intervalo de confianza del 95% para un valor es un rango donde, si el muestreo y el análisis se repitieran bajo las mismas condiciones (rindiendo un conjunto de datos diferente), el intervalo incluiría el valor verdadero (población) en el 95% de todos los casos posibles . Esto no implica que la probabilidad de que el valor verdadero se encuentre en el intervalo de confianza es del 95%. Desde la perspectiva frecuente, tal afirmación ni siquiera tiene sentido, ya que el verdadero valor no es una variable aleatoria. O el verdadero valor está o no dentro del intervalo dado. Sin embargo, es cierto que, antes de que se muestreen los datos y se le dé un plan sobre cómo construir el intervalo de confianza, la probabilidad es del 95% de que el intervalo por calcular cubrirá el valor verdadero: en este punto, el los límites del intervalo son variables aleatorias aún por observar. Un enfoque que sí produce un intervalo que puede interpretarse como que tiene una probabilidad dada de contener el valor verdadero es usar un intervalo creíble a partir de las estadísticas bayesianas: este enfoque depende de una forma diferente de interpretar lo que se entiende por "probabilidad",
En principio, los intervalos de confianza pueden ser simétricos o asimétricos. Un intervalo puede ser asimétrico porque funciona como un límite inferior o superior para un parámetro (intervalo del lado izquierdo o intervalo del lado derecho), pero también puede ser asimétrico porque el intervalo de dos lados se crea violando la simetría alrededor de la estimación. En ocasiones, los límites para un intervalo de confianza se alcanzan de manera asintótica y se usan para aproximar los límites verdaderos.
Significado
Las estadísticas raramente dan una respuesta simple de tipo Sí / No a la pregunta bajo análisis. La interpretación a menudo desciende al nivel de significación estadística aplicado a los números y, a menudo, se refiere a la probabilidad de que un valor rechace con precisión la hipótesis nula (a veces referido como el valor p).
El enfoque estándar es probar una hipótesis nula contra una hipótesis alternativa. Una región crítica es el conjunto de valores del estimador que conduce a refutar la hipótesis nula. La probabilidad de error tipo I es, por lo tanto, la probabilidad de que el estimador pertenezca a la región crítica dado que la hipótesis nula es verdadera (significación estadística) y la probabilidad de error tipo II es la probabilidad de que el estimador no pertenezca a la región crítica que la hipótesis alternativa es verdadera. El poder estadístico de una prueba es la probabilidad de que rechace correctamente la hipótesis nula cuando la hipótesis nula es falsa.
Hacer referencia a la significación estadística no significa necesariamente que el resultado global sea significativo en términos del mundo real. Por ejemplo, en un gran estudio de un medicamento, se puede demostrar que el medicamento tiene un efecto beneficioso estadísticamente significativo pero muy pequeño, de modo que es improbable que el medicamento ayude al paciente de manera notable.
Si bien, en principio, el nivel aceptable de significación estadística puede estar sujeto a debate, el valor p es el nivel de significación más pequeño que permite que la prueba rechace la hipótesis nula. Esto es lógicamente equivalente a decir que el valor p es la probabilidad, suponiendo que la hipótesis nula es verdadera, de observar un resultado al menos tan extremo como el estadístico de prueba. Por lo tanto, cuanto menor es el valor de p, menor es la probabilidad de cometer un error de tipo I.
Algunos problemas suelen asociarse con este marco (ver crítica de las pruebas de hipótesis):
- Una diferencia que es altamente significativa desde el punto de vista estadístico aún puede no tener importancia práctica, pero es posible formular pruebas adecuadamente para explicar esto. Una respuesta implica ir más allá de informar solo el nivel de significancia para incluir el valor p al informar si una hipótesis es rechazada o aceptada. El valor de p, sin embargo, no indica el tamaño o la importancia del efecto observado y también puede parecer exagerar la importancia de las diferencias menores en estudios grandes. Un enfoque mejor y cada vez más común es informar los intervalos de confianza. Aunque estos se producen a partir de los mismos cálculos que los de las pruebas de hipótesis o valores p , describen tanto el tamaño del efecto como la incertidumbre que lo rodea.
- Falacia del condicional transpuesto, también conocido como falacia del fiscal: surgen críticas porque el enfoque de la prueba de hipótesis fuerza a una hipótesis (la hipótesis nula) a ser favorecida, ya que lo que se evalúa es la probabilidad del resultado observado dada la hipótesis nula y no la probabilidad del hipótesis nula dado el resultado observado. Una alternativa a este enfoque la ofrece la inferencia bayesiana, aunque requiere establecer una probabilidad previa.
- Rechazar la hipótesis nula no prueba automáticamente la hipótesis alternativa.
- Como todo en las estadísticas inferenciales se basa en el tamaño de la muestra, y por lo tanto en colas gruesas, los valores p pueden ser mal calculados.
Ejemplos
Algunas pruebas y procedimientos estadísticos bien conocidos son:
- Análisis de varianza (ANOVA)
- Prueba Chi-cuadrado
- Correlación
- Análisis factorial
- Mann-Whitney U
- Desviación ponderada cuadrática media (MSWD)
- Coeficiente de correlación producto-momento de Pearson
- Análisis de regresión
- Coeficiente de correlación de rango de Spearman
- Prueba t de estudiante
- Análisis de series temporales
- Análisis conjunto
Mal uso
El uso indebido de las estadísticas puede producir errores sutiles pero serios en la descripción y la interpretación, sutiles en el sentido de que incluso los profesionales experimentados cometen esos errores, y serios en el sentido de que pueden conducir a errores de decisión devastadores. Por ejemplo, la política social, la práctica médica y la confiabilidad de estructuras como puentes dependen del uso apropiado de las estadísticas.
Incluso cuando las técnicas estadísticas se aplican correctamente, los resultados pueden ser difíciles de interpretar para quienes carecen de experiencia. La significación estadística de una tendencia en los datos, que mide el grado en que una tendencia podría ser causada por la variación aleatoria en la muestra, puede o no estar de acuerdo con un sentido intuitivo de su significado. El conjunto de habilidades estadísticas básicas (y escepticismo) que las personas necesitan para manejar la información en su vida cotidiana de manera adecuada se conoce como alfabetización estadística.
Existe una percepción general de que el conocimiento estadístico se utiliza con demasiada frecuencia intencionalmente de manera intencionada al encontrar formas de interpretar solo los datos que son favorables para el presentador. La falta de confianza y la incomprensión de las estadísticas están asociadas con la cita: "Hay tres tipos de mentiras: mentiras, malditas mentiras y estadísticas". El uso indebido de las estadísticas puede ser involuntario e intencional, y el libro Cómo mentirse con las estadísticas describe una serie de consideraciones. En un intento por arrojar luz sobre el uso y el mal uso de las estadísticas, se realizan revisiones de las técnicas estadísticas utilizadas en campos específicos (p. Ej., Warne, Lazo, Ramos y Ritter (2012)).
Las formas de evitar el uso indebido de las estadísticas incluyen el uso de diagramas apropiados y evitar el sesgo. El uso incorrecto puede ocurrir cuando las conclusiones son generalizadas en exceso y se afirma que son representativas de más de lo que realmente son, a menudo al ignorar deliberada o inconscientemente el sesgo de muestreo. Los gráficos de barras son posiblemente los diagramas más fáciles de usar y comprender, y se pueden hacer a mano o con simples programas de computadora. Desafortunadamente, la mayoría de las personas no buscan sesgos o errores, por lo que no se les nota. Por lo tanto, las personas a menudo pueden creer que algo es cierto incluso si no está bien representado. Para que los datos recopilados a partir de estadísticas sean creíbles y precisos, la muestra tomada debe ser representativa del todo. Según Huff, "la confiabilidad de una muestra puede ser destruida por [parcialidad] ... permítete un cierto grado de escepticismo".
Para ayudar en la comprensión de las estadísticas, Huff propuso una serie de preguntas para cada caso:
- ¿Quién dice eso? (¿Tiene él / ella un hacha para moler?)
- ¿Cómo lo sabe él / ella? (¿Tiene él o ella los recursos para conocer los hechos?)
- ¿Qué falta? (¿Él / ella nos da una imagen completa?)
- ¿Alguien cambió el tema? (¿Él / ella nos ofrece la respuesta correcta al problema equivocado?)
- ¿Tiene sentido? (¿Su conclusión es lógica y consistente con lo que ya sabemos?)
Interpretación errónea: correlación
El concepto de correlación es particularmente notable por la posible confusión que puede causar. El análisis estadístico de un conjunto de datos a menudo revela que dos variables (propiedades) de la población considerada tienden a variar juntas, como si estuvieran conectadas. Por ejemplo, un estudio del ingreso anual que también analiza la edad de la muerte podría encontrar que las personas pobres tienden a tener vidas más cortas que las personas ricas. Se dice que las dos variables están correlacionadas; sin embargo, pueden o no ser la causa del otro. El fenómeno de correlación podría ser causado por un tercer fenómeno no considerado previamente, llamado variable al acecho o variable de confusión. Por esta razón, no hay forma de inferir inmediatamente la existencia de una relación causal entre las dos variables. (Ver Correlación no implica causalidad).
Historia de la ciencia estadística
Algunos estudiosos señalan el origen de las estadísticas hasta 1663, con la publicación de Observaciones naturales y políticas sobre los proyectos de ley de mortalidad por John Graunt. Las primeras aplicaciones del pensamiento estadístico giraban en torno a las necesidades de los estados para basar sus políticas en datos demográficos y económicos, de ahí su estadística . El alcance de la disciplina de las estadísticas se amplió a principios del siglo XIX para incluir la recopilación y el análisis de datos en general. Hoy en día, las estadísticas se emplean ampliamente en el gobierno, las empresas y las ciencias naturales y sociales.
Sus fundamentos matemáticos se establecieron en el siglo XVII con el desarrollo de la teoría de la probabilidad por Gerolamo Cardano, Blaise Pascal y Pierre de Fermat. La teoría de la probabilidad matemática surgió del estudio de los juegos de azar, aunque el concepto de probabilidad ya fue examinado en la ley medieval y por filósofos como Juan Caramuel. El método de mínimos cuadrados fue descrito por primera vez por Adrien-Marie Legendrein 1805.
El campo moderno de la estadística surgió a fines del siglo XIX y principios del siglo XX en tres etapas. La primera ola, en el cambio de siglo, fue liderada por el trabajo de Francis Galton y Karl Pearson, quienes transformaron las estadísticas en una rigurosa disciplina matemática utilizada para el análisis, no solo en la ciencia, sino también en la industria y la política. Las contribuciones de Galton incluyeron la introducción de los conceptos de desviación estándar, correlación, análisis de regresión y la aplicación de estos métodos para el estudio de la variedad de características humanas: altura, peso, longitud de pestañas, entre otros. Pearson desarrolló el coeficiente de correlación producto-momento de Pearson, definido como un producto-momento, el método de momentos para ajustar las distribuciones a las muestras y la distribución de Pearson, entre muchas otras cosas. Galton y Pearson fundaron Biometrika como la primera revista de estadística matemática y bioestadística (entonces llamada biometría), y esta última fundó el primer departamento de estadísticas universitarias del mundo en el University College de Londres.
Ronald Fisher acuñó el término hipótesis nula durante el experimento del té de la Dama, que "nunca se prueba ni se establece, pero posiblemente se refuta, en el curso de la experimentación".
La segunda ola de los años 1910 y 20 fue iniciada por William Gosset, y alcanzó su culminación en las ideas de Ronald Fisher, quien escribió los libros de texto que definirían la disciplina académica en las universidades de todo el mundo. Las publicaciones más importantes de Fisher fueron su artículo seminal de 1918 La correlación entre parientes sobre la suposición de la herencia mendeliana , que fue el primero en utilizar el término estadístico, varianza, su obra clásica de 1925 Métodos estadísticos para investigadores y su The Design of Experiments de 1935 , donde desarrolló un diseño riguroso de modelos de experimentos. Él originó los conceptos de suficiencia, estadísticas auxiliares, discriminador lineal de Fisher e información de Fisher. En su libro de 1930 The Genetical Theory of Natural Selection aplicó estadísticas a varios conceptos biológicos, como el principio de Fisher). Sin embargo, AWF Edwards ha señalado que es "probablemente el argumento más celebrado en biología evolutiva". (sobre la proporción de sexos), el fugitivo de Fisherian, un concepto en la selección sexual sobre un afecto descontrolado de retroalimentación positiva encontrado en la evolución.
La ola final, que principalmente vio el refinamiento y la expansión de desarrollos anteriores, surgió del trabajo colaborativo entre Egon Pearson y Jerzy Neyman en la década de 1930. Introdujeron los conceptos de error "Tipo II", potencia de una prueba e intervalos de confianza. Jerzy Neyman en 1934 demostró que el muestreo aleatorio estratificado era en general un mejor método de estimación que el muestreo intencional (cuota).
Hoy en día, los métodos estadísticos se aplican en todos los campos que implican la toma de decisiones, para hacer inferencias precisas a partir de un conjunto de datos recopilados y para tomar decisiones frente a la incertidumbre basada en la metodología estadística. El uso de computadoras modernas ha acelerado los cálculos estadísticos a gran escala, y también ha hecho posibles nuevos métodos que no son prácticos de realizar de forma manual. Las estadísticas continúan siendo un área de investigación activa, por ejemplo, sobre el problema de cómo analizar Big data.
Aplicaciones
Estadística aplicada, estadística teórica y estadística matemática
Las estadísticas aplicadas comprenden estadísticas descriptivas y la aplicación de estadísticas inferenciales. Las estadísticas teóricas se refieren a los argumentos lógicos que justifican la justificación de los enfoques de la inferencia estadística, así como a las estadísticas matemáticas . Las estadísticas matemáticas incluyen no solo la manipulación de las distribuciones de probabilidad necesarias para obtener resultados relacionados con los métodos de estimación e inferencia, sino también diversos aspectos de la estadística computacional y el diseño de experimentos.
Aprendizaje automático y minería de datos
Hay dos aplicaciones para el aprendizaje automático y la minería de datos: administración de datos y análisis de datos. Las herramientas estadísticas son necesarias para el análisis de datos.
Estadísticas en la sociedad
Las estadísticas son aplicables a una amplia variedad de disciplinas académicas, incluidas las ciencias naturales y sociales, el gobierno y las empresas. Los consultores de estadísticas pueden ayudar a las organizaciones y empresas que no tienen experiencia interna relevante para sus preguntas particulares.
Computación estadística
Los aumentos rápidos y sostenidos en el poder de la computación a partir de la segunda mitad del siglo 20 han tenido un impacto sustancial en la práctica de la ciencia estadística. Los primeros modelos estadísticos fueron casi siempre de la clase de modelos lineales, pero las computadoras potentes, junto con algoritmos numéricos adecuados, causaron un mayor interés en los modelos no lineales (como las redes neuronales), así como la creación de nuevos tipos, como los modelos lineales generalizados y modelos multinivel.
El aumento en el poder de cómputo también ha llevado a la creciente popularidad de los métodos computacionalmente intensivos basados en el remuestreo, como las pruebas de permutación y el arranque, mientras que técnicas como el muestreo de Gibbs han hecho más factibles los modelos bayesianos. La revolución informática tiene implicaciones para el futuro de las estadísticas con un nuevo énfasis en las estadísticas "experimentales" y "empíricas". Una gran cantidad de software estadístico general y de propósito especial ya están disponibles. Los ejemplos de software disponible capaz de computación estadística compleja incluyen programas como Mathematica, SAS, SPSS y R.
Estadísticas aplicadas a las matemáticas o las artes
Tradicionalmente, las estadísticas se ocupaban de extraer inferencias utilizando una metodología semi-estandarizada que era "aprendizaje obligatorio" en la mayoría de las ciencias. Esto ha cambiado con el uso de estadísticas en contextos no inferenciales. Lo que antes se consideraba un tema seco, tomado en muchos campos como un requisito de grado, ahora se ve con entusiasmo. Inicialmente ridiculizado por algunos puristas matemáticos, ahora se considera una metodología esencial en ciertas áreas.
- En la teoría de los números, los diagramas de dispersión de datos generados por una función de distribución pueden transformarse con herramientas familiares utilizadas en las estadísticas para revelar patrones subyacentes, lo que puede conducir a hipótesis.
- Los métodos de estadísticas que incluyen métodos predictivos en la predicción se combinan con la teoría del caos y la geometría fractal para crear trabajos de video que se consideran de gran belleza.
- El proceso de arte de Jackson Pollock se basó en experimentos artísticos mediante los cuales las distribuciones subyacentes en la naturaleza se revelaron artísticamente. Con el advenimiento de las computadoras, se aplicaron métodos estadísticos para formalizar dichos procesos naturales impulsados por la distribución para crear y analizar videos de arte en movimiento.
- Los métodos de estadística se pueden usar de forma predicativa en el arte de la interpretación, como en un truco de cartas basado en un proceso de Markov que solo funciona en algunas ocasiones, cuya ocasión puede predecirse utilizando la metodología estadística.
- Las estadísticas se pueden usar para crear arte de manera predicativa, como en la música estadística o estocástica inventada por Iannis Xenakis, donde la música es específica para el rendimiento. Aunque este tipo de arte no siempre sale como se espera, se comporta de manera predecible y optimizable usando estadísticas.
Disciplinas especializadas
Las técnicas estadísticas se utilizan en una amplia gama de tipos de investigación científica y social, que incluyen: bioestadística, biología computacional, sociología computacional, biología de redes, ciencias sociales, sociología e investigación social. Algunos campos de investigación usan estadísticas aplicadas tan extensamente que tienen terminología especializada. Estas disciplinas incluyen:
- Ciencia actuarial (evalúa el riesgo en las industrias de seguros y finanzas)
- Economía de la información aplicada
- Astrostatistics (evaluación estadística de datos astronómicos)
- Bioestadística
- Estadísticas de negocios
- Quimiometría (para el análisis de datos de química)
- Minería de datos (aplicando estadísticas y reconocimiento de patrones para descubrir el conocimiento de los datos)
- Ciencia de los datos
- Demografía (estudio estadístico de poblaciones)
- Econometría (análisis estadístico de datos económicos)
- Estadísticas de energía
- Estadísticas de ingeniería
- Epidemiología (análisis estadístico de la enfermedad)
- Geografía y sistemas de información geográfica, específicamente en análisis espacial
- Procesamiento de imágenes
- Estadísticas médicas
- Ciencias Políticas
- Estadísticas psicológicas
- Ingeniería de confiabilidad
- Estadísticas sociales
- Mecánica estadística
Además, hay tipos particulares de análisis estadístico que también han desarrollado su propia terminología y metodología especializada:
- Remuestreo Bootstrap / Jackknife
- Estadísticas multivariadas
- Clasificación estadística
- Análisis de datos estructurados (estadísticas)
- Modelado de ecuaciones estructurales
- Metodología de encuesta
- Análisis de supervivencia
- Estadísticas en varios deportes, particularmente béisbol - conocido como Sabermetrics - y cricket
Las estadísticas también forman una herramienta clave en los negocios y la manufactura. Se usa para comprender la variabilidad de los sistemas de medición, los procesos de control (como en el control estadístico de procesos o SPC), para resumir datos y para tomar decisiones basadas en datos. En estos roles, es una herramienta clave, y tal vez la única herramienta confiable.