Medicion de la informacion

Medición de… referencia

La teoría de la información es el estudio científico de la cuantificación, el almacenamiento y la comunicación de la información digital[1]. Este campo se estableció fundamentalmente con los trabajos de Harry Nyquist y Ralph Hartley, en la década de 1920, y de Claude Shannon en la década de 1940. Este campo se encuentra en la intersección de la teoría de la probabilidad, la estadística, la informática, la mecánica estadística, la ingeniería de la información y la ingeniería eléctrica.
Una medida clave de la teoría de la información es la entropía. La entropía cuantifica la cantidad de incertidumbre que implica el valor de una variable aleatoria o el resultado de un proceso aleatorio. Por ejemplo, identificar el resultado de un lanzamiento de moneda justo (con dos resultados igualmente probables) proporciona menos información (menor entropía) que especificar el resultado de un lanzamiento de un dado (con seis resultados igualmente probables). Otras medidas importantes de la teoría de la información son la información mutua, la capacidad del canal, los exponentes de error y la entropía relativa. Algunos subcampos importantes de la teoría de la información son la codificación de fuentes, la teoría de la complejidad algorítmica, la teoría de la información algorítmica, la seguridad teórica de la información y la teoría de la información de longitud de bloque finita.

Teoría de la información

Este libro es una introducción a la descripción matemática de la información en la ciencia y la ingeniería. La teoría matemática necesaria se tratará de una manera más viva que en la estructura habitual a prueba de teoremas. Esto permite al lector desarrollar una idea de las conexiones entre las diferentes medidas de información y entender los trenes de pensamiento en su derivación. Dado que existe un gran número de formas posibles de describir la información, estas medidas se presentan de forma coherente. Algunos ejemplos de las medidas de información examinadas son La información de Shannon, aplicada en la teoría de la codificación; el criterio de información de Akaike, utilizado en la identificación de sistemas para determinar los modelos autorregresivos y en las redes neuronales para identificar el número de neu-rones; y el límite de Cramer-Rao o la información de Fisher, que describe las varianzas mínimas alcanzadas por los estimadores insesgados. Esta edición de tapa blanda se dirige a investigadores y estudiantes de ingeniería eléctrica, especialmente de control y comunicaciones, física y matemáticas aplicadas.

Información mutua

Este artículo necesita citas adicionales para su verificación. Por favor, ayude a mejorar este artículo añadiendo citas de fuentes fiables. El material sin fuente puede ser cuestionado y eliminado.Buscar fuentes:  “Cantidades de información” – noticias – periódicos – libros – scholar – JSTOR (septiembre de 2012) (Aprende cómo y cuándo eliminar este mensaje de la plantilla) Un diagrama de información engañoso[1] que muestra las relaciones aditivas y sustractivas entre las cantidades básicas de información de Shannon para variables correlacionadas.
La teoría matemática de la información se basa en la teoría de la probabilidad y la estadística, y mide la información con varias cantidades de información. La elección de la base logarítmica en las siguientes fórmulas determina la unidad de entropía de la información que se utiliza. La unidad de información más común es el bit, basado en el logaritmo binario. Otras unidades son el nat, basado en el logaritmo natural, y el hartley, basado en la base 10 o logaritmo común.
. La base del logaritmo sólo afecta a un factor de escala y, en consecuencia, a las unidades en las que se expresa el contenido de información medido. Si el logaritmo es de base 2, la medida de información se expresa en unidades de bits.

Cantidad de información

Este artículo necesita citas adicionales para su verificación. Por favor, ayude a mejorar este artículo añadiendo citas de fuentes fiables. El material sin fuente puede ser cuestionado y eliminado.Buscar fuentes:  “Cantidades de información” – noticias – periódicos – libros – scholar – JSTOR (septiembre de 2012) (Aprende cómo y cuándo eliminar este mensaje de la plantilla) Un diagrama de información engañoso[1] que muestra las relaciones aditivas y sustractivas entre las cantidades básicas de información de Shannon para variables correlacionadas.
La teoría matemática de la información se basa en la teoría de la probabilidad y la estadística, y mide la información con varias cantidades de información. La elección de la base logarítmica en las siguientes fórmulas determina la unidad de entropía de la información que se utiliza. La unidad de información más común es el bit, basado en el logaritmo binario. Otras unidades son el nat, basado en el logaritmo natural, y el hartley, basado en la base 10 o logaritmo común.
. La base del logaritmo sólo afecta a un factor de escala y, en consecuencia, a las unidades en las que se expresa el contenido de información medido. Si el logaritmo es de base 2, la medida de información se expresa en unidades de bits.

Acerca del autor

admin

Ver todos los artículos