Mixto

Hoy vamos a hablar de la teoría de la información. De entre todos sus aspectos, en concreto vamos a hablar de la entropía, también conocida como entropía de la información o como a mi me gusta más, entropía de Shannon, en honor a Claude E. Shannon que fue el fundador del campo de la teoría de la información . La entropía mide la incertidumbre de una fuente de información. A mí me gusta más definirla como la cantidad de información que contiene una variable aleatoria, de modo que podemos decir que es la manera en la que medir la cantidad de información promedio que contienen los símbolos utilizados. La entropía se debe ver como la cantidad de desorden o la peculiaridad de ciertas combinaciones. Por ejemplo, en un texto hay palabras que tienen una mayor probabilidad de aparecer o que son más frecuentes. En la frase “El coche rojo se ha roto” las palabras “El”, “se” y “ha” aportan poca información debido en parte a que son palabras con una probabilidad de aparición muy alta, mientras...