Veremos un libro sobre la vida de Claude Shannon y cómo revolucionó la idea de código, su tratamiento matemático, y el nacimiento de toda una rama de la ciencia llamada Teoría de la Información.
He tardado un tiempo en decidirme sobre el primer libro que os voy a recomendar, y mira que lo siento, pero no parece que exista en idioma español (decidme en comentarios si aparece y lo pongo). Eso os dará una idea de lo que he disfrutado: hacer un post en español de un libro en inglés.
Pero no os preocupéis, porque precisamente aquí pondremos unas pinceladas para hacer boca. Todos estos conceptos siguen estando muy relacionados con la estadística, esa parte de la matemática tan ligada a aplicaciones en nuestro día a día.
Desde ya me declaro tecnológico por naturaleza, pero me tiran mucho los libros relacionados, las anécdotas y la historia detrás de cada personaje. Pues bien, todo eso y además mucha diversión es lo que nos ofrece este libro de Jimmy Soni y Rob Goodman, donde se muestra a este genio con su propia humildad, sus miedos y su idiosincrasia.
Casi se me pasa deciros de qué libro se trata:
A Mind at Play: How Claude Shannon Invented the Information Age.
Digamos primero lo básico: Ingeniero y matemático (práctica y teoría) a partes iguales. Uno de los investigadores americanos más influyentes del siglo XX. No nombro su faceta de criptógrafo, pues lo incluyo en su rama matemática y a la que sus estudios tanto contribuyeron.
A lo largo del libro queda patente que no podemos decir dónde empiezan y acaban sus pasiones, pues a lo largo de su vida supo compaginarlas hasta extremos en los que no se sabía si estaba trabajando o bien procastinando.
Una de las mayores habilidades de Claude Shannon era la de simplificar, quitar lo superfluo y quedarse con la esencia, para luego sistematizarlo todo con las matemáticas y sacar algo nuevo de todo ello.
Trabajó en varias instituciones, pero entre todas ellas destacan los laboratorios Bell Labs.
Bell Labs fue fundada por el mismísimo Alexandre Graham Bell como una rama de investigación de la empresa American Telephone and Telegraph company (AT&T).
En su época los Bell Labs eran una de las pocas (por no decir la única) institución de investigación en la que se daba casi total libertad a sus trabajadores. También hay que decir que no eran trabajadores normales, entre ellos William Shockley (coinventor del transistor) o Harry Nyquist (quien estudie control industrial por ejemplo necesariamente lo tendrá que estudiar ). En esa «sopa» de pensadores nacida de una empresa de telefonía se crearon muchos inventos y conceptos importantes que usamos en nuestro día a día.
Como toda biografía, comienza por su niñez en Gaylord (Michigan) hasta su muerte con Alzheimer (una pena siempre, y sobre todo en una mente tal brillante). Pero no quiero que este post sea una réplica/resumen del libro, ni mucho menos. Vamos a ver algunas anécdotas de entre las muchas que se describen en el libro de Jimmy Soni:
«La verdadera medida de la información no está en los símbolos que enviamos, sino en los símbolos que podríamos haber enviado y no lo hicimos »
A Mind at Play: How Claude Shannon Invented the Information Age
Tabla de contenidos
Ruido, ruido y más ruido para Claude Shannon
Para ver la importancia del ruido, este estupendo libro nos llevará a retroceder un poco (no mucho) en el tiempo: Año 1858, Se decide tender el primer cable submarino del mundo que cruzaría el Atlántico entre América e Europa, más concretamente entre Terranova (Canadá) e Irlanda. Cyrus Field y Willian Thomson (sí,el mismísimo Thomson, conocido como Lord Kelvin que pone nombre a los grados Kelvin – ºK) son los encargados principales de esta tarea.
Pues bien, el tal Cyrus Field, que era experto telegrafista, y Thomson se subieron a un barco y empezaron a desplegar un cable de más de 3.000 km por debajo del océano. Bueno, realmente fueron 2 barcos y varios intentos para no romper el preciado cable, pero la idea estaba clara: unir los dos continentes con un cable de cobre para transmitir mensajes telegráficos.
Y claro, un cable tan largo había que protegerlo de las inclemencias submarinas (el agua tiene la mala costumbre de conducir la electricidad, y no queremos que las señales eléctricas se pierdan en las profundidades)
Con tanta longitud y en un ambiente tan extremo, existen muchos factores que contribuyen a la formación de ruido. La primera comunicación de unas pocas palabras duró varias horas debido a la mala calidad.
Thomson era partidario de aumentar la sensibilidad, y Cyrus (jefe de proyecto) de aumentar la potencia. Cyrus hizo aumentar la tensión más de un 300%, quemando literalmente el cabl,e que no duró ni 3 días.
Cuentan esta historia tan curiosa porque nos da una idea de la única herramienta que se tenía en esa época para superar el ruido en un conductor:
- Opción 1: Transmitir con más potencia, o gritar más en su equivalente en un ambiente ruidoso.
- Opción 2: Aumentar la sensibilidad del los receptores, o afinar el oído en su equivalente sonoro.
Tras Shannon la cosa cambia. La solución al ruido es incluso fácil: Para mejorar la calidad de una transmisión en un canal ruidoso, solo tenemos que añadir redundancia.
Y es que es precisamente ésto lo que hacemos intuitivamente cuando por ejemplo hablamos con ruido: repetimos las palabras, o confiamos en la redundancia propio del lenguaje.
«La comunicación es una guerra contra el ruido »
A Mind at Play: How Claude Shannon Invented the Information Age
Cuando se dice algo a medias y adivinamos lo que sigue, realmente estamos en presencia de redundancia, la elección de la siguiente palabra no es aleatoria, sino que algunas son mucho más probables que otras.
La redundancia de un lenguaje también es la culpable de que algunos sistemas criptográficos sean fácilmente desencriptados. En el idioma inglés, se puede calcular el número de bits de información que contiene cada letra en mensajes de una determinada longitud. Se estima que la redundancia en ese caso es del 72%. Por eso podemos reconocer la siguiente frase en un sms: «xq tq», o entender algo en un teléfono con mala cobertura.
Cantidad de información.
Igual que podemos medir la masa de un objeto o su temperatura, Shannon nos enseñó que también podemos medir la cantidad de información de un mensaje.
« Elegir es eliminar alternativas. El valor informativo de un símbolo depende del número de alternativas que hayamos eliminado al usarlo. »
A Mind at Play: How Claude Shannon Invented the Information Age
En esencia la cantidad de información que puede almacenar un símbolo depende de la cantidad de símbolos posibles a nuestra dsposición. Llevado el extremo, si elegimos un símbolo de entre dos posibilidades iguales (por ejemplo tirar una moneda con dos caras) la cantidad de información es cero, pues no reducimos la incertidumbre.
Shannon dió una fórmula sencilla para cuantificar la reducción de esa incertidumbre, o lo que es lo mismo, la cantidad de información de un símbolo, conocida como entropía de Shannon:
siendo p, la probabilidad de aparición del símbolo. El logaritmo se usa para linealizar el resultado, de esta forma un símbolo con H=10 bits tiene el doble de información que uno de 5 bits.
O su expresión equivalente para varios símbolos:
Veamos algunos ejemlos al aplicar estas fórmulas al hablar de los códigos:
Códigos al rescate
Los códigos se han usado a lo largo de la historia, tanto para transmitir mensajes en claro como para ocultarlos.
Si lo pensamos, realmente toda comunicación usa códigos. Pronto quedó claro que todo código se puede transformar en un sistema binario y por tanto todo mensaje puede ser codificado con números binarios (bits)
Los códigos pensados para ser usados por los humanos no siempre son óptimos en el sentido de requerir el mínimo número de bits, o lo que es equivalente, para transmitirse a la máxima velocidad o usar un espacio mínimo en memoria.
« Demasiado brillante para ser entendido, o ignorado »
A Mind at Play: How Claude Shannon Invented the Information Age
Veamos un ejemplo de codificación óptima que aparece en nuestro libro para entenderlo: Supongamos que tenemos un alfabeto compuesto por 4 letras (A, B, C, D) con el que queremos transmitir mensajes a través de un canal de comunicación digital.
La solución directa es usar códigos de 2 bits de la siguiente forma:
00 = A
01 = B
10 = C
11 = DPero supongamos ahora que sabemos algo más: en cualquier uso de alfabeto en un lenguaje, la frecuencia con la que aparecen las distintas letras no son iguales (por ejemplo en textos en español la letra más repetida es la E). Digamos por ejemplo que las frecuencias de aparición son las siguientes:
A 50%
B 25%
C 12.5%
D 12.5%Podemos ahora idear un código más optimizado usando menos bits para aquellos símbolos que más se usen:
0 = A
10 = B
110 = C
111 = DTendremos de media (sumando los bits necesarios en cada letra por su frecuencia):
1*0.5 + 2*0.25 + 3*0.125 + 3*0.125 = 1.75 bits !!!De golpe hemos reducido más de un 10% el número de bits necesarios, y por tanto hemos aumentado en la misma proporción la velocidad de transmisión o compactado el espacio usado sin pérdida de información.
Precisamente podemos afirmar gracias al concepto de entropía de Shannon que un código optimizado a 1.75 bits de media es el mejor que podemos usar, con solo sumar la cantidad de información de cada letra lo vemos:
-(0.5*log(0.5) + 0.25*log(0.25) + 0.125*log(0.125) + 0.125*log(0.125)) = 1.75 bitHabréis notado que en ningún momento entramos en el significado de lo que se quiere transmitir. Shannon precisamente defendía esto que ahora parece tan obvio: Se trata de transmisión, no de interpretación.
La información es una cosa y el significado de los símbolos otra muy distinta. Hasta entonces esta diferencia no se entendía, y como tantas grandes teorías tiene repercusiones muy profundas.
Dicho sea de paso los códigos óptimos, entre otros, son técnicas ámpliamente usadas en los compresores de ficheros que usamos todos. Son técnicas de compresión sin pérdida de información, y por tanto ideales para ahorrar espacio.
Paremos un poco para apreciar bien lo que Shannon acababa de crear con palabras simples: Una teoría que permitía analizar matemáticamente cualquier tipo de comunicación…. casi nada.
Es decir, que la podemos aplicar a la transmisión de sonidos a través de un cable de cobre (el teléfono clásico), a grandes cantidades de bits viajando por una fibra óptica, a una carta transmitida por un correo postal, a tu madre gritando desde la ventana o a las ballenas diciendo no se sabe qué a kilómetros de profundidad en el océano. Todo se reduce a transmitir un mensaje usando unos símbolos determinados de entre un conjunto de símbolos posibles.
Cuando Shannon publicó su famoso artículo «A mathematical theory of communication» (una teoría matemática de la comunicación), los conceptos matemáticos profundos eran poco conocidos por los ingenieros, y muchos de ellos pensaban que sería una teoría más dentro de un nuevo campo de la matemática sin ninguna aplicación práctica.
Nada más lejos de la realidad, y no voy a decir que Internet no existiría sin los trabajos de Shannon, pero seguro que hubiera llegado mucho más tarde. Ahora los ingenieros tenían una herramienta para analizar y mejorar las comunicaciones.
Pasiones no tan secretas
La mente de Shannon le llevó allá donde le marcaba la curiosidad.
Normalmente los matemáticos profesionales quieren dedicar su valioso tiempo a problemas de embergadura que les de prestigio con alguna solución o avance, y por tanto «perder el tiempo» en problemas más cotidianos está mal considerado dentro de la comunidad.
Shannon no necesitaba reconocimiento, ni era plato de su gusto ser el centro de atención. Simplemente se enfocaba donde veía que había algún entretenimiento para su mente. Así realizó el primer tratado matemático nada trivial sobre juegos malabares (campo que le fascinaba hasta el punto de contruir un robot malabarista).
Igualmente su pasión por el ajedrez le llevó a enfrentarse con el campeón Mikhail Botvinnik. Cuentan que Shannon hizo un viaje a Moscú para dar una charla sobre ingeniería, y aprovechó para tener una charla con el tal Botvinnik que también era ingeniero. Hablaron de la posibilidad de que algún día las máquinas pudieran ganar al ajedrez a los humanos (cosa que sucedió en 1997 ganando al maestro Kasparov)
Obviamente Shannon no podía perder la oportunidad de jugar una partida con el maestro y así se lo pidió. Nadie esperaba que durara 42 movimientos contra Botvinnik, incluso en algún momento con ventaja, lo que dice mucho del nivel del propio Shannon.
Otra afición poco usual fue su pasión por coleccionar y construir monociclos que montaba él mismo con gran habilidad.
No deja de sorprendernos lo plena que puede ser una vida cuando te dedicas a algo que te apasiona. No creo que estuviera en la mente de Shannon tener como meta convertirse en una celebridad, salvo que dicha fama le aportara otro problema que desenredar.
Quedan muchas anécdotas por contar, pero como ya os avancé, no pretendo desvelar todos los secretos de este maravilloso libro que seguro estará disponible en español más temprano que tarde, y del que aprenderemos no solo el trabajo realizado por este científico, sino que también conoceremos su vida personal.
Como bien se expresa en el libro, Shannon fue «demasiado brillante para ser entendido, o ignorado»