Probabilidad

Categoría

¡Espera siempre lo inesperado!

Por babalum, 15-04-2007 10:09 pm

Traduzco a continuación una reciente entrevista a Nassim Taleb por James Surowiecki, el autor de “La sabiduría de los grupos” (“The wisdom of crowds“).

El artículo original fué publicado en Wired en Marzo del 2007 a raiz del inmimente lanzamiento del nuevo libro de Taleb, “El cisne negro: El impacto de lo altamente improbable” (“The Black Swan: The impact of the Highly improbable”).

El libro es la segunda parte de “Confundidos por el azar” (“Fooled by Randomness”) y estará disponible a partir del 17 de Abril . Tengo ya hecha la prereserva del libro en Amazon y estoy impaciente por recibirlo.

Babalum

—————————————–

Nassim Taleb   Desde Wall Street a Washington estamos acostumbrados a que nos digan que el futuro se puede predecir, que el mundo se puede conocer y que el riesgo puede ser medido y gestionado. Nassim Nicholas Taleb no lo cree. En su nuevo libro, El cisne Negro, el guru de las finanzas y autor del éxito de ventas Fooled by Randomness sostiene que la historia no está dominada por lo predecible sino por lo áltamente improbable, lo disruptivo, por los eventos no predecibles que Taleb denomina Cisnes Negros.

Los efectos de guerras, crisis de las bolsas e innovaciones tecnológicas radicales son magnificados precisamente porque rompen con nuestras expectativas de un universo ordenado. En un mundo de Cisnes Negros, el primer paso es entender cuanto no podremos nunca entender.

- James Surowiecki

Wired: ¿Si los Cisnes Negros son los eventos cruciales y determinantes de la historia, porque seguimos creyendo que podemos predecir algo?
Taleb: Después de que ocurren, a toro pasado, creemos que los Cisnes Negros eran predecibles. Creemos que si podemos explicar algo que ocurrió en el pasado, podremos explicar lo que ocurrirá en el futuro.

¿Pero con mejores modelos y más potencia computacional, no estaremos más capacitados para predecir los Cisnes Negros?

Sabemos de la teoría del caos que incluso si tuviesemos un modelo perfecto del mundo, necesitaríamos una precisión infinita para predecir eventos futuros. Con fenómenos sociopolíticos o económicos ni tan siquiera tenemos modelos perfectos. Y por si fuera poco las cosas cada vez son más dificiles al aumentar cada día la complejidad del mundo.

¿Entonces, si no podemos predecir cosas que son realmente importantes, como actuar?Debemos preguntarnos “¿Si me encuentro con un Cisne Negro, eso me ayudará o me dañará?” Lo que no podemos establecer a priori es la probabilidad de encontrarnos con un Cisne Negro.

Si estás en un negocio que es propenso a los Cisne Negros, como por ejemplo, asegurar catástrofes, te aconsejo que no te tomes demasiado en serio tus cálculos de probabilidad – y vete pensando en cambiar de negocio. No quieres ser un perdedor. Lo que quieres son situaciones donde puedas tener tanta incertidumbre positiva como sea posible y donde nada malo pueda ocurrirte, donde puedas tener, lo que llamo, opciones gratuitas.

Todo lo que tiene que ver con tecnología en realidad es maximizar las opciones gratuitas. Es como el capital riesgo: La mayoría del negocio al final se hace con aquello que no esperabas. Pero solo lo encuentras si lo buscas.

¿Crees que una de las fortalezas del sistema americano es que, hablando relativamente, éste se siente más cómodo con la incertidumbre?
Si. Las personas en general no tienen miedo al fracaso. Están dispuestas a aceptar la posibilidad del fracaso a cambio de la posibilidad de tener un gran éxito. No hay otros paises que estén dispuestos a hacer ésto de la misma forma. Lo que el sistema americano hace mejor es producir la aceptación del fracaso.

Búsquedas recientes:

Confundidos por el azar (31)

Por babalum, 15-04-2007 10:29 am

ir al librobit anterior de “Confundidos por el azar”
ir al librobit (1) de “Confundidos por el azar”

LA CURA DEL CANCER

Frecuentemente nos topamos con publicidad de remedios milagrosos para todo tipo de enfermedades. Muchas veces empleándose testimonios de personas que se han curado, para aumentar la credibilidad. A pesar del desarrollo actual, las personas creen más en un sincero testimonio de este tipo que en una evidencia científica, encontrando la comunidad científica, grandes dificultades para convencer a la prensa de que la medicina es sólo una y que la alternativa no lo es. Subrayo “testimonio sincero” porque realmente creo que muchos de los testimonios que vemos dicen la verdad. Realmente se curaron. No obstante la curación no tuvo mucho que ver con el remedio que anuncian.

Por ejemplo, en algunos casos de cáncer por algún mecanismo que aún no conocemos, a veces los pacientes se curan espontáneamente. A ésto se le llama remisión espontánea. Los testimonios podrían haber tomado cualquier cosa y se habrían curado.El remedio anunciado en televisión a altas horas de la noche no tendría nada que ver.

Un caso interesante ocurre con las aguas curativas de Lourdes, en Francia. Se realizó un estudio estadístico sobre los enfermos de cáncer que después de visitar Lourdes se curaron y se comparó con los índices de remisión espontánea de cancer. No solo se comprobó que la visita a Lourdes no mejoraba la probabilidad de curarse sino que incluso estaba por debajo del índice de remisión espontánea. ¿Podría inferirse entonces que las posibilidades de supervivencia de estos pacientes se reducen por visitar Lourdes?

EL PROFESOR PEARSON Y  MONTECARLO. ¡LA ALEATORIEDAD NO PARECE ALEATORIA!

El conocido estadístico Karl Pearson fue el creador del primer test de no aleatoriedad.  En 1902 examinó millones de series de resultados de la ruleta y descubrió que éstas no eran completamente aleatorias. En realidad, esto es poco significativo, pues sabemos que pequeñas imperfecciones en la ruleta o en la bola pueden generar pequeños patrones de no-aleatoriedad. Hoy en día los estadísticos están de acuerdo en que la  aleatoriedad pura sólo es posible conseguirla teóricamente.

De todo esto, no obstante, se deriva otro severo problema. relacionado con la aleatoriedad. Solemos creer que cuando una serie es aleatoria no mostrará patrones pero en realidad no es así, en la práctica siempre puede percibirse algún patrón si se es  lo suficientemente minucioso. De hecho una serie que no muestre ningún patrón después de examinarla con suficiente detalle será altamente sospechosa de haber sido creada artificialmente.¡Ni siquiera la aleatoriedad real parece aleatoria!

Veamos un ejemplo. Si lanzamos 16 granos de arroz sobre una hoja que tenga dibujados 16 rectángulos iguales, la probabilidad de que haya exactamente un grano de arroz en cada uno de los rectángulos es ínfima. Lo más probable es que hayan algunos con dos, tres y más granos y bastantes estarán vacios. Si ésta misma distribución se encontrase, al estudiar la incidencia del cáncer en los diferentes barrios de una gran ciudad, nos encontraríamos con toda seguridad con quien encontrará relacion entre los barrios con altos índices de cáncer y cualquier otro factor (toxicidad del agua de la zona, antenas de telefonía, torres eléctricas, etc).

EL PERRO QUE NO LADRÓ: EL SESGO DE LA SUPERVIVENCIA EN EL CAMPO CIENTIFICO

Los mismos sesgos de supervivencia que hemos visto en capitulos anteriores son habituales en el ámbito científico. Al igual que en el periodismo, los estudios que no arrojan un resultados no se publican. Sin embargo, puede estarse perdiendo información muy valiosa. Puede haber mucha información contenida en trabajos que no llevaran a conclusiones estadísticamente relevantes. Recordemos la afirmación de Sherlock Holmes en el caso “La Estrella de Plata” – lo curioso era que el perro no ladrara.

continúa en el librobit (32) de “Confundidos por el azar”

Algunos libros de Nassim Taleb:

Engañados por el azar - en castellano Engañados por el azar (libro en español en Amazon)
Fooled by Randomness - Confundidos por el azar Fooled by Randomness (libro original en inglés)
Dynamic Hedging - Cobertura dinámica Dynamic Hedging

Búsquedas recientes:

Confundidos por el azar (30)

Por babalum, 10-04-2007 8:48 pm

ir al librobit anterior de “Confundidos por el azar”
ir al librobit (1) de “Confundidos por el azar”

MINERIA DE DATOS, ESTADÍSTICA Y CHARLATANERIA

Algunas personas han llevado la mineria de datos hasta la la teología. Un reciente ejemplo es “El código secreto de la Biblia” de Michael Drosnin, un antiguo periodista. En el libro se busca mediante un procedimiento especial y ordenadores potentes coincidencias que se puedan interpretar en terminos historicos. Dado que se busca en general y no eventos concretos finalmente se encuentran coincidencias. Un ejemplo es la predicción del asesinato de Rabin, el cual obviamente no hizo mucho caso al aviso. Está de más decir que el libro se vendió bien. 

¡EL MEJOR LIBRO QUE HE LEIDO!

Me gusta invertir mi tiempo en las librerías pasando de un libro a otro y tratando de ver por cual me  decido. Frecuentemente me guío por pistas sugerentes pero superficiales, a veces, sólo por la recomendación de la contraportada, que a menudo contienen elogios de alguien.

¿Cuál es el problema? Que tiendo a tomar la reseña de un libro como una representación de todas las reseñas posibles cuando en realidad es la mejor de las reseñas del grupo de la buenas reseñas. Confundo la distribución del máximo de una variable con la de la variable en sí. El editor nunca pondrá en el forro del libro otra cosas que los mejores elogios.

El ANALIZADOR

Con la ayuda de un programador construí un analizador,  un software que conectado a una base de datos de precios históricos permite chequear el comportamiento hipotético pasado de una regla económica. Puedo, por ejemplo, aplicar la reglas sencillas de mercado, comprar acciones del NASDAQ si ellas cierran por encima del 1.83% respecto al promedio de la semana anterior, e inmediatamente tener una idea de su comportamiento en el pasado. Si el resultado no me agrada, puedo cambiar el porcentaje y la complejidad de la regla, hasta quedar satisfecho.

¿Qué estoy haciendo? Buscando la regla superviviente dentro del conjunto de reglas que pueden funcionar. Estoy seguro que existirá alguna acción en el mundo cuyo histórico de precios esté correlacionado con los cambios de temperatura en Ulan Bator. Es cuestión de buscar y seguro que lo encontraremos.

Debo desacreditar los excesos que he visto en el uso de este tipo de herramientas durante mi carrera. Arropados por toneladas de datos y noches sin dormir ajustando sus estrategias de inversión muchos pierden su sentido crítico y acaban fiandose ciegamente de los resultados obtenidos con datos históricos.

[Nota de Babalum: los aficionados al análisis bursátil seguro que conocen este tipo de software como el Metastock. Que fácil es encontrar sistemas que se ajustan perfectamente a los datos históricos y por arte de magia dejan de funcionar en cuanto se intentan poner en marcha. ¿Os suena a alguno?]

En cuanto a las reglas de inversión que muchos utilizan con éxito a día de hoy, hay quien opina que no son más que reglas supervivientes por azar, y que en realidad no encierran en si mismas ninguna capacidad de predicción real.

CONSECUENCIAS ALGO MÁS PREOCUPANTES

Históricamente la medicina se ha desarrollado por el método de prueba y error –es decir, estadísticamente, pero muchos investigadores en medicina no conocen las implicaciones de los sesgos estadísticos y que algunas correlaciones son fruto del azar. Así, un reciente estudio médico relaciona el fumar con una reducción del cáncer de mama. La lógica debería indicarle que este resultado es sospechoso.

RESULTADOS TRIMESTRALES : ENGAÑADOS POR LOS BENEFICIOS

Los analistas de Wall Street están entrenados para detectar todo tipo de trucos contables que las compañías utilizana la hora de decalarar sus ganancias, pero no están preparados aún para vérselas con la aleatoridad. Con las compañías sucede justamente lo mismo que vimos con los gestores de fondos. De una muestra inicial de éstas habrá un grupo que mostrará resultados excelentes en un periodo, sin  trucos, sólo debido a la aleatoriedad. A medida que algunas de estas empresas vayan repitiendo los buenos resultados las acciones de éstas serán más y más recomendadas por los analistas, sin darse cuenta éstos hasta que punto una proporción de las empresas exitosas no son más que el resultado del azar.

continúa en el librobit (31) de “Confundidos por el azar”

Algunos libros de Nassim Taleb:

Engañados por el azar - en castellano Engañados por el azar (libro en español en Amazon)
Fooled by Randomness - Confundidos por el azar Fooled by Randomness (libro original en inglés)
Dynamic Hedging - Cobertura dinámica Dynamic Hedging

Búsquedas recientes:

Confundidos por el azar (29)

comentarios Comentarios desactivados
Por babalum, 05-04-2007 2:51 pm

ir al librobit anterior de “Confundidos por el azar”
ir al librobit (1) de “Confundidos por el azar”

La primera conclusión contraintuitiva es que de una muestra compuesta completamente por malos inversores (o gestores/ejecutivos) surgirá siempre un grupo que mostrará buenos resultados. Es decir, que será prácticamente imposible determinar si uno de ellos es bueno o malo solamente basandonos en sus resultados. ¿Por qué? Porque debido a la volatilidad (dispersión) algunos inversores malos siempre ganarán dinero.

La segunda conclusión contraintuitiva es que el número de inversores con éxito depende más del tamaño de la muestra inicial que de su propia capacidad como profesional. Esto también quiere decir que en el año 2002 veremos un número muy superior de “excelentes” managers que en 1998 simplemente porque que hubo muchos más profesionales que inciaron su carrera en 1997 que en 1993. (Nota de Babalum: recordad que el libro fue publicado en el 2001)

ERGODICIDAD

Entrando un poco más en lo técnico, la confusión se origina cuando se cree que las propiedades de la distribución puede obtenerse a partir de la muestra en cuestión. Lo cierto es que en todos los casos en los que estudiamos a los mejores inversores o los managers más exitosos estamos definiendo una distribución distinta a la de la totalidad de la muestra. La diferencia entre las medias de estas dos distribuciones es justamente lo que podemos llamar el “sesgo de la supervivencia”.

En el ejemplo anterior de los inversores incompetentes el sesgo es el 3% de los miembros de la muestra que son vencedores después de cinco años consecutivos. Además, este ejemplo ilustra la propiedad de la ergodicidad, consistente en que el tiempo elimina los efectos indeseados de la aleatoriedad. Sabemos que a pesar de que resultaron vencedores durante cinco años consecutivos, a largo plazo no les irá mejor que a los que perdieron en los primeros años de la simulación.

[ver post con más detalles sobre la ergodicidad y el papel que desempeña en nuestras vidas]

LA VIDA ES COINCIDENCIA. LA CARTA MISTERIOSA.

A continuación veremos el impacto en nuestras vidas de nuestros sesgos a la hora de entender la distribución de coincidencias.

Supongamos que recibes una carta anónima el 2 de enero indicando que el mercado subirá durante ese mes y se cumple el pronóstico. Recibes otra el 1 de febrero diciendo que el mercado bajará y de nuevo ocurre así. Si esta historia se repite por varios meses, a la altura de julio ya crees a pies juntillas en estas predicciones y si se un gestor de fondos te invita a invertir en algún fondo, depositaras todos sus ahorros en éste. Dos meses más tarde viene el fracaso, pierdes todo tu dinero y cuando se lo mencionas a tu vecino éste te cuenta que recuerda haber recibido dos de esas cartas anónimas, pero el pronóstico de la segunda falló y no recibió más cartas.

¿Qué sucedió?.

El tramposo gestor extrajo 10,000 nombres de la guía telefónica, envió una carta alcista a la mitad de la muestra, y una bajista a la otra mitad. Al mes siguiente, seleccionó las personas para las cuales el pronóstico se cumplió (5,000 personas). Al próximo mes hizo lo mismo con el resto y así sucesivamente hasta que el número se reduce a un grupo de 500 personas, que es el que aportará las víctimas. Una inversión de unos pocos miles de dólares en sellos se convierten en varios millones.

EL PARTIDO DE TENNIS INTERRUMPIDO

Es común que mientras vemos un juego de tennis por la televisión seamos bombardeados por anuncios sobre fondos de inversión que se comportaron mejor que otros en algún período. Pero, tengamos presente que sólo se anuncia el vencedor, por ello existe una gran probabilidad de que llegue hasta ti una propuesta de inversión cuyo éxito pasado estuvo causado completamente por el azar. A este fenómeno se lo conoce con el nombre de selección adversa. Por ello debemos ser mas cuidadosos al juzgar una inversión que nos llega por iniciativa de otros (p.ej. anuncios) que cuando llegamos a ellas gracias a un proceso cuidadoso de búsqueda iniciado por nosotros mismos.

Nota de Babalum: Tengo que admitir que por si mismas las explicaciones del libro no me han bastado para entender éste punto. Después de buscar algo más de información acerca de la selección adversa en la wikipedia explicaría el ejemplo anterior del siguiente modo. Entre todas las posibilidades de invertir habrá unas mejores que otras. Supongamos que la gran mayoría de posibles inversores no sabrán distinguir a priori entre la buenas y las mala inversiones. Por ello el coste que están dispuestos a asumir estará a medio camino entre la inversión buen y la mala.

La consecuencia es que la buena inversión estará infravalorada y la mala inversión sobrevalorada. Esto significará que los que ofrezcan malas inversiones (y lo sepan) estarán mucho más incentivados a ofrecer sus inversiones, mientras que los que ofrezcan buenas inversiones (y lo sepan) no estarán obteniendo un precio justo y tendrán menos motivación a ofrecer su inversión al coste promedio. Entiendo que es por ello que Nassim defiende que hay una mayor probabilidad de que una inversión sea mala si ella es ofrecida de forma masiva y llega a nosotros por iniciativa de otros en vez de haberla descubierto después de un proceso exhaustivo de búsqueda y selección.

LA PARADOJA DEL CUMPLEAÑOS

La conocida paradoja del cumpleaños es en realidad una peculiaridad de nuestra percepción.
Si usted se encuentra con alguien aleatoriamente, existe una probabilidad muy pequeña de que tenga su misma fecha de aniversario. Por tanto, compartir la misma fecha de cumpleaños sería una coincidencia. Veamos ahora que ocurre en una situación en la que 23 personas están en una habitación. ¿Cuál es la probabilidad de que existan dos personas con la misma fecha de cumpleaños? Cerca del 50%, ya que no estamos especificando una persona en concreto..

Nota de Babalum: Es muy fácil reproducir éste resultado mediante una rápida simulación en una hoja de excel. Se copia la siguiente fórmula [ =ENTERO(ALEATORIO()*366) ] en 23 casillas de una hoja de excel y se cuentan las coincidencias. A continuación se generan nuevas simulaciones mediante la tecla F9. Es sorprendente pero se comprueba que aproximadamente sale 1 coincidencia cada 2 simulaciones.

EL MUNDO ES UN PAÑUELO!

Otro ejemplo de como malinterpretamos las probabilidades son los encuentros inesperados con gente que conocemos en algún lugar inesperado. Estos eventos siempre los vivimos con sorpresa y se convierten en anécdotas. En realidad estamos confundiendo la probabilidad de encontrarnos con una persona concreta en un sitio concreto no habitual con la probabilidad de encontrarnos con cualquier persona que hayamos conocido a lo largo de nuestra vida en cualquier sitio que vayamos a estar en el futuro. La primera probabilidad es minúscula, mientras que la segunda es considerablemente superior, quizas unas miles de veces mayor.

De la misma forma cuando los estadísticos buscan cualquier correlación (no una concreta) en un conjunto de datos lo más probable es que la encuentren, incluyendo la correlación entre el largo de las faldas de las mujeres y los movimientos de bolsa.

continúa en el librobit (30) de “Confundidos por el azar”

Algunos libros de Nassim Taleb:

Engañados por el azar - en castellano Engañados por el azar (libro en español en Amazon)
Fooled by Randomness - Confundidos por el azar Fooled by Randomness (libro original en inglés)
Dynamic Hedging - Cobertura dinámica Dynamic Hedging

Búsquedas recientes:

Ergodicidad. ¿Que papel juega en nuestras vidas?

Por babalum, 03-04-2007 3:13 pm

Traduzco de forma libre el artículo sobre ergodicidad que he encontrado en:

http://news.softpedia.com/news/What-is-ergodicity-15686.shtml

A diferencia de otras definiciones que he encontrado, ésta no utiliza ninguna fórmula matemática o estadística y permite entender facilmente el papel que juega en nuestro día a día.

Babalum

———-

¿Que es la ergodicidad?

Porque las encuestas electorales son casi siempre inexactas? Porque el racismo no tiene fundamento? Porque nuestras suposiciones están equivocadas muchas veces?

Las respuestas a éstas preguntas tienen que ver con que los grupos de personas no son ergódicas. Muchos científicos están de acuerdo en que la ergodicidad es uno de los conceptos estadísticos más importantes. Entonces, que es la ergodicidad?

Supongamos que queremos saber cuales son los parques más visitados de nuestra ciudad. Tendríamos dos formas de medirlo. La primera sería hacer un recuento de cuanta gente hay en cada parque en un momento dado. Otro sistema distinto sería preguntar a una muestra de personas que parques han visitado con que frecuencia durante una año.

Lo más seguro es que las conclusiones no coincidirían porque las personas no tienen propiedades de conjuntos ergódicos. Solo en el caso de que coincidiesen los resultados de ambos métodos de medida se diría que estamos ante un conjunto ergódico.

La importancia de la ergodicidad se pone de manifiesto cuando pensamos en como inferimos o establecemos hipótesis acerca de muchas cosas partiendo de información previa. Por ejemplo, uno va a un restaurante y disfruta enormemente de la lubina salvaje que le sirven. La próxima vez que vaya seguramente pedirá algo distinto pero esperará que éste plato esté igual de delicioso que la lubina basándose en su primera experiencia. En realidad hay que preguntarse porque confía uno en que cualquier otro plato que pida será igual de delicioso que el primero.

Veamos otro ejemplo. Si uno observa que un periodico publica información poco exacta probablemente dudará de la exactitud de otras noticias futuras del mismo periodico. Porqué este tipo de inferencias son aceptables y otras como “las personas de color cometen más crimenes que las personas blancas por lo tanto no hay que fiarse de las personas negras” son incorrectas?

La respuesta es que el conjunto de artículos publicados en un periodico es bastante ergódico mientras que el conjunto de personas de color no lo es. Si uno busca cuantos errores aparecen en una edición entera de un mismo periódico y luego lo compara con el número de errores que comete  un mismo editor de noticias durante un periodo prolongado de tiempo, concluirá que los resultados son parecidos (no iguales pero cercanos).

No obstante, si uno toma el número de crímenes cometidos por personas de color en un solo día en una ciudad grande y lo divide por el número total de personas de color que viven en esa ciudad, encontrará que si sigue a una persona de color elegida al azar durante toda su vida, ésta no cometerá crimenes de acuerdo al ratio de crímenes por día calculado en base al conjunto.

Es obvio pues que en este caso no se pueden utilizar propiedades del conjunto para establecer supuestos y probabilidades acerca de los individuos del mismo.

Un ejemplo todavía más radical. Supongamos que el partido “A” gana las elecciones con un 60% de los votos mientras que el partido “B” las pierde con el 40% restante. No podríamos deducir por ello que una persona elegida al azar votará un 60% de veces al partido “A” y un 40% al partido “B”.

Estos son algunos ejemplos de porque cuando estamos ante conjuntos no-ergódicos, no se pueden utilizar de características del conjunto para inferir algo acerca de un individuo concreto de ese conjunto.

El problema complementario es que tampoco se puede seguir el camino inverso como se hace en las encuestas de opinión. Lo que se hace normalemente es segmentar la población y procurar que todos los segmentos estén representados. Luego se obtienen datos de una muestra pequeñas que se supone representativa. En realidad, al no tratarse de un conjunto ergódico los resultados no coincidirán. Esto es lo que conocemos usualmente como el margen de error de las encuestas. Realmente ese error no es un error en el sentido literal sino que hace alusión a la diferencia esperable debido a la no ergodicidad del conjunto.

Un problema similar es el que tienen los científicos en general cuando intentan inferir leyes generales a partir de experimentos concretos. Cuando es correcto generalizar y cuando no lo es?

La respuesta depende de la ergodicidad. Si estamos ante un conjunto ergódico hay una alta probabilidad de que las generalizaciones sean correctas.

Búsquedas recientes: