Spanish subtitles

← MaxEnt 4 MaxEnt Applied to the Taxicab Example, Part 1

Get Embed Code
3 Languages

Showing Revision 8 created 05/26/2017 by Matias Agelvis.

  1. Solo para recordarle donde estamos,
    tenemos dos restricciones.
  2. Una es el valor esperado de x,
    el tiempo promedio de espera es 4 minutos.
  3. la otra es que las probabilidades suman 1.
  4. Esas son nuestras 2 restricciones,
    y lo que vamos a hacer es
  5. maximizar la entropía de la distribución
    sujeta a estas restricciones.
  6. ¿Bien? Entonces,
    S va hacer la función de entropía,
  7. y no vamos a tener una g,
    sino, de hecho dos g, ¿Bien?
  8. Una g es esta función,
    una g es esta función, ¿Bien?
  9. Así que... ¿Como se hace maximizaron
    con restricciones,
  10. para mas de una restricción?
    Le di una idea intuitiva
  11. de como hacerlo
    con una restricción a la vez,
  12. ¿Pero como se hace con 2 restricciones?
  13. Voy a decirle la respuesta,
  14. porque es mucho mas difícil de trabajar
    el problema de múltiples restricciones
  15. Pero la respuesta es intuitiva,
    y vale la pena recordarla.
  16. Y si alguna vez quiere resolverlo
  17. hay muchos lugares
    donde conseguir la respuesta
  18. Así que, así es como se trabaja con
    multiplicadores de Lagrange,
  19. el método de multiplicadores de Lagrange,
    ¿Recuerda los multiplicadores de Lagrange?
  20. Es este termino lambda, ¿Bien? Entonces,
    el método obtuvo su nombre de ahí,
  21. si quiere maximizar la función f,
  22. sujeta a un grupo de restricciones,
    ahora,
  23. vamos a numerar las restricciones g sub i,
    así, g1, g2, y así sucesivamente
  24. sus n restricciones,
    cuantas sea que tenga,
  25. y la forma de hacerlo es ajustar
    el gradiente de la función igual a
  26. una combinación lineal de gradientes
    de las restricciones.
  27. Entonces, este es el caso donde tiene
    n restricciones.
  28. Así que, este es el método general de los
    multiplicadores de Lagrange,
  29. Para poder maximizar esta función sujeta
    a estas n restricciones,
  30. ajuste el gradiente de la función f
    igual a una combinación lineal
  31. de gradiente de la función g, y
    entonces el problema
  32. se reduce a encontrar g. Lo que usted sabe
    es... Sabe que su punto máximo
  33. es tal que puede sumar todos
    los gradientes de forma tal que,
  34. con algunos coeficientes tales que pueden
    reproducir el gradiente del los contornos.
  35. Entonces, ahora el problema es ¿cuales son
    estos Ls, o cuales son son estos lambdas?
  36. Así que los que voy a hacer es guiarlo,
    ahora el problema de máxima entropía,
  37. usando esta formula,
    y si esto parece misterioso ahora,
  38. para el final, ojala no lo sera.
  39. Lo que va a hacer es girar perillas,
    y juguetear con las perillas,
  40. hasta que obtenga un lambda tal que
  41. esos lambdas satisfagan los valores de la
    restricción particular que tiene en mente.
  42. Entonces, no vamos a maximizar una función
    f arbitraria, sino de hecho la entropía,
  43. y nuestras restricciones van a ser
    la restricción de el promedio,
  44. y la restricción de la normalización.
    Entonces, lo que queremos derivar S
  45. con respecto a p_i, lo hacemos
    termino por termino en el vector,
  46. queremos que eso sea igual a lambda 1,
    por la derivada de g1 con respecto a p_i,
  47. mas lambda2 por la derivada de g2
    con respecto a p_i ¿Bien?
  48. Esto es para recordarle que
    S es la entropía de la distribución,
  49. S es igual a la suma negativa sobre
    todos los posibles tiempos de espera.
  50. Así que de nuevo, por conveniencia,
    estoy hablando del caso discreto,
  51. puede hacer limites, si tiene sus medidas
    configuradas correctamente,
  52. y puede transformar estas en integrales,
    y transformar estas en integrales,
  53. y esto también lo transforma
    en integrales.
  54. Pero es mas fácil conceptualmente
    hablar primero del caso discreto.
  55. Así , g1, recuerde, esto es una función
    de p, bien, p aquí es un vector ¿Ok?
  56. g1 es solo la suma de i_0 a infinito de
    p_i veces i.
  57. y estoy usando solo, estoy usando ahora i
    en vez de x,
  58. es mas fácil de escribir para mi, ¿Ok?
  59. Así, esta es la función de restricción,
    que restringe el valor promedio.
  60. Y claro, lo que queremos al final es que
    queremos que g1(p) sea igual a 4 minutos.
  61. g2(p) es la restricción de normalización,
    así la función parece la suma
  62. sobre todos los valores de p, y claro,
    al final lo que haremos es hacer g2 = 1.
  63. Y previamente definimos la entropía aquí.
    Entonces
  64. ¿Cual es la derivada de la entropía con
    respecto a probabilidad particular ¿Bien?
  65. Una probabilidad en particular de una
    configuración en particular?
  66. Muy bien, esto aquí es, S es igual a menos
    p_i log p_i con i desde 0 hasta infinito.
  67. ¿Bien? Así que, dS(p_i), es igual a... el
    único termino que va a sobrevivir que es
  68. el que tiene la p_i, y luego tenemos la
    derivada de p_i log p_i,
  69. que tiene 2 términos: log p_i, y el otro
    que es p_i por la derivada de log p_i.
  70. La derivada de p_i, así que
    de hecho tiene un mas uno (+1),
  71. entonces este es el lado izquierdo de su
    ecuación de multiplicadores de Lagrange.
  72. y solo para recordarle que usamos
    logaritmo base e.
  73. Así que, ahora tenemos que hacer la
    derivada de g1 con respecto de p_i,
  74. ¿Ok? Otra vez, hacemos la derivada de esta
    suma de aquí con respecto a p_i,
  75. y obviamente lo que vamos a encontrar
    es que dg1/d(p_i) = i,
  76. y finalmente, dg2/d(p_i) = 1.
  77. Solo hay un termino en la suma
    que no se destruye con la derivada.
  78. Entonces, juntemos todo esto,
  79. tenemos menos log p_i - 1 que es igual a
    lambda 1 por la derivada de
  80. g1 con respecto a p_i, lo que es i, mas
    la derivada de g2 con respecto a p_i,
  81. por lambda 2, así que esta es nuestra
    ecuación ¿Ok? Que se satisface
  82. cuando trata de maximizar la entropía,
    intente maximizar esta función,
  83. sujeta a estas restricciones,
    para algún valor de las restricciones
  84. Entonces vamos a resolverla para p_i.
    Así que vamos a mover las cosas por aquí,
  85. y tenemos menos 1 menos lambda 1 i,
    menos lambda 2, igual a log p_i,
  86. vamos a elevar ambos lados,
    voltearlos, y tenemos
  87. p_i es igual a e a la menos 1,
    menos lambda 1 i, menos lambda 2 ¿Ok?
  88. Y podemos escribirlo de manera
    mas breve de la siguiente manera,
  89. e a la lambda 1 i dividido por Z,
  90. donde Z es igual a e a la 1 mas lambda 2.
  91. La probabilidad de esperar algún tiempo i,
    es igual a e a la menos lambda 1 veces i,
  92. hay una distribución exponencial de
    tiempos de espera.
  93. Ahora, todo lo que queda es determinar
    que rayos es lambda 1,
  94. y que rayos es Z.
  95. Y lo que vamos a hacer es ajustar,
    vamos a determinar
  96. el valor al que se tiene que ajustar
    lambda1
  97. para poder satisfacer el valor
    particular de la restricción
  98. y este valor particular de la restricción,
  99. Entonces, conocemos
    la forma funcional de la distribución,
  100. y ahora solo tenemos que determinar
    los parámetros de la función.
  101. Y habrá dos parámetros.
  102. Así que lo primero que
    sabemos es, por supuesto,
  103. que la probabilidad esta normalizada,
    y esos significa que efectivamente
  104. ¿Ok?
  105. Insertando esta forma funcional, y así,
    ahora, ya, podemos solucionar Z
  106. en términos de lambda1. Así que, eliminar
    la primera variable de aquí Z, es fácil.
  107. Podemos hacer Z igual a la suma de i a
    infinito, e a al valor negativo lambda 1 i
  108. ¿Ok? Entonces, ya hemos
    eliminado una variable,
  109. y ahora, todo lo que tenemos que hacer es
    resolver para las otras restricciones,
  110. ¿Ok? En particular,
    Solo déjeme escribir esto aquí.
  111. En particular, tenemos la suma de i de 0 a
    infinito por e a la menos lambda1 i
  112. i, todo sobre Z, tiene que ser igual a 4.