Showing Revision 1 created 06/07/2014 by Arturo Sanz.

1. Title:
   22-36 Urank
2. Description:

3. 300 0:00 - 0:02
   El objetivo para el resto de este unidad
4. 2110 0:02 - 0:05
   es modificar nuestro código del motor de búsqueda para implementar
5. 4910 0:05 - 0:09
   el algoritmo PageRank. Tenemos solo un pequeño problema. PageRank
6. 9450 0:09 - 0:12
   es una marca registrada de Google. Así que no vamos
7. 12340 0:12 - 0:15
   a llamar a nuestro algoritmo PageRank, incluso aunque haga
8. 15110 0:15 - 0:20
   lo mismo. Lo llamaremos URank. Lo primero
9. 20340 0:20 - 0:22
   que tenemos que ser capaces de hacer, para implementar
10. 21860 0:22 - 0:25
    este algoritmo de clasificación, es realizar un seguimiento del grafo de enlaces.
11. 26190 0:26 - 0:32
    de manera que el grado de popularidad de nuestras páginas dependa de la estructura del enlace. Esto significa que necesitamos
12. 31500 0:32 - 0:38
    realizar el seguimiento de qué páginas enlazan a qué páginas. Así que, por cada enlace, hay
13. 37620 0:38 - 0:41
    una conexión entre páginas y podemos imaginar
14. 40610 0:41 - 0:43
    eso como un grafo. En abstracto, un grafo
15. 43410 0:43 - 0:45
    es justo un conjunto de nodos, los cuales representaremos
16. 45020 0:45 - 0:48
    como círculos, con conexiones entre los nodos.
17. 49930 0:50 - 0:53
    Y como nuestras conexiones van en una dirección, como
18. 53150 0:53 - 0:55
    los enlaces de una página, lo llamaremos un grafo dirigido.
19. 55350 0:55 - 0:59
    Así que para representar nuestra estructura de enlace web
20. 59170 0:59 - 1:03
    necesitamos construir el grafo dirigido. Las páginas
21. 63150 1:03 - 1:06
    en el grafo son los nodos. Por cada página,
22. 65910 1:06 - 1:09
    necesitamos realizar el seguimiento de las conexiones que unen
23. 68850 1:09 - 1:11
    ese nodo con los otros nodos. Y así, la forma
24. 71090 1:11 - 1:15
    en la que lo vamos a hacer es manteniendo un diccionario.
25. 76330 1:16 - 1:19
    Así que vamos a tener un diccionario donde las entradas
26. 78700 1:19 - 1:21
    en el diccionario son los nodos, que son las URLs,
27. 81200 1:21 - 1:25
    es decir, las páginas. Y por cada URL, tendremos una
28. 85190 1:25 - 1:27
    lista de todas las páginas con las que esta enlaza. Así que
29. 87440 1:27 - 1:31
    si se trata de decir el nodo A, y estos fueran los nodos
30. 91430 1:31 - 1:34
    B, C, y D, nuestra entrada para el nodo A contendría
31. 93990 1:34 - 1:38
    la lista B, C, D. Y nuestra entrada para
32. 97750 1:38 - 1:41
    el nodo B, bien, no hay conexiones saliendo de B,
33. 101380 1:41 - 1:48
    así que sería una lista vacía. Y para terminar el ejemplo, C tiene un enlace de salida a
34. 107690 1:48 - 1:53
    un nodo, y D no tiene enlaces de salida. Así
35. 112560 1:53 - 1:54
    que ese es nuestro objetivo. Queremos construir una estructura
36. 114480 1:54 - 1:57
    como esta que muestra la estructura de las
37. 117100 1:57 - 2:00
    páginas web que procesamos, y vemos esa estructura
38. 119840 2:00 - 2:04
    porque estamos siguiendo los enlaces en nuestro proceso. Así
39. 123530 2:04 - 2:07
    que nuestro objetivo es modificar el procedimiento del proceso de seguimiento
40. 126830 2:07 - 2:10
    que definimos al final de la Unidad Cinco. Y para
41. 130139 2:10 - 2:14
    modificarlo de manera que en vez de generar solamente un índice,
42. 133940 2:14 - 2:17
    también genera un grafo. Así que vamos a modificar el proceso.
43. 137340 2:17 - 2:21
    Va a seguir tomando una página inicial para comenzar. Pero lo que
44. 140730 2:21 - 2:24
    va a generar ahora son dos cosas, un índice y un
45. 143560 2:24 - 2:27
    grafo. Y el grafo es una estructura que nos proporciona un esquema
46. 146960 2:27 - 2:30
    de cada nodo con las páginas con las que enlaza.
47. 149960 2:30 - 2:32
    vamos a mirar el código que teníamos al final de
48. 151690 2:32 - 2:35
    la Unidad Cinco y veamos como cambiarlo. Así que
49. 154900 2:35 - 2:38
    aquí está el código, que teníamos al final de la Unidad Cinco,
50. 157820 2:38 - 2:41
    para procesar la web. Y como recordatorio, vamos a realizar el seguimiento de
51. 161370 2:41 - 2:44
    las páginas pendientes de procesar en la lista empezando con
52. 164370 2:44 - 2:47
    la página inicial, y vamos a ir construyendo el índice como un
53. 166740 2:47 - 2:50
    diccionario. Y mientras haya páginas pendientes de procesar,
54. 169910 2:50 - 2:54
    iremos por el bucle Y, que encuentra la página a procesar,
55. 173740 2:54 - 2:57
    extrayendo la lista de páginas a procesar. Siempre que
56. 176590 2:57 - 2:59
    no la hayamos procesado antes, se extrae el contenido de esa
57. 179060 2:59 - 3:02
    página. La añade al índice. Encuentra todos los
58. 181640 3:02 - 3:05
    enlaces, utilizando "getalllinks", pasando el contenido de la página y
59. 185400 3:05 - 3:09
    agrupando aquellas con "tocrawl" para actualizar la lista "tocrawl" y luego
60. 188660 3:09 - 3:11
    añade esta página a la lista de páginas que
61. 190830 3:11 - 3:15
    ya han sido procesadas. Así que para cambiar esto para crear el grafo,
62. 195130 3:15 - 3:18
    vamos a mantener intacto la mayor parte del código. Además de
63. 198070 3:18 - 3:22
    generar solo el índice, vamos a generar la gráfica. Y el
64. 201610 3:22 - 3:24
    grafo va a ser también un diccionario. Y la razón de que el
65. 204180 3:24 - 3:27
    grafo sea un diccionario es que el esquema de los nodos, que
66. 206990 3:27 - 3:30
    son URLs a la lista de conexiones que salen de
67. 210300 3:30 - 3:35
    ese nodo. Así que crearemos el grafo como un diccionario vacío.
68. 214690 3:35 - 3:37
    Y a medida que encontramos nuevas páginas, vamos a añadirlas
69. 216630 3:37 - 3:40
    al grafo. Y vamos a cambiar la devolución para devolver
70. 219980 3:40 - 3:44
    ambos, el índice y el grafo. Voy a hacer un cambio
71. 223500 3:44 - 3:47
    más antes de poner el "quiz". Y el cambio que
72. 226640 3:47 - 3:50
    voy a hacer es, en vez de llamar a "getalllinks" aquí,
73. 229840 3:50 - 3:54
    ya que ambos, la construcción del grafo y la lista "tocrawl" dependen
74. 233550 3:54 - 3:56
    de conocer todos los enlaces, vamos a crear una
75. 236110 3:56 - 4:00
    nueva variable. Y asignaremos el resultado de "getalllinks" a
76. 239710 4:00 - 4:03
    esa variable. Eso significa que podemos usar esos enlaces
77. 242970 4:03 - 4:06
    como parámetro de entrada. Pero podemos usarlos
78. 245990 4:06 - 4:10
    para construir el grafo. Y voy a dejar
79. 250110 4:10 - 4:12
    la línea que necesito para construir el grafo para
80. 251920 4:12 - 4:15
    que tu la completes. Así que vamos a hacer que ese sea el "quiz" para terminar
81. 254650 4:15 - 4:18
    este código. Escribe la línea que necesitamos para actualizar el grafo.