Showing Revision 2 created 08/01/2014 by Fran Ontanaya.

1. Title:
   04-11 Finire il The Web Crawler
2. Description:

   dummy description

3. 0 0:00 - 0:04
   Ricordiamo il codice che avevamo alla fine della lezione 2 per attraversare il web
4. 4000 0:04 - 0:09
   Abbiamo usato 2 variabili. Abbiamo inizializzato "tocrawl" con la pagina seme, una lista che contiene solo la pagina seme
5. 9000 0:09 - 0:12
   ed useremo "tocrawl" per tenere traccia delle pagine da attraversare
6. 12000 0:12 - 0:19
   Abbiamo inizializzato "crawled" come lista vuota, e terremo traccia delle pagine trovate usando "crawled"
7. 19000 0:19 - 0:23
   Poi avevamo un ciclo che continuava fino a che rimanevano pagine da attraversare
8. 23000 0:23 - 0:25
   Estraevamo l'ultima pagina dalla lista "tocrawl"
9. 25000 0:25 - 0:32
   Se non era già stata attraversata, tramite "union" avremo aggiunto a "tocrawl" tutti i collegamenti che potevamo trovare su quella pagina
10. 32000 0:32 - 0:36
    poi avremmo aggiunto quella pagina alla lista di pagine già attraversate
11. 36000 0:36 - 0:41
    Ora vogliamo trovare un modo per modificare ciò così che, invece che cercare solo tutti gli URL
12. 41000 0:41 - 0:42
    costruiremo anche il nostro indice
13. 42000 0:42 - 0:46
    Cercheremo nell'effettivo contenuto delle pagine, e lo aggiungeremo al nostro indice
14. 46000 0:46 - 0:52
    Quindi il primo cambiamento da fare è l'aggiornamento dell'indice, e la modiifica del risultato da ritornare.
15. 52000 0:52 - 0:56
    Invece che ritornare "crawled", quello che vogliamo ritornare alla fine è l'indice
16. 56000 0:56 - 1:02
    "Se volessimo tenere traccia di tutti gli URL attraversati, potremmo ancora ritornare "crawled" ed "index"
17. 62000 1:02 - 1:05
    ma non complichiamo le cose e ritorniamo semplicemente "index"
18. 65000 1:05 - 1:09
    Che è quello che veramente ci serve per essere in grado di rispondere alle interrogazioni di ricerca
19. 69000 1:09 - 1:12
    Quindi abbiamo un altro cambiamento da fare, e questo è importante
20. 72000 1:12 - 1:19
    Dobbiamo trovare un modo di aggiornare l'indice in modo da riflettere tutte le parole che sono state trovate nella pagina che abbiamo appena attraversato
21. 79000 1:19 - 1:22
    Prima di fare questo andrò a fare una modifica
22. 82000 1:22 - 1:28
    Visto che "getalllinks" e quello che dobbiamo fare per aggiungere le parole all'indice dipende dalla pagina
23. 88000 1:28 - 1:33
    introduciamo una nuova variabile nella quale conserviamo il contenuto della pagina
24. 93000 1:33 - 1:37
    Questo ci risparmierà dal dover chiamare "get_page" due volte. "get_page" è molto costosa
25. 97000 1:37 - 1:40
    Occore una richiesta web per ottenere il contenuto della pagina
26. 100000 1:40 - 1:45
    E' molto più sensato conservarlo in una nuova variabilie, ed il codice risulterà semplificato.
27. 105000 1:45 - 1:48
    Ora dobbiamo solo passare il contenuto
28. 108000 1:48 - 1:51
    Quindi abbiamo una istruzione mancante
29. 111000 1:51 - 1:56
    e lascierò a voi cercare di scoprire l'istruzione che ci serve qui per finire il web crawler
30. 116000 1:56 - 1:59
    Alla fine, il risultato di "crawl_web", quello che ritorniamo come indice
31. 119000 1:59 - 2:02
    dovrebbe essere un indice di tutto il contenuto che abbiamo trovato a partire dalla pagina seme