1 00:00:00,000 --> 00:00:05,561 Oi, bem-vindo de volta. Nesta palestra, quero falar um pouco mais sobre como usar 2 00:00:05,561 --> 00:00:09,374 modelos para ajudar a torná-lo o cidadão mais inteligente do mundo. E assim, 3 00:00:09,374 --> 00:00:13,417 [inaudível]. Decompô-lo em um monte de conjuntos de Sub-razões sobre o porquê de modelos 4 00:00:13,417 --> 00:00:17,352 fazer melhor capaz de envolver-se em todas as coisas que estão acontecendo no moderno, 5 00:00:17,352 --> 00:00:20,903 complexo mundo em que vivemos. OK, então. Quando pensamos sobre modelos, eles são 6 00:00:20,903 --> 00:00:24,550 simplificações. Eles são abstrações. Assim, em certo sentido, há um sentido em que 7 00:00:24,550 --> 00:00:28,389 eles estão errados. Há uma famosa citação de George Box, onde ele diz, "todos os modelos são 8 00:00:28,389 --> 00:00:32,084 errados." E isso é verdade, certo? Eles são. "Mas alguns são úteis." E que vai ser 9 00:00:32,084 --> 00:00:35,539 um mantra que surge ao longo deste curso. Estes modelos vão ser 10 00:00:35,539 --> 00:00:38,946 abstrações, eles vão ser simplificações, mas eles serão úteis para 11 00:00:38,946 --> 00:00:42,468 nos. Eles vão ajudar-nos a fazer coisas de forma melhor. oKay? Então. Em um, em um sentido, 12 00:00:42,468 --> 00:00:46,158 certo? E este é um, uma coisa grande neste curso. Modelos são a nova língua franca. 13 00:00:46,158 --> 00:00:49,618 Eles são a linguagem não só da Academia, você sabe, que eu falei sobre 14 00:00:49,618 --> 00:00:53,447 alguns na última aula, mas eles são a linguagem dos negócios. Eles são a língua 15 00:00:53,447 --> 00:00:57,046 da política. Eles são a linguagem do mundo sem fins lucrativos. Onde quer que vá, onde 16 00:00:57,046 --> 00:01:00,782 há pessoas tentando fazer o bem, ganhar dinheiro, curar doença, seja o que for que 17 00:01:00,782 --> 00:01:04,335 eles querem fazer, certo? Você vai achar que as pessoas estão usando modelos para permitir 18 00:01:04,335 --> 00:01:08,071 eles sejam melhor qual a finalidade deles é. Tudo bem? É por isso que eles realmente se tornaram 19 00:01:08,071 --> 00:01:11,716 a nova língua franca. Então, se você olhar para trás. Lembre-se, eu falei sobre isso na 20 00:01:11,716 --> 00:01:15,453 primeira palestra. A idéia de ter um movimento de grandes livros era que não havia 21 00:01:15,453 --> 00:01:19,639 Estes. Conjunto de idéias que qualquer pessoa deve saber. Assim dentro do cem e tão grande 22 00:01:19,639 --> 00:01:23,497 livros, lá estavam milhares de idéias. E um dos nossos alunos de ad, Robert Hush 23 00:01:23,497 --> 00:01:27,354 Presidente, ele vive em Chicago. Eles tinham essa coisa, e eles foram chamados a 24 00:01:27,354 --> 00:01:31,264 Tropicana foi uma lista, certo, tinha lookers juntos. Este foi o tipo de lista de 25 00:01:31,264 --> 00:01:35,430 curta de todas as idéias que alguém deveria saber, que uma pessoa inteligente deve 26 00:01:35,430 --> 00:01:39,442 saber. Então, quais são essas idéias? Então uma dessas idéias foi a amarrar-se no 27 00:01:39,442 --> 00:01:43,506 mastro. E isso vem da RSC, você sabe, isso diz que o navio vai passado as 28 00:01:43,506 --> 00:01:47,672 sereias e ele quer ouvir nas sereias belas canções de amor. Assim que ele faz ele é 29 00:01:47,672 --> 00:01:51,873 tem sua tripulação amarrá-lo no mastro. Ele amarra. Vincula-se ao mastro para que ele possa ouvir 30 00:01:51,873 --> 00:01:56,109 para elas, mas deverás para não dirigir seu barco sobre ouvir as sirenes, ao mesmo 31 00:01:56,109 --> 00:01:59,784 tempo, que ele coloca a cera nos ouvidos da sua tripulação para que eles também não vai ser, você sabe, 32 00:01:59,784 --> 00:02:04,071 incentivados a espécie de conduzir o barco lá. Bem, esta é uma idéia que se repete na 33 00:02:04,071 --> 00:02:08,182 historia quando pensamos sobre. Cortez queimou seus navios, certo, então seus homens não 34 00:02:08,182 --> 00:02:12,541 você sabe o retiro, they ll continuou a avançar. Então essa idéia de amarrar-se a 35 00:02:12,541 --> 00:02:16,253 matemática, é uma coisa real que vale a pena. Mas aqui está o problema. Um dos, um dos meus 36 00:02:16,253 --> 00:02:19,957 sites favoritos é um site chamado Oficina de Provérbios. Assim por diante este Web site, 37 00:02:19,957 --> 00:02:23,949 Ele diz coisas como aquele que hesita e é perdido, um ponto no tempo salva um olho, ou 38 00:02:23,949 --> 00:02:27,700 duas cabeças pensam melhor que uma, cozinheiros demais estragam o caldo. Então você tem que 39 00:02:27,700 --> 00:02:31,591 ouvir este conselho realmente bom, algo que provavelmente fez em synthecon, 40 00:02:31,596 --> 00:02:35,148 mas depois você começa algo que diz exatamente o oposto. Bem, como é que eles 41 00:02:35,148 --> 00:02:39,340 decidem entre essas duas coisas? A maneira que podemos decidir entre essas duas coisas 42 00:02:39,340 --> 00:02:43,532 é construindo modelos, porque modelos dará-nos condições em que ele que 43 00:02:43,532 --> 00:02:47,522 hesita está perdido, e depois há as condições sob as quais a stitch in time 44 00:02:47,522 --> 00:02:51,613 salva nove. Então, quando nós falamos sobre a grande diversidade e previsão, vamos ver por que 45 00:02:51,613 --> 00:02:55,654 é o caso de que duas cabeças é melhor do que um, e vamos ver por que é o caso 46 00:02:55,654 --> 00:02:59,694 que cozinheiros demais estragam o caldo. Assim, ironicamente, o que fazem modelos é que eles empate nos 47 00:02:59,694 --> 00:03:03,684 para um mastro, eles nos amarrar um mastro de lógica e amarrando nós para um mastro de lógica, nós 48 00:03:03,684 --> 00:03:08,652 descobrir de que maneiras de pensar, quais idéias neste são úteis para nós.'K? Assim, se 49 00:03:08,652 --> 00:03:13,116 você olha para qualquer disciplina, se sua economia, e aqui o que você vê em 50 00:03:13,116 --> 00:03:17,634 Neste diagrama, é você ver uma descrição do tipo de, isto é, uma função de utilitário para 51 00:03:17,634 --> 00:03:21,878 um agente. E o que o agente está fazendo tentando maximizar sua pagar, certo? 52 00:03:21,878 --> 00:03:25,900 Assim, os economistas usam modelos o tempo todo. Os biólogos utilizam modelos, também. Eles, 53 00:03:25,900 --> 00:03:30,143 você sabe, têm, você sabe, modelos do cérebro, onde eles têm axônios pouco 54 00:03:30,143 --> 00:03:34,331 e dendritos, passando entre os neurônios. Eles têm modelos de gene regulador 55 00:03:34,331 --> 00:03:38,464 redes. Eles têm espécies de modelos, certas? Coisas assim. Sociologia, temos 56 00:03:38,464 --> 00:03:42,611 modelos, também, certo? Assim, há modelos de, tipo de. Como os efeitos de suas identidade 57 00:03:42,611 --> 00:03:46,411 suas ações e seus comportamentos e coisas assim. Bem, na política 58 00:03:46,411 --> 00:03:50,186 ciência. Temos modelos. Ciência política nos dias de hoje, este é um retrato de um espacial 59 00:03:50,186 --> 00:03:53,934 modelo de votação. Assim que eles poderiam dizer os candidatos são um pouco mais conservadoras em determinados 60 00:03:53,934 --> 00:03:57,280 dimensões e os eleitores são um pouco mais conservadoras e você diz que, também, 61 00:03:57,280 --> 00:04:00,983 você é mais provável votar em um candidato que assume posições semelhantes a mesmo. 62 00:04:00,983 --> 00:04:04,508 Portanto, meu trabalho na Universidade de Michigan, temos algo chamado nacional 63 00:04:04,508 --> 00:04:08,032 Estudos de eleição que é executado fora de lá, onde podemos classificar de reunir todos os dados 64 00:04:08,032 --> 00:04:11,423 sobre onde políticos são e onde são os eleitores, e que nos permite fazer 65 00:04:11,423 --> 00:04:15,184 sentido de quem votou em quem e por quê. Tudo bem? Então modelos de nos ajudam a compreender as decisões 66 00:04:15,184 --> 00:04:18,550 as pessoas fazem. Lingüística, certa? Aqui é uma outra área, certo? Então você poderia pensar, 67 00:04:18,550 --> 00:04:21,871 como você pode usar modelos em lingüística? Bem, este modelo pouco aqui, você vê 68 00:04:21,871 --> 00:04:25,685 coisas onde você diz ver v's e n e p aqui, se você olhar de perto. Bem, v 69 00:04:25,685 --> 00:04:29,006 Carrinhos para verbo, n representa o substantivo, e também você tem que. E s significa, você 70 00:04:29,006 --> 00:04:32,238 saber, sujeito, digamos, certo? Assim que você pode fazer isso: você pode perguntar "qual é o 71 00:04:32,238 --> 00:04:35,693 estrutura de uma língua?" Você pode perguntar, formalmente e matematicamente, o que o 72 00:04:35,693 --> 00:04:39,014 estrutura de uma língua é, e se algumas línguas são mais como os outros 73 00:04:39,014 --> 00:04:42,560 línguas ou não, dependendo de como as pessoas, você sabe, configurar suas sentenças. Assim, em 74 00:04:42,560 --> 00:04:46,001 Alemão, onde eles podem colocar todos os adjetivos. No final da frase 75 00:04:46,001 --> 00:04:50,132 que parece muito diferente do que vamos dizem Inglês. Está bem. Mesmo a lei. Este é 76 00:04:50,132 --> 00:04:54,138 um gráfico de um dos meus alunos de pós-graduação, antigo aluno de pós-graduação. Agora, ele é uma lei 77 00:04:54,138 --> 00:04:58,194 professor, Dan Katz. Onde ele tem a sorte de um modelo de rede de que Supremo Tribunal 78 00:04:58,194 --> 00:05:02,149 juízes, você sabe, que designam, assim que, se alguém nomeia juízes de algumas 79 00:05:02,149 --> 00:05:06,055 outro juiz. Colocando os dados que está lá fora neste tipo de modelo-baseado 80 00:05:06,055 --> 00:05:09,711 forma, podemos começar a entender como como liberais e certos 81 00:05:09,711 --> 00:05:13,817 são juízes. Está bem? Assim, há muitas maneiras de usar modelos e há mesmo todo 82 00:05:13,817 --> 00:05:17,622 disciplinas agora, que evoluíram, que são baseadas inteiramente em modelos. Então, jogo 83 00:05:17,622 --> 00:05:21,628 teoria, que é o que eu estava realmente treinados em como estudante graduado, é tudo sobre 84 00:05:21,628 --> 00:05:25,507 comportamento estratégico. Comportamento. É o estudo das interações estratégicas entre, 85 00:05:25,507 --> 00:05:29,525 você sabe, indivíduos, empresas, Nações. Direito? E também pode ser aplicada a teoria dos jogos 86 00:05:29,525 --> 00:05:33,494 a biologia, certa? Assim, há todos os tipos de coisas, certo? Quando você vai, quando você vai 87 00:05:33,494 --> 00:05:37,215 para, você sabe, faculdade, você vai para a faculdade, você vai encontrar o que é teoria dos jogos 88 00:05:37,215 --> 00:05:41,233 modelos de qualquer coisa. Direito? Por isso, é realmente um campo baseado inteiramente apenas 89 00:05:41,233 --> 00:05:45,631 em modelos. Direito? Por que, né? [rir] Por que todos esses modelos, né? Por que faz 90 00:05:45,631 --> 00:05:50,508 tudo da lingüística, a economia, você sabe, ciência política usar 91 00:05:50,508 --> 00:05:55,450 modelos? Bem, porque, eles estão melhores, certo? Eles são apenas melhores do que nós. Então, deixe- 92 00:05:55,450 --> 00:06:00,392 me mostrar um gráfico, aqui. Este é um gráfico de um livro de Phil Tetlock. É um 93 00:06:00,392 --> 00:06:05,919 livro fabuloso. E neste gráfico, ele, o que ele está mostrando é, ele está mostrando a precisão 94 00:06:05,919 --> 00:06:10,065 de, algum diferente, deixe-me puxar para cima um pin aqui. Diferentes maneiras de prever. Assim, 95 00:06:10,065 --> 00:06:13,512 o que você vê a este eixo, este eixo de calibração, aqui mesmo. Este é 96 00:06:13,512 --> 00:06:17,217 pergunta, espécie de como, mostrando-lhe quão preciso de um modelo de é. E este eixo é 97 00:06:17,217 --> 00:06:21,487 dizendo é como discriminar, em termos de como particular, como multa de previsões 98 00:06:21,487 --> 00:06:25,705 ele está fazendo. Assim, em vez de dizer é-lo quente ou frio, ele pode estar dizendo que vai 99 00:06:25,705 --> 00:06:29,410 ser de 90 graus, graus de 80 ou 70 graus. Então este eixo aqui, esse up e 100 00:06:29,410 --> 00:06:32,908 para baixo do eixo, é discriminatoriness, discriminação, e este eixo é como 101 00:06:32,908 --> 00:06:36,715 precisas. Então, o que você vê aqui, aqui, são ouriços. Assim, estas são as pessoas 102 00:06:36,715 --> 00:06:40,823 que usar um único modelo. Ouriços não são muito bons em prever. Direito? Eles são 103 00:06:40,823 --> 00:06:45,295 terrível na previsão. Aqui são as pessoas que ele chama de raposas. Agora, raposas são pessoas que 104 00:06:45,295 --> 00:06:49,713 Use lotes de modelos. Eles têm sorte de lotes de modelos soltos na sua cabeça. E, eles 105 00:06:49,713 --> 00:06:53,695 muito melhor, você sabe, tipo de em calibração, um pouco melhor a 106 00:06:53,695 --> 00:06:58,058 discriminação, de indivíduos. Mas o caminho até aqui, [rir] melhor do que ninguém, são 107 00:06:58,058 --> 00:07:02,312 modelos formais. Modelos formais apenas fazem melhor do que raposas ou ouriços. Agora 108 00:07:02,312 --> 00:07:06,457 [inaudível] a quantidade de dados é isso? Tetlock realmente tinha dezenas de milhares de 109 00:07:06,457 --> 00:07:10,565 previsões. Assim, durante um período de 20 anos, ele reuniu as previsões por pessoas. E 110 00:07:10,565 --> 00:07:15,154 em relação a como essas pessoas fizeram para modelos. E a resposta é modelos fazem muito, muito 111 00:07:15,154 --> 00:07:19,772 melhor. Tudo bem. Tudo bem, assim. As pessoas, então, que realmente fazer 112 00:07:19,772 --> 00:07:23,194 previsões para a vida? Por isso, esta é uma foto de Bruce Bueno de Mesquita, que 113 00:07:23,194 --> 00:07:26,616 faz previsões sobre o que vai acontecer nos relacionamentos [inaudíveis], e 114 00:07:26,616 --> 00:07:30,261 Ele é muito bom no que faz. Ele é tão bom nisso que eles colocaram sua foto na capa da 115 00:07:30,261 --> 00:07:33,816 revistas, certas? Ele é, Stanford e Universidade de Nova York. Presidente do departamento na NYU. Usado 116 00:07:33,816 --> 00:07:37,372 ser, de qualquer maneira. Assim, Bruce, usa modelos. Ele tem um modelo muito elaborado que ajuda 117 00:07:37,372 --> 00:07:40,483 ele descobrir, com base na posição de espécie de negociação e de interesse, o que 118 00:07:40,483 --> 00:07:43,594 diferentes países vão fazer. Mas, apenas como George Box disse na 119 00:07:43,594 --> 00:07:47,016 começando, ele não basear sua decisão inteiramente a esse modelo. Qual o modelo 120 00:07:47,016 --> 00:07:50,572 faz é lhe dá orientação sobre o que ele pensa depois. Assim, é uma mistura do que 121 00:07:50,572 --> 00:07:54,716 diz que o modelo formal, e. experiência lhes diz que pessoas tão inteligentes que 122 00:07:54,716 --> 00:07:59,984 Use modelos, mas os modelos não lhes dizem o que fazer. Tudo bem. Outro modelos de razão 123 00:07:59,984 --> 00:08:04,858 tomaram sim eles são melhores, mas eles também são muito férteis. Então, quando você 124 00:08:04,858 --> 00:08:08,621 Aprenda um modelo. É, você sabe, para um domínio, você pode aplicar para um monte de 125 00:08:08,621 --> 00:08:11,913 outros domínios, o que é fascinante. Então, vamos aprender que algo chamado 126 00:08:11,913 --> 00:08:15,657 marca-se processos, que são modelos sobre processos dinâmicos. Assim eles podem ser usados para 127 00:08:15,657 --> 00:08:19,220 modelo de coisas como a propagação da doença e coisas assim, certo? Vamos finalmente 128 00:08:19,220 --> 00:08:22,783 Embora saiba que você também pode usá-los, isto é sorta surpreendente, para descobrir 129 00:08:22,783 --> 00:08:26,715 quem escreveu um livro. >> [rir] E eles dizem que, como isso acontece? Bem, isso acontece 130 00:08:26,715 --> 00:08:30,433 porque você pode pensar em palavras, escrever uma frase, como um processo anêmico. Assim 131 00:08:30,433 --> 00:08:34,402 diferentes autores, direito, usam diferentes seqüências de palavras. Diferentes padrões. Assim 132 00:08:34,402 --> 00:08:38,521 Portanto, podemos usar este modelo matemático que não foi desenvolvido de forma alguma para 133 00:08:38,521 --> 00:08:42,290 Esta finalidade descobrir quem escreveu o livro, OK? Totalmente legal. Está bem. 134 00:08:42,290 --> 00:08:46,543 Outro grande motivo. Modelos fazem-nos realmente humilde. A razão que eles nos fazem humilde é 135 00:08:46,543 --> 00:08:50,744 Nós apenas temos que colocar para fora o tipo de toda a lógica e, em seguida, percebemos a vaca sagrada, eu tinha 136 00:08:50,744 --> 00:08:54,635 nenhuma idéia que isso ia acontecer, né. Muitas vezes, quando nós construímos a 137 00:08:54,635 --> 00:08:58,784 modelo, nós estamos indo para obter previsões muito diferentes do que o que pensávamos antes, 138 00:08:58,784 --> 00:09:02,934 direito. Então, se você olhar para as coisas, aqui está uma foto de um, o gráfico de tulipa, certo, de 139 00:09:03,090 --> 00:09:06,368 Quando há um grande, em seis-, do século XVII, quando há uma, você 140 00:09:06,368 --> 00:09:09,974 sabe, este grande aumento de preços de tulip. Você pode imaginar que o povo pensava que 141 00:09:09,974 --> 00:09:13,814 os preços foram vai continuar a ir acima e cima e para cima. Bem, se você tivesse um simples linear 142 00:09:13,814 --> 00:09:17,514 modelo, você pode ter investido pesadamente em tulipas e perdeu muito dinheiro. Assim, uma 143 00:09:17,514 --> 00:09:21,167 razão que modelos nos fazem humildes é, nunca mais voltar para o código da caixa de George. Todos os 144 00:09:21,167 --> 00:09:24,633 modelos são errados, certo? Assim, um modelo vai ser errado. Mas os modelos são 145 00:09:24,633 --> 00:09:28,239 humilhante para nós, porque eles ordenam de fazer-nos ver a dimensionalidade completa de um 146 00:09:28,239 --> 00:09:31,985 problema. Assim, uma vez que podemos tentar e escrever para baixo um modelo de qualquer tipo de sistema, tem um muito 147 00:09:31,985 --> 00:09:35,685 humilhando o exercício, porque percebemos o quanto temos tem que deixar de fora a tentar e 148 00:09:35,685 --> 00:09:39,190 Entenda o que está acontecendo. Está bem. Aqui está outro exemplo, certo? Este é o 149 00:09:39,190 --> 00:09:42,748 Case-Shiller Home Price Index, e o que você vê, você vê os preços subindo e acima 150 00:09:42,748 --> 00:09:46,262 um up, certo? E, em seguida, você vê isso, deixe-me colocar um pino aqui, queda precipitada 151 00:09:46,262 --> 00:09:49,557 aqui, certo? Muita gente tinha modelos que disse, olha, as coisas são 152 00:09:49,557 --> 00:09:53,247 vai para continuar dessa forma. Havia algumas pessoas que tinham modelos que disse que as coisas vão 153 00:09:53,247 --> 00:09:56,761 para baixo. Essas pessoas, aqueles cujos modelos desceu, eles fizeram um dinheiro de lotta. Estas 154 00:09:56,761 --> 00:10:00,099 as pessoas pensavam que ele estava indo para ir para cima, não. Assim, nós sempre vamos ver um monte de 155 00:10:00,099 --> 00:10:03,614 diversidade em modelos e você realmente não vai saber, muitas vezes até após o fato, 156 00:10:03,614 --> 00:10:06,908 qual é o certo. E, portanto, uma coisa que vai ser realmente importante para 157 00:10:06,908 --> 00:10:10,159 tenho muitos modelos. Então, vamos voltar para esse grafite fox-ouriço que nós, eu 158 00:10:10,159 --> 00:10:14,220 mostrei-lhe antes. As, as raposas, as pessoas com muitos modelos, fizeram muito 159 00:10:14,220 --> 00:10:19,127 melhor do que os ouriços, as pessoas não modelos. E modelos antigos fizeram melhor 160 00:10:19,127 --> 00:10:22,438 do que. As raposas. Bem, o que faria melhor do que modelos formais? Bem, pessoas 161 00:10:22,438 --> 00:10:26,076 com lotes de modelos formais. Direito? Então, se nós realmente queremos fazer sentido do mundo 162 00:10:26,076 --> 00:10:29,759 o que queremos fazer é ter muitos modelos formais em nossas divulgações. Então, o que nós estamos 163 00:10:29,759 --> 00:10:33,397 vai fazer nesta classe é quase como, lembrar o antigo, como, dezesseis anos, 32 caixa de 164 00:10:33,397 --> 00:10:37,079 Crayolas? Esse é o tipo de que estamos fazendo aqui. Direito? Vamos apenas para pegar um 165 00:10:37,079 --> 00:10:40,627 monte de modelos. E nós vamos tê-los, certo, que eles são férteis. Nós estamos 166 00:10:40,627 --> 00:10:44,265 indo a trama por um monte de configurações. Então, quando nós estamos confrontados com algo 167 00:10:44,265 --> 00:10:47,947 o que podemos fazer é puxar os nossos modelos. Pergunte quais são apropriadas e fazendo 168 00:10:47,947 --> 00:10:51,772 Assim, mesmo, ser melhor no que fazemos. Assim a essência do livro do Tetlocks, certo? Isto é 169 00:10:51,772 --> 00:10:55,959 onde o gráfico que vieram com as raposas e ouriços é que, as únicas pessoas que 170 00:10:55,959 --> 00:10:59,847 são realmente ainda melhor do que ele. Ele tem uma forma de classificar um aleatório 171 00:10:59,847 --> 00:11:03,834 escolha seria. As únicas pessoas que são melhores do que o aleatório na previsão de que a 172 00:11:03,834 --> 00:11:07,971 vai acontecer é as pessoas que usam vários modelos. E esse é o tipo de pessoas que 173 00:11:07,971 --> 00:11:12,325 Nós queremos ser. OK, assim que a classificação do cidadão grande, Inteligente do mundo 174 00:11:12,325 --> 00:11:16,556 lógica, certa. Há, modelos, são incrivelmente fértil, fazem-nos humildes, 175 00:11:16,556 --> 00:11:21,088 Eles ajudam, você sabe, realmente, esclarecer a lógica, e eles são apenas melhor. Tudo bem? Assim 176 00:11:21,088 --> 00:11:25,459 Se você quer estar lá fora, você sabe, ajudando a mudar o mundo em útil 177 00:11:25,459 --> 00:11:30,251 formas, é realmente, realmente útil para ter alguma compreensão de modelos. Obrigado 178 00:11:30,251 --> 00:11:30,912 Muito.