[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.00,0:00:03.00,Default,,0000,0000,0000,,Você já viu várias definições de tokens,
Dialogue: 0,0:00:03.00,0:00:05.00,Default,,0000,0000,0000,,uma para palavras, outra para strings.
Dialogue: 0,0:00:05.00,0:00:10.00,Default,,0000,0000,0000,,Um analisador léxico ou lexer,
Dialogue: 0,0:00:10.00,0:00:13.00,Default,,0000,0000,0000,,é simplesmente uma colação desses tokens.
Dialogue: 0,0:00:13.00,0:00:16.00,Default,,0000,0000,0000,,Você me diz o que é uma palavra, um string,
Dialogue: 0,0:00:16.00,0:00:18.00,Default,,0000,0000,0000,,um número, espaços em branco ...
Dialogue: 0,0:00:18.00,0:00:21.00,Default,,0000,0000,0000,,Você junta isso tudo, e o resultado é um lexer --
Dialogue: 0,0:00:21.00,0:00:25.00,Default,,0000,0000,0000,,algo que separa um string em exatamente
Dialogue: 0,0:00:25.00,0:00:29.00,Default,,0000,0000,0000,,as definições de tokens que você forneceu para ele.
Dialogue: 0,0:00:29.00,0:00:33.00,Default,,0000,0000,0000,,Por exemplo, uma vez que colocamos estas 3 regras juntas,
Dialogue: 0,0:00:33.00,0:00:37.00,Default,,0000,0000,0000,,elas se tornam um lexer, ou analisador léxico.
Dialogue: 0,0:00:37.00,0:00:40.00,Default,,0000,0000,0000,,De fato, suponha que passamos para esse analisador léxico
Dialogue: 0,0:00:40.00,0:00:46.00,Default,,0000,0000,0000,,o string de entrada "33 is less than 55".
Dialogue: 0,0:00:46.00,0:00:50.00,Default,,0000,0000,0000,,Oh, diga-me quais dessas
Dialogue: 0,0:00:50.00,0:00:54.00,Default,,0000,0000,0000,,sequências de tokens pode resultar como saída.
Dialogue: 0,0:00:54.00,0:00:57.00,Default,,0000,0000,0000,,Neste teste de múltipla escolha,
Dialogue: 0,0:00:57.00,0:01:01.00,Default,,0000,0000,0000,,indique qual destas 3 possíveis saídas
Dialogue: 0,0:01:01.00,0:01:05.00,Default,,0000,0000,0000,,poderia corresponder aos valores dos tokens
Dialogue: 0,0:01:05.00,0:01:08.00,Default,,0000,0000,0000,,extraídos deste string de entrada, usando estas regras.
Dialogue: 0,0:01:08.00,9:59:59.99,Default,,0000,0000,0000,,Vamos juntar isso tudo.