cdn.media.ccc.de/.../wikidatacon2019-14-eng-Keynote_Why_is_collecting_lexical_data_one_of_the_best_ways_we_can_help_support_underserved_and_endangered_languages_hd.mp4

Existem aproximadamente 7.500 línguas

a serem faladas no planeta hoje.

Destas, estima-se

que cerca de 70%
estão em risco de não sobreviver

até ao fim do século XXI.

Sempre que uma língua morre,

é como cortar uma ligação

que durou centenas ou milhares de anos,

com cultura, com história,

tradições, e conhecimento.

O linguista Kenneth Hale disse uma vez

que toda vez que uma língua morre,

é como lançar uma bomba atómica no Louvre.

A pergunta é,

por que é que as línguas morrem?

Talvez a resposta mais simples seja

que alguém possa imaginar
governos autoritários

a impedir que as pessoas
falassem o idioma nativo,

crianças a ser punidas
por falarem a sua língua na escola,

ou o governo a fechar estações de rádio

do idioma da minoria.

Isso aconteceu definitivamente no passado,

e ainda acontece hoje, de certo modo.

Mas a resposta honesta

é que na maioria dos casos
de extinção de uma língua,

é uma muito mais simples

e facílima resposta.

As línguas acabam extintas

porque não são passadas

de uma geração para a outra.

Cada vez que uma pessoa que fala

uma língua minoritária tem um filho,

passa por um dilema.

As pessoas perguntam-se:

"Será que ensino
a minha língua para o meu filho,

ou ensino-lhe a língua da maioria?"

Essencialmente, essa é a ideia

que lhes passa pela cabeça.

Em que, por um lado,

cada vez que nas suas vidas

que tiveram a oportunidade
de usar a língua nativa

para comunicação,
para aceder a cultura tradicional,

uma pedra é colocada no lado esquerdo.

E cada vez que se encontram

incapacitados de usarem a língua nativa,

e tiveram de se relegar
à língua da maioria,

uma pedra é colocada no lado direito.

Agora, pela força e pela dignidade

de ser capaz de falar a língua materna,

as pedras do lado esquerdo
costumam ser mais pesadas.

Mas com pedras
suficientes no lado direito,

eventualmente a balança inverte

e quando uma pessoa toma a decisão

de ensinar a sua língua,

eles veem a própria linguagem

mais como um fardo do que uma benção.

A pergunta é, como revertemos isto?

Primeiro, precisamos pensar
sobre o facto de,

que para qualquer língua existente

existem esferas sociais
onde podem ser usadas.

Então, qualquer língua

que é uma língua materna falada hoje,

pode ser usada na família de alguém.

Um número menor de línguas
podem ser usadas dentro de uma comunidade,

um número ainda menor, talvez numa região,

e um pequeno punhado de línguas,

podem ser usados
na comunicação internacional.

E mesmo através destas esferas,

existe a pergunta se alguém
é capaz de usar a sua língua,

para propósitos
educacionais ou de negócio,

ou tecnológicos?

Então, para explicar melhor

o que estou a falar aqui,

vou usar uma anedota.

Vamos dizer que está prestes a ir

para as suas férias de sonho na Índia,

e tem uma escala
de oito horas em Istambul.

Agora, não estava necessariamente
a pensar em visitar a Turquia,

mas com a escala, e com seu amigo turco

a falar-lhe de um restaurante incrível,

que não é longe do aeroporto,

você diz: "Sabes, se calhar,
passo por lá durante a escala."

Então, sai do aeroporto,

vai até o restaurante,

entregam-lhe o menu,

e está todo em turco.

Agora, vamos supor, para este exemplo,

que não fala turco.

O que faz?

Bem, na melhor das hipóteses,

encontra alguém, talvez,
que fala a sua língua materna,

alemão, inglês, etc.

Mas vamos dizer
que não é o seu dia de sorte

e ninguém no restaurante
fala alemão ou inglês.

Então, o que faz?

Se for como eu,
e imagino que a maioria aqui seja,

provavelmente recorre
a uma solução tecnológica,

tradutor automático ou dicionário digital,

procura cada palavra individualmente,

e eventualmente faz o seu pedido
de uma refeição turca deliciosa.

Agora, vamos imaginar outro cenário:

você é o orador nativo
de uma língua minoritária.

Imaginemos, baixo sórbio.

Baixo sórbio é uma língua ameaçada

falada aqui na Alemanha,

a cerca de 130 quilómetros
a sudeste daqui,

e que é falada apenas por alguns
milhares de pessoas, a maioria idosos.

Imaginemos que
a sua língua materna é o baixo sórbio.

Chega ao restaurante.

Claro que, a probabilidade
de encontrar alguém

que fale a sua língua no restaurante
é extraordinariamente baixa.

Mas, de novo, pode simplesmente
recorrer a uma solução tecnológica.

Contudo, para a sua língua-mãe,

essas soluções tecnológicas não existem.

Precisaria depender do alemão ou do inglês

como sua língua auxiliar para o turco.

Claro que acaba por conseguir
a sua deliciosa refeição turca,

mas começa a pensar
no quão difícil isso seria

se você fosse o seu avô,
que não falava alemão de todo.

Isto é só uma pequena situação,

mas colocaria uma pedra
no lado direito da balança,

e faria-o talvez pensar

que quando tiver um filho
ou quando tiver outro filho,

o fardo que carregou
por ter passado por isto,

talvez não valha a pena
para manter a sua língua-mãe.

E imagine se fosse uma situação

de importância consideravelmente maior,

como, por exemplo, estar num hospital.

Neste ponto podemos ajudar...

por nós, quero dizer eu e você
nesta sala podemos ajudar.

Temos as ferramentas para ajudar com isto.

Se as ferramentas tecnológicas
estiverem disponíveis

a falantes de línguas
minoritárias e ignoradas,

colocamos um dedinho na balança,
no lado esquerdo da balança.

Alguém não precisa
necessariamente de pensar

que precisam de depender
de uma língua minoritária

para poderem interagir
com o mundo externo,

pois isso abre as esferas sociais

um pouco mais ainda.

Claro que, a solução ideal

é que tenhamos tradução automática
para todas as línguas a nível mundial.

Mas, infelizmente, isso não é fazível.

Tradução automática requer
grandes excertos de texto,

e para muitas destas línguas

ameaçadas ou sem muita informação,

esses dados não estão disponíveis.

Alguns nem são frequentemente escritos,

por isso conseguir dados suficientes para
um sistema de tradução automática

é improvável.

Mas o que temos disponível
são dados léxicos.

Pelo trabalho de muitos linguistas

nas últimas centenas de anos,

dicionários e gramáticas foram produzidas

para a maioria das línguas do mundo.

Mas, infelizmente,
a maioria desses trabalhos

não está acessível
ou disponível para o mundo,

ainda mais para quem fala
estas línguas minoritárias.

E não é um processo intencional,

muitas vezes é simplesmente porque

a produção inicial
destes dicionários era pequena,

e as poucas cópias

estão a ganhar bolor numa biblioteca
de universidade algures.

Mas temos a habilidade
de reunir estes dados

e torná-los acessíveis ao mundo.

A Fundação Wikimedia
é uma das melhores organizações,

eu diria a melhor organização do mundo,

para reunir dados disponíveis

para a maioria da população deste planeta.

Então, vamos trabalhar nisso.

Para explicar um pouco

o que estivemos a fazer sobre isso,

gostaria de apresentar
a minha organização, a PanLex,

que é uma organização que almeja

reunir dados léxicos para este propósito.

Começámos há cerca de 12 anos

como um projeto de pesquisa
da Universidade de Washington.

A ideia por trás disto

era mostrar que as traduções inferidas

poderiam criar um dispositivo
de tradução eficiente,

essencialmente um dispositivo
de tradução léxica.

Este é um exemplo dos dados da PanLex.

Isto mostra como se traduz

da palavra "ev" em turco,
que significa casa,

para baixo sórbio,

a língua a que me referi antes.

É improvável encontrarmos

um dicionário de turco para baixo sórbio,

mas passando isto por muitas

e muitas línguas intermédias diferentes,

podemos criar traduções eficientes.

Uma vez que isto foi mostrado
nos projetos de pesquisa,

o fundador da PanLex, Dr. Jonathan Pool,

decidiu: "Por que não
fazer simplesmente isto?"

Fundou uma empresa sem fins lucrativos

para reunir o máximo de dados léxicos
possível, e torná-los acessíveis.

E é isso o que estamos a fazer há 12 anos.

Durante esse tempo, reunimos milhares
e milhares de dicionários,

extraímos os dados léxicos deles

e elaborámos uma base de dados
que permite inferir traduções léxicas

por entre qualquer...

A nossa contagem actual
é aproximadamente 5.500

das 7.500 línguas do mundo.

E, claro,

estamos sempre a tentar aumentar isto

e expandir os dados
de cada língua individual.

Então, a próxima pergunta é,

o que podemos fazer
para trabalharmos juntos nisso?

Nós, na PanLex, estamos
extremamente entusiasmados

em assistir ao desenvolvimento
de dados léxicos

em que a Wikidata trabalhou recentemente.

É fascinante ver organizações

que estão a trabalhar
em esferas muito similares,

mas em aspectos diferentes.

E estamos
extremamente entusiasmados em ver

os resultados disso da Wikidata.

E também esperamos
colaborar com a Wikidata.

Penso que as habilidades especiais

que desenvolvemos
durante os últimos 12 anos,

não só a reunir dados léxicos,
mas a elaborar bases de dados,

podem ser extremamente úteis
para a Wikidata.

E por outro lado, penso que...

Estou especialmente entusiasmado
pela a capacidade

da Wikidata
em fazer crowdsourcing de dados.

Na PanLex atualmente
as nossas fontes são inteiramente

provenientes de meios impressos
ou outros tipos,

mas não temos nada em crowdsourcing.

Não temos simplesmente
infraestrutura disponível para isso,

e claro, a Fundação Wikimedia

é referência mundial em crowdsourcing.

Eu espero realmente ver em como podemos

juntar estas habilidades.

Mas no geral, penso que
a ideia principal a retirar disto

é que enquanto estávamos
a trabalhar nestas coisas,

é minúcioso.

Estamos sentados à procura
de formas gramaticais,

ou a folhear dicionários,
dicionários antigos,

ou às vezes dicionários recém-publicados,

e a ver as formas escritas das palavras,

e parece tudo muito específico.

Mas ocasionalmente,
precisamos de nos lembrar

de dar um passo atrás

e mesmo que o que fazemos pareça

algo mundano por vezes,

este trabalho é extremamente importante.

Essa, na minha opinião, é a melhor maneira

de apoiarmos línguas ameaçadas

e garantirmos que a diversidade
linguística do planeta

seja preservada
até ao fim do século, ou além.

É inteiramente possível
que o trabalho que fazemos hoje

possa resultar em línguas

a ser preservadas e passadas adiante,

sem se tornarem extintas.

Apenas para recordar

que mesmo que esteja sentado
em frente ao computador

editando uma entrada individual

e adicionando formas de dados
de uma língua minoritária,

para cada um dos substantivos,

a pequena tarefa que está a fazer agora,

pode ser parcialmente responsável

em garantir que uma língua sobreviva

até ao final do século ou além.

Muito obrigado.

E gostaria de abrir o painel a perguntas.

(Aplausos)

(Pessoa 1) Obrigada.

- Obrigada pela sua palestra.
- Obrigado.

(Pessoa 1) Tenho uma pergunta
sobre dicionários.

Disse que trabalha
com dicionários impressos?

- Sim.
- Minha pergunta é

o que recolhe desses dicionários,

e se há algum direito de autor
com que precisa de lidar?

Previ que esta seria a primeira pergunta.

(Risadas)

Primeiro, para a PanLex,

temos, de acordo
com os recursos legais que consultámos,

embora a disposição e organização
do dicionário possa ter esses direitos,

a tradução por si mesma
não é passível de ter direitos de autor.

Um bom exemplo para isto é,

uma lista telefónica, pelo menos de acordo
com a legislação dos Estados Unidos,

tem direitos de autor.

Mas dizer que o número
da pessoa X são D dígitos

não tem direitos de autor.

Então, tal como disse,

de acordo com nossos
representantes legais,

lidamos assim com isto.

Mas mesmo que isto não seja
um argumento legal suficiente,

uma coisa importante para lembrar

é que a maioria destes dados léxicos

não têm direitos de autor.

Um número significativo deles
não têm direitos de autor

e podem ser usados livremente.

E outra coisa, por exemplo,
é que frequentemente,

se estamos a trabalhar
com um dicionário recém-impresso,

ao invés de tentar
escaneá-lo e digitalizá-lo,

nós apenas mandamos
um e-mail para o autor.

E o que acontece é na maioria das vezes
os linguistas ficarem entusiasmados

em tornarem os seus dados acessíveis.

Algo como: "Claro, por favor,

coloque tudo aí e faça isso acessível."

É extremamente raro que...

Então, como disse, temos,
de acordo com nossas opiniões legais,

a possibilidade,

mas mesmo que não queira aceitar isso,

é muito fácil conseguir
dados acessíveis publicamente.

- (Pessoa 2) Obrigado. Olá.
- Olá.

Pode falar um pouco mais

sobre como a pessoa
que fala baixo sórbio acessará os dados.

Especificamente como é que
esta informação irá chegar-lhe

e como isso irá convencê-la

a usar...

Ótima pergunta e isto é uma das coisas

que tenho vindo a pensar muito, também,

porque penso que quando falamos
sobre acesso de dados

há na verdade múltiplas etapas.

Uma, claro, é a preservação de dados,
garantindo que os dados não desaparecem.

Segundo, é fazer com que
seja interoperável

e possa ser usado.

E terceiro é garantir
que esteja disponível.

No caso da PanLex,

temos uma API que pode ser usada,

mas, claro, não pode ser usada
por um utilizador final.

Mas também desenvolvemos interfaces.

E também, por exemplo,
se aceder a translate.panlex.org

pode fazer traduções
na nossa base de dados.

Se quiser brincar com a API,
aceda a dev.panlex.org,

e encontrará muitas coisas da API,
ou aceda a api.panlex.org.

Mas há também outro passo,

que é mesmo que torne
os seus dados completamente acessíveis

com ferramentas
que sejam super úteis para o acesso,

se não promover as ferramentas,

então as pessoas
não serão capazes de usá-las.

E isso, sinceramente, é...

uma coisa de que não se fala o suficiente,

e eu não tenho uma boa resposta para isso.

Como garantimos que...

por exemplo, eu só recentemente,

há alguns anos atrás,
tomei conhecimento da Wikidata

e é exatamente o tipo de coisa
com que fico entusiasmado.

Então, como nos promovemos para os outros?

Vou deixar esta pergunta em aberto.

Como disse, não tenho uma boa resposta.

Mas claro, para fazermos isto,

precisamos de completar
as primeiras etapas.

(Pessoa 3) Se quisermos
ter tradução automática,

não precisamos de uma memória de tradução?

Não sei se as palavras

que colocamos na Wikidata,

estas pequenas frases
que colocamos na Wikidata,

como itens normais da Wikidata
ou como lexemas da Wikidata,

são suficientes para fazer
uma tradução adequada.

Precisamos de frases inteiras,
por exemplo, para...

(Benjamin) Sim, realmente.

(Pessoa 3) E onde conseguimos
esta estrutura de dados?

Não tenho certeza, se atualmente,

a Wikidata é capaz de lidar
com isto de forma adequada,

com a questão da memória de tradução,

translatewiki.net,

para entrar no limiar da...

Devemos fazer algo
a respeito disso, ou devemos...

Sim, e agradeço
verdadeiramente a sua pergunta.

Falei disso superficialmente antes,

mas adoraria reiterar.

Esta é a razão principal do porquê
da PanLex operar com dados léxicos

e o porquê
de me empolgar com dados léxicos,

ao contrário de...
não ao contrário, mas como complemento

aos motores de tradução automática
e à tradução automática em geral.

Como disse, a tradução automática
requer um tipo específico de dados,

e esses dados não estão disponíveis
para a maior parte das línguas mundiais.

Para a grande maioria
das línguas mundiais,

isso simplesmente não está disponível.

Mas isso não significa
que devemos desistir.

Porquê?

Se eu precisar de traduzir
o menu turco do restaurante,

a tradução léxica será provavelmente
uma ferramenta excepcional para isto.

Não estou a dizer
que pode usar tradução léxica

para ter um parágrafo perfeito
ao traduzir um parágrafo.

Quando digo tradução léxica,
digo palavra para palavra,

e traduções palavra para palavra
podem ser extremamente úteis,

é engraçado pensar nisto,
mas não tínhamos acesso

a tradução automática de qualidade.

Ninguém tinha acesso
a isso até recentemente.

E sobrevivíamos com dicionários,

e são um recurso incrivelmente bom.

Os dados estão disponíveis,
então por que não tornar disponível

para o mundo em geral
e para os oradores dessas línguas?

(Pessoa 4) Olá,
que mecanismos tem ao dispor

para quando a comunidade... estou aqui.

- Onde está? Ok, certo.
- (Pessoa 4) Sim, desculpe. (risos)

...quando a própria comunidade

não quiser parte dos seus dados na PanLex?

Ótima pergunta.

A forma como lidamos com isso

é que se um dicionário foi publicado,
e estiver disponível publicamente,

é uma boa indicação.

Se o puder comprar numa loja
ou numa biblioteca de uma universidade,

ou numa biblioteca pública
que qualquer um pode aceder.

Isto é uma boa indicação
que essa decisão foi tomada.

(Pessoa 4) [inaudível]

(Pessoa 5) Por favor, Kimberly,
pode falar para o microfone?

Pode repetir?

(Pessoa 4) Os linguistas nem sempre têm
a permissão da comunidade.

Para publicar coisas,

frequentemente publicam coisas
sem o consentimento da comunidade.

E isso é totalmente verdade.

Eu diria que é um...

Que acontece.

Eu diria que acontece
numa minoria de casos,

limitado geralmente à América do Norte,

mas às vezes também
com línguas da América do Sul.

É algo que temos de levar em conta.

Se recebêssemos notificação, por exemplo,

de que os dados que estão na PanLex

não deveriam ser acedidos
pelo resto do mundo,

então, é claro que removeríamos.

(Pessoa 4) Boa, boa.

Claro, que isso não significa

que iremos seguir
as regras de direito de autor,

mas que vamos ouvir
as comunidades tradicionais,

e essa é a diferença principal.

(Pessoa 4) Sim, era a isso que me referia.

Isso leva-nos a um ponto interessante

que é

às vezes uma grande pergunta
para quem fala por aquela língua.

Tive uma experiência ao visitar
o sudoeste americano

e ao trabalhar com alguns grupos,

que trabalhavam com indígenas,
as línguas do "Pueblo" (povo).

Há aproximadamente

seis idiomas do Pueblo (povo),
dependendo de como os divide,

faladas naquela região.

Mas estão divididos
em 18 Pueblos diferentes

e cada um
tem o seu próprio governo tribal,

e cada governo
pode ter uma opinião diferente

sobre se a sua língua estar acessível
ou não a estrangeiros.

Por exemplo, o Pueblo Zuni,

é um Pueblo único que fala o idioma Zuni.

E eles gostam que a sua língua
esteja por todo o lado,

põe-na nos sinais
de trânsito e tudo, é ótimo.

Mas para algumas das outras línguas,

pode ter um grupo que diz:

"Sim, não queremos a nossa língua
acedida por estrangeiros."

Mas quando temos o Pueblo vizinho
que fala a mesma língua e dizem:

"Queremos mesmo que a nossa língua
esteja acessível a estrangeiros

ao usar estas ferramentas tecnológicas,

porque queremos
que a nossa língua perdure."

Isso traz-nos uma questão
ética bastante interessante.

Porque, se por defeito diz:

"Certo, vou removê-la
porque o grupo diz que a deveria remover."

não está também
a ignorar o segundo grupo

porque o primeiro
quer remover as coisas?

Acho que é uma pergunta
que não tem uma resposta fácil.

Mas diria que,
pelo menos em relação à PanLex.

E oficialmente, ainda
não passámos por isto,

que eu tenha conhecimento.

Agora, isso pode ser
parcialmente porque...

voltando à pergunta,

talvez precisemos
de nos promover um pouco mais.

Mas, no geral, até onde sei,

isto não aconteceu.

Mas o nosso plano para isto

é se a comunidade diz que não quer
os seus dados na nossa base de dados,

então removemos.

(Pessoa 4) Porque aconteceu isso
na Wikidata e na Wikipedia...

- Aconteceu?
- ...nos comentários.

- A Sério?
- Foi um problema.

Sim, consigo imaginar especialmente
nos comentários de fotos ou certas coisas.

(Pessoa 4) Correto.

(Pessoa 5) Olá, tenho uma pergunta
sobre o lado crowdsourcing disto.

Na medida em que se pede para a comunidade

para anotar ou adicionar dados
num conjunto de dados,

uma das coisas
que é um pouco intimidadora,

como editor, consigo olhar apenas
para o que está em falta.

Mas se vou passar tempo
com as coisas, tendo ideias,

há uma lista de itens de alta prioridade,

que penso que seja muito
motivadora nesse aspecto.

Fiquei curioso em saber
se têm um sistema

em que, essencialmente,
sabem quais as lacunas nos próprios dados,

e em que têm evidência linguística
e sabem quais são aqueles

em que se tivéssemos anotado,
seriam impulsionadores de alto impacto.

Então posso imaginar

que ter o lexema
para "casa" é muito impactante,

já o lexema de um dado
ou outro não seja tanto.

Mas fiquei curioso
se têm isso, e se é algo

que possa ser usado para conduzir
os esforços da comunidade.

Ótima pergunta.

Uma coisa que a Wikidata tem bastante...

perdão, a PanLex,
tem muitas Listas de Swadesh.

Aparentemente temos a maior coleção
de Listas de Swadesh do mundo,

o que é interessante.

Se não sabe o que é uma Lista de Swadesh,

é essencialmente um lista
de itens léxicos regularizados

que pode ser usada
para a análise de línguas.

Contêm conjuntos bem básicos.

Há alguns diferentes tipos
de Listas de Swadesh.

Mas existem cerca de 100 a 213 itens,

e podem conter

palavras como "casa", "olho" e "pele"

e basicamente palavras comuns

que deve encontrar em qualquer língua.

É realmente um bom ponto de partida

ter esses tipos de dados disponíveis.

Agora, como mencionei antes,

crowdsourcing é algo
que ainda não fazemos

e estamos realmente
muito entusiasmados em começar.

É uma das coisas que me entusiasma

ao falar com as pessoas
nesta conferência,

é como o crowdsourcing pode ser usado

e a logística por trás disso,

e este é o tipo de perguntas
que podem surgir.

Penso que a resposta que vou lhe dar é

que temos uma lista de prioridades...

Uma coisa que digo com certeza
é que temos uma lista de prioridade

quando se trata
das línguas que procuramos.

Fazemos isto ao procurar por línguas

que não sejam atualmente
auxiliadas por soluções tecnológicas,

que são frequentemente
línguas minoritárias,

ou habitualmente
línguas minoritárias,

e priorizamos essas.

Mas em termos
de itens léxicos individuais,

a forma comum de conseguir novos dados

é essencialmente ao consumir
um dicionário inteiro.

Estamos a apoiar-nos
na escolha do dicionário

de itens léxicos,
ao invés de dizermos

que precisamos da palavra
"casa" em todas as línguas.

Mas nos dados de crowdsourcing,
precisaremos de algo assim.

Então é uma oportunidade
para crescimento e pesquisa.

(Pessoa 6) Olá,
chamo-me Victor, e isto é incrível.

Como tem slides aí,

será que poderia falar um pouco
sobre os parâmetros técnicos

para os quais tem dados

ou fluxo de informação
da Wikidata para a PanLex e vice-versa.

Se isto já está implementado

e como lida com

o vai e vem de informações,
ou até mesmo com um loop de respostas

entre a PanLex e a Wikidata?

Não temos nenhuma ligação formal
com a Wikidata neste momento,

e isto é algo que eu, novamente,

estou realmente entusiasmado
para falar a audiência desta conferência.

Tivemos alguma interação
com o Wikitionary,

mas, sinceramente,
a Wikidata seria mais adequada,

para o que estamos à procura.

Ter material léxico direto

significa que teremos bem menos
análise e extração de dados.

Então, a resposta é,
ainda não temos, mas queremos.

(Pessoa 6) Se não têm,
quais os obstáculos?

E como podemos ver, a Wikidata
já suporta diversas línguas,

mas quando vejo o translate.panlex.org,

aparentemente suportam
muitas, muitas variantes,

muito mais que a Wikidata.

Como vê se há uma lacuna

primeiro entre tradução
ou tradução léxica,

utilização versus esforço

ao tentar mapear
uma estrutura de conhecimento.

Mapear conhecimento
pode ser muito interessante.

Tivemos algumas
discussões bastante interessantes

sobre a maneira de como a Wikidata
organiza os dados léxicos,

os seus dados léxicos,

e como nós organizamos
os nossos dados léxicos.

E existem diferenças subtis que requerem
estratégia de mapeamento,

algumas delas não seriam
necessariamente automáticas,

mas podemos ser capazes de desenvolver
técnicas para lidar com isto.

Deu o exemplo de variantes de língua.

Costumamos ser bem "separadores"
quando se trata de variações de língua.

Por outras palavras,
se temos uma fonte que diz

que este é o dialeto falado

do lado esquerdo do rio
em Papua Nova Guiné, para esta língua,

e temos outra fonte que diz

que este é o dialeto falado
no lado direito do rio,

então, consideramo-los dialetos distintos.

E fazemos isso para basicamente preservar
o maior número de dados possível.

Ser capaz de mapear isso
com o que a Wikidata faz...

Na verdade,
o que gostaria era ter conversas

sobre como as línguas

são definidas na Wikidata.

Novamente, nós usamos
uma estratégia bem "separadora".

Apoiamo-nos amplamente
nos códigos ISO 6393,

que é fornecido pelo Ethnologue,

e para cada código individual,
permitimos múltiplas variantes,

sejam variantes escritas, dialetos
regionais, sociolectos (calão), etc.

Novamente, oportunidade
para discussão e trabalho.

(Pessoa 7) Olá, gostaria de saber
se têm um canal de OCR,

especialmente porque estamos
tentando fazer OCR no Maya,

e não estamos tendo resultado.

Não entende nada.

- Sim!
- E, é isto.

Se os seus canais estiverem disponíveis.

E outra coisa é se
está a sobrepor os códigos ISO,

algumas vezes dizem:

"Oh, isto é uma língua,
e isto é outra língua."

Mas existem fontes
que dizem outras coisas,

como mencionou,
mas tendem a sobrepor-se.

Então, como é que prosseguem?

Sim, é uma pergunta realmente fabulosa.

Gostei mesmo.

Não temos um canal OCR
oficial, por assim dizer.

Fazemos numa base de fonte para fonte.

Uma das razões é porque
frequentemente temos fontes

que não precisam necessariamente de OCR,

que estão disponíveis
para algumas línguas,

e concentramo-nos nelas pois estas
requerem a menor quantidade de trabalho.

Mas, obviamente,
se quisermos aprofundar

algumas fontes que estão na nossa lista,

iremos precisar essencialmente de
desenvolver fortes canais OCR.

Mas existe outro aspecto,
tal como mencionou...

as pessoas que desenvolveram motores OCR

talvez não tenham percebido
o quanto as pode stressar.

Sabe o que é divertido?

Tentar fazer OCR
num dicionário russo-tibetano.

É muito difícil, pelo que parece...

Nós desistimos e contratámos
alguém para digitar tudo,

o que foi completamente viável.

Na realidade, o que aconteceu

foi que esta incrível mulher russa
foi capaz de aprender a ler tibetano

para conseguir escrever,
o que foi muito fixe.

Penso que se está a lidar
com material em caracteres Latinos,

penso que soluções OCR podem ser
desenvolvidas, que sejam mais robustas,

do que lidar com estas
fontes multilinguísticas

e esperar que acabe
com um quatro aleatório,

se está a lidar com algo como

fontes Maias do século XVI,
com o dígito quatro.

Mas existem algumas fontes

que o OCR provavelmente
nunca irá conseguir apanhar,

ou que irá requerer
uma imensa quantidade de trabalho,

e na verdade colocamos
um pouco disso em uso agora.

Temos outro projeto em execução na PanLex

para transcrever toda
a literatura tradicional de Bali,

e percebemos que em manuscritos balineses

não há a possibilidade de OCR.

Então arranjámos uma mão cheia
de pessoas balinesas para digitar,

e acabou por se tornar
um projeto cultural muito bom em Bali,

e tornou-se notícia.

Por isso eu diria

que não precisa necessariamente
depender de OCR,

mas há muita coisa por aí.

Por isso, ter soluções OCR seria bom.

Aliás, se alguém aqui se interessa
por OCR super multilínguas,

por favor, fale comigo.

(Pessoa 8) Obrigado pela sua apresentação.

Falou sobre integração

entre a PanLex e a Wikidata,

mas não especificou muito.

Estava a verificar a sua licença
de dados, e vocês usam o CC0.

- Sim.
- (Pessoa 8) Isso é ótimo.

Então, existem duas formas possíveis,

em que podemos importar os dados

ou podemos manter
algo similar ao Freebase,

onde tínhamos a base
de dados completa do Freebase,

importamo-la e fazemos um link,

um identificador externo
para a base de dados do Freebase.

Tem algo assim em mente
ou está a pensar em algo similar?

Ou só quer fazer...

uma base de dados independente
que possa ser ligada à Wikidata?

Sim, essa é uma ótima pergunta

e na verdade penso que ela vai até além

de algumas das coisas
em que estive a pensar sobre,

parcialmente porque, como eu disse,

fazer com que as duas
bases de dados trabalhem juntas

é uma etapa por si só.

Penso que o primeiro passo
que podemos dar

é literalmente partilhar
as nossas habilidades.

Temos muita experiência
em lidar com coisas

como classificações de propriedades
de lexemas individuais

que eu adoraria partilhar.

Mas ser capaz de ligar
as duas bases de dados seria maravilhoso.

Estou 100% a favor disso.

Acho que seria um pouco mais fácil

a Wikidata usar a forma da PanLex,

mas talvez seja tendencioso
por ver como isso iria funcionar.

Sim, essencialmente,
desde que a Wikidata esteja confortável,

com todas as licenças e coisas assim,
ou encontraremos uma solução,

penso que seria uma ótima ideia.

Só temos que pensar
em maneiras de ligar os dados.

Algo que imagino seria, essencialmente,
que as edições do Wikidata fossem

imediatamente preenchidas
no banco de dados PanLex,

sem precisar, essencialmente,

consumir novamente tudo outra vez.

Tornar essencialmente a Wikidata
numa interface de crowdsourcing da PanLex,

seria realmente incrível.

E depois ser capaz de usar
a PanLex em traduções imediatas,

para ser capaz de traduzir
pelos itens léxicos da Wikidata,

isso seria glorioso.

(Pessoa 9) Isto parece o processo
de fiscalização semântica da web,

tapar buracos por inferência.

Se pensarmos assim, este tipo de tradução,

como é que lida
com incompatibilidade semântica

e gramatical?

Por exemplo, se tenta
traduzir algo para o alemão,

pode simplesmente
colocar várias palavras juntas

e encontrar algo sensato,

por outro lado,
acho que já li em algum lugar

que nem toda a língua tem
o mesmo sistema granular

para cores, por exemplo.

Disse que todos

usam um sistema diferente
para cores ou o mesmo?

(Pessoa 8) Eu lembro-me apenas
que sobre a evolução da língua,

que começaram
com o preto e branco, e depois...

Sim, a hierarquia das cores.

A hierarquia das cores

é uma ótima forma
de ilustrar como isto funciona, certo?

Essencialmente, quando
tem uma única língua pivot...

é bem interessante quando se lê
documentos traduzidos automaticamente

porque é frequente falar
sobre uma língua pivot hipotética,

em que dizem:
"Ah sim, há uma língua pivot,"

e depois lê o documento
e diz: "É inglês."

Então o que essa forma
de tradução léxica faz,

é passar o termo
por muitas línguas intermédias diferentes,

tem o efeito de ser capaz de lidar
com muita ambiguidade semântica.

Porque à medida que
passa por outras línguas

que contêm limites semânticos similares
razoáveis para uma palavra,

pode essencialmente evitar o problema

de introduzir ambiguidade semântica
através da língua pivot.

Então, ao usar a hierarquia
de cores como exemplo,

se tomar uma língua que tem
uma palavra única para azul e verde

e a traduz para azul

na sua língua pivot

e então para outra língua

que tem ambiguidades diferentes
para essas coisas,

acaba por introduzir
ambiguidade semântica.

Mas se passar por mais línguas

que também tenham
um item léxico único para verde e azul,

então, essencialmente,
a especificidade semântica

é passada adiante
para a língua resultante.

No que se trata de aspectos gramáticos,

a PanLex tem estado primeiramente,
na sua história,

a recolher lexemas essenciais,
formas léxicas essenciais.

E com isso, quero dizer, basicamente,

o que encontraria num termo de dicionário.

Então não nos concentramos nesta altura

em reunir variantes
de formas gramaticais,

coisas como dados nominais, etc.

ou pretérito passado e presente.

Mas é algo que procuramos fazer.

Uma coisa que é sempre importante lembrar

é que, como o nosso foco é...

está em apoiar línguas minoritárias
que estão ameaçadas ou sem apoio,

queremos garantir que algo está disponível

antes de torná-lo perfeito.

Uma frase que eu adoro é:

"Não deixe o perfeito ser inimigo do bom."

E é algo que almejamos.

Mas estamos super interessados na ideia

de lidar com formas gramaticais,

e poder traduzir
através de formas gramaticais,

e é algo em que já fizemos pesquisa

mas que ainda não foi
totalmente implementado.

(Pessoa 9) Então dos 7.500 idiomas,

presumo que se baseiem em dicionários
que foram escritos para nós,

mas todas estas idiomas têm
formas de escrita tradicional?

E como lidam com isso?

É uma ótima pergunta.

Essencialmente, sim, muitas destas línguas

como todos sabem, não são escritas.

Contudo, qualquer língua
para a qual um dicionário foi produzido

contém algum tipo de ortografia,

logo, baseamo-nos na ortografia
produzida para o dicionário.

Ocasionalmente fazemos
uma ligeira manipulação de ortografia

se pudermos, basicamente,
garantir que não há danos.

Mas tentamos evitar,
tanto quanto possível.

Essencialmente, não nos intrometemos

em desenvolver ortografia para as línguas,

porque frequentemente
não foi desenvolvida,

mesmo que não esteja amplamente publicada.

Por exemplo,

muitas línguas faladas na Nova Guiné,

pode não haver uma forma
ortográfica comum utilizada,

mas alguns linguistas
conseguiram fazer algo

e já é um bom primeiro passo.

Também reunimos formas fonéticas
quando estão disponíveis nos dicionários,

e esta é outra forma,

essencialmente
uma representação IPA da palavra,

se estiver disponível.

Isso também pode ser usado.

Mas geralmente
não usamos isso como auxílio,

pois pode introduzir certas ambiguidades.

(Pessoa 10) Obrigada, talvez
não seja uma pergunta muito pertinente.

Mas só trabalham
com as línguas intermediárias?

Não, não.

(Pessoa 10) Ok, certo. Obrigada.

Fico feliz que tenha feito essa pergunta.

Isto é uma foto
do ecrã do translate.panlex.org.

Se fizer uma tradução,

terá uma lista
de traduções no lado direito.

Clica no botão de reticências
e há um gráfico assim.

E o que isto mostra
são as línguas intermediárias,

as 20 principais, por pontuação.

Daria mais detalhes de como pontuamos,

mas não é muito importante agora.

Por pontos que estão a sendo usados.

Mas para fazer a tradução,
estamos a usar bem mais que 20.

O motivo de mostrarmos 20,
é porque se forem mais de 20...

é como se fosse uma simulação de física.

Podem mover as coisas e elas reagem.

Mas se tiver mais de 20,
o computador fica muito irritado.

É mais uma demonstração, sim.

(Pessoa 11) Leila, da Fundação Wikimedia.

Apenas uma nota na...

Mencionou a Fundação Wikimedia
algumas vezes durante a apresentação,

gostaria de dizer se quiser
realizar qualquer tipo de consumo de dados

ou colaboração com a Wikidata,

talvez a Wikimedia Alemanha
seja um local melhor

com quem ter essas conversas?

Porque a Wikidata vive praticamente
dentro da Wikimedia Alemanha,

e a equipa está lá,

como também a comunidade
de voluntários da Wikidata,

seria o local perfeito para conversar

sobre qualquer tipo de consumo

ou trabalhar para aproximar
a PanLex da Wikidata.

Ótimo, muito obrigado!

Porque sinceramente
não estou muito familiarizado

com as complexidades de arquitectura

de como todos os projetos se relacionam.

Adivinho pelas gargalhadas
que seja complicado.

Mas sim, basicamente queremos conversar

com quem for responsável pela Wikidata.

Como tal, é só fazermos
um pequeno encontro

com quem for responsável pela Wikidata,
aí está com quem nos interessa conversar,

que é com todos vocês que são voluntários.

Existem mais perguntas?

Ok, se alguém tiver mais alguma pergunta

sobre algo que falei, ou dos detalhes
e especificidades destas coisas,

por favor fale comigo,
estou super entusiasmado.

E especialmente se está a lidar
com algo que envolva material léxico,

algo que envolva
línguas minoritárias ameaçados,

e idiomas desamparados,

e também Unicode,
que é algo que também faço.

Obrigado a todos

e obrigado por me terem convidado a falar,

espero que tenham gostado!

(Aplausos)