Avaliação conjunta para o português

Avaliação conjunta para o português
O processamento computacional do português precisa, como uma medida de revitalização e de clarificação de resultados e problemas, de avaliação conjunta em geral, ou seja, de várias avaliações conjuntas em todas as suas sub-áreas.

Os objectivos de uma tal conferência, convém salientar, são predominantemente científicos. De facto, há muito que foram explicados a necessidade e o valor da avaliação, e a sua capacidade de detectar problemas interessantes para investigação (veja-se motivação detalhada). Há uma consciência clara de que a área como um todo só tem a ganhar com maior atenção a esta questão.

O que se pretende, com esta iniciativa, é

Organização

A primeira iniciativa culminará na primeira avaliação conjunta para o português, durante o PROPOR2003, em que se pretende que os primeiros resultados sejam apresentados. Tal pressupõe um encontro preparatório, um ano antes, em que as sub-áreas envolvidas definirão cada uma a forma de proceder, juntamente com um cronograma para a obtenção de resultados. Esse encontro terá lugar em Faro (Portugal) logo a seguir ao PorTAL, no dia 27 de Junho de 2002.

Para preparar esse encontro preparatório, ou vários encontros, é preciso que se identifiquem, desde já, as áreas em que é possível começar a avaliar, definir critérios e comparar sistemas.

Dado que para muitas áreas ainda não é viável comparar programas totalmente operacionais, alargou-se a noção de avaliação conjunta também para o caso em que apenas a especificação de resultados a serem alcançados, suas métricas e os recursos necessários à sua avaliação sejam reunidos e tornados públicos para posterior utilização.

Por outro lado, também se considerou essencial proceder a uma avaliação conjunta de recursos, ou seja, definir metodologias de comparação e avaliação de léxicos, corpora, etc., visto que uma fracção considerável da comunidade se dedica à criação de recursos linguísticos sem ter em vista uma dada aplicação.

A participação da comunidade no(s) encontro(s) preparatório(s) para a avaliação conjunta é fundamental para definir os grupos de trabalho e para escolher quem vai fazer o quê. Por outro lado, é preciso salientar que essa participação deverá ser remunerada, como qualquer outra actividade científica, e o processo de remuneração objectivamente calculado com base no programa de trabalho definido por cada sub-área. Note-se também, desde já, que a participação numa avaliação conjunta de sistemas ou grupos que não contribuíram para os critérios / recursos de avaliação dessa sub-área pode vir a prejudicar os mesmos, dado que não contribuíram para a especificação dos problemas e ponderação dos critérios.

Definição das áreas

O primeiro passo, a definição das áreas, pode e deve ser feito o mais depressa possível. Apela-se, assim, a que todos se inscrevam nas áreas respectivas, e sugiram outras ainda não contempladas na lista e que desejem avaliar, ou, pelo menos, propor como passíveis de avaliação. De notar que as áreas são aqui definidas operacionalmente como questões em que se pode identificar claramente uma relação entrada/saída. Exemplificando para o processamento da língua escrita:

análise morfológica geração morfológica
análise sintáctica geração sintáctica
análise estilística planejamento de texto
análise textual análise semântica
correcção ortográfica correcção sintáctica
correcção estilística simplificação de texto
recuperação de informação extracção de informação
identificação de nomes próprios resposta automática a perguntas
atomização ("tokenization") separação de frases
identificação de língua identificação de repetição / reutilização de texto
tradução automática sumarização
sistemas de diálogo documentação automática
indexação extracção de termos
classificação de texto classificação de termos
extracção de relações semânticas resolução de anáforas
desambiguação de sentidos alinhamento de textos paralelos

A preocupação inicial não é com questões de desempenho (velocidade, memória, portabilidade), mas sim com questões de adequação linguística e adequação à tarefa a resolver, ainda que, não se exclua, se tal for do consenso da comunidade, que esses parâmetros possam vir a ser considerados relevantes para algumas áreas.

É também preciso reunir uma metodologia que permita avaliar os seguintes recursos linguísticos computacionais, para os quais se apela à inscrição no mesmo formulário.

léxicos monolingues léxicos bilingues ou multilingues
terminologias monolingues terminologias multilingues
corpora alinhados corpora anotados
tesauros dicionários de sinónimos

Para estes casos, além de testar propriedades formais como consistência e robustez, deve dar-se preferência ao teste dentro de diversas aplicações.

De notar também que muitas destas áreas podem ser subdivididas em subquestões (ou fundidas em tarefas mais genéricas), se tal for considerado pertinente pelo grupo associado à área. Por exemplo, a análise sintáctica pode ser decomposta, entre outras coisas, em

Será, portanto, possível que o grupo associado a análise sintáctica identifique, separe, e dê mesmo diferente prioridade à organização de diferentes testes na avaliação conjunta que lhes diz respeito.

Metodologia

Para cada sub-área, será preciso definir Cada subgrupo se encarregará de fazer um programa e um calendário das tarefas a executar, assim como da forma como a própria avaliação decorrerá na prática.

Dado que para várias destas áreas já houve iniciativas semelhantes para outras línguas, é possível escolher entre duas estratégias:

Outra possibilidade é, no caso de conferências internacionais que aceitem caminhos monolingues, ligar o português como um satélite e aproveitar a organização, concentrando apenas na obtenção dos recursos necessários. Uma possível desvantagem poderá ser os critérios de avaliação iniciais não terem levado em conta a nossa língua, mas tal só poderá ser verificado após experiência de participação efectiva.

Informação adicional

Para permitir facilmente um maior conhecimento do processo de avaliação conjunta de uma dada área, apresenta-se Para tornar a questão mais concreta, três casos são exemplificados em algum pormenor, para desde já ficarem à disposição da comunidade para reutilização e melhoramento:
Autores: Diana Santos, Alexsandro Soares, Paulo Rocha e Rachel Aires. Linguateca
Data da última revisão: 14 de Maio de 2002
Perguntas, comentários e sugestões