Perguntas já respondidas sobre a interpretação dos resultados HAREM

HAREM, Linguateca

A que se referem os resultados do HAREM clássico restritos às CD ReRelEM ou TEMPO?

Os Resultados do HAREM clássico restritos à CD do ReRelEM ou à CD TEMPO dizem respeito à avaliação do reconhecimento de EM (HAREM clássico) nas mini-colecções douradas utilizadas na avaliação da pista ReRelEM e na do TEMPO, respectivamente. Pareceu-nos que seria interessante que os sistemas participantes pudessem perceber se os seus resultados (em termos de REM) melhoram ou pioram nestes subconjuntos particulares da CD.

Por que razão um dos resultados disponibilizados na pista ReRelEM tem somente em conta a expansão das relações na CD ReRelEM?

Contrariamente ao que acontece na CD ReRelEM, não é possível garantir, nas marcações enviadas pelos participantes, a inexistência de inconsistências ou contradições, que põem em causa a "expansão de relações entre EM", e/ou introduzam relações erradas através da aplicação das regras de transitividade. Tendo em conta este factor, por um lado, e a ideia de que seria igualmente interessante avaliar apenas as relações explicitamente marcadas pelos sistemas, pelo outro, parece-nos, para já, completamente justificada a apresentação dos resultados em questão.

Se, na pista RerelEM, um dado sistema não participou na tarefa de classificação das EM, por que razão tem resultados na "Classificação Semântica Combinada"?

Todos os sistemas, mesmo os que só fizeram identificação de EM, foram avaliados tendo em conta a fórmula completa utilizada na avaliação da pista ReRelEM.
De acordo com a referida fórmula, é atribuído 1 valor por cada entidade bem delimitada e 0 valores se a potencial EM estiver mal delimitada ou não existir na CD, o que permite avaliar o desempenho dos sistemas na delimitação de entidades, sem ter em conta a sua classificação.
A fórmula completa da classificação actualiza esse valor de acordo com a classificação das EM, incrementando ou dimininuindo a pontuação das entidades bem classificadas ou espúrias, respectivamente. Deste modo, um sistema que tenha feito apenas identificação pode, pois, ser comparado com sistemas que tenham igualmente procedido à classificação das EM.

Se um dado sistema não participou no TEMPO estendido, porque é que tem resultados na dita pista?

Tal como descrito na documentação relativa à avaliação da categoria TEMPO, a pontuação de cada entidade temporal na pista TEMPO estendido resulta da soma da pontuação obtida por aplicação da fórmula do HAREM clássico com a pontuação dos atributos estendidos do TEMPO. Assim, a não ser que os sistemas não tenham participado no cenário total ou num cenário selectivo de TEMPO, terão resultados nas diferentes avaliações que envolvam esta categoria.

Porque é que o número de relações entre EM na CD ReRelEM disponibilizada na página difere do número total de relações apresentado nos resultados da tarefa ReRelEM?

O cálculo do número de relações para efeitos de avaliação é feito após a expansão de relações entre EM, ou seja, depois de se tornarem explícitas todas as relações implícitas, por aplicação das regras de transitividade e de simetria. Daí os valores em questão não serem idênticos.


Última actualização: 21 de Agosto de 2008.