Segundo HAREM: Documentação relativa à avaliação em cenários selectivos

HAREM, Linguateca
Cristina Mota, Hugo Oliveira, Diana Santos
Versão 1.0

Objectivos

A avaliação em cenários selectivos tem como principal objectivo avaliar os sistemas participantes no cenário de avaliação a que se propuseram.

Além disso, também permite avaliar o sistema noutros cenários que não apenas o cenário total. Por exemplo, a avaliação por categoria é vista como um cenário selectivo, assim como nos interessa comparar sistemas diferentes em todos os cenários sugeridos pelos participantes. Isto significa que os sistemas poderão ser avaliados com base em conjuntos de categorias nos quais não concorreram, ou seja um cenário selectivo de avaliação não é necessariamente um subconjunto do cenário selectivo do participante.

Em duas palavras, os cenários selectivos modelam o que aconteceria se a CD e saída do sistema só estivessem marcadas com anotações desse cenário.

Pressupostos e opções

Definições: Aplicação:

A avaliação selectiva corresponde a fazer a avaliação após adaptar a CD e a saída do sistema ao cenário selectivo de avaliação, removendo de ambos todas as CATEGs, TIPOs e SUBTIPOs que não façam parte do cenário selectivo de avaliação. Tivemos em consideração os seguintes aspectos:

Relação com os véus

Os véus são a forma como a avaliação selectiva é implementada, após ter sido feito o alinhamento entre a saída do sistema e a colecção dourada.

O véu especifica um filtro que vai ser aplicado à lista de alinhamentos entre a CD e a saída do sistema, e que permite fazer a adaptação dos alinhamentos ao cenário selectivo de avaliação que ele representa. Essa adaptação passa por eliminar marcações que não façam parte do cenário de avaliação; no caso de deixar de existir marcações dos dois lados do alinhamento (ou seja, deixou de haver informação tanto do lado da CD como do lado da saída do sistema), o alinhamento é eliminado da lista de alinhamentos.

Isto quer dizer que a CD e a saída dos sistemas não chegam a ser alteradas; o que sofre alterações são apenas os alinhamentos.

Exemplo

Ilustramos o processo de avaliação num cenário selectivo de {PESSOA, LOCAL} de um sistema que participou em {PESSOA, ORGANIZACAO, OUTRO}.

CD original: cd.exemplo.xml
Saída original: sai.exemplo.xml

CD adaptada ao cenário selectivo: cd.exemplo.selectiva.xml
Saida adaptada ao cenário selectivo: sai.exemplo.selectiva.xml

Voltamos a salientar que a CD e a saída adaptadas não chegam de facto a ser criadas. A aplicação do véu é que simula a existência dessas versões adaptadas, tal como se ilustra nos seguintes alinhamentos antes e após a aplicação do véu:

Legenda:

A: alinhamento original (antes da aplicação do véu)
V: alinhamento adaptado (que resulta da aplicaçãodo véu)
-->: informação na CD --> informação na saída do sistema


A: <ESPURIO> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">
V: <ESPURIO> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">


A: <ESPURIO> --> <EM CATEG="PESSOA|OUTRO" TIPO="POVO|">
V: <ESPURIO> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <ESPURIO> --> <EM CATEG="PESSOA|ORGANIZACAO" TIPO="POVO|EMPRESA">
V: <ESPURIO> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <ESPURIO> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">
V: <ESPURIO> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">


A: <EM CATEG="OUTRO"> --> null
V: nada


A: <EM CATEG="OUTRO"> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">
V: <ESPURIO> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">


A: <EM CATEG="OUTRO"> --> <EM CATEG="PESSOA|OUTRO" TIPO="POVO|">
V: <ESPURIO> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="OUTRO"> --> <EM CATEG="PESSOA|ORGANIZACAO" TIPO="POVO|EMPRESA">
V: <ESPURIO> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="OUTRO"> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">
V: <ESPURIO> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">


A: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> null
V: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> null


A: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">
V: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">


A: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA|OUTRO" TIPO="POVO|">
V: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA|ORGANIZACAO" TIPO="POVO|EMPRESA">
V: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">
V: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">


A: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> null
V: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> null


A: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">
V: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">


A: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA|OUTRO" TIPO="POVO|">
V: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA|ORGANIZACAO" TIPO="POVO|EMPRESA">
V: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">
V: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">


A: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> null
V: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> null


A: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">
V: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA" TIPO="INDIVIDUAL">


A: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA|OUTRO" TIPO="POVO|">
V: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA|ORGANIZACAO" TIPO="POVO|EMPRESA">
V: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA" TIPO="POVO">


A: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">
V: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="PESSOA|PESSOA" TIPO="INDIVIDUAL|CARGO">


A: <ESPURIO> --> <EM CATEG="OUTRO">
V: nada


A: <EM CATEG="OUTRO"> --> <EM CATEG="OUTRO">
V: nada


A: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM CATEG="OUTRO">
V: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> null


A: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM CATEG="OUTRO">
V: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> null


A: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM CATEG="OUTRO">
V: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> null


A: <ESPURIO> --> <EM>
V: <ESPURIO> --> <EM>


A: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM>
V: <EM CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS"> --> <EM>


A: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM>
V: <EM CATEG="PESSOA" TIPO="INDIVIDUAL"> --> <EM>


A: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM>
V: <EM CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO" SUBTIPO="|CONSTRUCAO"> --> <EM>

Diferenças em relação ao Primeiro HAREM

A principal diferença em relação ao Primeiro HAREM é o facto de permitirmos a livre mistura de casos de só identificação com casos classificados, o que exige uma avaliação híbrida (entre identificação e classificação) e que também entre em conta com opcionalidade de todos os valores (donde a escolha de um cenário selectivo por um participante significa ou pode significar outro tipo de opções).

A nível prático ou concreto, as diferenças foram mais no raciocínio que levou à implementação, visto que foi preciso entrar em conta, para fundamentar as opções tomadas, com um maior leque de opções posto à disposição dos participantes e também com uma forma mais fina de avaliar.

Além disso, no Primeiro HAREM nunca chegámos a produzir resultados por cenário de avaliação que não fosse o cenário selectivo da participação, e neste Segundo HAREM, por ter havido mais heterogeneidade no conjunto das participações, vamos fazê-lo.


Última actualização: 5 de Junho de 2008