Introdução

As imagens podem ser vistas como representações, refletindo, transmitindo e simbolizando ideias, valores e conhecimentos. Seja qual for a sua origem ou por quais processos é criada, pode ser considerada um meio de comunicação, estando ligada às formas de expressão humanas.

O desenvolvimento das tecnologias de informação baseadas na computação trouxe novos mecanismos de geração e registro de imagens, permitindo sua produção em formatos digitais. No que tange às imagens digitais, existem aquelas que são originalmente nascidas em formatos digitais, após serem capturadas por meio de equipamentos, como câmeras, telefones celulares, entre outros dispositivos ou, ainda, criados com um pacote de software de imagens digitais. Segundo ^{Terras (2016)}, existem também aquelas imagens que são o resultado de um processo de digitalização, isto é, são uma representação de um objeto analógico, capturado via câmera ou scâner, para gerar uma imagem digital substituta da original. Para ^{Queiroz e Gomes (2006)}, as imagens digitais são uma representação de algo por meio de um conjunto de elementos discretos e de tamanhos finitos, chamados de elemento de imagem ou píxeis, combinados em um arranjo bidimensional para o processamento por computadores.

Nesse sentido, ^{Tardy e Dodebei (2015)} apresentam às imagens digitais de patrimônios culturais como metarepresentações de elementos do mundo real, que tomadas como objetos digitais, tornamse um meio de capturar as diferentes formas de interpretação que tais elementos, enquanto representantes de ideias, valores e conhecimentos, transmitem. O patrimônio cultural é concebido como um processo de atribuição de sentidos, ou seja, envolvendo contexto e relacionamentos, construídos na dinâmica com os grupos sociais ao longo do tempo (^{Smith, 2006}) e, portanto, com processos interpretativos, entende-se que ao buscar transmitir tais ideias, valores e conhecimentos, as imagens precisam ser representadas de acordo com múltiplas formas de interpretação.

Pelo princípio de polirrepresentação, existem diferentes agentes cognitivos que participam dos processos de geração e transferência de informação e há uma variedade de pressuposições e interpretações envolvidas nesses processos, tal como monstra ^{Ingwersen (1992)}. Entende-se que a configuração própria dos objetos digitais, modular e granular, como define ^{Wittenburg e seus coautores (2019)}, permite capturar o conteúdo significativo de diferentes tipos de conteúdo digital e o seu domínio de conhecimento relacionado, em camadas de informação, nas quais múltiplos elementos polirrepresentativos, isto é, metadados, podem ser considerados. Entende-se também que isso confere a tais elementos a possibilidade de serem estudados de uma perspectiva além da puramente descritiva e técnica com a qual costumam estar associados.

Logo, o intuito deste trabalho é apontar o potencial de considerar as imagens do patrimônio cultural como objetos digitais na perspectiva da polirrepresentação, analisando o projeto Europeana Image Classification Pilot. Vale destacar que a polirrepresentação se pauta na teoria da sobreposição cognitiva, que permite fortalecer a semântica dos objetos digitais e, consequentemente, sua relação com demais objetos digitais. Tal perspectiva parte dos aportes da polirrepresentação na interface com a Ciência da Informação (CI) desde a integração dos diferentes conteúdos e informações dos recursos imagéticos e das necessidades informacionais do usuário apresentada por ^{Roa-Martínez (2019)}.

Para tanto, foi desenvolvido um estudo exploratório-descritivo, pautado na ótica de teorias concernentes aos temas: objetos digitais; polirrepresentação; imagens digitais e patrimônio cultural na relação com a organização da informação e do conhecimento no âmbito da CI, a partir da definição exposta por ^{Lima (2020)} de que a organização do conhecimento é condição necessária para a organização da informação, sendo que a primeira “[...] produz representações sistematizadas de conhecimento, que podem ser utilizadas na organização da informação para padronizar as representações dos conteúdos dos recursos informacionais, visando facilitar a recuperação e o uso” (63). Assim, esses temas guiaram as discussões para o âmbito das anotações semânticas e finalmente ao projeto do Europeana Image Classification Pilot.

Objetos digitais e a polirrepresentação de imagens digitais

Centrais para a comunicação e interação humana, pode-se considerar que ‘objetos’ são entidades significativas, cujos elementos têm nomes (identidades) e propriedades para se referir a eles exclusivamente. Igualmente, objetos digitais possuem nomes (identidades) e propriedades (^{Wittenburg et al., 2019}). Assim, objetos digitais configuram-se como entidades significativas que existem no mundo dos bits, ou seja, disponíveis em formato digital, incluindo “[...] todos os tipos de entidades que humanos ou máquinas precisam identificar de forma exclusiva, como dados, metadados, código de software, consultas, configurações, etc. [...]” (^{Wittenburg et al., 2019: 3}).

^{Kallinikos, Aaltonen e Marton (2010)}, ao compararem os objetos em formatos digitais aos artefatos físicos não digitais, como livros ou pinturas, argumentam que os objetos digitais podem ser definidos por quatro qualidades: 1. São editáveis -passiveis de serem modificados, excluindo ou adicionando elementos ou algumas das funções; 2. São interativos -podem ser explorados com certo grau de maleabilidade que permite um espectro de possibilidades de ações de natureza eventual, isto é, dependendo da escolha do usuário, em diversos arranjos de elementos subjacentes a ele e de serviços; 3. São abertos e reprogramáveis -são interoperáveis e podem ser acessíveis e modificáveis por um objeto digital diferente daquele que governa seu próprio comportamento como, por exemplo, um programa; e 4. São distribuídos -consistindo em montagens temporárias compostas por funções, elementos de informação ou componentes espalhados por infraestruturas de informação e redes, caracterizando-os como fluídos e passíveis de serem vinculados a outros objetos digitais em diferentes conformações.

Diante disso, para ^{Kallinikos, Aaltonen e Marton (2010)} essas qualidades estão associadas a fatores intrínsecos aos contextos contingentes, em outras palavras, às condições variadas sob as quais os objetos digitais são criados ou modificados, incluindo configurações institucionais, recursos utilizados e habilidades despendidas. Sendo assim, para os autores supracitados tais qualidades podem ser associadas à composição modular característica de arquiteturas flexíveis que, por sua vez, está intimamente ligada à constituição granular. Isto é, a ideia de ruptura do caráter monolítico ou em blocos que a modularidade possibilita aos objetos digitais é possível devido a sua natureza granular, a qual se aplica às várias camadas de informação e operações subjacentes.

Nessa perspectiva, os objetos digitais, tal como pontuado por ^{Hui (2012)}, só têm sentido dentro de uma rede na qual há mais de um objeto digital e relações entre eles. Comporta-se, portanto, como um conceito genérico que cobre os vários tipos possíveis de conteúdo digital e seu domínio relacionado. Tal como categoriza ^{Higgins (2008)}, um objeto digital pode ser dividido em simples e complexos, sendo os simples aqueles itens digitais, como arquivos de texto, imagens, áudio ou vídeos, juntamente com seus identificadores e metadados relacionados; e os complexos, aqueles objetos compostos por uma série de outros objetos digitais como por exemplo, saites.

Segundo ^{Wittenburg e coautores (2019)}, de acordo com o diagrama do Data Foundation and Terminology Work Group (DFT WG), um objeto digital (OD) é representado por uma sequência de bits que é armazenada, gerenciada e fornecida por algum repositório, ao mesmo tempo em que é referenciada por um identificador resolúvel e persistente e descrita por metadados. A Figura 1 apresenta essa perspectiva a partir do Core Data Model centrado em objetos digitais proposto pelo Data Foundation and Terminology Work Group da Research Data Alliance (DFT WG-RDA).

Como assinalam ^{Kallinikos, Aaltonen e Marton (2010)}, os OD não são apenas um conceito de implementação, mas também uma forma de organizar conceitualmente os domínios em formatos digitais, não só para garantir uma comunicação humana inequívoca, mas cada vez mais frequentemente também para garantir a comunicação entre máquinas. Tal comunicação, implica em abordagens que possam apreender, de modo o mais inequivocamente possível, os diferentes aspectos pelos quais esses objetos digitais, enquanto objetos de informação, podem ser representados dentro de seu domínio de conhecimento.

Uma vez que existem diferentes possibilidades de se interpretar um objeto de informação, sua descrição, representação e recuperação podem ser realizadas de mais de uma forma, sob diferentes enfoques. Partindo do ponto de vista cognitivo, ^{Ingwersen (1992)} sugere que para melhorar a interação de recuperação da informação, meios polirrepresentativos podem ser aplicados em todos os níveis de comunicação entre quem pesquisa e o sistema.

Sendo assim, o princípio da polirrepresentação implica a aplicação de diferentes métodos de descrição e representação aliados a uma variedade de técnicas de recuperação da informação dos objetos informacionais considerando, para isso, diferentes origens cognitivas e funcionais, tal como mostra ^{Ingwersen (1996)}. Isso porque, a polirrepresentação “[...] procura representar a necessidade de informação corrente do usuário, estados de problema e conhecimento, domínio da tarefa de trabalho ou interesse na forma de estruturas contextuais da causalidade” (^{Ingwersen, 1996: 4}). Nessa perspectiva se destaca, portanto, a visualização de diferentes interpretações ligadas a uma variedade de aspectos que podem ser identificados em um objeto de informação e em suas relações com outros objetos, o que inclui aspectos descritivos e representacionais de forma e conteúdo.

Nesse sentido, segundo ^{Ingwersen (1996)} o espaço de informação de um sistema de Recuperação da Informação (RI) é formado por dois componentes interativos principais, a configuração do sistema e os objetos de informação, sendo que ambos são, pelo ponto de vista cognitivo, diretamente influenciados pelas diversas estruturas cognitivas humanas que, durante a recuperação da informação, se sobrepõem. Pode-se considerar, então, que são três os elementos fundamentais desse processo: a configuração do sistema; o espaço cognitivo; e os objetos informacionais, que vão influenciar diretamente no processo de descrição e representação da informação.

Como destacam ^{Larsen, Ingwersen e Kekäläinen (2006)}, “[...] as representações são manifestações da cognição humana, reflexão e ideias e, portanto, contextuais umas às outras, interagindo ao longo do tempo” (88), o que pressupõe considerar a variedade multifuncional de representações que podem ser extraídas ou interpretadas a partir dos objetos de informação, considerando o espaço cognitivo de acordo com ^{Ingwersen (1996)} de modo a “[...] dotar o sistema de RI de uma plataforma contextual enriquecida que possa apoiar a busca de informação do usuário” (4). Adicionalmente, isso se dá, como destacam ^{Ingwersen e Järvelin (2005)}, a partir de um dos aspectos fundamentais do princípio da polirrepresentação: o uso da sobreposição cognitiva entre os vários elementos contextuais. Como resultado, a semântica dos objetos informacionais é fortalecida -procedimento entendido como enriquecimento semântico-.

O enriquecimento semântico pode ser entendido tanto como o processo, como o resultado de melhorar os metadados sobre um objeto informacional com elementos que tragam maior significação, obtendo o enriquecimento dos metadados originais com significados mais contextualizados (^{Zeng, 2019}). De tal modo, o conjunto enriquecido de representações pode ser usado como termos de pesquisa durante a RI interativa e combinados entre si para alcançar a polirrepresentação do espaço cognitivo de quem busca a informação (^{Larsen, 2005}). A sobreposição dos elementos representativos ocorre tanto entre as representações dos objetos de informação, como entre a representação das necessidades de informação dos usuários, possibilitando uma maior correspondência no momento da busca. Para isso, existem vários elementos representativos, que podem ser identificados nas várias camadas de informação desses objetos digitais.

Para ^{Queiroz e Gomes (2006)}, uma imagem digital é uma representação formada por um conjunto de píxeis, em que cada píxel, como menor componente, é associado a um valor que torna a sua representação capaz de ser processada por computadores em arranjos bidimensionais. É a partir disso que as imagens digitais se formam e podem ser representadas pelas características que tais arranjos representam.

Devido a sua própria natureza, a representação de imagens configura-se de alta complexidade. De acordo com ^{Simionato (2015)}, a imagem é principalmente interpretada por uma sintaxe codificada a partir de formas, cores, texturas e outros elementos visuais que determinam sua assimilação para cada indivíduo. Essa interpretação, contudo, referendada por experiências visuais próprias do observador, estará vinculada às condições externas que ligam o observador ao mundo, ou seja, o seu contexto sociocultural.

Nesse sentido, ^{Roa-Martínez (2019)} apresenta uma concepção de representação da imagem digital no âmbito da análise documental (formal de dados e da análise de conteúdo), involucrando processos de percepção, interpretação e descrição, que em consequência junto a outras considerações explicita uma proposta de estrutura conceitual para a polirrepresentação da imagem digital, na qual as características podem ser divididas em informações intrínsecas e informações extrínsecas à imagem. A informação intrínseca pode ser entendida como aquela pertinente ao conteúdo visual, compostas por elementos propriamente exibidos na imagem que podem ser observados por um espectador, tais como os elementos visuais sintáticos -formas, cores e texturas- ou semânticos -elementos simbólicos representados na imagem-. Já a informação extrínseca é aquela que não é visual, envolvendo os elementos não visuais que não se manifestam na imagem. Essas informações, incluem, sobretudo, os elementos de registro da imagem, que vão fornecer as informações como localização e data do registro, dispositivo de captura, distância focal, entre outras propriedades geradas juntamente com a imagem. Essas informações também são conhecidas como os metadados que a própria imagem carrega consigo.

Ainda, a autora supracitada, adiciona aos dois tipos de informação anteriores, as informações de contexto que dizem respeito aos elementos que relacionam a imagem a outros recursos informacionais, os quais dependerão do contexto em que a imagem está inserida, isto é, do seu domínio de conhecimento e da forma com que o observador relaciona o que vê às suas experiências e intenções próprias.

Outra forma de apontar essas características é de acordo com a relação que os metadados têm com as imagens, tal como apresenta ^{Barreto (2007)} que os classifica em: 1. Metadados independentes do conteúdo; 2. Metadados dependentes do conteúdo; e 3. Metadados descritivos do conteúdo (Tabela 1).

A partir da classificação apresentada na Tabela 1, também é possível identificar que todos os três tipos de metadados podem configurar elementos contextuais, que juntos permitem enriquecer a base de descrição e representação sob uma perspectiva polirrepresentativa. A informação não visual ou extrínseca relaciona-se aos aspectos associados principalmente à criação e manutenção do objeto, o que fornece sua base contextual, indicando ‘quem’, ‘o quê’, ‘por que’, ‘onde’, enquanto a informação visual, tanto sintática quanto semântica, refere-se ao que o objeto contém ou trata, implicando codificação de seus elementos constitutivos na relação com sua base contextual.

Ambos os tipos de informações podem, portanto, ampliar e facilitar o acesso, a disponibilidade e o encontro das imagens digitais, bem como sua gestão e preservação. Contudo, a assimilação e representação da informação intrínseca é mais complexa, dada a natureza abstrata da imagem que dá margem a diferentes tipos de significação sobre seu conteúdo visível. Dada essa complexidade, o estudioso alemão Erwin Panofsky em suas obras O significado das artes visuais e posteriormente em Estudos sobre iconologia, desenvolve uma proposta metodológica que destaca os aspectos relacionados ao significado das obras visuais, sugerindo três níveis distintos de significação (^{Agustín Lacruz, 2010}).

Assim, ^{Panofsky (1983)} apresenta: a) um primeiro nível, denominado ‘pré-iconografico’, que se concentra nos aspectos factuais e expressionais das imagens, os quais são apreendidos pela identificação de formas puras, isto significa, certas configurações de linha e cor, identificando suas relações com eventos cotidianos e percebendo suas qualidades expressivas; b) o segundo nível, denominado ‘iconográfico’, concerne aos aspectos entendidos como de significação secundária ou convencional cuja percepção se dá no âmbito de temas ou conceitos específicos manifestados e apreendidos na identificação do que uma figura representa, dos motivos e das combinações com esses temas ou conceitos, e por último; c) no terceiro nível de significação, o nível do conteúdo intrínseco denominado ‘iconológico’, a análise concentra-se nos aspectos que são apreendidos pela determinação de princípios subjacentes às imagens, interpretados como valores simbólicos de determinados universos culturais, que inclusive podem variar em função deste universo e momento histórico.

Para ^{Agustín Lacruz (2010)}, este último nível corresponde “[...] ao mais alto grau do método iconológico e só pode ser alcançado por meio de uma descrição pré-iconográfica simultânea a uma análise iconográfica” (92). Adotando a sistematização do autor supracitado, a Figura 2 representa graficamente as relações que existem entre os tipos e níveis de análise, as atividades, os objetos e os conhecimentos requeridos pelo método iconológico.

Diante disso, é possível fazer um paralelo entre os três níveis de significação conforme ^{Panofsky (1983)}, cuja organização pode ser observada em três planos: descrição, identificação e interpretação de acordo com ^{Agustín Lacruz (2010)}, e com os três componentes clássicos da linguagem: sintaxe, semântica e pragmática, propostos por ^{Mota e Kobashi (2016)}.

No nível primário, os objetos de análise, são os seres, os objetos e os acontecimentos que podem ser apreendidos por um processo de descrição cujos conhecimentos requeridos se limitam ao da experiência cotidiana e da cultura geral que são suficientes para identificar as características objetivas da imagem, em um nível sintático. Já no nível secundário, os objetos de análise são os temas e conceitos, reconhecidos a partir do processo de identificação cuja abstração exige conhecimentos acerca da relação semântica dos temas ou conceitos específicos da imagem. E por fim, no nível terciário, os objetos de análise concentram-se nos princípios socioculturais e históricos subjacentes à imagem, que exigirá um conhecimento profundo sobre as relações culturais de cada época que vão influenciar sobremaneira em um processo que é interpretativo, caracteristicamente intersubjetivo e interacional, dada uma relação pragmática.

Desse modo, tal como os três níveis da análise iconológica, os três conceitos -sintaxe, semântica e pragmática- se inter-relacionam na produção, comunicação e consumo de informações. Tomando a concepção da informação como fenômeno social e humano, o princípio da polirrepresentação contempla, consoante ^{Roa-Martínez (2019)}, os conteúdos e informações nos níveis sintáticos, semânticos e pragmáticos de cada recurso informacional a ser representado. Com isso, a escolha do nível de granularidade da representação de cada imagem, como objetos de informação, pode variar em função do sistema e das necessidades informacionais.

Imagens do patrimônio cultural como objetos digitais: Europeana Image Classification Pilot

Derivadas, principalmente, de projetos de preservação e democratização cultural, as imagens digitais do patrimônio cultural representam objetos do mundo real criados por meio de diferentes práticas sociais e históricas que simbolizam valores artísticos, culturais, políticos e sociais, cuja transmissão se dá via suportes digitais. Como resultado, costumam compor grandes coleções digitais que referenciam tais valores simbólicos.

Essas coleções geralmente são parte de iniciativas governamentais, dos âmbitos regional, nacional e internacional, e formadas tanto por itens analógicos digitalizados em ambientes informacionais institucionalizados -bibliotecas, arquivos e museus, entre outros- como por itens analógicos digitalizados ou digitais de coleções pessoais ou particulares incorporados pelo valor cultural para a humanidade. Há também a possibilidade de serem formadas por itens nascidos digitalmente ou derivados de imagens de itens analógicos digitalizados que são manipulados e se tornam novos recursos imagéticos.

Os estudos sobre o patrimônio passam, portanto, por mudanças, incorporando às suas discussões, a acelerada passagem do patrimônio cultural para o ciberespaço (^{Dodebei, 2006}). De acordo com ^{Tardy e Dodebei (2015)}, tanto os patrimônios criados virtualmente, como também aqueles gerados fora do ambiente virtual cuja digitalização permite conservar uma imagem impõe questionamentos a respeito do seu estatuto de patrimônio. Independentemente desses questionamentos, pode-se considerar que as imagens de patrimônio cultural remetem aos recursos imagéticos que retratam aquilo que é considerado significativo para a herança humana, seja nato digital ou digitalizado, pois são constituídos, como sinalizam ^{Wang e coautores (2021)}, por enredos narrativos, circunstâncias sociais e conotações culturais.

Nesse sentido, tais imagens se configuram como uma modalidade em formato digital da representação do patrimônio e, deste modo, podem ser entendidas tal como objetos informacionais. Tais objetos, têm sua dinâmica de circulação condicionada a agregação de valores traduzidos em informações ou ainda metadados que, como observa ^{Dodebei (2006)}, vão constituir os agregados informacionais que deverão conferir valor patrimonial ao objeto. Essa relação vai ao encontro de reflexões, tal como faz ^{Wittenburg e coautores (2019)}, sobre como capturar o conteúdo significativo dos diferentes tipos de objetos informacionais em meio digital e, ainda, modelar tal conteúdo em várias camadas de informação semântica e contextual de modo a conectálas de forma eficaz e precisa para seu acesso e uso.

Ao considerar a rica semântica das imagens de patrimônio cultural e a dependência pragmática, isto é, contextual, de sua interpretação, fica evidente que quanto mais complexa em conteúdo e abstrata é uma dada imagem de patrimônio cultural, maior variedade de elementos associados serão necessários para compreender seu significado (^{Wang et al., 2021}). Assim sendo, retoma-se a base teórica de que a informação é construída e interpretada com base em elementos contextuais provenientes tanto da percepção dos atores cognitivos, em outros termos, do seu ‘modelo de mundo’ -estruturas cognitivas ou de conhecimento determinadas pelo indivíduo e suas experiências socioculturais- quanto das manifestações cognitivas do objeto de informação, geradas por um ator cognitivo com um modelo de mundo próprio em um determinado contexto e identificadas em outro.

Sendo, por conseguinte, os objetos de informação, manifestações cognitivas produzidas e consumidas durante as atividades de diferentes atores cognitivos, tais objetos devem carregar uma quantidade de elementos contextuais necessária para transmitir seu significado. Isso, como é apontado por ^{Agustín Lacruz (2010)}, pode variar muito dependendo do grau exaustividade com que os objetos são descritos, identificados ou interpretados. Essa quantidade necessária ou, esse “contexto suficiente” (^{Ingwersen e Järvelin, 2005: 44}) para a interpretação, pode ser mais bem compreendido a partir da perspectiva dos objetos digitais, tal uma coleção de objetos inter-relacionados que assumem diferentes configurações em função do contexto, sob um caráter modular e granular que dão condições para que esses objetos sejam editáveis, interativos, reprogramáveis e distribuídos.

Assim, o princípio da polirrepresentação, como mostram ^{Larsen, Ingwersen e Kekäläinen (2006)}, tenta fazer a combinação simultânea de evidências ou características representativas que são cognitivamente contextuais umas às outras de forma estruturada. O que leva a concluir que o potencial representativo pode ser ampliado se considerar as imagens do patrimônio cultural como objetos digitais, editáveis, interativos, reprogramáveis e distribuídos que permitem a combinação simultânea de tais evidências ou características representativas. O que vai ao encontro do que é apontado por ^{Lima (2020)} acerca da organização da informação e de organização do conhecimento que, de modo complementar, buscam representar a estrutura do conhecimento registrado com base na descrição de conceitos e dos relacionamentos semânticos entre eles que, traduzidos em informações, podem ser recuperados pelo usuário em um sistema de recuperação da informação.

Esse potencial pode ser visto a partir do projeto Europeana Image Classification Pilot. Considerada uma das maiores iniciativas agregadoras de dados do patrimônio cultural, a Europeana tem se destacado nos últimos anos, sobretudo, por seus constantes esforços em gerar ferramentas e serviços para os dados que agregam. A vasta documentação que disponibiliza promove o amplo reuso de seus dados enriquecidos para as diversas comunidades interessadas.

Em abril de 2021, Europeana Foundation divulgou o trabalho realizado na criação de um projeto piloto de classificação de imagens, denominado Europeana Image Classification Pilot, que utiliza algoritmos de visão computacional para melhorar os metadados e, consequentemente, sua recuperabilidade, navegação e reuso. O trabalho consistiu em aprimorar os metadados associados a imagens a partir do processo de enriquecimento automático realizado por algoritmos de classificação.

Esse processo foi realizado por meio de técnicas de deep learning baseadas em redes neurais artificiais, nas quais um conjunto de dados de treinamento contendo uma grande quantidade de imagens já previamente classificadas em categorias selecionadas a partir dos dados fornecidos anteriormente foi usado para criar um modelo capaz de classificar imagens de objetos do patrimônio cultural em um conjunto de categorias pré-definidas (^{Europeana Pro, s.d.a}).

Para isso, o projeto foi desenvolvido a partir da escolha de um vocabulário selecionado para criar as categorias de classificação com as quais os algoritmos seriam treinados. Foram selecionados os conceitos da Europeana Entity Collection, que possuem equivalências com conceitos do Getty Art and Architecture Thesaurus (AAT), criando cerca de vinte categorias como, por exemplo, fotografias, pinturas, esculturas, roupas e joias, já usadas para as coleções temáticas da plataforma.

Assim, um modelo de deep learning conhecido como rede neural convolucional -um tipo de modelo matemático computacional inspirado no sistema nervoso central humano- foi projetado e usado para extrair informações relevantes de imagens, tal como exibido na Figura 3. Cada vez que o modelo recebe uma imagem, ele lança uma distribuição de probabilidade, considerada uma pontuação de confiança entre 0 e 1 para as categorias selecionadas do vocabulário (^{Cejudo Grano de Oro, 2023b}).

Primeiramente, considerando apenas uma categoria possível para cada imagem, o modelo de classificação foi treinado para ser um modelo de rótulo único para as imagens fornecidas. Com isso, a equipe pôde avaliar o desempenho do modelo e testá-lo quanto à previsão correspondente ao conceito representado na imagem. Verificadas as limitações quanto a essa abordagem de rótulo único (uma única categoria por imagem), o modelo foi novamente treinado, só que com vários rótulos de modo a produzir pontuações de mais alta confiança para várias categorias, resultando em um classificador multi-label (multi-rótulo) que poderia identificar conceitos como “fotografia” e “escultura” na mesma imagem. Desta maneira, cada imagem teria mais de um rótulo verdadeiro ou correto. Novamente, porém, verificou-se limitações na abordagem, constatando que o fato de a qualidade dos rótulos depender da qualidade metadados das imagens previamente fornecidas para o treinamento indica uma qualidade baixa dos metadados coletados originalmente, sendo inapropriados para o processamento automático. Ademais, os dados de treinamento não refletem toda a amplitude da Europeana uma vez que a maioria dos dados usados para o treinamento foi fornecida por uma única fonte, tornando o modelo enviesado (^{Cejudo Grano de Oro, 2023b}).

Por conseguinte, os resultados do projeto piloto demonstraram que há a necessidade de revisar e expandir o conjunto de dados de treinamento de modo a identificar e corrigir possíveis vieses e inexpressividades resultantes das fontes de dados. O que direciona o tema a uma outra perspectiva com a qual a Europeana vem desenvolvendo serviços e ferramentas: a ação da inteligência humana coletiva por meio de campanhas de crowdsourcing.

Conhecido pela ideia do “poder da multidão”, o processo de crowdsourcing tem como objetivo aproveitar a inteligência de um grande grupo heterogêneo de pessoas para resolver questões (^{Kaldeli et al., 2021}). Configura-se, portanto, como uma atividade participativa que costuma ocorrer em plataformas interativas emlinha com foco na colaboração em rede. De tal modo, a Europeana tem buscado unir os resultados do enriquecimento automático, que usa a inteligência artificial, para extrair características das imagens, com o “poder da multidão”, por meio campanhas de crowdsourcing, de modo a otimizar o processo de descrição e representação e tornar o conteúdo mais rico e significativo para quem o busca e utiliza.

Dentre as formas de aumentar a qualidade dos dados disponíveis na web, o processo de anotação semântica configura-se como possibilidade de criar metadados, isto é, gerar informações sobre o significado de elementos que compõem um objeto digital. Mais precisamente, anotações são aprimoramentos providos por um usuário ou geradas por um sistema, fornecendo acréscimos ou correções a outros dados (^{Europeana Pro, s.d.a}).

Para tanto, modelos de anotação permitem que a informação seja explicitada por meio de tags, atributos, relações e ontologias de modo a construir um conjunto de dados anotados de alta qualidade com descrições de proveniência do tipo, por exemplo, ‘quem’ (o anotador); ‘o que’ (o destino da anotação); e ‘quando’ (o momento em que a anotação foi criada ou modificada) (^{Europeana Pro, s.d.a}). Assim, as anotações podem ser feitas pelos usuários de modo complementar às anotações automatizadas, gerando comentários, citações, marcações semânticas e geográficas, bem como reutilizando vocabulários de modo mais significativo.

O Web Annotation Data Model é o modelo base recomendado pela web para a representação e o intercâmbio de anotações por meio do Resource Description Framework (RDF), sua estrutura funcional se observa na Figura 4.

Para cada entidade ‘anotação’ (annotation), um conjunto de aspectos, como data e criador, podem ser vinculados e ligando-se a essa entidade há o ‘corpo’ (body) dessa anotação -que pode ter suas próprias características vinculadas, como tipo, formato, idioma- que por sua vez vai estar relacionado a entidade ‘alvo’ (target), isto é, o objeto digital a que a anotação se destina, cujos aspectos também podem ser identificados e vinculados.

Nessa perspectiva, o processo de anotações é capaz de expressar relacionamentos semânticos em uma coleção de objetos inter-relacionados (^{Europeana Pro, s.d.b}), permitindo o uso de ontologias, vocabulários de dados e a reutilização de recursos já disponíveis na web e, ainda, a integração de anotações de diferentes fontes. Por meio de plataformas colaborativas, usuários podem criar e compartilhar suas anotações e reutilizar informações criadas por outros usuários, bem como aproveitar e aprimorar anotações derivadas de processos automatizados, é nessa direção que o projeto Europeana Image Classification Pilot foi concluído.

Combinando serviços de crowdsourcing às ferramentas de enriquecimento automático baseadas em inteligência artificial que criam anotações a partir das características extraídas das imagens, a Europeana tem alcançado um desempenho significativo na representação de suas imagens, resultando em um conjunto de dados anotados de alta qualidade e mais significativos para as pesquisas das comunidades interessadas (^{Cejudo Grano de Oro, 2023a}).

Dessa forma, um conjunto de dados que foi enriquecido automaticamente com anotações pode ser colocado para validação por meio de votação, ao passo que os conjuntos de dados anotados por humanos durante as campanhas também podem ser usados como dados verdadeiros para processos de treinamento de algoritmos no enriquecimento automático (^{Kaldeli et al., 2021}). Assim, anotações humanas são orientadas e facilitadas pelas anotações automáticas, enquanto as anotações automáticas têm seu desempenho e precisão melhorados pelo julgamento humano, especialmente em relação às características contextuais de domínio.

Dessa forma, todas essas anotações se tornam camadas de informação que podem ser vinculadas aos objetos digitais em várias conformações, sendo que elas próprias configuram objetos digitais em si, podendo ser rearranjadas antes, durante ou depois da criação, disponibilização e recuperação dos objetos digitais a que fazem referência (^{Melgar Estrada, 2016}).

Ao considerar os três níveis de significação que podem ser apreendidos de recursos visuais -descrição, identificação e interpretação- entende-se que o projeto da Europeana, ao concluir que soluções puramente automatizadas não conseguem atingir resultados satisfatórios no momento da busca e recuperação, sugere a necessidade de considerar mais de um método para obter e enriquecer metadados que representam o conteúdo.

Associa-se que esses métodos incluem: no nível da descrição dos elementos sintáticos visíveis, a representação com técnicas automatizadas de extração de características das imagens, as quais capturam principalmente a cor, a textura e a forma; e o nível da identificação dos elementos semânticos visíveis, a validação dos metadados criados com base nos elementos sintáticos e na colaboração da comunidade interessada via campanhas de crowdsourcing, de modo a ampliar a qualidade e a quantidade das anotações semânticas vinculadas ao objeto digital imagético. Por fim, unindo os dois processos anteriores é possível atingir um nível de interpretação, o qual permite projetar um domínio estável de entidades significativas que compõem os objetos digitais e vinculá-los a demais objetos digitais, como os eventos e datas históricas, personalidades, entre outros, podendo assim representar esses objetos em função das características do contexto e do domínio de conhecimento a que estão vinculados ou inseridos.

Considerações finais

O estudo realizado salientou as possibilidades da polirrepresentação de imagens digitais aliada à perspectiva dos objetos digitais no processo de descrição e enriquecimento semântico de imagens do patrimônio cultural. Para elucidar esse posicionamento, a análise do projeto Europeana Image Classification Pilot evidenciou que o princípio da polirrepresentação pode ser refletido nos objetos digitais imagéticos, a partir dos três níveis de significação discutidos, os quais podem ser apreendidos de recursos visuais, atribuídos como metadados a partir de anotações semântica e validados, como no caso do crowdsourcing.

As imagens como objetos digitais são passíveis de serem interligadas e geridas juntamente com outros objetos digitais, o que contribui, portanto, com a perspectiva da polirrepresentação, dando condições para que essas imagens sejam interpretadas em vários níveis de comunicação entre o usuário humano (que realiza a pesquisa) e a máquina (o sistema da informação ou ambiente digital).

Isso se torna particularmente importante ao lidar com elementos do patrimônio cultural, uma vez que a articulação de seus aspectos simbólicos se dá na interpretação dos diferentes valores sociais e históricos, que se associam com tais aspectos em uma variedade de configurações, os quais terão sentido a partir dos relacionamentos semanticamente descritos e estabelecidos entre os objetos digitais. No que tange ao caráter modular e granular que regem as estruturas dos objetos digitais, permitindo que novos arranjos informacionais possam ser constantemente feitos, adequando, corrigindo e incrementando a representação dos dados do patrimônio cultural às dinâmicas sociais e históricas que, especialmente no âmbito do patrimônio cultural, moldam os processos interpretativos que se dão ao longo do tempo.

Depreende-se ainda, com base no que foi discutido, a necessidade de aprofundar estudos que vinculem a organização da informação e do conhecimento no âmbito da Ciência da Informação (CI), com técnicas computacionais como o deep learning e inteligências artificiais generativas que, juntamente com os objetos digitais, se veem favorecidos pela polirrepresentação em processos de recuperação de conteúdo digitais.