Banca de DEFESA: ANTÔNIO PEREIRA DE SOUZA JÚNIOR

Uma banca de DEFESA de MESTRADO foi cadastrada pelo programa.
DISCENTE : ANTÔNIO PEREIRA DE SOUZA JÚNIOR
DATA : 15/03/2024
HORA: 09:30
LOCAL: meet.google.com/odk-yuba-pah
TÍTULO:

Mitigando os Limites das Métricas Atuais de Avaliação de Estratégias de Modelagem de Tópicos

PALAVRAS-CHAVES:

Modelagem de tópicos, métricas de avaliação, aprendizado de máquina, inteligência artificial

PÁGINAS: 60
RESUMO:

A Modelagem de Tópicos (MT) é uma abordagem popular para extrair e organizar informações de grandes quantidades de dados textuais, descobrindo e representando tópicos semânticos de documentos. Neste trabalho, investigamos um desafio importante no contexto da MT, a Avaliação de tópicos, área responsável por impulsionar os avanços no campo e avaliar a qualidade geral do processo de geração de tópicos. As métricas tradicionais de MT capturam a qualidade dos tópicos avaliando estritamente as palavras que os construíram, seja sintaticamente (i.e., NPMI, TF-IDF Coherence) ou semanticamente (i.e., WEP). Neste caso, investigamos se estamos nos aproximando dos limites das métricas atuais em relação à qualidade de avaliação dos tópicos para a MT. Realizamos um experimento abrangente, considerando três coleções de dados amplamente utilizadas em tarefas de classificação automática, para as quais o tópico (classe) de cada documento é conhecido (i.e., ACM, 20News e WOS). Comparamos a qualidade dos tópicos gerados por quatro das principais estratégias de MT (i.e., LDA, NMF, CluWords e BerTopic) com a estrutura de tópicos prévia de cada coleção. Nossos resultados mostram que, apesar da importância das métricas atuais, estas não conseguiram captar alguns aspectos idiossincráticos importantes da MT, indicando a necessidade de propor novas métricas que considerem, por exemplo, a estrutura e organização dos documentos que compõem os tópicos. Para mitigar essa limitação, propomos adaptar métricas comumente utilizadas para avaliar algoritmos de clusterização, uma vez que existem semelhanças significativas entre as estratégias de MT e de clusterização, como sua natureza não supervisionada e o objetivo de agrupar elementos semelhantes. Neste contexto, avaliamos três métricas distintas (Silhouette Score, Calinski-Harabasz e BetaCV) nos mesmos cenários anteriores e os resultados evidenciam a eficácia das métricas de clusterização na distinção dos resultados dos algoritmos de MT e do ground truth (classes). No entanto, isto implica expandir o espaço de análise através da inclusão de um novo conjunto de métricas. Assim, propomos consolidar as várias métricas, que consideram tanto a qualidade das palavras que compõem os tópicos como a estrutura organizacional dos documentos, num resultado unificado, utilizando a Multiattribute Utility Theory (MAUT). Nossos resultados demonstraram que essa abordagem permitiu classificar com mais precisão as diferentes estratégias de MT, evidenciando os avanços semânticos gerados pelo uso de word embeddings presentes em algumas estratégias, bem como a solidez e consistência na construção de tópicos através de estratégias de fatoração de matrizes.

MEMBROS DA BANCA:
Presidente - 1674068 - LEONARDO CHAVES DUTRA DA ROCHA
Interno - 2325597 - DIEGO ROBERTO COLOMBO DIAS
Externa ao Programa - 1516364 - ELISA TULER DE ALBERGARIA
Externo à Instituição - FELIPE AUGUSTO RESENDE VIEGAS
Externo à Instituição - ADRIANO CÉSAR MACHADO PEREIRA - UFMG