HumanImmuneBERT: um Modelo de Linguagem BERT-like de Domínio Específico para a Representação de Conhecimento em Imunologia Humana
aprendizado profundo, processamento de linguagem natural, transformers, BERT, fine tuning, imunologia
O sistema imune é uma rede complexa envolvendo vários órgãos, milhares de tipos de células e moléculas que interagem para montar uma resposta imune efetiva contra agentes infecciosos. A compreensão dos processos envolvidos nas respostas imunes exige por parte dos pesquisadores a leitura de vários artigos na área com a extração, a consolidação e organização das informações relevantes, sendo esse um processo manual, exigindo muito tempo e dedicação. Nesse contexto, modelos LLM específicos de domínio podem ser desenvolvidos para ajudar na extração e na organização do conhecimento. Os modelos LLM específicos de domínio concentram seu aprendizado em conjuntos de dados cuidadosamente selecionados de temas e áreas específicas. Essa abordagem direcionada permite que os modelos desenvolvam uma compreensão mais profunda dos assuntos em determinada área do conhecimento e possam dar respostas mais precisas e diferenciadas. Portanto, o desenvolvimento de um Modelo de Linguagem de Domínio Específico para a Imunologia é uma contribuição importante para a área. O presente trabalho tem como objetivo principal criar um modelo de linguagem BERT-like de domínio específico para a área de Imunologia. O modelo desenvolvido foi comparado com o modelo BERT base e com outros modelos do estado da arte.