Questão de Noções de InformáticaInteligência artificial generativa e transformers

apresentar, como desafio, a dificuldade de captura de dependências de longo alcance pelo uso de camadas empilhadas de atenção (self-attention).

otimizar o seu desempenho pela substituição do uso da técnica de atenção escalonada por produto interno (scaled dot- product attention), que causava instabilidade nos gradientes em dimensões altas.

produzir, ao longo da sua execução, vetores de codificação posicional parabólicos, que se multiplicam aos embeddings das palavras, permitindo o reconhecimento da posição absoluta e relativa de cada termo.

ser a primeira arquitetura de transdução de sequências construídas com mecanismos de atenção sustentados em redes neurais recorrentes e convolucionais profundas.

utilizar o modelo de múltiplas "cabeças" de atenção paralelas, substituindo a proposta de atenção única global, atentando a diferentes subespaços de representação simultaneamente.