No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para…

Question

No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para estabilizar o treinamento e favorecer a convergência - especialmente ao lidar com camadas profundas -, é a normalização por camada, conhecida como Layer Normalization, que consiste em:

Accepted Answer

normalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada.

Answer

normalizar as ativações ao longo dos canais de entrada, reduzindo o desvio padrão espacial, ideal para modelos CNN.

Answer

realizar a normalização entre exemplos de treinamento, reduzindo a variação das ativações dentro de um mesmo lote.

Answer

aplicar uma normalização nas ativações por meio de uma média móvel das ativações das camadas anteriores.

Answer

realizar uma normalização baseada em gradientes acumulados, diretamente no passo de retropropagação (backpropagation).

Questão de Noções de InformáticaNovas Tecnologias (IA, Nuvem e Colaboração)

Mais questões de Noções de Informática

Links Rápidos

Cursos em Destaque

Contato

Horário de Atendimento