Conteúdo revisado:
Destilação de modelos: Destilação treina um modelo aluno menor para imitar previsões ou distribuições de saída de um modelo professor. O objetivo é preservar capacidade útil com menos memória, energia, latência ou custo de inferência.
Como funciona
O aluno aprende com sinais produzidos pelo professor e, conforme o método, também com rótulos reais. Não é sinônimo de quantização: destilação cria ou ajusta outro modelo; quantização reduz a precisão numérica de uma representação.
Exemplo prático
Uma equipe usa um modelo grande para gerar sinais em tarefas recorrentes e treina outro menor. Antes de substituir, compara os dois em casos comuns, raros e adversariais.
Como avaliar com rigor
Meça qualidade por tarefa, verifique licença e origem dos dados, separe avaliação de treinamento, examine vieses herdados e confirme economia no hardware real.
Lista de verificação
- Defina o resultado esperado antes do teste.
- Meça o sistema completo, não uma resposta isolada.
- Documente modelo, versão, dados, controles e limitações.
Referência primária: Google for Developers — glossário de IA generativa
Notícias e análises relacionadas
Perguntas frequentes
Qual é a definição curta de destilação de modelos?
Destilação treina um modelo aluno menor para imitar previsões ou distribuições de saída de um modelo professor. O objetivo é preservar capacidade útil com menos memória, energia, latência ou custo de inferência.
Como avaliar?
Meça qualidade por tarefa, verifique licença e origem dos dados, separe avaliação de treinamento, examine vieses herdados e confirme economia no hardware real.
