Ciência e Dados
Menu
  • Home
  • Sobre
  • Contato
Menu
3 Alternativas Para Usar LLMs

3 Alternativas Para Usar LLMs

Posted on 22 de outubro de 202322 de outubro de 2023 by David Matos

No mundo em constante evolução da IA e do Processamento de Linguagem Natural (PLN), os Grandes Modelos de Linguagem (LLMs) e a IA Generativa tornaram-se ferramentas poderosas para diversas aplicações.

Alcançar os resultados desejados com LLMs envolve diferentes abordagens que podem ser amplamente classificadas em três categorias: Engenharia Rápida, Ajuste Fino e Criação de Um Novo Modelo. À medida que avançamos de um nível para outro, as exigências em termos de recursos e custos aumentam significativamente.

1- Engenharia de Prompts nos Modelos Pré-Treinados

No nível básico, alcançar os resultados esperados dos grandes modelos de linguagem envolve uma engenharia cuidadosa de prompts, entradas para um LLM já treinado. Este processo envolve a elaboração de prompts e entradas adequadas para extrair as respostas desejadas do modelo. Prompt Engineering é uma técnica essencial para vários casos de uso, especialmente quando respostas gerais são suficientes. É a forma mais básica e simples de usar LLMs. O problema é que os LLMs são genéricos e podem não conseguir gerar texto para questões de uma área específica.

2- Criar Um Novo Modelo

No nível mais alto, a criação de um novo modelo envolve treinar um modelo do zero, especificamente adaptado para uma tarefa ou domínio específico. Essa abordagem fornece o mais alto nível de personalização, mas exige poder computacional substancial, quantidade considerável de dados e tempo (muito tempo) de treinamento do modelo.

3- Ajuste Fino (a opção mais usada atualmente)

Ao lidar com casos de uso específicos de domínio que exigem adaptações de um modelo, o ajuste fino torna-se essencial. O ajuste fino nos permite aproveitar modelos básicos pré-treinados existentes e adaptá-los a tarefas ou domínios específicos. Ao treinar o modelo em dados específicos de uma área ou assunto, podemos adaptá-lo para um bom desempenho em tarefas específicas.

No entanto, este processo pode consumir muitos recursos e ser dispendioso, pois modificaremos todos os milhões de parâmetros, como parte do treinamento. O ajuste fino do modelo ainda requer muitos dados de treinamento, enorme infraestrutura e esforço.

E no processo de ajuste fino completo de LLMs, existe ainda o risco de esquecimento catastrófico, onde se perde o conhecimento previamente adquirido no pré-treinamento. Ou seja, podemos ajustar um modelo por 8 horas para ao final descobrir que de fato ele “esqueceu” seu histórico de treinamento.

E a aplicação de ajuste fino completo a um único modelo para diferentes tarefas específicas de domínio geralmente resulta na criação de grandes modelos adaptados a tarefas específicas, sem modularidade.

Logo, o que necessitamos é de uma abordagem modular que evite a alteração de todos os parâmetros do modelo, ao mesmo tempo que exige menos recursos de infraestrutura e menos dados.

O Parameter Efficient Fine Tuning (PEFT) fornece uma maneira de realizar exatamente isso, o ajuste fino somente de parte dos parâmetros de um LLM, usando um volume de dados menor e também menor capacidade computacional. E, consequentemente, em menos tempo!

𝗥𝗲𝘁𝗿𝗶𝗲𝘃𝗮𝗹-𝗔𝘂𝗴𝗺𝗲𝗻𝘁𝗲𝗱 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻 (𝗥𝗔𝗚) é ainda outra opção para ajustar LLMs. Mas é assunto para outro post.

David Matos

Referências:

IA Generativa e LLMs Para Processamento de Linguagem Natural

Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning

Compartilhar

  • Clique para compartilhar no X(abre em nova janela) 18+
  • Clique para compartilhar no Facebook(abre em nova janela) Facebook
  • Clique para compartilhar no LinkedIn(abre em nova janela) LinkedIn
  • Clique para compartilhar no WhatsApp(abre em nova janela) WhatsApp
  • Clique para compartilhar no Telegram(abre em nova janela) Telegram
  • Clique para compartilhar no Tumblr(abre em nova janela) Tumblr
  • Clique para compartilhar no Pinterest(abre em nova janela) Pinterest

Relacionado

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

Buscar

Tags Mais Comuns nos Posts

Agentes de IA Analytics Análise de Negócios Apache Spark AWS Big Data Blockchain Business Intelligence Cache-Augmented Generation (CAG) ChatGPT Cientista de Dados Cientistas de Dados Ciência de Dados Cloud Computing Data Lake Data Mesh Data Science Data Scientist Data Warehouse Deep Learning Deploy Engenharia de Dados Estatística GPU GraphRAG Hadoop IA Generativa Inteligência Artificial Internet of Things Linguagem Python Linguagem R LLM LLMs Machine Learning Metadados Normalização NVIDIA Oracle Pipeline de Dados Predictive Analytics Probabilidade PySpark Python RAG Storytelling

Histórico de Posts

  • maio 2025 (3)
  • abril 2025 (2)
  • março 2025 (4)
  • fevereiro 2025 (8)
  • janeiro 2025 (5)
  • dezembro 2024 (4)
  • novembro 2024 (1)
  • outubro 2024 (1)
  • setembro 2024 (1)
  • agosto 2024 (1)
  • julho 2024 (3)
  • junho 2024 (1)
  • maio 2024 (1)
  • abril 2024 (2)
  • março 2024 (1)
  • fevereiro 2024 (1)
  • janeiro 2024 (1)
  • dezembro 2023 (1)
  • outubro 2023 (2)
  • setembro 2023 (1)
  • agosto 2023 (4)
  • julho 2023 (2)
  • junho 2023 (4)
  • maio 2023 (2)
  • abril 2023 (2)
  • março 2023 (3)
  • fevereiro 2023 (3)
  • janeiro 2023 (3)
  • dezembro 2022 (7)
  • novembro 2022 (6)
  • outubro 2022 (2)
  • setembro 2022 (3)
  • agosto 2022 (2)
  • julho 2022 (2)
  • junho 2022 (3)
  • maio 2022 (1)
  • abril 2022 (3)
  • março 2022 (1)
  • fevereiro 2022 (3)
  • janeiro 2022 (2)
  • dezembro 2021 (1)
  • novembro 2021 (5)
  • outubro 2021 (2)
  • setembro 2021 (3)
  • agosto 2021 (1)
  • junho 2021 (1)
  • fevereiro 2021 (2)
  • janeiro 2021 (1)
  • dezembro 2020 (1)
  • novembro 2020 (1)
  • outubro 2020 (2)
  • agosto 2020 (1)
  • abril 2020 (1)
  • março 2020 (1)
  • fevereiro 2020 (2)
  • agosto 2019 (1)
  • abril 2019 (1)
  • setembro 2018 (2)
  • julho 2018 (1)
  • junho 2018 (3)
  • abril 2018 (1)
  • março 2018 (1)
  • fevereiro 2018 (2)
  • janeiro 2018 (1)
  • dezembro 2017 (1)
  • novembro 2017 (1)
  • outubro 2017 (1)
  • setembro 2017 (1)
  • julho 2017 (1)
  • junho 2017 (1)
  • maio 2017 (2)
  • abril 2017 (1)
  • janeiro 2017 (1)
  • novembro 2016 (1)
  • outubro 2016 (1)
  • setembro 2016 (1)
  • julho 2016 (1)
  • junho 2016 (1)
  • maio 2016 (1)
  • abril 2016 (1)
  • fevereiro 2016 (1)
  • janeiro 2016 (3)
  • dezembro 2015 (4)
  • novembro 2015 (6)
  • outubro 2015 (9)
  • setembro 2015 (9)
  • agosto 2015 (9)
©2025 Ciência e Dados