Ciência e Dados
Menu
  • Home
  • Sobre
  • Contato
Menu
chatGPT

Quantas GPUs São Necessárias Para Executar o ChatGPT?

Posted on 8 de dezembro de 20228 de dezembro de 2022 by David Matos

O ChatGPT foi lançado pela OpenAI em 30/11/2022 e já é considerado o melhor chatbot do mundo. É realmente impressionante. Se ainda não experimentou, acesse aqui: https://openai.com/blog/chatgpt

Mas quantas GPUs são necessárias para executar o ChatGPT? E qual o custo para OpenAI liberar o ChatGPT para demonstração? Vamos descobrir!

Não sabemos a arquitetura exata do ChatGPT, mas a OpenAI atesta que é ajustado a partir de uma variante do GPT-3.5, então provavelmente tem algo próximo a 175B de parâmetros. É um modelo realmente grande.

Se você experimentar o ChatGPT perceberá o quão rápido ele é. Mas quão rápido? Um modelo de 3 bilhões de parâmetros pode gerar um token em cerca de 6ms em uma GPU A100 (usando cache + tensorRT + ativação). Se escalarmos isso para o tamanho do ChatGPT, deve levar 350ms segundos para uma GPU A100 imprimir uma única palavra.

Claro, você nunca poderia encaixar o ChatGPT em uma única GPU. Você precisaria de 5 GPUs A100 de 80 Gb apenas para carregar o modelo e o texto. O ChatGPT produz cerca de 15 a 20 palavras por segundo. Se usar A100s, isso pode ser feito em um servidor de 8 GPUs (uma escolha provável na nuvem do Microsoft Azure, por exemplo).

Então, qual seria o custo de hospedagem? Na nuvem do Azure, cada GPU A100 custa cerca de US$ 3 por hora. Isso é $ 0,0003 por palavra gerada.

Mas o ChatGPT gera muitas palavras! O modelo geralmente responde às consultas com cerca de 30 palavras, o que soma cerca de 1 centavo por consulta.

O ChatGPT adquiriu 1 milhão de usuários nos primeiros 5 dias de operação. Se um usuário médio fizer 10 consultas por dia, é razoável estimar que o ChatGPT atenda a cerca de 10 milhões de consultas por dia.

Podemos estimar que o custo de execução do ChatGPT seja de US$ 100 mil por dia ou US$ 3 milhões por mês. Este é um cálculo superficial. Presumo que os nós estejam sempre em uso com um tamanho de lote de 1. Na realidade, eles provavelmente agrupam durante alto volume, mas têm GPUs em repouso durante baixo volume.

Os custos reais para uma organização típica quase certamente seriam maiores do que isso porque a paralelização não é 100% eficiente, as GPUs não são 100% utilizadas e estimativa de tempo de execução é otimista.

O custo para o OpenAI pode ser menor, por causa da parceria com a Microsoft.

De qualquer forma, isso não é barato. Alguns dizem que é um desperdício despejar esses tipos de recursos (e carbono) em uma demonstração. Mas, o ChatGPT pode revolucionar a Inteligência Artificial.

David Matos

Referências:

Deep Learning Book Brasil

Tom Goldstein Thread

Compartilhar

  • Clique para compartilhar no Twitter(abre em nova janela)
  • Clique para compartilhar no Facebook(abre em nova janela)
  • Clique para compartilhar no LinkedIn(abre em nova janela)
  • Clique para compartilhar no WhatsApp(abre em nova janela)
  • Clique para compartilhar no Telegram(abre em nova janela)
  • Clique para compartilhar no Tumblr(abre em nova janela)
  • Clique para compartilhar no Pinterest(abre em nova janela)

Relacionado

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

Buscar

Twitter

Meus Tuítes

Tags Mais Comuns nos Posts

Anaconda Analytics Análise de Negócios Apache Spark AWS Big Data Blockchain Business Intelligence ChatGPT Chief Data Officer Cientista de Dados Cientistas de Dados Ciência de Dados Cloud Computing Data Lake Data Mesh Data Science Data Scientist Data Warehouse Deep Learning Deploy Descriptive Analytics Diagnostic Analytics Engenharia de Dados Engenheiro de Dados Estatística GPU Hadoop Inteligência Artificial Internet of Things Linguagem Python Linguagem R Machine Learning MapReduce Metadados NoSQL NVIDIA Open Data Oracle Predictive Analytics Prescriptive Analytics Probabilidade Python Salários Data Science Visualização

Histórico de Posts

  • fevereiro 2023 (3)
  • janeiro 2023 (5)
  • dezembro 2022 (8)
  • novembro 2022 (7)
  • outubro 2022 (2)
  • setembro 2022 (3)
  • agosto 2022 (2)
  • julho 2022 (2)
  • junho 2022 (3)
  • maio 2022 (1)
  • abril 2022 (3)
  • março 2022 (1)
  • fevereiro 2022 (3)
  • janeiro 2022 (2)
  • dezembro 2021 (1)
  • novembro 2021 (5)
  • outubro 2021 (2)
  • setembro 2021 (3)
  • agosto 2021 (1)
  • junho 2021 (1)
  • fevereiro 2021 (2)
  • janeiro 2021 (1)
  • dezembro 2020 (1)
  • novembro 2020 (1)
  • outubro 2020 (2)
  • agosto 2020 (1)
  • abril 2020 (1)
  • março 2020 (1)
  • fevereiro 2020 (2)
  • agosto 2019 (1)
  • abril 2019 (1)
  • setembro 2018 (2)
  • julho 2018 (1)
  • junho 2018 (3)
  • abril 2018 (1)
  • março 2018 (1)
  • fevereiro 2018 (2)
  • janeiro 2018 (1)
  • dezembro 2017 (1)
  • novembro 2017 (1)
  • outubro 2017 (1)
  • setembro 2017 (1)
  • julho 2017 (1)
  • junho 2017 (1)
  • maio 2017 (2)
  • abril 2017 (1)
  • janeiro 2017 (1)
  • novembro 2016 (1)
  • outubro 2016 (1)
  • setembro 2016 (1)
  • julho 2016 (1)
  • junho 2016 (1)
  • maio 2016 (1)
  • abril 2016 (1)
  • fevereiro 2016 (1)
  • janeiro 2016 (3)
  • dezembro 2015 (4)
  • novembro 2015 (6)
  • outubro 2015 (9)
  • setembro 2015 (9)
  • agosto 2015 (9)
©2022 Ciência e Dados