Ciência e Dados
Menu
  • Home
  • Sobre
  • Contato
Menu
6 Bibliotecas Python Para Processamento de Texto

6 Bibliotecas Python Para Processamento de Texto

Posted on 26 de agosto de 202226 de agosto de 2022 by David Matos

Processar dados no formato de texto não é uma tarefa simples. Cada texto pode estar organizado de forma diferente, com mais ou menos parágrafos, com diferentes tipos de caracteres especiais, diferentes estruturas gramaticais, diferentes idiomas, etc…

Estruturar esses dados e então usá-los para análise pode ser bem trabalhoso, isso sem falar nos diferentes tipos de formatações quando precisamos tratar datas e contrações, por exemplo.

Mas essas 6 bibliotecas Python podem ser bastante úteis no processamento de texto.

Experimente-as em seus projetos de Ciência de Dados.

1. Pacote datefinder

Módulo Python para localizar datas dentro do texto. Use este pacote para extrair todos os tipos de data como strings de um documento e transformar em objetos de data e hora. Aqui um exemplo:

2. Pacote num2words

Esta é uma biblioteca que converte números como “25” em palavras como “vinte e cinco”. Ele suporta vários idiomas e pode até gerar números ordinais (embora esse último recurso seja um pouco problemático para alguns idiomas no momento). Aqui um exemplo:

3. Pacote wordninja

Biblioteca que divide as palavras concatenadas probabilisticamente usando Processamento de Linguagem Natural (PLN) com base nas frequências de unigramas da Wikipédia em inglês. Aqui um exemplo:

4. Pacote contractions

Transforma as contrações em inglês, convertendo you're para you are. Aqui um exemplo:

5. Pacote pyspellchecker

Pacote Python baseado em um post do blog de Peter Norvig sobre a configuração de um algoritmo simples de verificação ortográfica.

O pacote usa um algoritmo de Distância Levenshtein para encontrar permutações dentro de uma distância de 2 a partir da palavra original. Em seguida, ele compara todas as permutações (inserções, exclusões, substituições e transposições) com palavras conhecidas em uma lista de frequência de palavras. As palavras que são encontradas com mais frequência na lista de frequência são mais provavelmente os resultados corretos.

O pyspellchecker suporta vários idiomas, incluindo inglês, espanhol, alemão, francês e português. Aqui um exemplo:

6. Pacote textblob

TextBlob é uma biblioteca Python para processamento de dados textuais. Ele fornece uma API simples para mergulhar em tarefas comuns de Processamento de Linguagem Natural (PLN), como marcação de parte da fala, extração de frases nominais, análise de sentimentos, classificação, tradução e muito mais. Aqui um exemplo:

A Linguagem Python fornece um ecossistema de pacotes que vale a pena explorar.

David Matos

Referências:

Curso Gratuito Python Fundamentos Para Análise de Dados

AssemblyAI

Compartilhar

  • Clique para compartilhar no X(abre em nova janela) 18+
  • Clique para compartilhar no Facebook(abre em nova janela) Facebook
  • Clique para compartilhar no LinkedIn(abre em nova janela) LinkedIn
  • Clique para compartilhar no WhatsApp(abre em nova janela) WhatsApp
  • Clique para compartilhar no Telegram(abre em nova janela) Telegram
  • Clique para compartilhar no Tumblr(abre em nova janela) Tumblr
  • Clique para compartilhar no Pinterest(abre em nova janela) Pinterest

Relacionado

3 thoughts on “6 Bibliotecas Python Para Processamento de Texto”

  1. Vagner disse:
    30 de agosto de 2022 às 6:22 AM

    Excelente material!!

    Responder
    1. Edinei disse:
      31 de agosto de 2022 às 9:46 AM

      Muito bom! Dei uma olhada e estou sempre correndo atrás de mais conhecimento nesta área.

      Responder
      1. Antonio Verissimo disse:
        7 de julho de 2024 às 1:50 PM

        Perfect. Dei uma olhadela e está optimo

        Responder

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

Buscar

Tags Mais Comuns nos Posts

Agentes de IA Analytics Análise de Negócios Apache Spark AWS Big Data Blockchain Business Intelligence Cache-Augmented Generation (CAG) ChatGPT Cientista de Dados Cientistas de Dados Ciência de Dados Cloud Computing Data Lake Data Mesh Data Science Data Scientist Data Warehouse Deep Learning Deploy Engenharia de Dados Estatística GPU GraphRAG Hadoop IA Generativa Inteligência Artificial Internet of Things Linguagem Python Linguagem R LLM LLMs Machine Learning Metadados Normalização NVIDIA Oracle Pipeline de Dados Predictive Analytics Probabilidade PySpark Python RAG Storytelling

Histórico de Posts

  • maio 2025 (3)
  • abril 2025 (2)
  • março 2025 (4)
  • fevereiro 2025 (8)
  • janeiro 2025 (5)
  • dezembro 2024 (4)
  • novembro 2024 (1)
  • outubro 2024 (1)
  • setembro 2024 (1)
  • agosto 2024 (1)
  • julho 2024 (3)
  • junho 2024 (1)
  • maio 2024 (1)
  • abril 2024 (2)
  • março 2024 (1)
  • fevereiro 2024 (1)
  • janeiro 2024 (1)
  • dezembro 2023 (1)
  • outubro 2023 (2)
  • setembro 2023 (1)
  • agosto 2023 (4)
  • julho 2023 (2)
  • junho 2023 (4)
  • maio 2023 (2)
  • abril 2023 (2)
  • março 2023 (3)
  • fevereiro 2023 (3)
  • janeiro 2023 (3)
  • dezembro 2022 (7)
  • novembro 2022 (6)
  • outubro 2022 (2)
  • setembro 2022 (3)
  • agosto 2022 (2)
  • julho 2022 (2)
  • junho 2022 (3)
  • maio 2022 (1)
  • abril 2022 (3)
  • março 2022 (1)
  • fevereiro 2022 (3)
  • janeiro 2022 (2)
  • dezembro 2021 (1)
  • novembro 2021 (5)
  • outubro 2021 (2)
  • setembro 2021 (3)
  • agosto 2021 (1)
  • junho 2021 (1)
  • fevereiro 2021 (2)
  • janeiro 2021 (1)
  • dezembro 2020 (1)
  • novembro 2020 (1)
  • outubro 2020 (2)
  • agosto 2020 (1)
  • abril 2020 (1)
  • março 2020 (1)
  • fevereiro 2020 (2)
  • agosto 2019 (1)
  • abril 2019 (1)
  • setembro 2018 (2)
  • julho 2018 (1)
  • junho 2018 (3)
  • abril 2018 (1)
  • março 2018 (1)
  • fevereiro 2018 (2)
  • janeiro 2018 (1)
  • dezembro 2017 (1)
  • novembro 2017 (1)
  • outubro 2017 (1)
  • setembro 2017 (1)
  • julho 2017 (1)
  • junho 2017 (1)
  • maio 2017 (2)
  • abril 2017 (1)
  • janeiro 2017 (1)
  • novembro 2016 (1)
  • outubro 2016 (1)
  • setembro 2016 (1)
  • julho 2016 (1)
  • junho 2016 (1)
  • maio 2016 (1)
  • abril 2016 (1)
  • fevereiro 2016 (1)
  • janeiro 2016 (3)
  • dezembro 2015 (4)
  • novembro 2015 (6)
  • outubro 2015 (9)
  • setembro 2015 (9)
  • agosto 2015 (9)
©2025 Ciência e Dados
 

Carregando comentários...