import pandas as pd
import numpy as np
 
# Criando um DataFrame de exemplo com valores ausentes
data = {
    'ID': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'Nome': ['Alice', 'Bob', 'Charlie', 'David', 'Eve', 'Frank', 'Grace', 'Heidi', 'Ivan', 'Judy'],
    'Idade': [24, 30, np.nan, 28, 35, 40, np.nan, 29, 31, 26],
    'Cidade': ['São Paulo', 'Rio de Janeiro', 'Belo Horizonte', 'Curitiba', 'Porto Alegre', np.nan, 'Recife', 'Salvador', 'Fortaleza', 'Natal'],
    'Salario': [5000, 6000, 7500, np.nan, 8000, 9000, 6500, 7000, np.nan, 5500]
}
df = pd.DataFrame(data)
 
print("DataFrame Original:")
print(df)

# Verificando valores ausentes
print("\nDataFrame com valores ausentes (True/False):")
print(df.isnull())

# Contagem de valores ausentes por coluna
print("\nContagem de valores ausentes por coluna:")
print(df.isnull().sum())

# Informações gerais do DataFrame
print("\nInformações do DataFrame:")
df.info()

# Exemplo 1: Remover linhas com QUALQUER valor ausente
df_dropped_any = df.dropna()
print("\nDataFrame após remover linhas com QUALQUER valor ausente:")
print(df_dropped_any)
 
# Exemplo 2: Remover linhas onde 'Idade' ou 'Salario' são ausentes
df_dropped_subset = df.dropna(subset=['Idade', 'Salario'])
print("\nDataFrame após remover linhas com 'Idade' ou 'Salario' ausentes:")
print(df_dropped_subset)
 
# Exemplo 3: Remover colunas com QUALQUER valor ausente (muito agressivo para este DF)
# df_dropped_cols = df.dropna(axis=1)
# print("\nDataFrame após remover colunas com QUALQUER valor ausente:")
# print(df_dropped_cols)

# Vamos recriar o DataFrame para cada exemplo de fillna para não acumular modificações
df_fillna = pd.DataFrame(data)
 
# Exemplo 1: Preencher valores ausentes em 'Idade' com a média da coluna
media_idade = df_fillna['Idade'].mean()
df_fillna['Idade'] = df_fillna['Idade'].fillna(media_idade)
print(f"\nMédia da Idade: {media_idade:.2f}")
print("\nDataFrame após preencher 'Idade' com a média:")
print(df_fillna)
 
# Exemplo 2: Preencher valores ausentes em 'Salario' com a mediana da coluna
mediana_salario = df_fillna['Salario'].median()
df_fillna['Salario'] = df_fillna['Salario'].fillna(mediana_salario)
print(f"\nMediana do Salário: {mediana_salario:.2f}")
print("\nDataFrame após preencher 'Salario' com a mediana:")
print(df_fillna)
 
# Exemplo 3: Preencher valores ausentes em 'Cidade' com um valor constante (ex: 'Desconhecida')
df_fillna['Cidade'] = df_fillna['Cidade'].fillna('Desconhecida')
print("\nDataFrame após preencher 'Cidade' com 'Desconhecida':")
print(df_fillna)
 
# Exemplo 4: Preencher usando forward fill (ffill)
df_ffill = pd.DataFrame(data)
df_ffill['Salario'] = df_ffill['Salario'].fillna(method='ffill')
print("\nDataFrame após preencher 'Salario' com ffill:")
print(df_ffill)
 
# Exemplo 5: Preencher usando backward fill (bfill)
df_bfill = pd.DataFrame(data)
df_bfill['Idade'] = df_bfill['Idade'].fillna(method='bfill')
print("\nDataFrame após preencher 'Idade' com bfill:")
print(df_bfill)

# Criando um DataFrame de exemplo com duplicatas
data_dup = {
    'Nome': ['Ana', 'Bruno', 'Carlos', 'Ana', 'Daniela', 'Bruno', 'Eduardo'],
    'Idade': [25, 30, 22, 25, 28, 30, 35],
    'Cidade': ['São Paulo', 'Rio', 'Belo Horizonte', 'São Paulo', 'Curitiba', 'Rio', 'Porto Alegre'],
    'Pontuacao': [85, 90, 78, 85, 92, 90, 88]
}
df_dup = pd.DataFrame(data_dup)
 
print("DataFrame com Duplicatas:")
print(df_dup)

# Identificando duplicatas
print("\nLinhas duplicadas (True = duplicata, keep='first'):")
print(df_dup.duplicated())
 
# Contagem de duplicatas
print(f"\nTotal de linhas duplicadas (keep='first'): {df_dup.duplicated().sum()}")
 
# Identificando duplicatas considerando apenas 'Nome' e 'Cidade'
print("\nLinhas duplicadas (considerando 'Nome' e 'Cidade', keep='first'):")
print(df_dup.duplicated(subset=['Nome', 'Cidade']))
 
# Identificando TODAS as ocorrências de duplicatas
print("\nTodas as ocorrências de linhas duplicadas (keep=False):")
print(df_dup[df_dup.duplicated(keep=False)])

# Exemplo 1: Remover duplicatas, mantendo a primeira ocorrência (padrão)
df_unique_first = df_dup.drop_duplicates()
print("\nDataFrame após remover duplicatas (keep='first'):")
print(df_unique_first)
 
# Exemplo 2: Remover duplicatas, mantendo a última ocorrência
df_unique_last = df_dup.drop_duplicates(keep='last')
print("\nDataFrame após remover duplicatas (keep='last'):")
print(df_unique_last)
 
# Exemplo 3: Remover duplicatas considerando apenas 'Nome' e 'Idade'
df_unique_subset = df_dup.drop_duplicates(subset=['Nome', 'Idade'])
print("\nDataFrame após remover duplicatas (subset=['Nome', 'Idade']):")
print(df_unique_subset)

import pandas as pd
import numpy as np
import random
 
# Gerando dados de exemplo com mais complexidade
np.random.seed(42)
random.seed(42)
 
nomes = ['João', 'Maria', 'Pedro', 'Ana', 'Lucas', 'Mariana', 'Fernando', 'Paula', 'Gustavo', 'Julia']
sobrenomes = ['Silva', 'Santos', 'Oliveira', 'Souza', 'Pereira']
cidades = ['São Paulo', 'Rio de Janeiro', 'Belo Horizonte', 'Curitiba', 'Porto Alegre', 'Salvador']
status = ['Ativo', 'Inativo', 'Pendente']
 
data_complex = []
for i in range(20):
    nome_completo = f"{random.choice(nomes)} {random.choice(sobrenomes)}"
    idade = random.randint(18, 60) if random.random() > 0.1 else np.nan # 10% de chance de NaN
    cidade = random.choice(cidades) if random.random() > 0.05 else np.nan # 5% de chance de NaN
    email = f"{nome_completo.replace(' ', '.').lower()}@{random.choice(['email.com', 'mail.org'])}"
    renda = round(random.uniform(2000, 15000), 2) if random.random() > 0.15 else np.nan # 15% de chance de NaN
    status_cliente = random.choice(status)
 
    data_complex.append([nome_completo, idade, cidade, email, renda, status_cliente])
 
# Adicionar algumas duplicatas intencionais
data_complex.append(['João Silva', 25, 'São Paulo', 'joao.silva@email.com', 4500.00, 'Ativo'])
data_complex.append(['Maria Santos', 30, 'Rio de Janeiro', 'maria.santos@mail.org', 6000.00, 'Ativo'])
data_complex.append(['João Silva', 25, 'São Paulo', 'joao.silva@email.com', 4500.00, 'Ativo']) # Duplicata exata
data_complex.append(['Pedro Oliveira', 22, 'Belo Horizonte', 'pedro.oliveira@email.com', 3800.00, 'Pendente'])
data_complex.append(['Pedro Oliveira', 22, 'Belo Horizonte', 'pedro.oliveira@email.com', 3800.00, 'Pendente']) # Duplicata exata
 
df_clientes = pd.DataFrame(data_complex, columns=['Nome Completo', 'Idade', 'Cidade', 'Email', 'Renda', 'Status'])
 
print("DataFrame de Clientes Original:")
print(df_clientes)
print("\nInformações do DataFrame Original:")
df_clientes.info()
print("\nContagem de valores ausentes no DataFrame Original:")
print(df_clientes.isnull().sum())
print("\nContagem de duplicatas no DataFrame Original:")
print(df_clientes.duplicated().sum())

# --- Seu código começa aqui ---
# Faça uma cópia do DataFrame original para trabalhar
df_limpo = df_clientes.copy()
 
# 1. Identificação Inicial
print("\n--- Identificação Inicial ---")
# ... (seu código aqui) ...
print("Contagem de valores ausentes por coluna (antes da limpeza):")
print(df_limpo.isnull().sum())
print("\nContagem de linhas duplicadas (antes da limpeza):")
print(df_limpo.duplicated().sum())
 
# 2. Tratamento de Valores Ausentes
print("\n--- Tratamento de Valores Ausentes ---")
# Idade: preencher com a mediana
mediana_idade = df_limpo['Idade'].median()
df_limpo['Idade'] = df_limpo['Idade'].fillna(mediana_idade)
print(f"Idade preenchida com mediana: {mediana_idade:.2f}")
 
# Renda: preencher com a média
media_renda = df_limpo['Renda'].mean()
df_limpo['Renda'] = df_limpo['Renda'].fillna(media_renda)
print(f"Renda preenchida com média: {media_renda:.2f}")
 
# Cidade: preencher com 'Não Informado'
df_limpo['Cidade'] = df_limpo['Cidade'].fillna('Não Informado')
print("Cidade preenchida com 'Não Informado'")
 
# 3. Tratamento de Duplicatas
print("\n--- Tratamento de Duplicatas ---")
# Remover duplicatas, mantendo a primeira ocorrência
linhas_antes_dup = len(df_limpo)
df_limpo.drop_duplicates(inplace=True)
linhas_depois_dup = len(df_limpo)
print(f"Foram removidas {linhas_antes_dup - linhas_depois_dup} linhas duplicadas.")
 
# 4. Verificação Final
print("\n--- Verificação Final ---")
print("\nInformações do DataFrame Limpo:")
df_limpo.info()
print("\nContagem de valores ausentes no DataFrame Limpo:")
print(df_limpo.isnull().sum())
print("\nContagem de duplicatas no DataFrame Limpo:")
print(df_limpo.duplicated().sum())
print("\nPrimeiras 5 linhas do DataFrame Limpo:")
print(df_limpo.head())
# --- Seu código termina aqui ---