Importando dados de consumo de energia usando a função read_csv():
# importar o pacotelibrary(tidyverse)# salvar o arquivo csv como o objeto "despesas"consumo_energia <-read_csv(file ="dados/consumo_energia_brasil.csv")# mostrar apenas as primeiras linhas do banco de dados:consumo_energia
Importando dados
Importando dados de consumo de energia usando a função read_csv():
# importar o pacotelibrary(tidyverse)# salvar o arquivo csv como o objeto "consumo_energia"consumo_energia <-read_csv(file ="dados/consumo_energia_brasil.csv")# mostrar apenas as primeiras linhas do banco de dados:consumo_energia
Importando dados
Importando dados de consumo de energia usando a função read_csv():
# importar o pacotelibrary(tidyverse)# salvar o arquivo csv como o objeto "consumo_energia"consumo_energia <-read_csv(file ="dados/consumo_energia_brasil.csv")# mostrar apenas as primeiras linhas do banco de dados:consumo_energia
# A tibble: 34,992 × 6
ano mes sigla_uf tipo_consumo numero_consumidores consumo
<dbl> <dbl> <chr> <chr> <dbl> <dbl>
1 2004 1 RO Total NA 112812
2 2004 1 AC Total NA 34840.
3 2004 1 AM Total NA 274773
4 2004 1 RR Total NA 31696.
5 2004 1 PA Total NA 1011353.
6 2004 1 AP Total NA 43084
7 2004 1 TO Total NA 65877.
8 2004 1 MA Total NA 737033.
9 2004 1 PI Total NA 131052
10 2004 1 CE Total NA 518714
# … with 34,982 more rows
Importando dados
2. Transformação de dados
Funções do dplyr
filter() filtra apenas observações com valores específicos
arrange() reordena as linhas da base
select() seleciona apenas variáveis de interesse
mutate() cria novas variáveis como função das demais
summarise() cria estatísticas descritivas
A. Função filter
B. Função select()
C. Função mutate()
D. Função arrange()
E. Função summarise()
F. Função group_by()
Exemplo de Transformação
Exemplo de Transformação
Exemplo de Transformação
3. Visualização
“Apresentar dados com gráficos pode ajudar você a comunicar informações com clareza.”
Pacote ggplot2
Pacote ggplot2
Vamos criar nosso primeiro gráfico:
# camada de dadosenergia_residencial_pb |># camada estética (mapeamento)ggplot(aes(x = data, y = consumo)) +# camada de geometriageom_point()
Pacote ggplot2
Vamos criar nosso primeiro gráfico:
# camada de dadosenergia_residencial_pb |># camada estética (mapeamento)ggplot(aes(x = data, y = consumo)) +# camada de geometriageom_point()
Pacote ggplot2
Vamos criar nosso primeiro gráfico:
# camada de dadosenergia_residencial_pb |># camada estética (mapeamento)ggplot(aes(x = data, y = consumo)) +# camada de geometriageom_point()
Pacote ggplot2
Geometrias
Geometrias
geom é o objeto geométrico que um gráfico usa para representar dados.
Gráficos de barras são construídos com geom_bar.
Gráficos de linhas são construídos com geom_line.
Assim, para mudar a geometria, só alterar o termo geom_*.
geom_point()
energia_residencial_pb |>ggplot(mapping =aes(x = data, y = consumo)) +geom_point()
geom_line()
energia_residencial_pb |>ggplot(mapping =aes(x = data, y = consumo)) +geom_line()
geom_smooth()
energia_residencial_pb |>ggplot(mapping =aes(x = data, y = consumo)) +geom_smooth()
# A tibble: 6 × 9
id salario idade mun_trab mun_res escolaridade sexo meso_trab semia…¹
<chr> <dbl> <dbl> <int> <int> <dbl> <dbl> <chr> <chr>
1 1 678 49 250375 250375 1 1 Sertão Paraib… S
2 2 1352. 36 251030 251030 1 1 Borborema S
3 3 2859. 39 251140 251140 1 1 Borborema S
4 4 1800. 46 251140 251140 1 1 Borborema S
5 5 712. 36 251140 251140 1 1 Borborema S
6 6 960. 41 251140 251140 1 1 Borborema S
# … with abbreviated variable name ¹semiarido_trab
Estatística: Estatísticas Descritivas
Estatística: Estatísticas Descritivas
summary(salario_pb)
id salario idade mun_trab
Length:865841 Min. : 203.4 Min. : 0.00 Min. :240810
Class :character 1st Qu.: 731.7 1st Qu.:27.00 1st Qu.:250400
Mode :character Median : 881.4 Median :34.00 Median :250750
Mean : 1422.8 Mean :36.37 Mean :250730
3rd Qu.: 1328.3 3rd Qu.:45.00 3rd Qu.:250750
Max. :81597.3 Max. :98.00 Max. :251740
mun_res escolaridade sexo meso_trab
Min. :250010 Min. : 1.000 Min. :1.000 Length:865841
1st Qu.:250400 1st Qu.: 5.000 1st Qu.:1.000 Class :character
Median :250750 Median : 7.000 Median :1.000 Mode :character
Mean :250731 Mean : 6.286 Mean :1.395
3rd Qu.:250750 3rd Qu.: 7.000 3rd Qu.:2.000
Max. :251740 Max. :11.000 Max. :2.000
semiarido_trab
Length:865841
Class :character
Mode :character
# install.packages("ggcorrplot")library(ggcorrplot)matriz_corr |>ggcorrplot(ggtheme = theme_grey, lab =TRUE, colors =c("#6D9EC1", "white", "#E46726"), title ="Matriz de Correlação")
Estatística: Distribuição Normal
salario_pb |>ggplot(aes(x = salario)) +geom_histogram(breaks =seq(0,10000, by =100),fill ="red",alpha =0.3) +labs(x ="Salário", y ="", title ="Histograma do Salário Nominal na Paraíba (2013)",caption ="Fonte: Elaborado pelo autor a partir de dados da RAIS (2013)") +theme_light()
Estatística: Distribuição Normal
salario_pb |>sample_n(size =1000) |>ggplot(aes(sample = salario)) +geom_qq() +geom_qq_line() +labs(x ="Salário", y ="", title ="QQ-Plot do Salário Nominal na Paraíba (2013)",subtitle ="A distribuição de salário não parece seguir uma distribuição Normal",caption ="Fonte: Elaborado pelo autor a partir de dados da RAIS (2013)")
Estatística: Diferença de Médias
salario_pb |>mutate(sexo =case_when( sexo ==2~"Mulher", sexo ==1~"Homem")) |>filter(salario <3000) |>ggplot(aes(salario, fill =fct_rev(as.factor(sexo)))) +geom_density(position ='identity', alpha =0.5) +facet_wrap(~sexo) +guides(fill ="none") +labs(x ="Salário (R$)", y ="", title ="Distribuição de Salários na Paraíba por Gênero, 2013",subtitle ="Salários abaixo de R$ 3000",caption ="Fonte: Elaboração do autor a partir de dados da RAIS (2013)")
Estatística: Diferença de Médias
# calcular salário das mulheressalario_mulheres <- salario_pb |>filter(sexo ==1) |>pull(salario)# salário dos homenssalario_homens <- salario_pb |>filter(sexo ==2) |>pull(salario)# teste t para diferença de médiast.test(salario_mulheres, salario_homens)
Welch Two Sample t-test
data: salario_mulheres and salario_homens
t = 8.0402, df = 783668, p-value = 8.984e-16
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
23.83628 39.20365
sample estimates:
mean of x mean of y
1435.205 1403.685
Regressão
Retornos salariais da educação segundo a equação de Mincer (1974):
\[
Y (\text{Salário}) = \beta_0 + \beta_1 \text{educação} + \beta_2 \text{exp} + \beta_3 \text{exp}^2 + u
\]
energia |>ggplot(aes(x = data, y = consumo)) +geom_line(color ="red", size =1, alpha = .4) +labs(x ="Data", y ="Consumo", title ="Consumo de Energia Residencial na Paraíba") +theme_bw()
Séries Temporais
energia |>plot_time_series(data, consumo, .title ="Consumo de Energia Residencial na Paraíba" )
Séries Temporais
Base de Treinamento e Base de Teste
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.8)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.8)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.8)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.7)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
Agora vamos informar quem são nossas variáveis explicativas: o consumo de energia residencial será explicado apenas pelos seus valores passados. Poderiamos incluir outras variáveis, como feriados, tarifa de energia, etc.
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Gráfico da previsão comparada com o que ocorreu de fato:
tbl_energia_previsao |>plot_modeltime_forecast()
Séries Temporais
É possível ainda criar uma série de medidas de performance. Elas são úteis para nos guiar sobre qual o melhor modelo:
A partir de informações dos clientes, podemos prever a probabilidade que um cliente abandone (churn) a empresa, nos permitindo desenvolver programas focados em retenção de clientes.
wa_churn |>ggplot(aes(x = monthly_charges)) +geom_histogram(aes(y = ..density..)) +geom_density(fill ="blue", alpha = .2) +labs(x ="Gasto Mensal", y ="", title ="Distribuição de Gastos Mensais dos Clientes") +theme_light()
wa_churn |>mutate(female =case_when(female ==1~"Mulher", female ==0~"Homem")) |>ggplot(aes(x = female, fill = female)) +geom_bar() +labs(x ="", y ="Total de Clientes",title ="Clientes por Sexo") +guides(fill ="none") +theme_light()
wa_churn |>ggplot(aes(x = tenure)) +geom_histogram(aes(y = ..density..)) +geom_density(fill ="blue", alpha =0.2) +labs(x ="Tempo como cliente (meses)", y ="",title ="Distribuição de Tempo como Cliente") +theme_light()
wa_churn |>ggplot(aes(x = churn)) +geom_bar() +labs(x ="Churn?", y ="", title ="") +theme_light()
Análise de Churn
# Criar a base de treinamento e testechurn_treinamento_teste <- wa_churn |>initial_split(prop =0.8)tbl_treinamento <- churn_treinamento_teste |>training()tbl_teste <- churn_treinamento_teste |>testing()churn_treinamento_teste
<Training/Testing/Total>
<5634/1409/7043>
Análise de Churn
# Transformações dos dadosreceita_churn <-recipe(churn ~ ., data = tbl_treinamento) %>%step_impute_linear(all_numeric()) %>%step_dummy(all_nominal(), -all_outcomes()) %>%step_normalize(all_numeric())
Análise de Churn
# Definir o modelomodelo_floresta_aleatoria <-rand_forest(mtry =3, trees =200, min_n =30) |>set_mode("classification") |>set_engine("ranger")
cliente_ficticio <-data.frame(female =1, # mulhersenior_citizen =0, # não idosapartner =1, # com parceiro(a)dependents =0, # sem dependentestenure =2, # contrato a 2 anosphone_service =0, # sem telefonemultiple_lines ="No", # sem multiplas linhasinternet_service ="DSL", # internet tipo DSLonline_security ="No", # sem serviço de segurança onlineonline_backup ="No", # sem serviço de backup onlinedevice_protection ="No", # sem serviço de seguro de roteador (?)tech_support ="No", # suporte técnicostreaming_tv ="Yes", # usa streaming de tvstreaming_movies ="Yes", # faz uso de streaming de filmescontract ="One year", # contrato anualpaperless_billing =1, # não recebe a conta fisicamentepayment_method ="Bank transfer (automatic)", # débito automáticomonthly_charges =70, # paga $70 por mestotal_charges =1680# cobrança total 1400)
Análise de Churn
O modelo nos informa que provavelmente este cliente não deve cancelar sua assinatura em breve.
# O modelo informa que provavelmente esta cliente não deve abandonar a empresa em breveworkflow_churn |>predict(cliente_ficticio)
O objetivo da clusterização é agrupar pontos em subgrupos distintos. Uma das principais aplicações de clusterização é a segmentação de clientes. Com ela podemos separar certos grupos de clientes, para oferecer descontos, ofertas, códigos promocionais, etc.
clientes_shopping |>ggplot(aes(x = genero, fill = genero)) +geom_bar() +labs(x ="", y ="",title ="Distribuição dos Clientes por Gênero") +guides(fill ="none") +theme_light()
# Uma inspeção visual parece indicar # 5 grupos distintos de pontos.clientes_shopping |>ggplot(aes(renda_anual_mil, score_gastos, color = genero)) +geom_point() +labs(x ="Renda Anual (em mil R$)",y ="Score de Gastos",title ="Relação entre Gastos e Renda dos Clientes",color ="") +theme_light()
clientes_shopping |>ggplot(aes(x = idade)) +geom_histogram(fill ="cadetblue") +labs(x ="Idade", y ="",title ="Distribuição dos Clientes por Idade",caption ="Fonte: Elaborado pelo autor") +theme_light()
Segmentação de Clientes
Vamos construir os clusters usando o score de gastos e renda anual. Para o número de clusters, vamos usar cinco:
Podemos repetir o gráfico de dispersão renda por gastos, mas usando como cor a classificação produzida pelo K-means.
clusters_clientes |>augment(clientes_shopping) |>ggplot(aes(renda_anual_mil, score_gastos, color = .cluster)) +geom_point() +labs(x ="Renda Anual (em mil R$)", y ="Score de Gastos",title ="Relação entre Gastos e Renda dos Clientes", color ="Clusters") +theme_light()
Segmentação de Clientes
Escolhendo outros valores de K, rodando para vários valores de K e
