Importando dados de consumo de energia usando a função read_csv():
# importar o pacotelibrary(tidyverse)# salvar o arquivo csv como o objeto "despesas"consumo_energia <-read_csv(file ="dados/consumo_energia_brasil.csv")# mostrar apenas as primeiras linhas do banco de dados:consumo_energia
Importando dados
Importando dados de consumo de energia usando a função read_csv():
# importar o pacotelibrary(tidyverse)# salvar o arquivo csv como o objeto "consumo_energia"consumo_energia <-read_csv(file ="dados/consumo_energia_brasil.csv")# mostrar apenas as primeiras linhas do banco de dados:consumo_energia
Importando dados
Importando dados de consumo de energia usando a função read_csv():
# importar o pacotelibrary(tidyverse)# salvar o arquivo csv como o objeto "consumo_energia"consumo_energia <-read_csv(file ="dados/consumo_energia_brasil.csv")# mostrar apenas as primeiras linhas do banco de dados:consumo_energia
# A tibble: 34,992 × 6
ano mes sigla_uf tipo_consumo numero_consumidores consumo
<dbl> <dbl> <chr> <chr> <dbl> <dbl>
1 2004 1 RO Total NA 112812
2 2004 1 AC Total NA 34840.
3 2004 1 AM Total NA 274773
4 2004 1 RR Total NA 31696.
5 2004 1 PA Total NA 1011353.
6 2004 1 AP Total NA 43084
7 2004 1 TO Total NA 65877.
8 2004 1 MA Total NA 737033.
9 2004 1 PI Total NA 131052
10 2004 1 CE Total NA 518714
# … with 34,982 more rows
Importando dados
2. Transformação de dados
Funções do dplyr
filter() filtra apenas observações com valores específicos
arrange() reordena as linhas da base
select() seleciona apenas variáveis de interesse
mutate() cria novas variáveis como função das demais
summarise() cria estatísticas descritivas
A. Função filter
B. Função select()
C. Função mutate()
D. Função arrange()
E. Função summarise()
F. Função group_by()
Exemplo de Transformação
Exemplo de Transformação
Exemplo de Transformação
3. Visualização
“Apresentar dados com gráficos pode ajudar você a comunicar informações com clareza.”
Pacote ggplot2
Pacote ggplot2
Vamos criar nosso primeiro gráfico:
# camada de dadosenergia_residencial_pb |># camada estética (mapeamento)ggplot(aes(x = data, y = consumo)) +# camada de geometriageom_point()
Pacote ggplot2
Vamos criar nosso primeiro gráfico:
# camada de dadosenergia_residencial_pb |># camada estética (mapeamento)ggplot(aes(x = data, y = consumo)) +# camada de geometriageom_point()
Pacote ggplot2
Vamos criar nosso primeiro gráfico:
# camada de dadosenergia_residencial_pb |># camada estética (mapeamento)ggplot(aes(x = data, y = consumo)) +# camada de geometriageom_point()
Pacote ggplot2
Geometrias
Geometrias
geom é o objeto geométrico que um gráfico usa para representar dados.
Gráficos de barras são construídos com geom_bar.
Gráficos de linhas são construídos com geom_line.
Assim, para mudar a geometria, só alterar o termo geom_*.
geom_point()
energia_residencial_pb |>ggplot(mapping =aes(x = data, y = consumo)) +geom_point()
geom_line()
energia_residencial_pb |>ggplot(mapping =aes(x = data, y = consumo)) +geom_line()
geom_smooth()
energia_residencial_pb |>ggplot(mapping =aes(x = data, y = consumo)) +geom_smooth()
# A tibble: 6 × 9
id salario idade mun_trab mun_res escolaridade sexo meso_trab semia…¹
<chr> <dbl> <dbl> <int> <int> <dbl> <dbl> <chr> <chr>
1 1 678 49 250375 250375 1 1 Sertão Paraib… S
2 2 1352. 36 251030 251030 1 1 Borborema S
3 3 2859. 39 251140 251140 1 1 Borborema S
4 4 1800. 46 251140 251140 1 1 Borborema S
5 5 712. 36 251140 251140 1 1 Borborema S
6 6 960. 41 251140 251140 1 1 Borborema S
# … with abbreviated variable name ¹semiarido_trab
Estatística: Estatísticas Descritivas
Estatística: Estatísticas Descritivas
summary(salario_pb)
id salario idade mun_trab
Length:865841 Min. : 203.4 Min. : 0.00 Min. :240810
Class :character 1st Qu.: 731.7 1st Qu.:27.00 1st Qu.:250400
Mode :character Median : 881.4 Median :34.00 Median :250750
Mean : 1422.8 Mean :36.37 Mean :250730
3rd Qu.: 1328.3 3rd Qu.:45.00 3rd Qu.:250750
Max. :81597.3 Max. :98.00 Max. :251740
mun_res escolaridade sexo meso_trab
Min. :250010 Min. : 1.000 Min. :1.000 Length:865841
1st Qu.:250400 1st Qu.: 5.000 1st Qu.:1.000 Class :character
Median :250750 Median : 7.000 Median :1.000 Mode :character
Mean :250731 Mean : 6.286 Mean :1.395
3rd Qu.:250750 3rd Qu.: 7.000 3rd Qu.:2.000
Max. :251740 Max. :11.000 Max. :2.000
semiarido_trab
Length:865841
Class :character
Mode :character
# install.packages("ggcorrplot")library(ggcorrplot)matriz_corr |>ggcorrplot(ggtheme = theme_grey, lab =TRUE, colors =c("#6D9EC1", "white", "#E46726"), title ="Matriz de Correlação")
Estatística: Distribuição Normal
salario_pb |>ggplot(aes(x = salario)) +geom_histogram(breaks =seq(0,10000, by =100),fill ="red",alpha =0.3) +labs(x ="Salário", y ="", title ="Histograma do Salário Nominal na Paraíba (2013)",caption ="Fonte: Elaborado pelo autor a partir de dados da RAIS (2013)") +theme_light()
Estatística: Distribuição Normal
salario_pb |>sample_n(size =1000) |>ggplot(aes(sample = salario)) +geom_qq() +geom_qq_line() +labs(x ="Salário", y ="", title ="QQ-Plot do Salário Nominal na Paraíba (2013)",subtitle ="A distribuição de salário não parece seguir uma distribuição Normal",caption ="Fonte: Elaborado pelo autor a partir de dados da RAIS (2013)")
Estatística: Diferença de Médias
salario_pb |>mutate(sexo =case_when( sexo ==2~"Mulher", sexo ==1~"Homem")) |>filter(salario <3000) |>ggplot(aes(salario, fill =fct_rev(as.factor(sexo)))) +geom_density(position ='identity', alpha =0.5) +facet_wrap(~sexo) +guides(fill ="none") +labs(x ="Salário (R$)", y ="", title ="Distribuição de Salários na Paraíba por Gênero, 2013",subtitle ="Salários abaixo de R$ 3000",caption ="Fonte: Elaboração do autor a partir de dados da RAIS (2013)")
Estatística: Diferença de Médias
# calcular salário das mulheressalario_mulheres <- salario_pb |>filter(sexo ==1) |>pull(salario)# salário dos homenssalario_homens <- salario_pb |>filter(sexo ==2) |>pull(salario)# teste t para diferença de médiast.test(salario_mulheres, salario_homens)
Welch Two Sample t-test
data: salario_mulheres and salario_homens
t = 8.0402, df = 783668, p-value = 8.984e-16
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
23.83628 39.20365
sample estimates:
mean of x mean of y
1435.205 1403.685
Regressão
Retornos salariais da educação segundo a equação de Mincer (1974):
\[
Y (\text{Salário}) = \beta_0 + \beta_1 \text{educação} + \beta_2 \text{exp} + \beta_3 \text{exp}^2 + u
\]
energia |>ggplot(aes(x = data, y = consumo)) +geom_line(color ="red", size =1, alpha = .4) +labs(x ="Data", y ="Consumo", title ="Consumo de Energia Residencial na Paraíba") +theme_bw()
Séries Temporais
energia |>plot_time_series(data, consumo, .title ="Consumo de Energia Residencial na Paraíba" )
Séries Temporais
Base de Treinamento e Base de Teste
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.8)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.8)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.8)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
set.seed(123)# base de teste (20%) e treinamento (80%)energia_treinamento_teste <- energia |>initial_time_split(prop =0.7)tbl_energia_treinamento <-training(energia_treinamento_teste)tbl_energia_teste <-testing(energia_treinamento_teste)energia_treinamento_teste |>tk_time_series_cv_plan() |>plot_time_series_cv_plan(data, consumo)
Séries Temporais
Agora vamos informar quem são nossas variáveis explicativas: o consumo de energia residencial será explicado apenas pelos seus valores passados. Poderiamos incluir outras variáveis, como feriados, tarifa de energia, etc.
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Por fim, definir o modelo, rodar e gerar previsões:
# definir o modelo a ser rodado (ARIMA)modelo_arima <-arima_reg() %>%set_engine("auto_arima")# Rodar o modelo na base de treinamentoworkflow_arima <-workflow() %>%add_recipe(receita_energia) %>%add_model(modelo_arima) %>%fit(tbl_energia_treinamento)# Gerar uma previsão e comparar com o que realmente # aconteceu no período de testetbl_energia_calibracao <- workflow_arima |>modeltime_calibrate(new_data = tbl_energia_teste)# gerar os valores previstostbl_energia_previsao <- tbl_energia_calibracao |>modeltime_forecast(new_data = tbl_energia_teste,actual_data = energia)
Séries Temporais
Gráfico da previsão comparada com o que ocorreu de fato:
tbl_energia_previsao |>plot_modeltime_forecast()
Séries Temporais
É possível ainda criar uma série de medidas de performance. Elas são úteis para nos guiar sobre qual o melhor modelo:
A partir de informações dos clientes, podemos prever a probabilidade que um cliente abandone (churn) a empresa, nos permitindo desenvolver programas focados em retenção de clientes.
