Mathematics, Statistics_Park

[Must Learning with R_7] Ch9. ggplot2를 활용한 다양한 그래프 그리기

2021-07-05T00:00:00+00:00

Wikidocs에 올라와있는 Must Learning with R 을 참고하며 방학동안 부족한 R programming 공부를 하고있습니다.

Ch9. ggplot2를 활용한 다양한 그래프 그리기

ggplot2로 그릴 수 있는 그래프들의 종류에 대해 알아보겠습니다.

library(ggplot2)
library(dplyr)

STOCK = read.csv("D:\\uniqlo.csv")

STOCK$Date = as.Date(STOCK$Date)
STOCK$Year = as.factor(format(STOCK$Date,"%Y"))
STOCK$Day = as.factor(format(STOCK$Date,"%a"))


Group_Data = STOCK %>%
  group_by(Year, Day) %>%
  dplyr::summarise(Mean = round(mean(Open)),
                   Median = round(median(Open)),
                   Max = round(max(Open)),
                   Counts = length(Open)
                   )

A1. Bar Chart(막대그래프)

막대도표는 가장 기본적인 그래프

하나의 이산형 변수를 기준으로 x축 변수 1개로만 그리는 경우

ggplot(Group_Data) +
  geom_bar(aes(x = as.factor(Counts), fill = ..count.. )) +
  xlab("") + ylab("") +
  scale_fill_gradient(low = "#CCE5FF", high = "#FF00FF") +
  theme_classic() + ggtitle("Countinuous Color")

Group_Data %>%
  ggplot() +
  geom_bar(aes(x = as.factor(Counts), fill = Day), alpha = 0.3) +
  ylab("") + ylab("") +
  theme_classic() + ggtitle("Discrete Color")

색 구분 포지션을 변경하고 싶은 경우

ggplot(Group_Data) +
  geom_bar(aes(x = as.factor(Counts), fill = ..count.. )) +
  xlab("") + ylab("") +
  scale_fill_gradient(low = "#CCE5FF", high = "#FF00FF") +
  theme_classic() + ggtitle("Countinuous Color")

x축, y축 1개씩 총 변수 2개로 그리는 경우, stat=’identity’를 사용합니다.

ggplot(Group_Data) +
  geom_bar(aes(x = Year, y=Mean, fill = Day), stat = 'identity') +
  scale_fill_manual(values = c("#C2DAEF","#C2EFDD","#BBAAE9",
                               "#E9F298","#FABDB3")) +
  theme_classic()

A2. Histogram (히스토그램)

연속형 변수를 시각화

ggplot(STOCK) +
  geom_histogram(aes(x = High, fill = ..x..),
                 binwidth = 1000) + 
                 #binwidth : 히스토그램의 변수 구간을 조정
  scale_fill_gradient(low = "#CCE5FF", high = "#FF00FF") +
  theme_classic() + labs(fill = "Labels Name")

ggplot(STOCK) +
  geom_histogram(aes(x = High, fill =Day),
                 binwidth = 1000, alpha = 0.3) +
  theme_classic() + labs(fill = "Labels Name")

ggplot(STOCK) +
  geom_histogram(aes(x = High, fill = Day),
                 binwidth = 1000, alpha = 0.3, position = "dodge") +
  theme_classic() + labs(fill = "Label Name")

A3. Densitiy plot

히스토그램과 비슷하게 작성. 그래프 면적이 각각의 비율이 되도록 맞춘다.

ggplot(STOCK) +
  geom_density(aes(x = High)) +
  theme_classic() + labs(fill = "Labels Name")

ggplot(STOCK) +
  geom_density(aes(x = High, fill = Day) , alpha = 0.3) +
  theme_classic() + labs(fill = "Labels Name") +
  theme(axis.text.x = element_text(size = 9, angle =45,
                                   hjust = 1))

A4. Boxplot and Jitter plot

박스플롯은 데이터를 요약하는데 있어 매우 유용한 그래프. 상자의 밑변, 윗변은 각각 1, 3분위수를 의미. 상자를 감싸는 테두리는 울타리라고 하며 이 선을 벗어나면 이상치(Outlier)라 한다.
박스플롯을 그리기 위해서 x축은 descrete 변수를 ,y 축에는 continuous 변수를 배치

ggplot(STOCK) +
  geom_boxplot(aes(x = Day, y= Volume, fill =Day),
               alpha = 0.3, outlier.color = 'red') +
  theme_bw()

ggplot(STOCK) +
  geom_boxplot(aes(x = Day, y = Volume, fill = Day),
               alpha = 0.2, outlier.color = 'red') +
  geom_jitter(aes(x = Day, y= Volume, col = Day), alpha = 0.1) +
  theme_bw()

A5. violin plot

박스플롯과 비슷한 역할을 수행

ggplot(STOCK) +
  geom_violin(aes(x = Day, y= Volume, fill = Day),
              alpha = 0.3 ) +
  theme_bw()

A6. Scater plot

산점도는 데이터 상관관계를 파악하기에 유용한 그래프. 그래프에서 shape, size 등을 통해 다양한 그래프를 그릴 수 있음.

ggplot(STOCK) +
  geom_point(aes(x = Open, y = Stock.Trading,
                 col = High, size = log(Volume), shape = Year)) +
  scale_color_gradient(low = "#CCE5FF", high =  "#FF00FF") +
  scale_shape_manual(values = c(19,20,21,22,23)) +
  labs(
    col = "Color", shape = "Shape", size = "Size"
  ) +
  theme_bw() +
  theme(axis.text.x = element_blank())

A7. Smooth plot

geom_smooth는 회귀선을 그려줌

ggplot(STOCK) +
  geom_smooth(aes(x = Open, y = Stock.Trading),
              method = 'lm',
              col = '#8A8585') +
  theme_bw()

ggplot(STOCK) +
  geom_point(aes(x = Open, y = Stock.Trading, ),
             col = 'royalblue', alpha = 0.2) +
  geom_smooth(aes(x = Open, y = Stock.Trading),
              method = 'lm', col = '#8A8585') +
  theme_bw()

A8. bline, vline, hline

그래프에 평행선, 수직선, 대각선을 그릴 수 있는 명령어

ggplot(NULL) +
  geom_vline(xintercept = 10, linetype = 'dashed',
             col = 'royalblue', size =3) +
  geom_hline(yintercept = 10, linetype = 'dashed',
             col = 'royalblue', size =3) +
  geom_abline(intercept = 0, slope =1, col ='red',
              size =3) +
  theme_bw()

A9. Step plot

계단형식의 그래프. 값의 증가량을 나타낼 때 효과적

Hazard_Ratio = c(0.1,0.3,0.4,0.45,0.49,0.52,0.6,0.65,0.75,0.8,0.95)
Survival_Time = c(1,2,3,4,5,6,7,8,9,10,11)

ggplot(NULL) +
  geom_step(aes(x = Survival_Time , y = Hazard_Ratio), col = 'red') +
  scale_x_continuous(breaks = Survival_Time) +
  theme_classic()

B1. Density 2d plot

밀도그래프를 2개의 차원으로 그리는 그래프.

ggplot(STOCK) +
  geom_point(aes(x = log(Stock.Trading), y = Open, col = Open)) +
  geom_density2d(aes(x = log(Stock.Trading), y = Open)) +
  scale_color_gradient(low = "#E93061", high = "#574449") +
  theme_bw()

B2. Density 2d plot

산점도와 거의 동일. 다만 점이 아닌 지정한 글자로 그래프를 그리는 방식

SL = sample(1:nrow(STOCK), 200, replace = FALSE)

ggplot(STOCK[SL,]) +
  geom_text(aes(x = Date, y = Open, label = Open,
                col = Open), size = 2) +
  scale_color_gradient(low = "#CCE5FF", high = "#0080FF") +
  theme_bw()

B3. Line plot & Timeseries plot

선 그래프에서는 group이라는 옵션이 필요.

ggplot(STOCK) +
  geom_line(aes(x = Year, y=Open), group = 1) +
  theme_bw()

선은 동일한 x에서 하나의 y 값만을 가져야 하는 특징이 있으므로 이 선 그래프는 잘못 그려진 경우이다. 따라서 선 그래프를 그리기 전에는 항상 이 점을 유의해 요약값을 만들어준 후 그래프를 작성해야 함.

ggplot(STOCK) +
  geom_line(aes(x = Date, y = Open), group = 1) +
  theme_bw()

ggplot(STOCK) +
  geom_line(aes(x = Date, y = Open,
                col = Year, group = Year)) +
  theme_bw()

B4. Error bar plot

우리가 직접 범위를 조정할 수 있는 오차범위 그래프.
일반적으로 point, boxplot과 혼합할 때 주로 쓰인다.

DF = STOCK %>%
  group_by(Year) %>%
  summarise(Min = min(High),
            Max = max(High))

ggplot(NULL) +
  geom_boxplot(data = STOCK, aes(x = Year, y = High, fill = Year)) +
  geom_errorbar(data = DF, aes(x = Year, ymin = Min, ymax = Max)) +
  theme_bw()

B5. Corrplot

상관계수를 히트맵 형식으로 한 그래프

Cor_matrix = cor(iris[,1:4])

install.packages('corrplot')
library(corrplot)

corrplot(Cor_matrix , method = "color", outline = T, addgrid.col = "darkgray", 
         order="hclust", addrect = 4, rect.col = "black", 
         rect.lwd = 5,cl.pos = "b", tl.col = "indianred4", 
         tl.cex = 1, cl.cex = 1, addCoef.col = "white", 
         number.digits = 2, number.cex = 1, 
         col = colorRampPalette(c("darkred","white","midnightblue"))(100))

B6. Heatmap

위 Corrplot과 비슷한 형태의 그래프
원하는 값을 기준으로 색의 온도를 나타낼 수 있다.

ggplot(Group_Data) +
  geom_tile(aes(x = Year, y = Day, fill = Counts), alpha = 0.6) +
  scale_fill_gradient(low = "#C2DAEF", high = "#8A8585") +
  theme_classic()

B7. Ribbon plot

범위를 정할 수 있는 선 그래프

ggplot(STOCK) +
  geom_ribbon(aes(x= Date, ymin = log(Low) - 0.5, 
              ymax = log(High) + 0.5),fill = 'royalblue' , alpha = 0.2) +
  theme_classic()

ggplot(STOCK) +
  geom_ribbon(aes(x= Date, ymin = log(Low) - 0.5, ymax = log(High) + 0.5),fill = 'royalblue' , alpha = 0.2) +
  geom_point(aes(x= Date, y = log(Low) - 0.5), col = '#8A8585', alpha = 0.8)  + 
  geom_point(aes(x= Date, y = log(High) + 0.5), col = '#8A8585', alpha = 0.8) +
  geom_line(aes(x = Date, y = log(Open)),group =1 , col = '#C2DAEF' ,  linetype = 'dashed', size  = 0.1) +
  geom_point(aes(x = Date, y = log(Open)),col = 'red', alpha = 0.4) +
  theme_classic() +
  ylab("") + xlab("")

B8. Ridge plot

density plot을 여러개 그릴 수 있는 그래프

install.packages('ggridges')
library(ggridges)

ggplot(STOCK) +
  geom_density_ridges_gradient(aes(x = log(High) + 0.2 , 
                                y= Year, fill = ..x..),gradient_lwd = 1.) +
  theme_ridges(grid = FALSE) +
  scale_fill_gradient(low= "#8A8585", high= "#C2DAEF") +
  theme(legend.position='none') + xlab("") + ylab("")

B9. Area plot

누적값을 나타내는 영역 그래프

ggplot(Group_Data) +
  geom_area(aes(x= as.numeric(as.character(Year)),
               y = Mean , fill = Day ),alpha = 0.4) +
  theme_classic() +
  xlab("")

C1. Polygon plot

그래프분포의 범위를 나타내느 그래프

ggplot(STOCK) +
  stat_ellipse(geom = 'polygon',
               aes(x = Volume, y = Stock.Trading, fill = Year), alpha = 0.2) +
  geom_point(aes(x = Volume, y = Stock.Trading, col = Year),
             alpha = 0.2) +
  theme_classic()  +
  # 그래프 가시성을 위해 축 범위 조절
  xlim(0,1000000) + ylim(0,50000000000) +
  theme(axis.text.x = element_blank())

C2. Rect plot

사각형 형태의 그래프. 주로 waterfall 그래프를 그리는데 활용됨

ggplot(Group_Data) +
  geom_rect(aes(xmin = as.numeric(as.character(Year)) - 0.5 , 
                xmax = as.numeric(as.character(Year)) + 0.5,
                ymin = Median, ymax = Max, fill = Year), alpha = 0.4) +
  geom_hline(yintercept = mean(Group_Data$Median),
             linetype = 'dashed', col = 'red') +
  theme_classic() +
  facet_wrap(~Day, nrow = 1) +
  theme(axis.text.x = element_blank())

[Must Learning with R_8] ChB1. 기초통계이론 1단계

2021-07-05T00:00:00+00:00

Wikidocs에 올라와있는 Must Learning with R 을 참고하며 방학동안 부족한 R programming 공부를 하고있습니다.

ChB1. 기초통계이론 1단계

A3. 이항분포(Binomial distribution)

성공확률 0.6인 이항분포 생성

library(ggplot2)

RB = rbinom(n = 400, size =1 ,prob =0.6)
# 난수생성

ggplot(NULL) +
  geom_bar(aes(x = as.factor(RB), fill = as.factor(RB))) +
  theme_bw() +
  xlab("") + ylab("") +
  scale_x_discrete(labels = c("실패", "성공")) +
  theme(legend.position = 'none')

평균과 분산을 수식으로 구현

note that if

$Y \sim Bin(n,p)$,
$P(Y=y) = \begin{pmatrix} n \\ y \end{pmatrix} p^y (1-p), y = 0, 1, 2, \cdots, n$
and $E[Y] = np , Var[Y] = np(1-p)$

library(ggplot2)

#난수생성
X = c()
P = c()


for(k in 1:10){
  
  RDB = dbinom(x = k, size = 10, prob = 0.4)
  
  X = c(X,k)
  P = c(P,RDB)
  
}

ggplot(NULL) +
  geom_bar(aes(x = X, y = P), stat = 'identity') +
  theme_bw() +
  scale_x_continuous(breaks= seq(1,10)) +
  xlab("성공횟수") + ylab("확률")


X = c()
P = c()

for(k in 1:10) {
  
  RDB = dbinom(x = k, size = 10, prob = 0.8)
  
  X = c(X,k)
  P = c(P,RDB)
  
}


ggplot(NULL) +
  geom_bar(aes(x = X, y=P), stat = 'identity') +
  theme_bw() +
  scale_x_continuous(breaks = seq(1,10)) +
  xlab("성공횟수")

위쪽은 성공확률이 0.4일 때, 성공횟수에 따른 성공확률을 나타내며, 아래쪽은 성공확률이 0.8일 때, 성공횟수에 따른 성공 확률을 의미

A4. 다항분포(multinomial distribution)

RM = as.data.frame(t(rmultinom(n=1, size =10, prob = c(0.2,0.5,0.3))))
RM = colSums(RM)

ggplot(NULL) +
  geom_bar(aes(x = names(RM), y= RM,fill = names(RM)),stat = 'identity') +
  theme_bw() +
  theme(legend.position = 'none') +
  scale_x_discrete(labels = c("1","2","3")) +
  xlab("") + ylab("")

예시)

눈이 3까지 있는 주사위를 10회 던졌을 때,

	1	2	3
확률변수	5개	3개	2개

위 경우의 결과가 나오게 되는 확률을 계산

pdf를 활용한 계산

n_F = factorial(10)
x_F = factorial(5) * factorial(3) * factorial(2)
Prob = (n_F/ x_F)*(1/3)^5 * (1/3)^3 * (1/3)^2
Prob

결과

> n_F = factorial(10)
> x_F = factorial(5) * factorial(3) * factorial(2)
> Prob = (n_F/ x_F)*(1/3)^5 * (1/3)^3 * (1/3)^2
> Prob
[1] 0.04267642

명령어를 활용한 계산

dmultinom(c(5,3,2), prob = c(1/3, 1/3, 1/3))

결과

> dmultinom(c(5,3,2), prob = c(1/3, 1/3, 1/3))
[1] 0.04267642

A5. 포아송분포(Poisson Distribution)

RP = rpois(n = 100, lambda = 2)
RP

ggplot(NULL) +
  geom_bar(aes(x = as.factor(RP), fill = as.factor(RP))) +
  theme_bw() + 
  xlab("성공횟수") + ylab('빈도') +
  theme(legend.position = 'none')

예시)

A도로의 1시간 당 통과 차량 수가 $\lambda=20$인 포아송 분포를 따를 경우, 15대 이하의 차량이 통과할 확률?

ppois(q = 15, lambda = 20, lower.tail = TRUE)

위의 코드는 for $Y \sim Poisson(20)$ 일 때, $P(Y \leq 15)$ 를 의미합니다.

결과

> ppois(q = 15, lambda = 20, lower.tail = TRUE)
[1] 0.1565131

A6. 연속형 확률분포

R = rnorm(n=100000, mean = 0, sd =1)

ggplot(NULL) +
  geom_histogram(aes(x = R, y= ..density..),binwidth = 0.2,fill = "white",col = 'black') +
  geom_density(aes(x = R), col = 'red', size = 1) +
  scale_y_continuous(expand = c(0,0),limits = c(0,0.5)) +
  scale_x_continuous(limits = c(-3,3)) + 
  xlab("") + 
  theme_bw()

다음과 같은 분포가 있을 때, 위 분포에 대한 누적확률분포는 다음과 같이 구할 수 있다.

CR = ecdf(R) #CDF 계산
x = seq(from = -3, to = 3, by= 0.2)
CP = CR(x)

ggplot(NULL) +
  geom_line(aes(x=x, y=CP)) +
  geom_area(aes(x=x, y=CP), fill = 'royalblue', alpha =0.3) +
  theme_bw()

A7. 정규분포(Normal Distribution)

표준편차가 각각 3,5인 정규분포

library(reshape)
library(dplyr)

k1 = c()
p1 = c()

for (k in seq(-15,15,by = 0.01)) {
  
  p = dnorm(x = k, mean = 0, sd =3)
  k1 = c(k1,k)
  p1 = c(p1,p)
  
}


k2 = c()
p2 = c()

for(k in seq(-15,15,by= 0.01)) {
  
  p = dnorm(x = k, mean =0, sd =5)
  k2 = c(k2,k)
  p2 = c(p2,p)
  
}

DF = data.frame(
  k = k1,
  p1= p1,
  p2 = p2
)

DF %>%
  melt(id.vars = c("k")) %>%
  ggplot() +
  geom_line(aes(x = k, y = value, col = as.factor(variable))) +
  geom_vline(xintercept = 0, linetype = 'dashed') +
  theme_bw() +
  theme(legend.position = 'none') +
  xlab("") + ylab("") +
  scale_y_continuous(expand = c(0,0) )

[Must Learning with R_4] Ch5. 기본문법 4단계 연습문제

2021-07-03T00:00:00+00:00

Wikidocs에 올라와있는 Must Learning with R 을 참고하며 방학동안 부족한 R programming 공부를 하고있습니다. 책에 나와있는 연습문제를 정리하려 합니다.

Ch5. 기본문법 4단계

연습문제1

IMDB 데이터 셋의 Revenue Millions 변수에 존재하는 결측치를 모두 0으로 전환시켜 Revenue_NonNA라는 변수를 만드시오.

IMDB = read.csv("D:\\IMDB-Movie-Data.csv")

IMDB$Revenue_NonNA = IMDB$Revenue..Millions. 
#Rawdatat를 새로운 변수에 복사

IMDB$Revenue_NonNA[is.na(IMDB$Revenue_NonNA)] = 0 
#결측치 대체체

sum(is.na(IMDB$Revenue_NonNA)) 
#Revenue_NonNA 변수 내에서 결측치 갯수

결과

> IMDB$Revenue_NonNA = IMDB$Revenue..Millions. #Rawdatat를 새로운 변수에 복사
> 
> IMDB$Revenue_NonNA[is.na(IMDB$Revenue_NonNA)] = 0 #결측치 대체체
> 
> sum(is.na(IMDB$Revenue_NonNA)) #Revenue_NonNA 변수 내에서 결측치 갯수
[1] 0

연습문제2

Revenue..Millions. 의 이상치범위를 계산해보세요

# 1분위수 계산
Q1 = quantile(IMDB$Revenue..Millions.,probs = c(0.25),na.rm = TRUE) 
# 3분위수 계산
Q3 = quantile(IMDB$Revenue..Millions.,probs = c(0.75),na.rm = TRUE)

LC = Q1 - 1.5 * (Q3 - Q1) # 아래 울타리
UC = Q3 + 1.5 * (Q3 - Q1) # 위 울타리

cat(LC,UC) #이상치범위

결과

> # 1분위수 계산
> Q1 = quantile(IMDB$Revenue..Millions.,probs = c(0.25),na.rm = TRUE) 
> # 3분위수 계산
> Q3 = quantile(IMDB$Revenue..Millions.,probs = c(0.75),na.rm = TRUE)
> 
> LC = Q1 - 1.5 * (Q3 - Q1) # 아래 울타리
> UC = Q3 + 1.5 * (Q3 - Q1) # 위 울타리
> 
> cat(LC,UC) #이상치범위
-137.3975 264.3825

[Must Learning with R_5] Ch6. 중급문법 1단계 연습문제

2021-07-03T00:00:00+00:00

Wikidocs에 올라와있는 Must Learning with R 을 참고하며 방학동안 부족한 R programming 공부를 하고있습니다. 책에 나와있는 연습문제를 정리하려 합니다.

Ch6. 중급문법 1단계

연습문제1

Event_Time.csv를 불러오시오.

ET = read.csv('D:/Event_Time.csv')
ET

결과

> ET = read.csv('D:/Event_Time.csv')
> ET
         Date Day Alarm Traffic Weather Event
2019-09-18  수     1  지하철    맑음     1
2019-09-19  목     1  지하철    맑음     1
2019-09-20  금     0    버스    맑음     0
2019-09-23  월     0    버스    맑음     0
2019-09-24  화     0  지하철    맑음     0
2019-09-25  수     1    버스    맑음     1
2019-09-26  목     1  지하철   비/눈     1
2019-09-27  금     0  지하철   비/눈     1
2019-09-30  월     0    버스   비/눈     0
2019-10-01  화     0    버스   비/눈     0
2019-10-02  수     1  지하철    맑음     0
2019-10-03  목     0    택시    맑음     0
2019-10-04  금     0    버스   비/눈     1
2019-10-07  월     0  지하철    맑음     0
2019-10-08  화     0    버스    맑음     1
2019-10-09  수     1    택시    맑음     1
2019-10-10  목     0  지하철   비/눈     0
2019-10-11  금     1  지하철    맑음     0
2019-10-14  월     0    버스    맑음     0
2019-10-15  화     0  지하철    맑음     0
2019-10-16  수     0  지하철    맑음     1
2019-10-17  목     1  지하철    맑음     0
2019-10-18  금     0  지하철   비/눈     0

연습문제2

colSums를 활용하여 Alarm, Event변수의 합을 각각 구하시오.

library(dplyr)

ET[,c(3,6)] %>%
  colSums()

결과

> library(dplyr)
> 
> ET[,c(3,6)] %>%
+   colSums()
Alarm Event 
    8     9  

연습문제3

reshape 패키지의 함수를 활용하여 다음의 데이터 셋을 만들어보시오.

library(reshape)

DataSet = cast(ET, Day ~ Traffic)
DataSet

결과

> library(reshape)
> 
> DataSet = cast(ET, Day ~ Traffic)
Using Event as value column.  Use the value argument to cast to override this choice
Aggregation requires fun.aggregate: length used as default
> DataSet
  Day 버스 지하철 택시
1  금    2      3    0
2  목    0      4    1
3  수    1      3    1
4  월    3      1    0
5  화    2      2    0

Remark: Reshape package

데이터를 재구성 할 때 사용되는 reshape package 사용 개념도를 첨부합니다.

[Must Learning with R_6] Ch7. 중급문법 2단계 연습문제

2021-07-03T00:00:00+00:00

Wikidocs에 올라와있는 Must Learning with R 을 참고하며 방학동안 부족한 R programming 공부를 하고있습니다. 책에 나와있는 연습문제를 정리하려 합니다.

Ch6. 중급문법 1단계

연습문제1

HR 데이터에 Factor 변수들만 뽑아, HR_Factor라는 데이터 프레임을, Numeric 변수들만 뽑아 HR_Numeric 데이터를 생성하시오.

HR = read.csv('D:/HR_comma_sep.csv')

HR_factor = HR %>%
  mutate_if(is.character,as.factor) %>% 
  #chr 타입을 factor 타입으로 변경
  select_if(is.factor)

head(HR_factor)

결과

> HR = read.csv('D:/HR_comma_sep.csv')
> 
> HR_factor = HR %>%
+   mutate_if(is.character,as.factor) %>% #chr 타입을 factor 타입으로 변경
+   select_if(is.factor)
> 
> head(HR_factor)
  department salary
1      sales    low
2      sales medium
3      sales medium
4      sales    low
5      sales    low
6      sales    low

연습문제2

HR 데이터의 sales, left 변수를 기준으로 satisfaction_level, last_evaluation의 평균, 중위수, 표준편차값을 계산해서 HR_summarise라는 데이터 프레임을 만드시오.

HR_summarise = HR %>%
  group_by(department, left) %>%
  summarise(Mean_satisfaction_level = mean(satisfaction_level),
            Med_satisfaction_level = median(satisfaction_level),
            sd_satisfaction_level = sd(satisfaction_level),
            
            Mean_last_evaluation = mean(last_evaluation),
            med_last_evaluation = median(last_evaluation),
            sd_last_evaluation = sd(last_evaluation))

HR_summarise

결과

> #satisfaction_level, last_evaluation의 평균, 중위수, 표준편차값을 계산해서 HR_summarise라는 데이터 프레임을 만드시오.
> 
> HR_summarise = HR %>%
+   group_by(department, left) %>%
+   summarise(Mean_satisfaction_level = mean(satisfaction_level),
+             Med_satisfaction_level = median(satisfaction_level),
+             sd_satisfaction_level = sd(satisfaction_level),
+             
+             Mean_last_evaluation = mean(last_evaluation),
+             med_last_evaluation = median(last_evaluation),
+             sd_last_evaluation = sd(last_evaluation))
`summarise()` has grouped output by 'department'. You can override using the `.groups` argument.
> 
> HR_summarise
# A tibble: 20 x 8
# Groups:   department [10]
   department   left Mean_satisfaction_~ Med_satisfaction_l~ sd_satisfaction_l~ Mean_last_evalua~ med_last_evaluat~ sd_last_evaluat~
   <chr>       <int>               <dbl>               <dbl>              <dbl>             <dbl>             <dbl>            <dbl>
 1 accounting      0               0.647                0.67              0.221             0.726             0.73             0.160
 2 accounting      1               0.403                0.39              0.257             0.695             0.62             0.199
 3 hr              0               0.667                0.67              0.216             0.721             0.73             0.163
 4 hr              1               0.433                0.42              0.243             0.680             0.57             0.197
 5 IT              0               0.677                0.7               0.209             0.713             0.71             0.155
 6 IT              1               0.412                0.39              0.271             0.730             0.81             0.194
 7 management      0               0.655                0.68              0.202             0.723             0.73             0.152
 8 management      1               0.423                0.41              0.270             0.727             0.78             0.202
 9 marketing       0               0.670                0.69              0.219             0.723             0.71             0.164
10 marketing       1               0.453                0.41              0.249             0.692             0.57             0.200
11 product_mng     0               0.658                0.67              0.221             0.711             0.71             0.170
12 product_mng     1               0.482                0.43              0.264             0.727             0.825            0.203
13 RandD           0               0.654                0.68              0.222             0.706             0.7              0.159
14 RandD           1               0.433                0.41              0.282             0.745             0.81             0.194
15 sales           0               0.669                0.69              0.222             0.709             0.7              0.162
16 sales           1               0.448                0.42              0.258             0.711             0.77             0.199
17 support         0               0.674                0.69              0.213             0.722             0.73             0.164
18 support         1               0.451                0.41              0.264             0.727             0.81             0.192
19 technical       0               0.668                0.69              0.215             0.717             0.72             0.164
20 technical       1               0.433                0.4               0.276             0.734             0.8              0.197  

[Must Learning with R_2] Ch3. 기본문법 2단계 연습문제

2021-07-01T00:00:00+00:00

Wikidocs에 올라와있는 Must Learning with R 을 참고하며 방학동안 부족한 R programming 공부를 하고있습니다. 책에 나와있는 연습문제를 정리하려 합니다.

Ch3. 기본문법 2단계

연습문제1

HR 데이터의 행의 수, 열의 수를 구하시오.

HR = read.csv('D://HR_comma_sep.csv')
dim(HR)

결과

> HR = read.csv('D://HR_comma_sep.csv')
> dim(HR)
[1] 14999    10

연습문제2

salary변수의 strings에 대해 답하시오.

str(HR$salary)

결과

> str(HR$salary)
Factor w/ 3 levels "high","low","medium": 2 3 3 2 2 2 2 2 2 2 ...

연습문제3

salary변수에 대하여 low는 1, medium은 2, high는 3의 값을 가져 서열정보를 가지게 하는 salary_New 변수를 만드시오.

HR$salary_New = ifelse(HR$salary == 'high', 3,
                       ifelse(HR$salary =='medium', 2,1))
summary(HR$salary_New)

결과

> HR$salary_New = ifelse(HR$salary == 'high', 3,
+                        ifelse(HR$salary =='medium', 2,1))
> summary(HR$salary_New)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
  1.000   1.000   2.000   1.595   2.000   3.000 

연습문제4

Salary_New 값이 2이면서 left는 1인 직원들만 뽑아 Medium_Left라는 새로운 데이터프레임을 만드시오.

Medium_Left = subset(HR, salary_New == 2 & left == 1)
print(xtabs(~ Medium_Left$salary + Medium_Left$left))

결과

> Medium_Left = subset(HR, salary_New == 2 & left == 1)
> print(xtabs(~ Medium_Left$salary + Medium_Left$left))
                  Medium_Left$left
Medium_Left$salary    1
            high      0
            low       0
            medium 1317

연습문제5

Medium_Left 데이터에 대해 department변수 별로 time_spend_company의 평균을 구하여, Time_spend_Mean이라는 데이터프레임을 만드시오.

SS2 = ddply(HR,
            c('department'),summarise,
            Time_spend_Mean = mean(time_spend_company))

print(SS2)

결과

> SS2 = ddply(HR,
+             c('department'),summarise,
+             Time_spend_Mean = mean(time_spend_company))
> 
> print(SS2)
    department Time_spend_Mean
1   accounting        3.522816
2           hr        3.355886
3           IT        3.468623
4   management        4.303175
5    marketing        3.569930
6  product_mng        3.475610
7        RandD        3.367217
8        sales        3.534058
9      support        3.393001
10   technical        3.411397

연습문제6

Time_spend_Mean 데이터프레임을 이용하여 department별 time_spend_company의 평균을 나타내는 막대도표를 그리시오. (stat = ‘identity’ 옵션 활용 필요)

library(ggplot2)
ggplot(SS2,aes(department,Time_spend_Mean)) + 
  geom_bar(stat='identity')

결과

[Must Learning with R_3] Ch4. 기본문법 3단계 연습문제

2021-07-01T00:00:00+00:00

Wikidocs에 올라와있는 Must Learning with R 을 참고하며 방학동안 부족한 R programming 공부를 하고있습니다. 책에 나와있는 연습문제를 정리하려 합니다.

Ch3. 기본문법 3단계

연습문제1

HR 데이터에서 last_evaluation의 평균을 구하시오.

HR = read.csv('D://HR_comma_sep.csv')
mean(HR$last_evaluation)

결과

> mean(HR$last_evaluation)
[1] 0.7161017

연습문제2

HR 데이터에서 last_evaluation의 표준편차를 구하시오.

sd(HR$last_evaluation)

결과

> sd(HR$last_evaluation)
[1] 0.1711691

연습문제3

HR 데이터에서 department에 대한 빈도표를 작성하시오.

TABLE = as.data.frame(table(HR$department))
print(TABLE)

결과

#3. HR 데이터에서 department에 대한 빈도표를 작성하시오.
> TABLE = as.data.frame(table(HR$department))
> print(TABLE)
          Var1 Freq
 accounting  767
         hr  739
         IT 1227
 management  630
  marketing  858
product_mng  902
      RandD  787
      sales 4140
    support 2229
 technical 2720

연습문제4

HR 데이터에서 left, salary에 대한 교차표를 작성하시오.

Medium_Left = subset(HR, salary_New == 2 & left == 1)
print(xtabs(~ Medium_Left$salary + Medium_Left$left))

결과

> TABLE2 = as.data.frame(xtabs(~ HR$left + HR$salary))
> print(TABLE2)
  HR.left HR.salary Freq
1       0       low 5144
2       1       low 2172
3       0    medium 5129
4       1    medium 1317
5       0      high 1155
6       1      high   82

[MS4] ch.1-4. 볼록함수

2021-06-30T00:00:00+00:00

서울대학교 통계학과 대학원 2021년도 1학년 1학기 통계이론1 수업의 정리내용입니다.

reference: Lecture note (Prof.Jaeyong Lee),
Mathematical Statistics : Basic Ideas and Selected Topics, Volume I, Second Edition By Peter J. Bickel, Kjell A. Doksum

4. 볼록함수

4.1 정의

$\textbf{Definition[볼록함수]}$

함수 $\phi: (a,b) \rightarrow \mathbb{R}$가

$\phi(\alpha x + (1-\alpha)y) \leq \alpha \phi(x) + (1 - \alpha) \phi(y), \forall x, y \in (a,b), \forall \alpha \in [0,1)$

를 만족하면 $\phi$를 볼록함수(convex function) 이라 한다. 위의 식에서 등호 없이 부등식이 성립하면, $\phi$를 순볼록(Strictly convex) 라 한다.

$-\phi$가 (순)볼록이면, $\phi$를 (순)오목이라 한다.

$\textbf{Theorem}$

$\phi$는 $(a,b)$상에 정의된 볼록함수.

$\phi$는 $(a,b)$의 모든 부분 폐구간(Closed subinterval)에서 절대 연속(absolutely conti)
$(a,b)$의 모든 점에서 좌미분 $D^- \phi(t)$ 와 우미분 $D^+ \phi(t)$ 가 존재. 가산의 점을 제외한 곣에서 미분 가능.
좌미분 계수와 우미분 계수는 증가함수
$D^- \phi(t) \leq D^+ \phi(t), \forall t \in (a,b)$

$\textbf{Theorem}$

$\phi$는 $(a,b)$상에 미분가능.

$\phi$가 볼록 $\Leftrightarrow \phi’(x) \leq \phi’(y), \forall a \leq x \leq b$
$\phi$가 순볼록 $\Leftrightarrow \phi’(x) < \phi’(y), \forall a < x<y< b$

$\phi$가 $(a,b)$ 상에서 두번미분가능.

$\phi$ 볼록 $\Leftrightarrow \phi’‘(x) \geq 0, \forall a < x < b$
$\phi$ 순볼록 $\Leftarrow \phi’‘(x) > 0, \forall a < x < b$

$\textbf{Definition[k차원에서 볼록]}$

(볼록집합)
S: 볼록집합
$\Leftrightarrow \alpha x + (1 - \alpha)y \in S, \forall x, y \in S, \alpha \in (0,1)$
(볼록함수) 함수 $\phi: S \rightarrow \mathbb{R}$가

$\phi(\alpha x + (1-\alpha)y) \leq \alpha \phi(x) + (1 - \alpha) \phi(y), \forall x, y \in S, \forall \alpha \in [0,1)$

를 만족하면, $\phi$를 볼록함수라 한다.

$-\phi$가 (순)볼록이면, $\phi$를 (순)오목이라 한다.

4.2 볼록함수를 보존하는 연산들

$\textbf{Lemma}$

(양의 가능치의 합들) $f_1, \cdots, f_m: 볼록, w_1, \cdots, w_m \geq 0$
$\Rightarrow w_1f_1 + \cdots w_mf_m$:볼록
(Composition) $g:\mathbb{R}^k \rightarrow \mathbb{R}$: 볼록, $h:\mathbb{R}^k \rightarrow \mathbb{R}$: 볼록, 증가(nonincreasing)
$\Rightarrow f=h\circ g $:볼록

4.3 받침선, 받침초평면

$\textbf{Lemma[받침선(supporting line)], 받침초평면(supporting hyperplane)}$

(받침선) $\phi$는 $I=(a,b) \subseteq \mathbb{R}$ 상에서 볼록, $t \in I$라 하면,

$L(x) = c(X-t) + \phi(t) \leq \phi(X), \forall x \in I$

를 만족하는 $(t,\phi(t))$를 통과하는 직선 $L(x)$ 가 존재.

(받침초평면) $S \subseteq \mathbb{R}^k$: 볼록, $\phi : S \rightarrow \mathbb{R}, t \in S$라 하면,

$L(x) = c'(X-t) + \phi(t) \leq \phi(X), \forall x \in S$

를 만족하는 $(t,\phi(t))$를 통과하는 초평면 $L(x)$ 가 존재.

4.4 젠센의 부등식

$\textbf{Theorem}$

$\phi: I=(a,b) \rightarrow \mathbb{R}$: 볼록, $E\vert X \vert < \infty, P(X \in I ) = 1$ 이면,

$\phi(EX) \leq E\phi(X)$

$\phi$가 $I$ 상에서 순볼록이고, $P(X=\mu) \ne 1$ 이라면,

$\phi(EX) < E\phi(X)$

4.5. 볼록손실함수

$\textbf{Theorem1}$

$\rho: \mathbb{R} \rightarrow \mathbb{R}$은 볼록, 단조함수는 아니다 $X \in \mathbb{R}$ 확률변수.
difine $\phi(a) := E\rho(X-a) $ and $\phi(a) < \infty$를 만족하는 $a$ 존재. $\Rightarrow $

$\phi(a)$가 최솟값을 갖는다.
최소값을 갖는 $a$들의 집합 $S$는 닫힌구간이다.
$\rho$가 순볼록이면, $\phi$의 최솟값을 갖는 $a$는 유일하게 존재.

$\textbf{lemma}$

$\phi: \mathbb{R} \rightarrow \mathbb{R}$은 볼록이면서 단조함수는 아니다. $\Rightarrow $

$\phi (a)$가 최솟값을 갖는다.
최솟값을 갖는 $a$들의 집합 $S$는 닫힌구간이다.
$\phi$가 순볼록이면, $\phi$의 최솟값을 갖는 $a$는 유일하게 존재.

$\textbf{lemma}$

thm1의 가정만족 & $\rho$는 0에 대칭 & $X$는 $\mu$에 대칭 $\Rightarrow \mu = \argmin_a \phi(a) = \argmin_a E\rho(X-a) $

[MS5] ch.1-5. 부등식

2021-06-30T00:00:00+00:00

서울대학교 통계학과 대학원 2021년도 1학년 1학기 통계이론1 수업의 정리내용입니다.

reference: Lecture note (Prof.Jaeyong Lee),
Mathematical Statistics : Basic Ideas and Selected Topics, Volume I, Second Edition By Peter J. Bickel, Kjell A. Doksum

5. 부등식

5.1 몇가지 부등식

$\textbf{Theorem[산술평균과 기하평균]}$

$a^{1/2}b^{1/2} \leq \frac{1}{2}a + \frac{1}{2}b ,~~ a,b>0$
$a^\alpha b^\beta \leq \alpha a + \beta b, ~~a,b>0, \alpha + \beta = 1 , \alpha,\beta>0$
$cd \leq \frac{1}{p}c^p + \frac{1}{q}d^q ,~~ \frac{1}{p} + \frac{1}{q} = 1, p,q,c,d, >0$

$\textbf{Theorem}$

$\phi$는 $(a,b)$상에 정의된 볼록함수.

$\phi$는 $(a,b)$의 모든 부분 폐구간(Closed subinterval)에서 절대 연속(absolutely conti)
$(a,b)$의 모든 점에서 좌미분 $D^- \phi(t)$ 와 우미분 $D^+ \phi(t)$ 가 존재. 가산의 점을 제외한 곣에서 미분 가능.
좌미분 계수와 우미분 계수는 증가함수
$D^- \phi(t) \leq D^+ \phi(t), \forall t \in (a,b)$

$\textbf{Theorem}$

$\phi$는 $(a,b)$상에 미분가능.

$\phi$가 볼록 $\Leftrightarrow \phi’(x) \leq \phi’(y), \forall a \leq x \leq b$
$\phi$가 순볼록 $\Leftrightarrow \phi’(x) < \phi’(y), \forall a < x<y< b$

$\phi$가 $(a,b)$ 상에서 두번미분가능.

$\phi$ 볼록 $\Leftrightarrow \phi’‘(x) \geq 0, \forall a < x < b$
$\phi$ 순볼록 $\Leftarrow \phi’‘(x) > 0, \forall a < x < b$

$\textbf{Definition[k차원에서 볼록]}$

(볼록집합)
S: 볼록집합
$\Leftrightarrow \alpha x + (1 - \alpha)y \in S, \forall x, y \in S, \alpha \in (0,1)$
(볼록함수) 함수 $\phi: S \rightarrow \mathbb{R}$가

$\phi(\alpha x + (1-\alpha)y) \leq \alpha \phi(x) + (1 - \alpha) \phi(y), \forall x, y \in S, \forall \alpha \in [0,1)$

를 만족하면, $\phi$를 볼록함수라 한다.

$-\phi$가 (순)볼록이면, $\phi$를 (순)오목이라 한다.

4.2 볼록함수를 보존하는 연산들

$\textbf{Lemma}$

(양의 가능치의 합들) $f_1, \cdots, f_m: 볼록, w_1, \cdots, w_m \geq 0$
$\Rightarrow w_1f_1 + \cdots w_mf_m$:볼록
(Composition) $g:\mathbb{R}^k \rightarrow \mathbb{R}$: 볼록, $h:\mathbb{R}^k \rightarrow \mathbb{R}$: 볼록, 증가(nonincreasing)
$\Rightarrow f=h\circ g $:볼록

4.3 받침선, 받침초평면

$\textbf{Lemma[받침선(supporting line)], 받침초평면(supporting hyperplane)}$

(받침선) $\phi$는 $I=(a,b) \subseteq \mathbb{R}$ 상에서 볼록, $t \in I$라 하면,

$L(x) = c(X-t) + \phi(t) \leq \phi(X), \forall x \in I$

를 만족하는 $(t,\phi(t))$를 통과하는 직선 $L(x)$ 가 존재.

(받침초평면) $S \subseteq \mathbb{R}^k$: 볼록, $\phi : S \rightarrow \mathbb{R}, t \in S$라 하면,

$L(x) = c'(X-t) + \phi(t) \leq \phi(X), \forall x \in S$

를 만족하는 $(t,\phi(t))$를 통과하는 초평면 $L(x)$ 가 존재.

4.4 젠센의 부등식

$\textbf{Theorem}$

$\phi: I=(a,b) \rightarrow \mathbb{R}$: 볼록, $E\vert X \vert < \infty, P(X \in I ) = 1$ 이면,

$\phi(EX) \leq E\phi(X)$

$\phi$가 $I$ 상에서 순볼록이고, $P(X=\mu) \ne 1$ 이라면,

$\phi(EX) < E\phi(X)$

4.5. 볼록손실함수

$\textbf{Theorem1}$

$\phi(a)$가 최솟값을 갖는다.
최소값을 갖는 $a$들의 집합 $S$는 닫힌구간이다.
$\rho$가 순볼록이면, $\phi$의 최솟값을 갖는 $a$는 유일하게 존재.

$\textbf{lemma}$

$\phi: \mathbb{R} \rightarrow \mathbb{R}$은 볼록이면서 단조함수는 아니다. $\Rightarrow $

$\phi (a)$가 최솟값을 갖는다.
최솟값을 갖는 $a$들의 집합 $S$는 닫힌구간이다.
$\phi$가 순볼록이면, $\phi$의 최솟값을 갖는 $a$는 유일하게 존재.

$\textbf{lemma}$

thm1의 가정만족 & $\rho$는 0에 대칭 & $X$는 $\mu$에 대칭 $\Rightarrow \mu = \argmin_a \phi(a) = \argmin_a E\rho(X-a) $

[Probability Theory_10] Week10

2021-06-30T00:00:00+00:00

서울대학교 통계학과 대학원 2021년도 1학년 1학기 확률론1 수업의 정리내용입니다.

reference: Lecture note (Prof.sangSangyeol Lee),
Probability: Theory and Examples, Rick Durrett, Version 5 January 11, 2019

Three Series Theorem

$\textbf{Lemma}$

Suppose that $X_n, n\geq 1$ are indep with finite variance. If $E\vert X_n - EX_n \vert \leq A ~ a.s. ^\forall n,\varepsilon$

$P(\max_{1\leq j \leq n} \vert S_j \vert \leq \varepsilon ) \leq \dfrac{(2A + 2\varepsilon)^2}{Var(S_n)} $

$S_n = X_1 + \cdots + X_n$

$\textbf{Definition}$

$\lbrace X_n \rbrace, \lbrace Y_n \rbrace$ are equivalent(eventually), if $\Sigma^\infty_{n=1} P(X_n \ne Y_n) < \infty$

$\textbf{Theorem[Three Series Theorem]}$

Let $\lbrace X_n \rbrace$ be a seq of indep r.v.s and for $A>0$, Set $Y_n = X_n \cdot I(\vert X_n \vert \leq A)$. Then
$\Sigma X_n$ conv a.s $\Leftrightarrow$

$\Sigma^\infty_{n=1} P(\vert X_n \vert > A) < \infty$
$\Sigma^\infty_{n=1} EY_n < \infty$
$\Sigma^\infty_{n=1} Var(Y_n) < \infty$

$\textbf{Lemma}$

Assume $\lbrace X_n \rbrace \sim \lbrace Y_n \rbrace$ and $a_n \rightarrow \infty (a_n \ne 0)$. Then

$\dfrac{1}{a_n} \Sigma^n_{j=1} X_j \xrightarrow{p} Z \Leftrightarrow \dfrac{1}{a_n} \Sigma^n_{j=1} Y_j \xrightarrow{p} Z$

$(X_j(w) = Y_j(w), j \geq N(w))$

W.L.L.N

$\textbf{Weak law of large numbers (W.L.L.N)}$

$X_1, X_2, \cdots$ are iid with $EX_i =\mu$ $\Rightarrow \dfrac{1}{n} \Sigma^n_{j=1}X_j \xrightarrow{p} \mu$

$\textbf{Lemma}$

$\Sigma^\infty_{n=1} P(\vert X \vert \geq n) \leq E\vert X \vert \leq 1 + \Sigma^\infty_{n=1} P(\vert X \vert \geq n)$

$\Sigma^\infty_{n=1} P(\vert X \vert \geq n) < \infty \Leftrightarrow E\vert X \vert < \infty$