dplyr을 사용하여 data.frame의 전체 케이스 필터링 (케이스 별 삭제)

dplyr을 사용하여 data.frame의 전체 케이스 필터링 (케이스 별 삭제)

---

dplyr을 사용하여 완전한 케이스에 대해 data.frame을 필터링 할 수 있습니까? complete.cases물론 모든 변수 목록이 작동합니다. 그러나 그것은 a) 변수가 많을 때 장황하고 b) 변수 이름을 알 수없는 경우 불가능합니다 (예 : data.frame을 처리하는 함수에서).

library(dplyr)
df = data.frame(
    x1 = c(1,2,3,NA),
    x2 = c(1,2,NA,5)
)

df %.%
  filter(complete.cases(x1,x2))

---

이 시도:

df %>% na.omit

아니면 이거:

df %>% filter(complete.cases(.))

아니면 이거:

library(tidyr)
df %>% drop_na

한 변수의 누락 여부를 기준으로 필터링하려면 다음 조건을 사용하십시오.

df %>% filter(!is.na(x1))

또는

df %>% drop_na(x1)

다른 답변은 위의 솔루션 na.omit이 훨씬 느리지 만 na.action속성 에서 생략 된 행의 행 인덱스를 반환 하는 반면 위의 다른 솔루션은 그렇지 않다는 사실과 균형을 이루어야합니다 .

str(df %>% na.omit)
## 'data.frame':   2 obs. of  2 variables:
##  $ x1: num  1 2
##  $ x2: num  1 2
##  - attr(*, "na.action")= 'omit' Named int  3 4
##    ..- attr(*, "names")= chr  "3" "4"

ADDED 최신 버전의 dplyr 및 댓글을 반영하도록 업데이트했습니다.

ADDED 최신 버전의 깔끔하고 댓글을 반영하도록 업데이트했습니다.

---

이것은 나를 위해 작동합니다.

df %>%
  filter(complete.cases(df))    

---

또는 좀 더 일반적인 :

library(dplyr) # 0.4
df %>% filter(complete.cases(.))

이것은 데이터를 필터로 전달하기 전에 체인에서 수정 될 수 있다는 장점이 있습니다.

더 많은 열이있는 또 다른 벤치 마크 :

set.seed(123)
x <- sample(1e5,1e5*26, replace = TRUE)
x[sample(seq_along(x), 1e3)] <- NA
df <- as.data.frame(matrix(x, ncol = 26))
library(microbenchmark)
microbenchmark(
  na.omit = {df %>% na.omit},
  filter.anonymous = {df %>% (function(x) filter(x, complete.cases(x)))},
  rowSums = {df %>% filter(rowSums(is.na(.)) == 0L)},
  filter = {df %>% filter(complete.cases(.))},
  times = 20L,
  unit = "relative")

#Unit: relative
#             expr       min        lq    median         uq       max neval
 #         na.omit 12.252048 11.248707 11.327005 11.0623422 12.823233    20
 #filter.anonymous  1.149305  1.022891  1.013779  0.9948659  4.668691    20
 #         rowSums  2.281002  2.377807  2.420615  2.3467519  5.223077    20
 #          filter  1.000000  1.000000  1.000000  1.0000000  1.000000    20

---

다음은 Grothendieck의 답변에 대한 벤치 마크 결과입니다. na.omit ()은 다른 두 솔루션보다 20 배 더 많은 시간이 걸립니다. dplyr이 아마도 필터의 일부로 이것에 대한 기능을 가지고 있다면 좋을 것이라고 생각합니다.

library('rbenchmark')
library('dplyr')

n = 5e6
n.na = 100000
df = data.frame(
    x1 = sample(1:10, n, replace=TRUE),
    x2 = sample(1:10, n, replace=TRUE)
)
df$x1[sample(1:n, n.na)] = NA
df$x2[sample(1:n, n.na)] = NA


benchmark(
    df %>% filter(complete.cases(x1,x2)),
    df %>% na.omit(),
    df %>% (function(x) filter(x, complete.cases(x)))()
    , replications=50)

#                                                  test replications elapsed relative
# 3 df %.% (function(x) filter(x, complete.cases(x)))()           50   5.422    1.000
# 1               df %.% filter(complete.cases(x1, x2))           50   6.262    1.155
# 2                                    df %.% na.omit()           50 109.618   20.217

---

이것은 dplyr::selectNA 값이 없어야 하는 열 (기본적으로 이해할 수있는 모든 것)을 지정할 수있는 짧은 함수입니다 (pandas df.dropna ()를 모델로 함 ).

drop_na <- function(data, ...){
    if (missing(...)){
        f = complete.cases(data)
    } else {
        f <- complete.cases(select_(data, .dots = lazyeval::lazy_dots(...)))
    }
    filter(data, f)
}

[ drop_na는 이제 tidyr의 일부입니다 . 위의 내용은 다음으로 대체 될 수 있습니다. library("tidyr")]

예 :

library("dplyr")
df <- data.frame(a=c(1,2,3,4,NA), b=c(NA,1,2,3,4), ac=c(1,2,NA,3,4))
df %>% drop_na(a,b)
df %>% drop_na(starts_with("a"))
df %>% drop_na() # drops all rows with NAs

---

이 시도

df[complete.cases(df),] #output to console

또는 이것도

df.complete <- df[complete.cases(df),] #assign to a new data.frame

The above commands take care of checking for completeness for all the columns (variable) in your data.frame.

---

Just for the sake of completeness, dplyr::filter can be avoided altogether but still be able to compose chains just by using magrittr:extract (an alias of [):

library(magrittr)
df = data.frame(
  x1 = c(1,2,3,NA),
  x2 = c(1,2,NA,5))

df %>%
  extract(complete.cases(.), )

The additional bonus is speed, this is the fastest method among the filter and na.omit variants (tested using @Miha Trošt microbenchmarks).

참고URL : https://stackoverflow.com/questions/22353633/filter-for-complete-cases-in-data-frame-using-dplyr-case-wise-deletion