※ 引述《missingmini (just missing)》之銘言：
: [程式範例]:
: 我有一個很大的 data.table 物件，名稱為 tbl_left，是由 fread 讀入文字檔案
: 建立的，大小為 1821350 x 24。這 24 欄裡面其中一個叫做 ID，其型態為 character。
: 另有一個較小的 data.table，名稱為 tbl_right，也是由 fread 建立的，大小為
: 1289 x 24。這 24 欄裡面也有一個叫做 ID，型態也是 character。
: 現在我執行 tbl_joined <- dplyr:::left_join(tbl_left, tbl_right, by = "ID")
: 產生一個新的物件 tbl_joined，發現它有 1821479 列，比原來 tbl_left 的 1821350
: 還多了 129 列。研究了一下，發現是因為 tbl_right 裡面有些列的 ID 欄位有重覆的，
: 所以 join 到 tbl_left 之後，會有多出來的列。
: 為了找出究竟是哪些重覆的 ID 造成此結果，我做的步驟如下：
: [1] 首先，用 distinct(select(tbl_right, ID)) 得到的結果有 1159 列，得知有
: 1289 - 1159 = 130 列是重覆的
: [2] 用以下程式
: right_ID <- select(tbl_right, ID)
: right_ID_sorted <- sort(right_ID$ID)
: right_ID_dup = rep(" ", 130) # create a character vector of length 130
: j = 1
: for (i in 1:(length(right_ID_sorted)-1)) {
: if (right_ID_sorted[i] == right_ID_sorted[i+1]) {
: right_ID_dup[j] <- right_ID_sorted[i]; j <- j+1
: }
: }
: 如此得到的 right_ID_dup 就是所有在 tbl_right 中有重覆的 ID 值
: [3] 再來要找出 right_ID_dup 裡面，又有哪些值同時存在 tbl_left$ID
: (所以才會被 join 進來)，用以下程式
: for (tgt_ID in right_ID_dup) {
: for (j in 1:length(tbl_left$ID)) {
: if (tgt_ID == tbl_left[j]$ID) cat(tgt_ID, "\n")
: }
: }
: 結果這程式跑得非常的慢！跑了兩個小時只印出兩個值，於是放棄此方法。
: 上網搜尋，得到以下解法：
: tst <- c(unique(tbl_left$ID), unique(right_ID_dup))
: comm_ID <- tst[duplicated(tst)]
: 此法很快就得出結果，comm_ID 長度為 87，所以現在知道有 87 個 ID 值，
: 是同時存在 tbl_left 與 tbl_right 的。
: [4] 最後，要找出這 87 個 ID 值，總共在 tbl_right 中出現了幾次，寫了以下程式
: occur_total <- 0
: for (elem in comm_ID) {
: occur <- 0
: for (j in 1:length(tbl_right$ID)) {
: if (elem == tbl_right[j]$ID) occur <- occur + 1
: }
: occur_total <- occur_total + occur
: }
: cat("Total: ", occur_total, "\n")
: 結果印出 Total: 216
: 所以總共的重覆次數為 216 - 87 = 129。可以解釋為何經過 join 之後，結果比
: 原來的 tbl_left 多了 129 列。
: 但是。。。這個程式跑得也有點慢，大概近 5 分鐘才跑完。我想原因跟 [3] 的程式
: 是相同的，亦即是
: ==> R 的迴圈就是很慢！
: 因此我的問題如下：
: (1) R 的迴圈為何可以慢成這樣? 我知道有研究過底層的高手理解來龍去脈，但對於
: 新手而言，有沒有什麼簡單的說法可以 give some insight?
: (2) [4] 的程式有什麼替代解法可以跑得比較快的?
: (3) [2] 的程式雖然不慢，但我相信高手可以提出更快更適合 R 的寫法
我不知道怎麼跟你解釋R的迴圈很慢
可是有時候迴圈還是很快的 (看前幾篇更改矩陣的值就快很多)
而且，R有很多方法可以避免迴圈，想辦法用vectorise的方法去做才會快
這個法門只能多認識一些R的基礎函數
看你的寫法大概不知道 %in%, match，所以才會逐個元素做比較
先從學習這兩個函數，把迴圈改回一層開始吧
下面是用較快的程式 (其實善用duplicated就可以解決這些問題)
([2]~[4]全部都改寫到我電腦(cpu:B970)不用1秒就跑出結果了...)
程式：http://pastebin.com/36PheyGS
'%>%'跟duplicated的用法可以往前看我撰寫的相關文章
(duplicated在base跟data.table都有，我這裡都用data.table的method)