用lapply在R中替换嵌套的for循环

huangapple
go评论96阅读模式
英文:

Replacing nested for loops with lapply in R

问题

我有一个庞大的数据集，使用for循环获取结果需要很长时间。似乎我可以使用lapply来代替，但我在分析中使用它时遇到了问题。

以下是一个示例代码。我使用data.table而不是dataframe。

  1. library(data.table)
  2. allCountries = rep(rep(LETTERS[1:3],3),3)
  3. allYears = rep(rep(1991:1993, each=3),3)
  5. myData = data.table(allCountries,allYears)  
  6. myData[,variable1 := rnorm(nrow(myData))]
  7. myData[,variable2 := rnorm(nrow(myData))]
  9. myData2 = myData[,.(variable3=mean(variable1)),by=.(allCountries,allYears)]
  10. myData2[,variable4:=rnorm(nrow(myData2))]
  11. myFunction = function(x,y){summary(lm(y~x))}
  13. for(ii in unique(myData$allCountries)){
  14.   for(jj in unique(myData$allYears)){
  15.     xx=myData[allCountries==ii&allYears==jj,variable1]
  16.     yy=myData[allCountries==ii&allYears==jj,variable2]
  17.     test = myFunction(xx,yy)
  18.     a=test$coefficients[2]
  19.     myData2[allCountries==ii&allYears==jj,result:=a]
  20.   }
  21. }

我尝试将模型拟合到数据子集，并将结果记录在另一个数据集中。我理解lapply的逻辑，但在实施时遇到困难。任何帮助将不胜感激！

英文:

I have a large dataset, and it takes forever to get the results using for loops. It seems I can use lapply instead, but I'm having trouble using it for my analysis.

A sample code is below. I am using a data.table instead of dataframe.

  1. library(data.table)
  2. allCountries = rep(rep(LETTERS[1:3],3),3)
  3. allYears = rep(rep(1991:1993, each=3),3)
  5. myData = data.table(allCountries,allYears)  
  6. myData[,variable1 := rnorm(nrow(myData))]
  7. myData[,variable2 := rnorm(nrow(myData))]
  9. myData2 = myData[,.(variable3=mean(variable1)),by=.(allCountries,allYears)]
  10. myData2[,variable4:=rnorm(nrow(myData2))]
  11. myFunction = function(x,y){summary(lm(y~x))}
  13. for(ii in unique(myData$allCountries)){
  14.   for(jj in unique(myData$allYears)){
  15.     xx=myData[allCountries==ii&allYears==jj,variable1]
  16.     yy=myData[allCountries==ii&allYears==jj,variable2]
  17.     test = myFunction(xx,yy)
  18.     a=test$coefficients[2]
  19.     myData2[allCountries==ii&allYears==jj,result:=a]
  20.   }
  21. }

I'm trying to fit the model to the subset of the data and record the result in another dataset. I understand the logic of lapply, but struggling to implement it. Any help would be much appreciated!

答案1

得分: 0

  1. # 技巧在于将数据按`allCountries`和`allYears`拆分。这将创建一个data.table列表，`lapply`可以对它们进行操作。
  3. 库(data.table)
  5. # 原始代码
  6. 所有国家= rep(rep(LETTERS[1:3],3),3)
  7. 所有年份= rep(rep(1991:1993, each=3),3)
  9. # 使结果可重现
  10. set.seed(2023)
  11. 我的数据= data.table(所有国家,所有年份)  
  12. 我的数据[,变量1 := rnorm(nrow(我的数据))]
  13. 我的数据[,变量2 := rnorm(nrow(我的数据))]
  15. 我的数据2 = 我的数据[,.(变量3=mean(变量1)),by=.(所有国家,所有年份)]
  16. 我的数据2[,变量4:=rnorm(nrow(我的数据2))]
  17. 我的函数 = function(x,y){summary(lm(y~x))}
  19. for(ii in unique(我的数据$所有国家)){
  20.   for(jj in unique(我的数据$所有年份)){
  21.     xx=我的数据[所有国家==ii & 所有年份==jj,变量1]
  22.     yy=我的数据[所有国家==ii & 所有年份==jj,变量2]
  23.     测试 = 我的函数(xx, yy)
  24.     a = 测试$coefficients[2]
  25.     我的数据2[所有国家==ii & 所有年份==jj, 结果 := a]
  26.   }
  27. }
  28. # 保存以便后续比较
  29. md2 <- 我的数据2
  31. # lapply代码从这里开始
  32. rm(list = ls(pattern = "^我的数据"))
  34. # 重新启动伪随机数生成器并重新生成数据
  35. set.seed(2023)
  36. 我的数据 = data.table(所有国家,所有年份)  
  37. 我的数据[,变量1 := rnorm(nrow(我的数据))]
  38. 我的数据[,变量2 := rnorm(nrow(我的数据))]
  39. #
  40. 我的数据2 = 我的数据[,.(变量3=mean(变量1)),by=.(所有国家,所有年份)]
  41. 我的数据2[,变量4:=rnorm(nrow(我的数据2))]
  43. sp <- split(我的数据, list(我的数据$所有国家, 我的数据$所有年份))
  45. # data.table会在原地转换数据，所以‘res’并不是严格需要的，但它避免了打印lapply的输出
  46. res <- lapply(sp, \(X) {
  47.   xx <- X[, 变量1]
  48.   yy <- X[, 变量2]
  49.   测试 <- 我的函数(xx, yy)
  50.   a <- 测试$coefficients[2]
  51.   我的数据2[所有国家 == X$所有国家[1] & 所有年份 == X$所有年份[1], 结果 := a]
  52. })
  54. identical(md2, 我的数据2)
  55. #> [1] TRUE
  57. rm(sp, res)    # 最终清理

编辑

以下是上面的lapply循环的简化版本。

  1. # 这段代码比上面的lapply代码简单，它们的结果（我的数据2）是相同的()
  2. res <- lapply(sp, \(X) {
  3.   测试 <- with(X, 我的函数(变量1,变量2))
  4.   a <- 测试$coefficients[2]
  5.   我的数据2[所有国家 == X$所有国家[1] & 所有年份 == X$所有年份[1], 结果 := a]
  6. })
英文:

The trick is to split the data by allCountries and allYears. This creates a list of data.tables and lapply can operate on them.

  1. library(data.table)
  3. # original code
  4. allCountries = rep(rep(LETTERS[1:3],3),3)
  5. allYears = rep(rep(1991:1993, each=3),3)
  7. # make the results reproducible
  8. set.seed(2023)
  9. myData = data.table(allCountries,allYears)  
  10. myData[,variable1 := rnorm(nrow(myData))]
  11. myData[,variable2 := rnorm(nrow(myData))]
  13. myData2 = myData[,.(variable3=mean(variable1)),by=.(allCountries,allYears)]
  14. myData2[,variable4:=rnorm(nrow(myData2))]
  15. myFunction = function(x,y){summary(lm(y~x))}
  17. for(ii in unique(myData$allCountries)){
  18.   for(jj in unique(myData$allYears)){
  19.     xx=myData[allCountries==ii&amp;allYears==jj,variable1]
  20.     yy=myData[allCountries==ii&amp;allYears==jj,variable2]
  21.     test = myFunction(xx, yy)
  22.     a = test$coefficients[2]
  23.     myData2[allCountries==ii &amp; allYears==jj, result := a]
  24.   }
  25. }
  26. # save to compare later
  27. md2 &lt;- myData2
  1. # lapply code starts here
  2. rm(list = ls(pattern = &quot;^myData&quot;))
  4. # restart the pseudo-RNG and reproduce the data
  5. set.seed(2023)
  6. myData = data.table(allCountries,allYears)  
  7. myData[,variable1 := rnorm(nrow(myData))]
  8. myData[,variable2 := rnorm(nrow(myData))]
  9. #
  10. myData2 = myData[,.(variable3=mean(variable1)),by=.(allCountries,allYears)]
  11. myData2[,variable4:=rnorm(nrow(myData2))]
  13. sp &lt;- split(myData, list(myData$allCountries, myData$allYears))
  15. # data.table transforms the data in place so &#39;res&#39; is
  16. # not stricktly needed but it avoids printing lapply&#39;s output
  17. res &lt;- lapply(sp, \(X) {
  18.   xx &lt;- X[, variable1]
  19.   yy &lt;- X[, variable2]
  20.   test &lt;- myFunction(xx, yy)
  21.   a &lt;- test$coefficients[2]
  22.   myData2[allCountries == X$allCountries[1] &amp; allYears == X$allYears[1], result := a]
  23. })
  25. identical(md2, myData2)
  26. #&gt; [1] TRUE
  28. rm(sp, res)    # final clean-up

<sup>Created on 2023-02-24 with reprex v2.0.2</sup>

Edit

Here is a simplification of the lapply loop above.

  1. # this code is simpler than the lapply code above
  2. # and their results (myData2) are identical()
  3. res &lt;- lapply(sp, \(X) {
  4. test &lt;- with(X, myFunction(variable1,variable2))
  5. a &lt;- test$coefficients[2]
  6. myData2[allCountries == X$allCountries[1] &amp; allYears == X$allYears[1], result := a]
  7. })

huangapple
  • 本文由 发表于 2023年2月24日 14:03:06
  • 转载请务必保留本文链接：https://go.coder-hub.com/75553101.html
  • apply
  • for-loop
  • lapply
  • nested-loops
  • r
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定