如何正确配置goroutine限制？

huangapple
go评论121阅读模式
英文:

How to properly configure the gorutine limit?

问题

我有一个任务，如果选择工作，将执行三个函数。我想限制每个函数的goroutine数量。例如，每个函数最多只能同时运行10个goroutine。

  1. func main() {
  2.     checkMethod1 := true
  3.     checkMethod2 := false
  4.     checkMethod3 := true
  6.     list := []string{"info1", "info2", "info3", "info5"}
  8.     for _, value := range list {
  9.         value := value
  10.         if checkMethod1 {
  11.             go func() {
  12.                 //使用value
  13.                 fmt.Println(value)
  14.             }()
  15.         }
  16.         if checkMethod2 {
  17.             go func() {
  18.                 //使用value
  19.                 fmt.Println(value)
  20.             }()
  21.         }
  22.         if checkMethod3 {
  23.             go func() {
  24.                 //使用value
  25.                 fmt.Println(value)
  26.             }()
  27.         }
  28.     }
  29.     //完成
  30.     fmt.Println("All done")
  31. }

我知道你可以将goroutine数量限制为一个工作池。但是，如果我创建一个具有10个goroutine限制的工作池，那个数字会被分成3个任务，而我需要每个函数都有10个goroutine。

我可以创建3个工作池，但这对我来说似乎不可行。

我想使用这个库来创建工作池：https://github.com/sourcegraph/conc

英文:

I have a task where three functions are performed if they are selected to work. I want to limit the number of horoutines per function. For example so that each of them has only a maximum of 10 goroutines running.

  1. func main() {
  2. 	checkMethod1 := true
  3. 	checkMethod2 := false
  4. 	checkMethod3 := true
  6. 	list := []string{"info1", "info2", "info3", "info5"}
  8. 	for _, value := range list {
  9. 		value := value
  10. 		if checkMethod1 {
  11. 			go func() {
  12. 				//use value
  13. 				fmt.Println(value)
  14. 			}()
  15. 		}
  16. 		if checkMethod2 {
  17. 			go func() {
  18. 				//use value
  19. 				fmt.Println(value)
  20. 			}()
  21. 		}
  22. 		if checkMethod3 {
  23. 			go func() {
  24. 				//use value
  25. 				fmt.Println(value)
  26. 			}()
  27. 		}
  28. 	}
  29. 	//finish
  30. 	fmt.Println("All done")
  31. }

I know that you can limit the number of goroutines to a pool of workers. But if I make one pool of workers with a limit of 10 goroutines, that number is divided by 3 tasks, and I need each function to have 10 goroutines.

I could create 3 pools, but that doesn't seem like a workable way to me.

I would like to use this library to create working pools: https://github.com/sourcegraph/conc

答案1

得分: 2

这是一种方法：为每个选项使用带缓冲的通道，以便可以限制活动的 goroutine：

  1. m1 := make(chan struct{}, 10)
  2. m2 := make(chan struct{}, 10)
  3. m3 := make(chan struct{}, 10)
  4. wg := sync.WaitGroup{}
  6. for _, value := range list {
  7.    value := value
  8.    if checkMethod1 {
  9.        m1 <- struct{}{}
  10.        wg.Add(1)
  11.        go func() {
  12.            defer func() { 
  13.               <-m1 
  14.               wg.Done()
  15.            }()
  16.            // 进行工作
  17.        }()
  18.    }
  19.    if checkMethod2 {
  20.        m2 <- struct{}{}
  21.        wg.Add(1)
  22.        go func() {
  23.            defer func() { 
  24.                <-m2 
  25.                wg.Done()
  26.            }()
  27.            // 进行工作
  28.        }()
  29.    }
  30.    ...
  32.   wg.Wait()
  33. }

这段代码使用了带缓冲的通道（buffered channel）来限制同时活跃的 goroutine 数量。通过向通道发送信号（m1 <- struct{}{}），可以控制 goroutine 的启动。在每个 goroutine 结束时，通过从通道接收信号（<-m1）来释放一个位置，以便新的 goroutine 可以启动。sync.WaitGroup 用于等待所有 goroutine 完成工作。

英文:

Here's a way to do it: use a buffered channel for each option, so you can limit active goroutines:

  1. m1:=make(chan struct{},10)
  2. m2:=make(chan struct{},10)
  3. m3:=make(chan struct{},10)
  4. wg:=sync.WaitGroup{}
  6. for _, value := range list {
  7.    value := value
  8.    if checkMethod1 {
  9.        m1&lt;-struct{}{}
  10.        wg.Add(1)
  11.        go func() {
  12.            defer func() { 
  13.               &lt;-m1 
  14.               wg.Done()
  15.            }()
  16.            // do work
  17.        }()
  18.    }
  19.    if checkMethod2 {
  20.        m2&lt;-struct{}{}
  21.        wg.Add(1)
  22.        go func() {
  23.            defer func() { 
  24.                &lt;-m2 
  25.                wg.Done()
  26.            }()
  27.            // do work
  28.        }()
  29.    }
  30.    ...
  32.   wg.Wait()
  33. }

huangapple
  • 本文由 发表于 2023年4月23日 05:00:12
  • 转载请务必保留本文链接：https://go.coder-hub.com/76081910.html
  • concurrency
  • go
  • goroutine
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定