Golang实现WorkerPool文件上传
在前面文章中介绍了golang开发rpc命令行工具，今天继续后续功能的介绍。 场景描述： 1，客户端运行一个daemon程序，执行文件上传任务，使用boltdb数据库记录任务执行状态。支持继续上传未完成文件。 2，客户端命令行通过rpc调用客户端daemon程序API，进行文件上传任务管理，包括任务创建，查看，启停。 通过这个功能开发，我们将golang并发编程的goroutine协程，channel通道，context上下文, Mutex互斥锁, WaitGroup协程同步等技术得到应用。 基本知识： WaiGroup 等待一组协程执行完成后继续向下执行，WaitGroup内部有一个计数器，从0开始计数，有3个方法：Add()，Done(), Wait()。Add()添加计数，Done()减掉一个计数，Wait()执行阻塞，直到WaitGroup数量变成0。 Select select和channel配合使用，通过select可以监听多个channel的I/O读写事件。 select { case <-ctx.Done(): p.log.Error("the context error \n") return context.Canceled default: } 如果没有default分支，select会阻塞在多个channel上，对多个channel进行监控。如果有default分支，多个channel都没有满足，则执行default分支。 Context Golang的Context称之为上下文，用来跟踪goroutine关系链，传递通知，达到控制他们的目的。主要用法是，传递取消信号，传递数据。 下面是一个传递取消信号的使用过程，首先context.Background()返回一个空的Context，一般用于整个context tree的根节点。context.WithCancel()返回一个ctx可取消的Sub Context，作为Run的参数传入goroutine，这样可以使用ctx跟踪这个Goroutine。cancel()调用Sub Context的取消函数，向关联的Goroutine发送一个"取消"通知。在Run函数中，接收ctx.Done的cancel通知，做相关清理后退出。 ctx, cancel := context.WithCancel(context.Background()) go pool.Run(ctx) cancel() for { select { case <-ctx.Done(): return } } Mutext互斥锁 Mutext互斥锁在同一时间只被一个goroutine访问，不区分读写。有两个方法：Lock()和Unlock()。当一个goroutine申请了Lock()，那么另一个goroutine申请Lock()时会阻塞等待直到Unlock()释放锁。 multipart/form请求 multipart/form请求是http Post方法，可以发送文件和消息，在请求的Header中包含一个特殊头信息Content-Type: multipart/form-data; boundary=，boundary的值为随机计算生成的值，用于分隔上传多个form-data的间隔。 POST /raw/v1alpha2/rawdatas/6214cb78ff3f2903536f5751/images HTTP/1.1 Host: 127.0.0.1:9090 Content-Length: 546 Content-Type: multipart/form-data; boundary=----WebKitFormBoundary7MA4YWxkTrZu0gW ----WebKitFormBoundary7MA4YWxkTrZu0gW Content-Disposition: form-data; name="files"; filename="/C:/Users/ycsk0/Pictures/ubuntu-install.png" Content-Type: image/png (data) ----WebKitFormBoundary7MA4YWxkTrZu0gW Content-Disposition: form-data; name="files"; filename="/C:/Users/ycsk0/Pictures/windows store.