Golang操作BoltDB数据库
boltdb是一个go语言开发的嵌入式kv数据库。 今天我们一起看看golang如何操作BoltDB，再看看Etcd是如何操作BoltDB的，Etcd对BoltDB做了很多优化，复杂度提高很多。 Etcd是一个基于Raft开发的分布式key-value存储。Kubernetes使用Etcd来作为集群数据的存储。Etcd存储层包含预写日志(WAL)、快照(Snapshot)、boltdb。其中WAL与Snapshot实现了故障恢复和数据回滚或重做，让数据尽量不丢失，boltdb则保存了集群元数据和用户写入的数据。 使用场景 在自动驾驶汽车算法模型开发中，需要大量的2D图片和3D点云图片，我们将这些图片上传到打标系统，进行数据标注，标注的数据用于算法模型的数据集。 这些图片文件的上传，需要有一个有状态的客户端来完成文件上传工作，客户端可以在本地创建上传任务，记录上传位置，任务启停等功能。 这里我们使用go来开发客户端，选择boltdb这种简单的嵌入式kv数据库作为存储。 BoltDB基本概念 DB数据库文件 BoltDB的数据库只有一个文件，一个进程打开此文件后，其他进程无法使用，只有等这个进程释放文件锁。对应关系型数据库中database。 Bucket 对应关系型数据库中的table，操作有CreateBucket, CreateBucketIfNotExists, DeleteBucket。 Key/Value键值对 boltdb中键值对都是使用字节数组值进行存储，keys以字节排序的顺序存储在一个bucket中。 Transaction事务 boltdb在某一时刻，只允许一个读写事务或者允许多个只读事务。用户可以通过db的Begin方法启动一个事务，通过Rollback和Commit方法自己控制提交和回滚，Close关闭事务。同时boltdb还提供了内置隐式事务Update, View, Batch方法。 读写事务 db.Update()启动一个读写事务，可重复读的事务。return error，回滚整个修改，return nil提交修改。 只读事务 db.View()打开一个只读事务，无法做写入操作。 批处理读写事务 db.Batch()多次读写事务合并为一次事务，使用上和Update读写事务相同，boltdb自动将其分批，分批写入磁盘减少并发读写事务等待磁盘I/O的开销。 代码学习 普通使用案例 定义Client接口，实现CreateBucketIfNotExists创建Bucket，Put写入更新数据，Delete删除数据，Range查询单条数据或数据列表，ForEach遍历数据。可以看到只使用了两种不同的事务Update和View来完成操作。 主要操作有三种Get, Put, Delete，这里只用到了Put,Delete操作，通过Range获取单条或者多条数据，另外通过Cursor游标，Seek偏移，Next来遍历数据。 package boltdb import ( "bytes" "math" "go.etcd.io/bbolt" bolt "go.etcd.io/bbolt" "go.uber.org/zap" ) type client struct { db *bbolt.DB log *zap.Logger } type Client interface { CreateBucketIfNotExists(bucket Bucket) Put(bucketType Bucket, key, value []byte) Delete(bucketType Bucket, key []byte) Range(bucketType Bucket, key, endKey []byte, limit int64) (keys [][]byte, vs [][]byte) ForEach(bucketType Bucket, visitor func(k, v []byte) error) Close() error } func NewClient(path string, log *zap.