开发Kubernetes自定义APIServer
前面文章介绍了DaoCloud开源的Clusterpedia的业务流程和资源同步机制，Clusterpedia将多个Kubernetes集群的指定资源对象同步保存到MySQL数据库并对外提供查询和检索。今天我们一起看一下Clusterpedia如何开发一个Kubernetes自定义的APIServer，将保存在数据库中的多个Kubernetes业务集群的资源对外提供查询和检索的。 本文内容分以下部分： 1，Kubernetes APIServer基本知识 2，自定义APIServer开发 Kubernetes APIServer基本知识 Kubernetes APIServer是一个实现了RESTful API的WebServer。 API类型 core group，/api/v1为前缀的API接口PATH，core group不需要在apiVersion字段中指定，示例：apiVersion: v1。 named groups，REST path为/apis/$GROUP_NAME/$VERSION，指定apiVersion: $GROUP_NAME/$VERSION，示例apiVersion: batch/v1。 暴露系统状态的API，比如/metrics、/healthz等。 扩展机制 为了增加Kubernetes API的扩展性，Kubernetes提供了两种机制：1，APIExtensions，创建自定义资源CRD，处理CRD/CR的REST请求。2，Aggretgator聚合机制，注册APIService资源，APIServer将对应的API GroupVersion请求代理转发到注册的Service上。 委托调用链 APIServer使用委托模式，通过DelegationTarget接口，把Aggretgator、API Server、APIExtensions链式串联起来，对外提供服务。 当请求Kubernetes对象时，如果在Aggregator中找不到，就去KubeAPIServer中找，最后到APIExtensions中找。 Clusterpedia通过这种委托模式，注册Aggregator服务，优先于所在Kubernetes集群的APIServer提供api和apis两个group的服务，来访问存储在数据库中的多个业务集群的Kubernetes资源对象，kubectl也可以直接执行命令进行下游集群的资源对象查询检索操作。 资源对象操作 在APIServer中，API请求资源对象时，先通过RESTStorage进行REST API处理，在RESTStorage中调用etcd store进行数据存储操作。 Clusterpedia中，与Kubernetes APIServer类似，先通过RESTStorage进行REST API处理，在RESTStorage中调用ResourceStorage进行数据库操作。 自定义APIServer开发 Clusterpedia APIServer基本流程 1，config-complete-new模式构造GenericAPIServer实例kubeResourceAPIServer NewDefaultConfig初始化默认配置。BuildHandlerChain中WithRequestInfo处理API请求信息保存到context中，WithPanicRecovery处理崩溃日志并恢复，RemoveFieldSelectorFromRequest处理URL Query。 complete完善配置，wrapRequestInfoResolverForNamespace封装处理RequestInfo解析器。 New从空委托者构造GenericAPIServer。创建discoveryManager提供自动发现API处理，NonGoRestfulMux.Handle注册/api和/apis的自动发现路由。创建resourceHandler提供资源对象请求API处理，NonGoRestfulMux.HandlePrefix注册/api和/apis为前缀PATH的路由。NewClusterResourceController创建ClusterPedia控制器，监听ClusterPedia CRD事件，处理下游集群的资源，discoveryManager读取controller更新的资源信息提供自动发现API服务。 2，BuildHandlerChain 将WithRequestQuery添加到HandlerChain，WithRequestQuery保存URL Query到context 3，构造GenericAPIServer实例genericServer config.GenericConfig.New从kubeResourceAPIServer委托者构造一个新的GenericAPIServer实例genericServer。所以API资源请求调用链是，先在kubeResourceAPIServer找，再到genericServer中找。 3，InstallAPIGroup注册API对象 genericServer中注册API对象：GroupVersion：clusterpedia.io/v1beta1，Resources资源为resources，collectionresources对象。每个资源对应一个REST storage，用于处理对应资源的请求。 4，AddPostStartHookOrDie添加APIServer启动后调用函数 APIServer启动后，启动Informer，同步Cache。 5，PrepareRun() 准备健康状态检查，存活检查 6，Run() 启动运行APIServer clusterpedia-apiserver命令 在opts.Config()中： 1，根据配置的数据库类型和配置项，创建storage接口，用于操作数据库 2，根据服务器配置，生成SSL自签名证书 3，生成genericapiserver默认配置 通过Config->Complete->New模式构造一个ClusterPediaServer实例server server.Run运行ClusterPediaServer func NewClusterPediaServerCommand(ctx context.Context) *cobra.