go语言数据库连接池?

如何在Go语言中使用Redis连接池

一、关于连接池

一个数据库服务器只拥有有限的资源，并且如果你没有充分使用这些资源，你可以通过使用更多的连接来提高吞吐量。一旦所有的资源都在使用，那么你就不能通过增加更多的连接来提高吞吐量。事实上，吞吐量在连接负载较大时就开始下降了。通常可以通过*与可用的资源相匹配的数据库连接的数量来提高延迟和吞吐量。

如何在Go语言中使用Redis连接池

如果不使用连接池，那么，每次传输数据，我们都需要进行创建连接，收发数据，关闭连接。在并发量不高的场景，基本上不会有什么问题，一旦并发量上去了，那么，一般就会遇到下面几个常见问题：

性能普遍上不去

CPU大量资源被系统消耗

网络一旦抖动，会有大量TIME_WAIT产生，不得不定期重启服务或定期重启机器

服务器工作不稳定，QPS忽高忽低

要想解决这些问题，我们就要用到连接池了。连接池的思路很简单，在初始化时，创建一定数量的连接，先把所有长连接存起来，然后，谁需要使用，从这里取走，干完活立马放回来。如果请求数超出连接池容量，那么就排队等待、退化成短连接或者直接丢弃掉。

二、使用连接池遇到的坑

最近在一个项目中，需要实现一个简单的WebServer提供Redis的HTTPinterface，提供JSON形式的返回结果。考虑用Go来实现。

首先，去看一下Redis官方推荐的GoRedisdriver。官方Star的项目有两个：Radix.v2和Redigo。经过简单的比较后，选择了更加轻量级和实现更加优雅的Radix.v2。

Radix.v2包是根据功能划分成一个个的subpackage，每一个subpackage在一个独立的子目录中，结构非常清晰。我的项目中会用到的subpackage有redis和pool。

由于我想让这种被fork的进程最好简单点，做的事情单一一些，所以，在没有深入去看Radix.v2的pool的实现之前，我选择了自己实现一个Redispool。(这里，就不贴代码了。后来发现自己实现的Redispool与Radix.v2实现的Redispool的原理是一样的，都是基于channel实现的,遇到的问题也是一样的。)

不过在测试过程中，发现了一个诡异的问题。在请求过程中经常会报EOF错误。而且是概率性出现，一会有问题，一会又好了。通过反复的测试，发现bug是有规律的，当程序空闲一会后，再进行连续请求，会发生3次失败，然后之后的请求都能成功，而我的连接池大小设置的是3。再进一步分析，程序空闲300秒后，再请求就会失败，发现我的Redisserver配置了timeout300，至此，问题就清楚了。是连接超时Redisserver主动断开了连接。客户端这边从一个超时的连接请求就会得到EOF错误。

然后我看了一下Radix.v2的pool包的源码，发现这个库本身并没有检测坏的连接，并替换为新server{location/pool{content_by_lua_block{localredis=require"resty.redis"localred=redis:new()localok,err=red:connect("127.0.0.1",6379)ifnotokthenngx.say("failedtoconnect:",err)returnendok,err=red:set("hello","world")ifnotokthenreturnendred:set_keepalive(10000,100)}}}

发现有个set_keepalive的方法，查了一下官方文档，方法的原型是syntax:ok,err=red:set_keepalive(max_idle_timeout,pool_size)貌似max_idle_timeout这个参数，就是我们所缺少的东西，然后进一步跟踪源码，看看里面是怎么保证连接有效的。

function_M.set_keepalive(self,...)localsock=self.sockifnotsockthenreturnnil,"notinitialized"endifself.subscribedthenreturnnil,"subscribedstate"endreturnsock:setkeepalive(...)end

至此，已经清楚了，使用了tcp的keepalive心跳机制。

于是，通过与Radix.v2的作者一些讨论，选择自己在redis这层使用心跳机制，来解决这个问题。

四、最后的解决方案

在创建连接池之后，起一个goroutine，每隔一段idleTime发送一个PING到Redisserver。其中，idleTime略小于Redisserver的timeout配置。连接池初始化部分代码如下：

p,err:=pool.New("tcp",u.Host,concurrency)errHndlr(err)gofunc(){for{p.Cmd("PING")time.Sleep(idelTime*time.Second)}}()

使用redis传输数据部分代码如下：

funcredisDo(p*pool.Pool,cmdstring,args...interface{})(reply*redis.Resp,errerror){reply=p.Cmd(cmd,args...)iferr=reply.Err;err!=nil{iferr!=io.EOF{Fatal.Println("redis",cmd,args,"erris",err)}}return}

其中，Radix.v2连接池内部进行了连接池内连接的获取和放回，代码如下：

//Cmdautomaticallygetsoneclientfromthepool,executesthegivencommand//(returningitsresult),andputstheclientbackinthepoolfunc(p*Pool)Cmd(cmdstring,args...interface{})*redis.Resp{c,err:=p.Get()iferr!=nil{returnredis.NewResp(err)}deferp.Put(c)returnc.Cmd(cmd,args...)}

这样，我们就有了keepalive的机制，不会出现timeout的连接了，从redis连接池里面取出的连接都是可用的连接了。看似简单的代码，却完美的解决了连接池里面超时连接的问题。同时，就算Redisserver重启等情况，也能保证连接自动重连。

1.在创建连接池之后，起一个goroutine，每隔一段idleTime发送一个PING到Redisserver。其中，idleTime略小于Redisserver的timeout配置。

2.连接池初始化部分代码如下：

p,err:=pool.New("tcp",u.Host,concurrency)errHndlr(err)gofunc(){for{p.Cmd("PING")time.Sleep(idelTime*time.Second)}}()

3.使用redis传输数据部分代码如下：

funcredisDo(p*pool.Pool,cmdstring,args...interface{})(reply*redis.Resp,errerror){reply=p.Cmd(cmd,args...)iferr=reply.Err;err!=nil{iferr!=io.EOF{Fatal.Println("redis",cmd,args,"erris",err)}}return}

4.其中，Radix.v2连接池内部进行了连接池内连接的获取和放回，代码如下：

//Cmdautomaticallygetsoneclientfromthepool,executesthegivencommand//(returningitsresult),andputstheclientbackinthepoolfunc(p*Pool)Cmd(cmdstring,args...interface{})*redis.Resp{c,err:=p.Get()iferr!=nil{returnredis.NewResp(err)}deferp.Put(c)returnc.Cmd(cmd,args...)}

这样，就有了系统keepalive的机制，不会出现timeout的连接了，从redis连接池里面取出的连接都是可用的连接了。看似简单的代码，却完美的解决了连接池里面超时连接的问题。同时，就算Redisserver重启等情况，也能保证连接自动重连。

开始本文之前，我们看一段Go连接数据库的代码：

本文内容我们将解释连接池背后是如何工作的，并探索如何配置数据库能改变或优化其性能。

转自：

整理：地鼠文档：

那么sql.DB连接池是如何工作的呢?

需要理解的最重要一点是，sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接。当您使用连接执行数据库任务(例如执行SQL语句或查询行)时，该连接被标记为正在使用，任务完成后，该连接被标记为空闲。

当您使用Go执行数据库操作时，它将首先检查池中是否有可用的空闲连接。如果有可用的连接，那么Go将重用这个现有连接，并在任务期间将其标记为正在使用。如果在您需要空闲连接时池中没有空闲连接，那么Go将创建一个新的连接。

当Go重用池中的空闲连接时，与该连接有关的任何问题都会被优雅地处理。异常连接将在放弃之前自动重试两次，这时Go将从池中删除异常连接并创建一个新的连接来执行该任务。

连接池有四个方法，我们可以使用它们来配置连接池的行为。让我们一个一个地来讨论。

SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中+空闲连接)数量的上限。默认情况下，打开的连接数是无限的。

一般来说，MaxOpenConns设置得越大，可以并发执行的数据库查询就越多，连接池本身成为应用程序中的瓶颈的风险就越低。

但让它无限并不是最好的选择。默认情况下，PostgreSQL最多100个打开连接的硬*，如果达到这个*的话，它将导致pq驱动返回”sorry,toomanyclientsalready”错误。

为了避免这个错误，将池中打开的连接数量*在100以下是有意义的，可以为其他需要使用PostgreSQL的应用程序或会话留下足够的空间。

设置MaxOpenConns*的另一个好处是，它充当一个非常基本的限流器，防止数据库同时被大量任务压垮。

但设定上限有一个重要的警告。如果达到MaxOpenConns*，并且所有连接都在使用中，那么任何新的数据库任务将*等待，直到有连接空闲。在我们的API上下文中，用户的HTTP请求可能在等待空闲连接时无限期地“挂起”。因此，为了缓解这种情况，使用上下文为数据库任务设置超时是很重要的。我们将在书的后面解释如何处理。

SetMaxIdleConns()方法的作用是：设置池中空闲连接数的上限。缺省情况下，最大空闲连接数为2。

理论上，在池中允许更多的空闲连接将增加性能。因为它减少了从头建立新连接发生概率—，因此有助于节省资源。

但要意识到保持空闲连接是有代价的。它占用了本来可以用于应用程序和数据库的内存，而且如果一个连接空闲时间过长，它也可能变得不可用。例如，默认情况下MySQL会自动关闭任何8小时未使用的连接。

因此，与使用更小的空闲连接池相比，将MaxIdleConns设置得过高可能会导致更多的连接变得不可用，浪费资源。因此保持适量的空闲连接是必要的。理想情况下，你只希望保持一个连接空闲，可以快速使用。

另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConns。Go会强制保证这点，并在必要时自动减少MaxIdleConns值。

SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值，表示一个连接保持可用的最长时间。默认连接的存活时间没有*，永久可用。

如果设置ConnMaxLifetime的值为1小时，意味着所有的连接在创建后，经过一个小时就会被标记为失效连接，标志后就不可复用。但需要注意：

理论上，ConnMaxLifetime为无限大（或设置为很长生命周期）将提升性能，因为这样可以减少新建连接。但是在某些情况下，设置短期存活时间有用。比如：

如果您决定对连接池设置ConnMaxLifetime，那么一定要记住连接过期(然后重新创建)的频率。例如，如果连接池中有100个打开的连接，而ConnMaxLifetime为1分钟，那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接。您不希望频率太大而最终影响性能吧。

SetConnMaxIdleTime()方法在Go1.15版本引入对ConnMaxIdleTime进行配置。其效果和ConnMaxLifeTime类似，但这里设置的是：在被标记为失效之前一个连接最长空闲时间。例如，如果我们将ConnMaxIdleTime设置为1小时，那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理操作删除。

这个配置非常有用，因为它意味着我们可以对池中空闲连接的数量设置相对较高的*，但可以通过删除不再真正使用的空闲连接来周期性地释放资源。

所以有很多信息要吸收。这在实践中意味着什么？我们把以上所有的内容总结成一些可行的要点。

1、根据经验，您应该显式地设置MaxOpenConns值。这个值应该低于数据库和操作系统对连接数量的硬性*，您还可以考虑将其保持在相当低的水平，以充当基本的限流作用。

对于本书中的项目，我们将MaxOpenConns*为25个连接。我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值，但理想情况下，您应该根据基准测试和压测结果调整这个值。

2、通常，更大的MaxOpenConns和MaxIdleConns值会带来更好的性能。但是，效果是逐渐降低的，而且您应该注意，太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗。

因为MaxIdleConns应该总是小于或等于MaxOpenConns，所以对于这个项目，我们还将MaxIdleConns*为25个连接。

3、为了降低上面第2点的风险，通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接。在这个项目中，我们将设置ConnMaxIdleTime持续时间为15分钟。

4、ConnMaxLifetime默认设置为无限大是可以的，除非您的数据库对连接生命周期施加了硬*，或者您需要它协助一些操作，比如优雅地交换数据库。这些都不适用于本项目，所以我们将保留这个默认的无*配置。

与其硬编码这些配置，不如更新cmd/api/main.go文件通过命令行参数读取配置。

ConnMaxIdleTime值比较有意思，因为我们希望它传递一段时间，最终需要将其转换为Go的time.Duration类型。这里有几个选择:

1、我们可以使用一个整数来表示秒(或分钟)的数量，并将其转换为time.Duration。

2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它。

3、两种方法都可以很好地工作，但是在这个项目中我们将使用选项2。继续并更新cmd/api/main.go文件如下:

File:cmd/api/main.go

有很多教程是关于Go的sql.DB类型和如何使用它来执行SQL数据库查询的。但大多数内容都没有讲述SetMaxOpenConns(),SetMaxIdleConns()和SetConnMaxLifetime()方法，您可以使用它们来配置sql.DB的行为并改变其性能。

转自：

整理：go语言中文文档：

在本文我将详细解释这些设置的作用，并说明它们所能产生的(积极和消极)影响。

一个sql.DB对象就是一个数据库连接池，它包含“正在用”和“空闲的”连接。一个正在用的连接指的是，你正用它来执行数据库任务，例如执行SQL语句或行查询。当任务完成连接就是空闲的。

当您创建sql.DB执行数据库任务时，它将首先检查连接池中是否有可用的空闲连接。如果有可用的连接，那么Go将重用现有连接，并在执行任务期间将其标记为正在使用。如果池中没有空闲连接，而您需要一个空闲连接，那么Go将创建一个新的连接。

默认情况下，在同一时间打开连接的数量是没有*(包含使用中+空闲)。但你可以通过SetMaxOpenConns()方法实现自定义*，如下所示:

在这个示例代码中，连接池现在有5个并发打开的连接数。如果所有5个连接都已经被标记为正在使用，并且需要另一个新的连接，那么应用程序将*等待，直到5个连接中的一个被释放并变为空闲。

为了说明更改MaxOpenConns的影响，我运行了一个基准测试，将最大打开连接数设置为1、2、5、10和无限。基准测试在PostgreSQL数据库上执行并行的INSERT语句，您可以在这里找到代码。测试结果:

对于这个基准测试，我们可以看到，允许打开的连接越多，在数据库上执行INSERT操作所花费的时间就越少(打开的连接数为1时，执行速度3129633ns/op，而无限连接：531030ns/op——大约快了6倍)。这是因为允许打开的连接越多，可以并发执行的数据库查询就越多。

默认情况下，sql.DB允许连接池中最多保留2个空闲连接。你可以通过SetMaxIdleConns()方法改变它，如下所示:

从理论上讲，允许池中有更多的空闲连接将提高性能，因为这样就不太可能从头开始建立新连接——因此有助于提升数据库性能。

让我们来看看相同的基准测试，最大空闲连接设置为none,1,2,5和10:

当MaxIdleConns设置为none时，必须为每个INSERT从头创建一个新的连接，我们可以从基准测试中看到，平均运行时和内存使用量相对较高。

只允许保留和重用一个空闲连接对基准测试影响特别明显——它将平均运行时间减少了大约8倍，内存使用量减少了大约20倍。继续增加空闲连接池的大小会使性能变得更好，尽管改进并不明显。

那么，您应该维护一个大的空闲连接池吗?答案取决于应用程序。重要的是要意识到保持空闲连接是有代价的—它占用了可以用于应用程序和数据库的内存。

还有一种可能是，如果一个连接空闲时间太长，那么它可能会变得不可用。例如，MySQL的wait_timeout设置将自动关闭任何8小时(默认)内未使用的连接。

当发生这种情况时，sql.DB会优雅地处理它。坏连接将自动重试两次，然后放弃，此时Go将该连接从连接池中删除，并创建一个新的连接。因此，将MaxIdleConns设置得太大可能会导致连接变得不可用，与空闲连接池更小(使用更频繁的连接更少)相比，会占有更多的资源。所以，如果你很可能很快就会再次使用，你只需保持一个空闲的连接。

最后要指出的是，MaxIdleConns应该总是小于或等于MaxOpenConns。Go强制执行此操作，并在必要时自动减少MaxIdleConns。

现在让我们看看SetConnMaxLifetime()方法，它设置连接可重用的最大时间长度。如果您的SQL数据库也实现了最大连接生命周期，或者—例如—您希望方便地在负载均衡器后交换数据库，那么这将非常有用。

你可以这样使用它:

在这个例子中，所有的连接都将在创建后1小时“过期”，并且在过期后无法重用。但注意:

从理论上讲，ConnMaxLifetime越短，连接过期的频率就越高——因此，需要从头创建连接的频率就越高。为了说明这一点，我运行了将ConnMaxLifetime设置为100ms、200ms、500ms、1000ms和无限(永远重用)的基准测试，默认设置为无限打开连接和2个空闲连接。这些时间段显然比您在大多数应用程序中使用的时间要短得多，但它们有助于很好地说明行为。

在这些特定的基准测试中，我们可以看到，与无限生存期相比，在100ms生存期时内存使用量增加了3倍以上，而且每个INSERT的平均运行时也稍微长一些。

如果您在代码中设置了ConnMaxLifetime，那么一定要记住连接将过期(随后重新创建)的频率。例如，如果您总共有100个连接，而ConnMaxLifetime为1分钟，那么您的应用程序可能每秒钟杀死和重新创建1.67个连接(平均值)。您不希望这个频率太大，最终会阻碍性能，而不是提高性能。

最后，如果不说明超过数据库连接数量的硬*将会发生什么，那么本文就不完整了。为了说明这一点，我将修改postgresq