使用go连接clickhouse方式

詹幼怡

目录

• 前言
  
• 正文
  
  
  
  • 构造结构体
    
  • 参数读取
    
  • 建立连接
    
  • 发起查询
    
  • 结果解析
    
  • 结果验证
    
  
  
• 结语
  

前言

近段时间业务在一个局点测试clickhouse，用java写的代码在环境上一直连接不上clickhouse服务，报错信息也比较奇怪，

1. No client available

复制代码

，研发查了一段时间没查出来，让运维这边继续查：

运维同学查了各种监听配置，防火墙这些，都没什么问题，但是没有明确证据能够提供证明通过http方式能访问到数据库，时间拖得比较久，项目上就急了，让尽快找到问题，所以就用go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。

正文

先安装必要的库，clickhouse官方提供了2个版本的库，v1和v2，v1版本已经明确不会继续更新了，所以用新不用旧哈，可以用官方库的方式或者用dsn的方式，这个我下面一起说，安装库的命令：

1. go get github.com/ClickHouse/clickhouse-go/v2

复制代码

构造结构体

编写结构体，存放基本信息：

1. type Clickhouse struct {
   
2.         Host       string    // 服务端主机
   
3.         Port       int       // 端口
   
4.         DB         string    // 数据库
   
5.         User       string    // 用户名
   
6.         Password   string    // 密码
   
7.         Connection *sql.DB   // 建立连接后存放连接
   
8.         Rows       *sql.Rows // 运行sql后的结果存放
   
9. }

复制代码

1. Connection

复制代码

主要是用来建立连接后把相关信息存放，这样方便继续调用其他的方法，因为我的主要目的是测试数据库能否连通和运行Sql，所以这里

1. Rows

复制代码

用来存放测试的select语句的结果。

参数读取

这块没什么好说的，连接的参数直接从命令行读取，用flag包就好：

1. var (
   
2.         host  = flag.String("host", "localhost", "clickhouse host")
   
3.         port  = flag.Int("port", 8123, "clickhouse port")
   
4.         user  = flag.String("user", "default", "clichouse user")
   
5.         pass  = flag.String("password", "", "clickhouse password")
   
6.         db    = flag.String("db", "default", "clickhouse database")
   
7.         query = flag.String("query", "show tables", "query you will run")
   
8.         mode  = flag.String("mode", "driver", "driver or dsn")
   
9. )

复制代码

前面几个参数不用解释，主要是

1. query

复制代码

和

1. mode

复制代码

，

1. query

复制代码

是要运行的sql语句，我们默认就认为跑的是select语句，然后是

1. mode

复制代码

，允许选择模式，用户可以使用

1. driver

复制代码

或者

1. dsn

复制代码

两种模式进行连接，我写了两个不同的方法，其实也可以在一个Connect方法里做判断，看个人习惯；

建立连接

接下来我们建立数据库连接：

1. //
   
2. func (c *Clickhouse) Conn() {
   
3.         c.Connection = clickhouse.OpenDB(&clickhouse.Options{
   
4.                 Addr: []string{fmt.Sprintf("%s:%d", c.Host, c.Port)},
   
5.                 Auth: clickhouse.Auth{
   
6.                         Database: c.DB,
   
7.                         Username: c.User,
   
8.                         Password: c.Password,
   
9.                 },
   
10.                 Settings: clickhouse.Settings{
    
11.                         "max_execution_time": 60,
    
12.                 },
    
13.                 DialTimeout: 5 * time.Second,
    
14.                 Compression: &clickhouse.Compression{
    
15.                         Method: clickhouse.CompressionBrotli,
    
16.                         Level:  5,
    
17.                 },
    
18.                 // 必须添加协议方式
    
19.                 Protocol: clickhouse.HTTP,
    
20.         })
    
21. 
    
22. }
    
23. 
    
24. func (c *Clickhouse) ConnDsn() {
    
25.         conn, err := sql.Open("clickhouse", fmt.Sprintf("http://%s:%d/%s?username=%s&password=%s", c.Host, c.Port, c.DB, c.User, c.Password))
    
26.         if err != nil {
    
27.                 log.Printf("Connect to the server failed, %s.\n", err.Error())
    
28.                 return
    
29.         }
    
30.         c.Connection = conn
    
31. }

复制代码

参考官网的实例，实现两种连接方式，关闭方法就直接把sql.DB和sql.Rows都关闭就可以了：

1. func (c *Clickhouse) Close() {
   
2.         c.Connection.Close()
   
3.         c.Rows.Close()
   
4. }

复制代码

发起查询

查询使用Query方法进行：

1. func (c *Clickhouse) Select(query string) {
   
2.         rows, err := c.Connection.Query(query)
   
3.         if err != nil {
   
4.                 log.Printf("Query select failed, %s.\n", err.Error())
   
5.                 return
   
6.         }
   
7.         c.Rows = rows
   
8. }

复制代码

查询的结果我保存到Rows里，方便后面的解析

结果解析

比较麻烦的就是结果的解析了，用过

1. database/sql

复制代码

库的哥们都知道，这个库只提供了基础的一些接口，查询出来一般用Scan去获取数据，用法类似这样：

问题就在于，Scan要指定和sql查询出来一样多的变量，对于我们这个小工具来说，sql是不一定的，所以查询出来的字段数量肯定yes不定的，如何动态处理这个问题，肯定是不能直接写一个结构体解决的，先看我的代码：

1. func (c *Clickhouse) Show() {
   
2.         cols, err := c.Rows.Columns()
   
3.         if err != nil {
   
4.                 log.Printf("Failed to get table columns, %s.\n", err.Error())
   
5.                 return
   
6.         }
   
7.         // 一行数据，使用any是为了避开数据类型的问题
   
8.         var rows = make([]any, len(cols))
   
9.         // 存实际的值，是byte数组，长度以列的数量为准
   
10.         var values = make([][]byte, len(cols))
    
11.         for i := 0; i < len(cols); i++ {
    
12.                 rows[i] = &values[i]
    
13.         }
    
14.         // 打印表头
    
15.         fmt.Println(strings.Join(cols, ","))
    
16.         for c.Rows.Next() {
    
17.                 if err = c.Rows.Scan(rows...); err != nil {
    
18.                         fmt.Println(err)
    
19.                         return
    
20.                 }
    
21.                 var vString []string
    
22.                 for _, v := range values {
    
23.                         vString = append(vString, string(v))
    
24.                 }
    
25.                 // 逐行打印出来
    
26.                 fmt.Println(strings.Join(vString, ","))
    
27.         }
    
28. }

复制代码

大概思路是这样：

• Scan需要传入每个用来绑定单行数据值的变量，所以values是实际存储数据的byte数组，然后把数组的每个元素的地址再存入到rows数组中；
  
• 现在可以用rows[index]这样的方式来访问values中的值了，把rows直接作为入参传入到Scan，在每次循环中，把values的值转成逗号分割的字符串，直接打印
  

结果验证

OK，现在逻辑完成了，我们运行测试一下，

1. go run main.go -host hostname -password paswword -query "select * from clusters" -db system -mode dsn

复制代码

只查询2个字段，2行数据：

结语

完成，然后把工具放到生产环境一测试，查询都正常，这下开发哥们要继续查他的程序问题了
以上为个人经验，希望能给大家一个参考，也希望大家多多支持晓枫资讯。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

longyard

感谢楼主分享。

地久何必天长

路过，支持一下