python连接clickhouse数据库的两种方式小结

第python连接clickhouse数据库的两种方式小结目录python连接clickhouse数据库主要针对clickhouse_driver的使用进行简要介绍python将数据写入clickhouse

python连接clickhouse数据库

在Python中获取系统信息的一个好办法是使用psutil这个第三方模块。

顾名思义，psutil=processandsystemutilities，它不仅可以通过一两行代码实现系统监控，还可以跨平台使用。

主要针对clickhouse_driver的使用进行简要介绍

第一步：

通过pipinstallclickhouse_driver安装clickhouse_driver

第二步：

方法一：使用clickhouse_driver包中的Client类,通过实例化一个客户端进行对数据库的增删改查操作

fromclickhouse_driverimportClient

fromdatetimeimportdatetime

importpsutil

host_name='4'

client=Client(host=host_name,database='default',user='default',password='自己设的密码',send_receive_timeout=20,port=55666)

now=datetime.now()

time_stamp=now.strftime('%a%b%d%H:%M:%SCST%Y')#TueApr0615:32:55CST2025class'str'

create_at=datetime.now().strftime('%Y-%m-%d%H:%M:%S')

disk_io=psutil.disk_io_counters()

net_io=_io_counters()

chart_name=["磁盘IO","网络IO"]

metric_name1=["读(数量)","写(数量)","读(字节)","写(字节)","读(时间)","写(时间)"]

metric_name2=["发送字节数","接收字节数","发送包数","接收包"]

metric_value1=[disk_io.read_count,disk_io.write_count,disk_io.read_bytes,disk_io.write_bytes,disk_io.read_time,disk_io.write_time]

metric_value2=[net_io.bytes_sent,net_io.bytes_recv,net_io.packets_sent,net_io.packets_recv]

foriinchart_name:

ifiis"磁盘IO":

forjinmetric_name1:

sql="insertintoclickhouse_host_metrics777(time_stamp,host_name,chart_name,metric_name,metric_value,create_at)"\

"values('%s','%s','%s','%s','%s','%s')"%\

(time_stamp,host_name,i,j,metric_value1[metric_name1.index(j)],create_at)

res=client.execute(sql)

elifiis"网络IO":

forjinmetric_name2:

sql="insertintoclickhouse_host_metrics777(time_stamp,host_name,chart_name,metric_name,metric_value,create_at)"\

"values('%s','%s','%s','%s','%s','%s')"%\

(time_stamp,host_name,i,j,metric_value2[metric_name2.index(j)],create_at)

res=client.execute(sql)

print("成功写入数据")

exceptExceptionase:

print(str(e))

方法二：使用clickhouse_driver包中的connect函数,通过实例化一个客户端进行对数据库的增删改查操作

fromdatetimeimportdatetime

importpsutil

fromclickhouse_driverimportconnect

host_name='4'

#账号:密码@主机名:端口号/数据库

conn=connect('clickhouse://default:自己设的密码@'+host_name+':55666/default')

cursor=conn.cursor()

now=datetime.now()

time_stamp=now.strftime('%a%b%d%H:%M:%SCST%Y')#TueApr0615:32:55CST2025class'str'

create_at=datetime.now().strftime('%Y-%m-%d%H:%M:%S')

disk_io=psutil.disk_io_counters()

net_io=_io_counters()

chart_name=["磁盘IO","网络IO"]

metric_name1=["读(数量)","写(数量)","读(字节)","写(字节)","读(时间)","写(时间)"]

metric_name2=["发送字节数","接收字节数","发送包数","接收包"]

metric_value1=[disk_io.read_count,disk_io.write_count,disk_io.read_bytes,disk_io.write_bytes,disk_io.read_time,disk_io.write_time]

metric_value2=[net_io.bytes_sent,net_io.bytes_recv,net_io.packets_sent,net_io.packets_recv]

foriinchart_name:

ifiis"磁盘IO":

forjinmetric_name1:

sql="insertintoclickhouse_host_metrics777(time_stamp,host_name,chart_name,metric_name,metric_value,create_at)values('%s','%s','%s','%s','%s','%s')"%\

(time_stamp,host_name,i,j,metric_value1[metric_name1.index(j)],create_at)

#res=client.execute(sql)

res=cursor.execute(sql)

elifiis"网络IO":

forjinmetric_name2:

sql="insertintoclickhouse_host_metrics777(time_stamp,host_name,chart_name,metric_name,metric_value,create_at)values('%s','%s','%s','%s','%s','%s')"%\

(time_stamp,host_name,i,j,metric_value2[metric_name2.index(j)],create_at)

res=cursor.execute(sql)

cursor.close()

print("成功写入数据"