Python 收集数据库的方法有很多种,以下是一些常见的方式:
使用标准库
例如,使用 `sqlite3` 标准库可以操作 SQLite 数据库。
第三方库
`pymysql`:用于连接 MySQL 数据库。
`psycopg2`:用于连接 PostgreSQL 数据库。
`cx_Oracle`:用于连接 Oracle 数据库。
ORM框架
`SQLAlchemy`:一个强大的 ORM 框架,支持多种数据库。
使用 Pandas
`pandas.read_sql`:可以直接从数据库中读取数据到 Pandas DataFrame。
配置文件和连接管理
可以使用配置文件来管理数据库连接信息,例如 `db_servers_conf.ini`。
数据收集脚本
可以编写脚本来收集数据库信息,如表的记录数和大小。
解析 JSON 数据
如果数据库中的字段存储的是 JSON 格式数据,可以使用 Python 的 `json` 模块进行解析,并将解析后的数据存回数据库。
使用网络爬虫框架
如 `Beautiful Soup` 和 `Scrapy`,可以用来收集网页数据,间接获取数据库相关信息。
import pymysql
import pandas as pd
连接数据库
conn = pymysql.connect(
host='192.168.1.110',
user='unickcheng',
password='p123',
database='UNICK',
charset='utf8'
)
执行 SQL 查询
sql = "SELECT repeat('*', @number := @number - 1) FROM information_schema.tables, (SELECT @number:= 21) T2 LIMIT 20"
data = pd.read_sql(sql, conn)
打印结果
print(data)
关闭数据库连接
conn.close()
请根据你的具体需求选择合适的方法来收集数据库数据