Fork me on GitHub

Python入手(二)

本篇主要记录一些与数据库有关的操作,本来想看一下python的多线程,来优化一下上一篇的代码,然后看到了 python 的 GIL,恩,多线程先弃了。别我看了半天线程安全,线程池什么的,结果告诉我优化不能。那么就先看一下数据库有关的,方便以后玩出各种花样。

环境

Mac、MySQL 5.7.17,我这里MySQL由于以前弄过jdbc、php啥的,都已经装好了。还需要安装PyMySQL包:

1
$ pip install PyMySQL

反正我执行完这个命令就搞定了,如果各位有什么问题,自己百度,哈哈。

简单的查

为什么只是简单的查呢……因为其实就是执行 sql 语句……写一个了解下就差不多了……代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# -*- coding: UTF-8 -*-
import pymysql

# 打开数据库连接
db = pymysql.connect('localhost', 'root', '123456', 'ForPy')
db.set_charset('utf8')
# 使用 cursor() 方法创建一个游标对象
cursor = db.cursor()
# 使用 execute() 方法执行 SQL 查询
cursor.execute('select * from `doubanTop250`')
# 查询数据
data = cursor.fetchall()
for row in data:
name = row[0]
star_num = row[1]
desc = row[2]
url = row[3]

print("name=" + name + " star_num=" + star_num +
" desc=" + desc + " url=" + url)

输出:

输出

恩,没错,这里的数据就是后面我访问豆瓣从网页中抓取插入数据库表中的。

将数据插入数据库

比较简单,而且和上次差不多,所以就记录一下,不多做解释,最终的效果也就是把数据插入数据库的表中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup
import requests
import pymysql

count = 0
FILE_PATH = '豆瓣电影TOP250.txt'
USERNAME = 'root'
PASSWORD = '123456'
DATABASE = 'ForPy'


def getMovieList():
global count
resp = requests.get('https://movie.douban.com/top250?start=' + str(count))
bs = BeautifulSoup(resp.text, 'html.parser')
for item in bs.find_all('div', {'class': 'item'}):
title = item.find('span', {'class': 'title'}).get_text()
rating_num = item.find('span', {'class': 'rating_num'}).get_text()
img = item.find('img')['src']
tag = item.find('span', {'class': 'inq'})
if tag is not None:
desc = tag.get_text()
print('标题:', title, ' 评分:', rating_num, ' 描述:', desc, ' image_url:', img)
insert(title, rating_num, desc, img)
# img = item.find('div', {'class': 'pic'}).find("a").get_text()
# print(title, img)
# f.writelines('标题:' + title + ' 评分:' + rating_num + ' 描述:' + desc + ' image_url:' + img+"\n\n")
count += 25
if count >= 255:
print('获取完毕')
else:
getMovieList()


def insert(title, rating_num, desc, image_url):
cursor = db.cursor()
sql = "INSERT INTO `doubanTop250` VALUES (\"%s\",\"%s\",\"%s\",\"%s\")" % \
(title, rating_num, desc, image_url)
print(sql)
result = cursor.execute(sql)
print("affect rows: " + str(result))
db.commit()


db = pymysql.connect('localhost', USERNAME, PASSWORD, DATABASE)
# 不设置在执行 sql 语句时报字符错误
db.set_charset('utf8')
# f = open(FILE_PATH, 'w+', encoding='utf-8')
getMovieList()
db.close()
# f.close()