爬取网贷之家平台数据保存到mysql数据库

# coding utf-8
import requests
import json
import datetime
import pymysql

user_agent = 'User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)'  # 用来伪装用户身份
headers = {'User-Agent': user_agent}
p2plist_url = 'http://www.wdzj.com/wdzj/html/json/dangan_search.json'  # 用来存放平台的JSON数据页面
print('正在抓取数据')
s1 = datetime.datetime.now()
r = requests.get(p2plist_url)
content = r.text
content = json.loads(content)  # 加载JSON数据
s2 = datetime.datetime.now()
s3 = (s2 - s1).total_seconds()
#print(content)
print('抓取完成^
共用时%s秒' % round(s3))

con = pymysql.connect(host="192.168.0.204", user="root", password="jenkins!666", db="ceshi", port=3306)  # 连接数据库
cur = con.cursor()  # 创建游标
create_table = 'create table shuju (id int(10) auto_increment primary key,name varchar(20) NOT NULL,pin varchar(20) NOT NULL)'  # 创建一个数据库
try:
    cur.execute(create_table)
    con.commit()
    print('创表成功')
except Exception as e:
    print('创表失败
%s ' % e)
    con.rollback()

# 插入数据语句
for x in content:
    sql = "insert into shuju (name,id,pin) values ('%s','%d','%s')" % (x['platName'], x['platId'], x['platPin'])
    try:
        cur.execute(sql)
        con.commit()
        print('插入成功 %s %s %s' % (x['platName'], x['platId'], x['platPin']))
    except Exception as e:
        print('插入错误
%s ' % e)
        con.rollback()
cur.close()  # 关闭游标
con.close()  # 关闭连接


之前用pycaharm无法实现主键自增是因为，第一次创建表时没有配置id自增，后来改成id自增模式，但是没有把原先的表给删除，所有一直无法实现id自增

参照文档

https://www.cnblogs.com/buddyquan/p/6293503.html