time模块
time模块
import time
time模块的常用方法：
时间戳
从1970年1月1日0：00：00开始按秒计算
time.time()
格式化时间（显示当前时间）
time.strftime(%Y-%m-%d %X)
%Y 年 -%m月- %d日 %X秒
datetime模块
datetime模块
import datetime
返回当前时间
print(datetime.datetime.now())
2019-8-19 15:05:30.000000
#当前时间
print(datetime.datetime.now())
#当前时间的加减
print(print(datetime.datetime.now() + datetime.timedelta(3)))
2019-8-19 15:05:30.000000
2019-8-22 15:05:30.000000
通过datetime.timedelta添加来达到当前日期的加减模式：
默认加减天数，hours加减小时，minutes加减分钟
random模块
random模块
import random
random模块方法
random方法：
#大于0且小于1的小数
print(random.random())
#想生成0且小于多少的小数只要在后面乘多少就好啦
print(random.random()*10)
生成随机整数
#随机生成0到4之间的整数
random.randint(0,4)
os模块
os模块
import time
os模块常用方法
import os
#经常用的常用方法
res = os.listdir(r'G:py')#列出该文件夹下的所有文件
res = os.path.join(r'G:py','guapi.py')#拼接文件夹路径
#常用方法中的不常用方法
os.path
os.mkdir('m2') #创建一个叫m2的文件夹
os.rmdir('没') #删除一个叫m2的文件加
sys模块
sys模块
import sys
#常用方法
sys.argv() 通过命令行返回参数
sys.path()返回python的环境变量路径
json模块
json模块
import json
#json常用方法
import json
#序列化
struct_data = {'name': 'json', 'age': 23, 'sex': 'male'}
with open('test.json','w') as fw:
json.dump(struct_data,fw)
#反序列化
with open('test.json') as fr:
date = json.load(fr)
print(date)
json的用途：
在编写接口传递数据时，往往需要使用JSON对数据进行封装。python和json数据类型的转换，看作为编码与解码。
pickle模块
pickle模块
import pickle
pickle用途：
可以将python所有的数据类型进行序列化和反序列化，通过二进制进行保存
# 序列化(注意：pickle模块需要使用二进制存储，即'wb'模式存储)
with open('Pickle序列化对象.pkl', 'wb') as fw:
pickle.dump(struct_data, fw)
# 反序列化
with open('Pickle序列化对象.pkl', 'rb') as fr:
pickle = pickle.load(fr)
print(data)
hashlib模块
hashlib模块
import hashlib
什么是hash：
用于密码的加密，是一种加密的方式
特点：1.传入的内容一样时，得到的hash值一样，用于密码校验
2.不能有hash值返解成内容，保证密码的安全性
3.无论多长，得到的hash长度时一致的
#hashlib模块的方法：
import hashlib
m=hashlib.md5()
m.update('hello'.encode('utf8'))
a=hashlib.md5()
a.update('hello'.encode('utf8'))
print(m.hexdigest())
print(a.hexdigest())
5d41402abc4b2a76b9719d911017c592 5d41402abc4b2a76b9719d911017c592
hmac模块
hamc模块
import hmac
hmac模块的使用方法
import hmac
h1=hmac.new(b'hash')
h1.update(b'hello')
h1.update(b'world')
print(h1.hexdigest())
h2 = hmac.new(b'hash')
h2.update(b'helloworld')
print(h2.hexdigest())
logging模块
logging模块
import time
logging模块包含四种角色：logger、Filter、Formatter对象、Handler
logger：产生日志的对象
Filter：过滤日志的对象
Formatter对象：可以定制不同的日志格式对象，然后绑定给不同的Handler对象使用，以此来控制不同的Handler的日志格式
Handler：接收日志然后控制打印到不同的地方，FileHandler用来打印到文件中，StreamHandler用来打印到终端
numpy模块
numpy模块
import numpy as np
numpy常用方法
import numpy as np
arr1 = np.array([[1,2,3],[4,5,6]])
print(arr1) #输出arr1的数组
print(arr1.T)#数组的转置
arr2 = np.array([[7,8,9],[10,11,12]])
print(arr1*arr2) #数组的算法
print(np.hstack((arr1,arr2))) #行合并
print(np.vstack((arr1,arr2))) 列合并
arr = np.hstack((arr1,arr2))
print(arr[:,:]) #取所有
# print(arr[:1,:]) #取第一行所有元素
# print(arr[:,:1]) #取第一列
通过函数生成numpy数组
| 方法 | 详解 |
|---|---|
| array() | 将列表转换为数组，可选择显式指定dtype |
| arange() | range的numpy版，支持浮点数 |
| linspace() | 类似arange()，第三个参数为数组长度 |
| zeros() | 根据指定形状和dtype创建全0数组 |
| ones() | 根据指定形状和dtype创建全1数组 |
| eye() | 创建单位矩阵 |
| empty() | 创建一个元素全随机的数组 |
| reshape() | 重塑形状 |
arange生成
import numpy as np
print(np.arange(5)) #生成0-4的一维数组
print(np.arange(5),np.arange(5)) #生成0-4的二维数组
zeros()/noes()生成
import numpy as np
print(np.zeros((3,4))) #生成一个3行4列全是0的二维数组
print(np.ones((3,4))) #生成一个3行4列全是1的二维数组
print(np.ones((5,6))*5) #生成5行6列全是5的二维数组
numpy数组运算函数
| numpy数组函数 | 详解 |
|---|---|
| np.sin(arr) | 对numpy数组arr中每个元素取正弦，sin(x)sin(x) |
| np.cos(arr) | 对numpy数组arr中每个元素取余弦，cos(x)cos(x) |
| np.tan(arr) | 对numpy数组arr中每个元素取正切，tan(x)tan(x) |
| np.arcsin(arr) | 对numpy数组arr中每个元素取反正弦，arcsin(x)arcsin(x) |
| np.arccos(arr) | 对numpy数组arr中每个元素取反余弦，arccos(x)arccos(x) |
| np.arctan(arr) | 对numpy数组arr中每个元素取反正切，arctan(x)arctan(x) |
| np.exp(arr) | 对numpy数组arr中每个元素取指数函数，exex |
| np.sqrt(arr) | 对numpy数组arr中每个元素开根号x−−√ |
pandas模块
pandas模块
import numpy as np
常与numpy连用
import pandas as pd
import numpy as np
arr =np.array([1,2,3,4,np.nan]) 生成一个列表，np.nan表示空值
print(arr)
df=pd.Series(arr,index=['a','b','c','d','e']) #根据索引创建表格
print(type(df))
pandas常用属性方法 dateframe属性
| 属性 | 详解 |
|---|---|
| dtype是 | 查看数据类型 |
| index | 查看行序列或者索引 |
| columns | 查看各列的标签 |
| values | 查看数据框内的数据，也即不含表头索引的数据 |
| describe | 查看数据每一列的极值，均值，中位数，只可用于数值型数据 |
| transpose | 转置，也可用Ｔ来操作 |
| sort_index | 排序，可按行或列index排序输出 |
| sort_values | 按数据值来排序 |
matplotlib模块
一、条形图
[0, 1, 2, 3]
student_amounts = [66, 55, 45, 70]
# 画布设置
fig = plt.figure()
# 1,1,1表示一张画布切割成1行1列共一张图的第1个；2,2,1表示一张画布切割成2行2列共4张图的第一个（左上角）
ax1 = fig.add_subplot(1, 1, 1)
ax1.bar(classes_index, student_amounts, align='center', color='darkblue')
ax1.xaxis.set_ticks_position('bottom')
ax1.yaxis.set_ticks_position('left')
plt.xticks(classes_index,
classes,
rotation=0,
fontsize=13,
fontproperties=font)
plt.xlabel('班级', fontproperties=font, fontsize=15)
plt.ylabel('学生人数', fontproperties=font, fontsize=15)
plt.title('班级-学生人数', fontproperties=font, fontsize=20)
# 保存图片，bbox_inches='tight'去掉图形四周的空白
# plt.savefig('classes_students.png?x-oss-process=style/watermark', dpi=400, bbox_inches='tight')
plt.show()
二、直方图
[59.00855949 43.16272141 48.77109774 ... 57.94645859 54.70312714
58.94125528]
# 构造均值为100的符合正态分布的数据
x2 = mu2 + sigma * np.random.randn(10000)
print(x2)
[115.19915511 82.09208214 110.88092454 ... 95.0872103 104.21549068
133.36025251]
fig = plt.figure()
ax1 = fig.add_subplot(121)
# bins=50表示每个变量的值分成50份，即会有50根柱子
ax1.hist(x1, bins=50, color='darkgreen')
ax2 = fig.add_subplot(122)
ax2.hist(x2, bins=50, color='orange')
fig.suptitle('两个正态分布', fontproperties=font, fontweight='bold', fontsize=15)
ax1.set_title('绿色的正态分布', fontproperties=font)
ax2.set_title('橙色的正态分布', fontproperties=font)
plt.show()
三、折线图
[ 1.62434536 1.01258895 0.4844172 -0.58855142 0.2768562 -2.02468249
-0.27987073 -1.04107763 -0.72203853 -0.97140891 0.49069903 -1.56944168
-1.89185888 -2.27591324 -1.1421438 -2.24203506 -2.41446327 -3.29232169
-3.25010794 -2.66729273 -3.76791191 -2.6231882 -1.72159748 -1.21910314
-0.31824719 -1.00197505 -1.12486527 -2.06063471 -2.32852279 -1.79816732
-2.48982807 -2.8865816 -3.5737543 -4.41895994 -5.09020607 -5.10287067
-6.22018102 -5.98576532 -4.32596314 -3.58391898]
plot_data2 = randn(40).cumsum()
plot_data3 = randn(40).cumsum()
plot_data4 = randn(40).cumsum()
plt.plot(plot_data1, marker='o', color='red', linestyle='-', label='红实线')
plt.plot(plot_data2, marker='x', color='orange', linestyle='--', label='橙虚线')
plt.plot(plot_data3, marker='*', color='yellow', linestyle='-.', label='黄点线')
plt.plot(plot_data4, marker='s', color='green', linestyle=':', label='绿点图')
# loc='best'给label自动选择最好的位置
plt.legend(loc='best', prop=font)
plt.show()
四、散点图+直线图
[ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19]
# 拟合一条水平散点线
np.random.seed(1)
y_linear = x + 10 * np.random.randn(19)
print(y_linear)
[ 17.24345364 -4.11756414 -2.28171752 -6.72968622 13.65407629
-17.01538697 24.44811764 0.38793099 12.19039096 7.50629625
25.62107937 -8.60140709 9.77582796 10.15945645 26.33769442
5.00108733 15.27571792 9.22141582 19.42213747]
# 拟合一条x²的散点线
y_quad = x**2 + 10 * np.random.randn(19)
print(y_quad)
[ 6.82815214 -7.00619177 20.4472371 25.01590721 30.02494339
45.00855949 42.16272141 62.77109774 71.64230566 97.3211192
126.30355467 137.08339248 165.03246473 189.128273 216.54794359
249.28753869 288.87335401 312.82689651 363.34415698]
# s是散点大小
fig = plt.figure()
ax1 = fig.add_subplot(121)
plt.scatter(x, y_linear, s=30, color='r', label='蓝点')
plt.scatter(x, y_quad, s=100, color='b', label='红点')
ax2 = fig.add_subplot(122)
plt.plot(x, y_linear, color='r')
plt.plot(x, y_quad, color='b')
# 限制x轴和y轴的范围取值
plt.xlim(min(x) - 1, max(x) + 1)
plt.ylim(min(y_quad) - 10, max(y_quad) + 10)
fig.suptitle('散点图+直线图', fontproperties=font, fontsize=20)
ax1.set_title('散点图', fontproperties=font)
ax1.legend(prop=font)
ax2.set_title('直线图', fontproperties=font)
plt.show()
re模块
正则表达式
什么是正则表达式
正则表达式本身是一种小型的、高度专业化的编程语言，它并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里使用过正则表达式，只需要简单看一看就可以上手了。而在python中，通过内嵌集成re模块，程序员们可以直接调用来实现正则匹配。正则表达式模式被编译成一系列的字节码，然后由用C编写的匹配引擎执行。
正则表达式用途
用于对字符串或者数据进行筛选，也可以连用requests模块来进行爬虫
re模块得基本使用
正则表达式是用来匹配处理字符串的 python 中使用正则表达式需要引入re模块
import re # 第一步，要引入re模块
a = re.findall("匹配规则", "这个字符串是否有匹配规则的字符") # 第二步，调用模块函数
print(a) # 以列表形式返回匹配到的字符串
['匹配规则']
^元字符
字符串开始位置与匹配规则符合就匹配，否则不匹配
匹配字符串开头。在多行模式中匹配每一行的开头（Python3+已经失效，配合compile使用）
^元字符如果写到[]字符集里就是反取
import re
a = re.findall("^匹配规则", "匹配规则这个字符串是否匹配") # 字符串开始位置与匹配规则符合就匹配，否则不匹配
print(a)
#打印出 ['匹配规则']
['匹配规则']
[^a-z]反取
匹配出除字母外的字符，^元字符如果写到字符集里就是反取
import re
a = re.findall("[^a-z]", "匹配s规则这s个字符串是否s匹配f规则则re则则则") # 反取，匹配出除字母外的字符
print(a)
['匹', '配', '规', '则', '这', '个', '字', '符', '串', '是', '否', '匹', '配', '规', '则', '则', '则', '则', '则']
$元字符
字符串结束位置与匹配规则符合就匹配，否则不匹配
匹配字符串末尾，在多行模式中匹配每一行的末尾
import re
a = re.findall("匹配规则$", "这个字符串是否匹配规则") # 字符串结束位置与匹配规则符合就匹配，否则不匹配
print(a)
['匹配规则']
*元字符
需要字符串里完全符合，匹配规则，就匹配，（规则里的*元字符）前面的一个字符可以是0个或多个原本字符
匹配前一个字符0或多次，贪婪匹配前导字符有多少个就匹配多少个很贪婪
如果规则里只有一个分组，尽量避免用*否则会有可能匹配出空字符串
import re
# 需要字符串里完全符合，匹配规则，就匹配，（规则里的*元字符）前面的一个字符可以是0或多个原本字符
a = re.findall("匹配规则*", "这个字符串是否匹配规则则则则则")
print(a)
['匹配规则则则则则']
+元字符
需要字符串里完全符合，匹配规则，就匹配，（规则里的+元字符）前面的一个字符可以是1个或多个原本字符
匹配前一个字符1次或无限次，贪婪匹配前导字符有多少个就匹配多少个很贪婪
import re
# 需要字符串里完全符合，匹配规则，就匹配，（规则里的+元字符）前面的一个字符可以是1个或多个原本字符
a = re.findall("匹配+", "匹配配配配配规则这个字符串是否匹配规则则则则则")
print(a)
['匹配配配配配', '匹配']
?元字符(防止贪婪匹配)
需要字符串里完全符合，匹配规则，就匹配，（规则里的?元字符）前面的一个字符可以是0个或1个原本字符
匹配一个字符0次或1次
还有一个功能是可以防止贪婪匹配，详情见防贪婪匹配
import re
# 需要字符串里完全符合，匹配规则，就匹配，（规则里的?元字符）前面的一个字符可以是0个或1个原本字符
a = re.findall("匹配规则?", "匹配规这个字符串是否匹配规则则则则则")
print(a)
['匹配规', '匹配规则']
{}元字符(范围)
需要字符串里完全符合，匹配规则，就匹配，（规则里的 {} 元字符）前面的一个字符，是自定义字符数，位数的原本字符
{m}匹配前一个字符m次，{m,n}匹配前一个字符m至n次，若省略n，则匹配m至无限次
{0,}匹配前一个字符0或多次,等同于*元字符
{+,}匹配前一个字符1次或无限次,等同于+元字符
{0,1}匹配前一个字符0次或1次,等同于?元字符
import re
# {m}匹配前一个字符m次，{m,n}匹配前一个字符m至n次，若省略n，则匹配m至无限次
a = re.findall("匹配规则{3}", "匹配规这个字符串是否匹配规则则则则则")
print(a)
['匹配规则则则']
[]元字符(字符集)
需要字符串里完全符合，匹配规则，就匹配，（规则里的 [] 元字符）对应位置是[]里的任意一个字符就匹配
字符集。对应的位置可以是字符集中任意字符。字符集中的字符可以逐个列出，也可以给出范围，如[abc]或[a-c]。[^abc]表示取反，即非abc。
所有特殊字符在字符集中都失去其原有的特殊含义。用反斜杠转义恢复特殊字符的特殊含义。
import re
# 需要字符串里完全符合，匹配规则，就匹配，（规则里的 [] 元字符）对应位置是[]里的任意一个字符就匹配
a = re.findall("匹配[a,b,c]规则", "匹配a规则这个字符串是否匹配b规则则则则则")
print(a)
['匹配a规则', '匹配b规则']
[^]
非，反取，匹配出除[]里面的字符，元字符如果写到字符集里就是反取
import re
a = re.findall("[^a-z]", "匹配s规则这s个字符串是否s匹配f规则则re则则则") # 反取，匹配出除字母外的字符
print(a)
['匹', '配', '规', '则', '这', '个', '字', '符', '串', '是', '否', '匹', '配', '规', '则', '则', '则', '则', '则']
反斜杠后边跟普通字符实现特殊功能(预定义字符)
预定义字符是在字符集和组里都是有用的
d匹配任何十进制数，它相当于类[0-9]
import re
a = re.findall("d", "匹配规则这2个字符串3是否匹配规则5则则则7则") # d匹配任何十进制数，它相当于类[0-9]
print(a)
['2', '3', '5', '7']
d+
匹配一位或者多位数的数字时用
import re
a = re.findall("d+", "匹配规则这2个字符串134444是否匹配规则5则则则7则") # d+如果需要匹配一位或者多位数的数字时用
print(a)
['2', '134444', '5', '7']
D
匹配任何非数字字符，它相当于类[^0-9]
import re
a = re.findall("D", "匹配规则这2个字符串3是否匹配规则5则则则7则") # D匹配任何非数字字符，它相当于类[^0-9]
print(a)
['匹', '配', '规', '则', '这', '个', '字', '符', '串', '是', '否', '匹', '配', '规', '则', '则', '则', '则', '则']
s
匹配任何空白字符，它相当于类[ fv]
import re
# s匹配任何空白字符，它相当于类[
fv]
a = re.findall("s", "匹配规则 这2个字符串3是否匹
配规则5则则则7则")
print(a)
[' ', ' ', ' ', '
']
S
匹配任何非空白字符，它相当于类[^ fv]
import re
# S匹配任何非空白字符，它相当于类[^
fv]
a = re.findall("S", "匹配规则 这2个字符串3是否匹
配规则5则则则7则")
print(a)
['匹', '配', '规', '则', '这', '2', '个', '字', '符', '串', '3', '是', '否', '匹', '配', '规', '则', '5', '则', '则', '则', '7', '则']
w
匹配包括下划线在内任何字母数字字符，它相当于类[a-zA-Z0-9_]
import re
# w匹配包括下划线在内任何字母数字字符，它相当于类[a-zA-Z0-9_]
a = re.findall('w', "https://www.cnblogs.com/")
print(a)
['h', 't', 't', 'p', 's', 'w', 'w', 'w', 'c', 'n', 'b', 'l', 'o', 'g', 's', 'c', 'o', 'm']
W
匹配非任何字母数字字符包括下划线在内，它相当于类[^a-zA-Z0-9_]
import re
# w匹配包括下划线在内任何字母数字字符，它相当于类[a-zA-Z0-9_]
a = re.findall('W', "https://www.cnblogs.com/")
print(a)
[':', '/', '/', '.', '.', '/']
()元字符(分组)
也就是分组匹配，()里面的为一个组也可以理解成一个整体
如果()后面跟的是特殊元字符如 (adc)* 那么*控制的前导字符就是()里的整体内容，不再是前导一个字符
import re
# 也就是分组匹配，()里面的为一个组也可以理解成一个整体
a = re.search("(a4)+", "a4a4a4a4a4dg4g654gb") # 匹配一个或多个a4
b = a.group()
print(b)
a4a4a4a4a4
import re
# 也就是分组匹配，()里面的为一个组也可以理解成一个整体
# 匹配 (a) (d0-9的数字) (+可以是1个到多个0-9的数字)
a = re.search("a(d+)", "a466666664a4a4a4dg4g654gb")
b = a.group()
print(b)
a466666664
|元字符(或)
|或，或就是前后其中一个符合就匹配
import re
a = re.findall(r"你|好", "a4a4a你4aabc4a4dgg好dg4g654g") # |或，或就是前后其中一个符合就匹配
print(a)
re模块的方法
re.S
- 在Python的正则表达式中，有一个参数为re.S。它表示 “.” 的作用扩展到整个字符串，包括“ ”。看如下代码：
import re
a = '''asdfhellopass:
worldaf
'''
b = re.findall('hello(.*?)world', a)
c = re.findall('hello(.*?)world', a, re.S)
print('b is ', b)
print('c is ', c)
b is []
c is ['pass:
']
正则表达式中，“.”的作用是匹配除“ ”以外的任何字符，也就是说，它是在一行中进行匹配。这里的“行”是以“ ”进行区分的。a字符串有每行的末尾有一个“ ”，不过它不可见。
如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始，不会跨行。而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，将“ ”当做一个普通的字符加入到这个字符串中，在整体中进行匹配。
re.I
- 不区分大小写
res = re.findall(r"A", "abc", re.I)
print(res)
['a']
re.sub
# 要求结果：['12', '23', '34']
l = ['1 2 ', '2 3', ' 3 4']
import re
print(eval(re.sub(r's*', '', str
typing模块
typing模块的使用：
from typing import List, Tuple, Dict
typing模块的用途
- 类型检查，防止运行时出现参数和返回值类型不符合。
- 作为开发文档附加说明，方便使用者调用时传入和返回参数类型。
- 该模块加入后并不会影响程序的运行，不会报正式的错误，只有提醒。
-
注意：typing模块只有在python3.5以上的版本中才可以使用,pycharm目前支持typing检查
from typing import List, Tuple, Dict def add(a: int, string: str, f: float, b: bool) -> Tuple[List, Tuple, Dict, bool]: list1 = list(range(a)) tup = (string, string, string) d = {"a": f} bl = b return list1, tup, d, bl print(add(5, "hhhh", 2.3, False))
typing的常用类型
-
int、long、float: 整型、长整形、浮点型
-
bool、str: 布尔型、字符串类型
-
List、 Tuple、 Dict、 Set:列表、元组、字典、集合
-
Iterable、Iterator:可迭代类型、迭代器类型
-
Generator：生成器类型