1. numpy模块
# numpy: 专门数组(矩阵)的运算
lis1 = [1,2,3] # 向量
lis2 = [4,5,6] # 向量
# [4,10,18]
lis = []
for i in range(len(lis1)):
lis.append(lis1[i] * lis2[i])
print(lis)
import numpy as np
arr1 = np.array([1,2,3])
arr2 = np.array([4,5,6])
print(arr1*arr2)
import numpy as np
# numpy 数组
arr = np.array([1,2,3])
print(arr) # 一维的numpy数组
arr2 = np.array([[1,2,3],[4,5,6]])
print(arr2) # 二维的numpy数组(一般就是二维)
arr3 = np.array([[[1,2,3],[4,5,6]],[1,2,3],[4,5,6]])
print(arr3)
# 三维的不使用numpy模块，使用tensorflow/pytorch模块
# 属性（可以记）
'''
T 数组的转置（对高维数组而言）
dtype 数组元素的数据类型
size 数组元素的个数
ndim 数组的维数
shape 数组的维度大小（以元组形式）
astype 类型转换
'''
import numpy as np
arr2 = np.array([[1,2,3],[4,5,6]])
print(arr2) # 二维的numpy数组(一般就是二维)
print(arr2.T) # 行与列互换
print(arr2.dtype) # python中的数据类型 # int32
print(arr2.astype(np.float64).dtype) # float64
print(arr2.size) # 6
print(arr2.shape) # (2,3)
print(arr2.ndim) # 2
# 切片
lis = [1,2,3]
print(lis[:]) # [1,2,3]
arr2 = np.array([[1,2,3],[4,5,6]])
print(arr2)
print(arr2[:,:])
print(arr2[0:1,:]) # [[1 2 3]]
print(arr2[0:1,0:1]) # [[1]]
print(arr2[0,:]) # [1 2 3]
print(arr2[0,0],type(arr2[0,0])) # 1 <class 'numpy.int32'>
print(arr2[0,[0,2]]) # [1 3]
# 修改值
lis = [1,2,3]
lis[0] = 2
print(lis) # [2, 2, 3]
arr2 = np.array([[1,2,3],[4,5,6]])
print(arr2) # 二维的numpy数组(一般就是二维)
arr2[0,:] = 0
print(arr2)
arr2[1,1] = 1
print(arr2)
arr2[arr2 < 3] = 3 # 布尔取值
print(arr2)
# 合并
arr1 = np.array([[1,2,3],[4,5,6]]) # 可变数据类型
# print(arr1)
arr2 = np.array([[7,8,9],[10,11,12]]) # 可变数据类型
# print(arr2)
print(np.hstack((arr1,arr2))) # 行合并
print(np.vstack((arr1,arr2))) # 列合并
print(np.concatenate((arr1,arr2))) # 默认列合并
print(np.concatenate((arr1,arr2),axis=1)) # 1表示行；0表示列
# 通过函数创建numpy数组
arr1 = np.array([[1,2,3],[4,5,6]]) # 可变数据类型
# print(arr1)
print(np.zeros((5,5)))
print(np.ones((5,5)) * 100)
print(np.eye(5))
print(np.arange(1,10,2)) # 生成一维的 # [1 3 5 7 9]
print(np.linspace(0,20,10)) # 平均分成10份 # 构造x坐标轴的值
arr = np.zeros((5,5))
print(arr.reshape((1,25)))
# 数组运算
arr1 = np.array([[1,2,3],[4,5,6]]) # 可变数据类型
print(arr1)
arr2 = np.array([[7,8,9],[10,11,12]]) # 可变数据类型
print(arr2)
# +-*/ // % **
print(arr1*arr2)
print(arr1+arr2)
# 运算函数
arr1 = np.array([[1,2,3],[4,5,6]])
print(arr1)
print(np.sin(arr1))
print(np.cos(arr1))
print(np.sqrt(arr1))
print(np.exp(arr1))
# 额外补充(了解)
arr1 = np.array([[1,2,3],[4,5,6]])
print(arr1)
arr2 = np.array([[7,8,9],[10,11,12]])
print(arr2)
print(arr1.T)
print(arr1.transpose())
# m * n × n * m = m * m
print(np.dot(arr1,arr2.T))
# 求逆
arr1 = np.array([[1, 2, 3], [4, 5, 6], [9, 8, 9]])
print(np.linalg.inv(arr1))
# numpy的数学方法(了解)
arr1 = np.array([[1, 2, 3], [4, 5, 6]]) # 可变数据类型
print(arr1)
print(arr1.var())
print(arr1.std())
print(arr1.mean())
print(arr1.cumsum()) # 累加和
# numpy随机数(了解)
print(np.random.rand(3,4))
print(np.random.randint(1,10,(3,4))) # 最小值1,最大值10,3*4
print(np.random.choice([1,2,3,4,5],3))
print(arr1)
np.random.shuffle(arr1)
print(arr1)
# 随机数种子 # 所有的随机数都是按照随机数种子生成的
import time
# 重点
np.random.seed(int(time.time()))
np.random.seed(1)
arr1 = np.random.rand(3,4) # 可变数据类型
print(arr1)
rs = np.random.RandomState(1)
print(rs.rand(3,4))
2. pandas模块
# pandas更多的是excel/csv文件处理，excel文件，对numpy+xlrd模块做了一层封装
# pandas的数据类型
import pandas as pd
import numpy as np
## Series(现在一般不适应(一维))
df = pd.Series(np.array([1,2,3,4]))
print(df)
# DataFrame(多维)
# DataFrame是一个表格型的数据结构，含有一组有序的列
dates = pd.date_range('20190101',periods=6,freq='M')
print(dates)
values = np.random.rand(6,4)*10
print(values)
columns = ['c4','c2','c3','c1']
df = pd.DataFrame(values,index=dates,columns=columns)
print(df)
'''
dtype 查看数据类型
index 查看行序列或者索引
columns 查看各列的标签
values 查看数据框内的数据，也即不含表头索引的数据
describe 查看数据每一列的极值，均值，中位数，只可用于数值型数据
transpose 转置，也可用Ｔ来操作
sort_index 排序，可按行或列index排序输出
sort_values 按数据值来排序
'''
print(df.dtypes)
print(df.index)
print(df.columns)
print(df.describe())
print(df.T)
df = df.sort_index(axis=1) # 0是行，1是列
print(df)
print(df.sort_values(by='c3'))
# 取值
print(df['c1'])
print(df[['c1','c3']])
print(df.loc['2019-01-31':'2019-02-28']) # （通过行标签取值）
print(df.values[1,1])
print(df.iloc[:,:]) # 通过行索引选择数据
print(df['c1']>3)
df.iloc[1,1]=1
print(df)
# pandas操作表格
# from io import StringIO
import pandas as pd
from io import StringIO
test_data = '''
5.1,,1.4,0.2
4.9,3.0,1.4,0.2
4.7,3.2,,0.2
7.0,3.2,4.7,1.4
6.4,3.2,4.5,1.5
6.9,3.1,4.9,
,,,
'''
test_data = StringIO(test_data)
# 把数据读入内存,变成csv文件
df = pd.read_csv(test_data, header=None)
df.columns = ['c1', 'c2', 'c3', 'c4']
print(df)
# 缺失值处理
df = df.dropna(axis=0)
print(df)
# 删除行不为4个值的
df = df.dropna(thresh=3) # 必须得有4个值
print(df)
# 合并处理
df1 = pd.DataFrame(np.zeros((2,3)))
print(df1)
df2 = pd.DataFrame(np.ones((2,3)))
print(df2)
pd.concat((df1,df2),axis=1) # 默认按列0，1行
print(pd)
# append只能合并列
print(df1.append(df2))
# 导入数据
df = df.dropna(thresh=4)
print(df)
df.index = ['nick','jason','tank']
print(df)
3. matplotlib模块
# matplotlib模块: 画图
# 条形图
import matplotlib.pyplot as plt # 默认支持英文,不支持中文
from matplotlib.font_manager import FontProperties
font = FontProperties(fname='D:msyh.ttc')
classes = ['3班','4班','5班','6班']
students = [50,60,55,67]
ind = range(len(classes))
# plt.bar(ind,students,color='r')
# plt.xticks(ind,classes,fontproperties= font)
# plt.show()
plt.style.use('ggplot')
plt.bar(ind,students,color='darkblue')
plt.xticks(ind,classes,fontproperties= font)
plt.xlabel('班级',fontproperties=font,fontsize=15)
plt.ylabel('人数',fontproperties= font,fontsize=15)
plt.title('班级-人数',fontproperties=font,fontsize=20)
plt.show()
# 直方图
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.font_manager import FontProperties
# %matplotlib inline # 如果没有这个,不会显示图片,有这个会显示图片(只针对jupyter)
font = FontProperties(fname='D:msyh.ttc')
mu1, mu2, sigma = 50, 100, 10
x1 = mu1 + sigma * np.random.randn(100000) # 符合正太分布的随机数据
x2 = mu2 + sigma * np.random.randn(100000)
# plt.hist(x1,bins=50)# 每50个数据一根柱子
# plt.show()
fig = plt.figure()
ax1 = fig.add_subplot(1, 2, 1) # 一行2列 第一个
ax1.hist(x1, bins=50, color='yellow')
ax1.set_title('黄色的', fontproperties=font)
ax2 = fig.add_subplot(1, 2, 2) # 一行2列 第二个
ax2.hist(x2, bins=100, color='green')
ax2.set_title('绿色的', fontproperties=font)
fig.suptitle('大标题', fontproperties=font, fontsize=20)
plt.show()
# 折线图
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.font_manager import FontProperties
# %matplotlib inline # 如果没有这个,不会显示图片,有这个会显示图片(只针对jupyter)
font = FontProperties(fname='D:msyh.ttc')
x1 = np.random.randn(1,40).cumsum()
x2 = np.random.randn(1,40).cumsum()
x3 = np.random.randn(1,40).cumsum()
x4 = np.random.randn(1,40).cumsum()
plt.plot(x1,marker='o',color='r',label='红线',linestyle='--')
plt.plot(x2,marker='*',color='y',label='黄线',linestyle='-.')
plt.plot(x3,marker='s',color='green',label='绿色',linestyle=':')
plt.plot(x4,marker='x',color='b',label='蓝色',linestyle='-')
plt.legend(prop=font) # label的字体的需要在这里换
plt.show()
# 散点图+直线图
import matplotlib.pyplot as plt
import numpy as np
from matplotlib.font_manager import FontProperties
# %matplotlib inline # 如果没有这个,不会显示图片,有这个会显示图片(只针对jupyter)
font = FontProperties(fname='D:msyh.ttc')
x1 = np.arange(1,20,2)
x1
y = x1**2
plt.scatter(x1,y,s=100)
plt.show()