Python学习笔记

链接B站，嵩天老师零基础学习视频：https://www.bilibili.com/video/av19391909?p=2

程序设计语言：编译型，一次性执行结束（c语言）和解释型,逐条执行，便于维护（JavaScript，python等脚本语言）

拿到一个问题时：

• 分析问题的计算部分
• 确定功能，使用IPO方法进一步分析：输入；处理；输出。I（输入input）P（处理process）O（output输出）分析"
• 设计算法：计算公式
• 编写程序
• 运行调试程序

程序设计的步骤：

• 确定程序的IPO
• 编写程序
• 调试程序

问题小练习：如何利用温度摄氏度和huashi华氏度进行转换？

I（输入input）P（处理process）O（output输出）分析；

设计算法：

C = （F - 32）/ 1.8

F = C * 1.8 + 32

源码如下：

while (True):
    content = str(input('请输入当前温度：'))
    if content[-1] in ["c","C"]:
        huashi = int(content[:-1]) * 1.8 + 32
        print("当前温度为摄氏度{a},转化为华氏度{b}".format(a = content,b = str(huashi) + 'F'))
    elif content[-1] in ['f','F']:
        sheshi = (int(content[:-1])- 32) / 1.8
        print('当前温度为华氏度{0}，转化为摄氏度{1}'.format(content,str(sheshi) + 'C'))
    else:
        print('输入有误')

 为了提高学习兴趣，跟着嵩天老师学习了一下turtle库，这个库可以在图形化页面生成图形。

下面一段是一段生成蟒蛇源码，大家可以自己敲一下，或者直接点击源码顶部按钮，然后复制即可。

不懂得地方自行百度，搜索能力是必备的。

下面的源码，利用是函数调用。先调用main()，然后从main()函数里面调用drawSnake()函数，def 是定义函数。里面的参数，嵩天老师都已经讲解，我也注释出来了。至于源码怎么编写的，暂时不需要了解，只要先明白大概源码的作用就OK了。

import turtle
def drawSnake(rad,angle,len,neckrad):
    for i in range(len):
        turtle.circle(rad,angle)   # rad表示爬行圆形轨迹的半径位置，正值为左，负值为右，angle表示小乌龟爬行的弧度值
        turtle.circle(-rad,angle)
    turtle.circle(rad,angle/2)
    turtle.fd(rad)                      # forward简写，代表爬行的直线距离
    turtle.circle(neckrad+1,180)
    turtle.fd(rad*2/3)

def main():
    turtle.setup(1300,800,0,0) # 长度，高度，左上角坐标起始点
    pythonsize = 60            
    turtle.pensize(pythonsize) # 宽度，小乌龟宽度
    turtle.pencolor("green")   # 小乌龟走过的轨迹颜色
    turtle.seth(-40)           # 小乌龟开始爬行的角度方向，参照数学象限
    drawSnake(40,80,5,pythonsize/2) 
main()

生成结果如下：

数据类型

数据类型就不详细介绍了，整型，浮点型，复数型，字符型，文件型，元组，列表，集合，字典等。

接下来学习数字类型(输一下下面的例子看看结果就知道区别，同时可以用下面的函数方法对其类型转换)：

• 整型 int(4) 转为整数
• 浮点型 float(4) 转为浮点数
• 复数型 complex(4) 转换成复数

 转换方法就是：int(),float(),complex()

运算方法：

字符串切片索引

下面一个小练习，最好对应嵩天老师的视频观看，简单的内容就不详述了，看视频了解。

输入1到7，然后打印出分别对应的星期一到星期日
下面是本人作出的源码，稍微多加了一点以后要写到的内容，其中包括循环，函数，__main__,__name__方法。不必纠结个别不懂得地方，船到桥下自然直，等你学到这，自然就会了，笔者也是这样过来的。

def cal():
    '''
    输入1到7，然后打印出分别对应的星期一到星期日
    '''
    for i in range(20):
        content = "星期一星期二星期三星期四星期五星期六星期日"
        a = int(input('请输入星期几，输入用1到7数字代表：'))
        if a in list(range(1,8)):
            index = a * 3
            output = content[index-3:index]
            print(output)
        else:
            print("请重新输入")
            continue
if __name__ == '__main__':
    cal()

 列表的操作

 小游戏，利用turtle库绘制五角星并填充。可以复制这段代码运行一下，同样试着更改一下参数，看看有什么变化。

from turtle import Turtle
p = Turtle()
p.speed(1)
p.pensize(5)
p.color('black','yellow')
p.begin_fill()
for i in range(5):
    p.fd(200)
    p.right(144)
p.end_fill()

输出结果：

词云：如下图所示

源码如下，尝试手动输出：

输入前请安装jieba库、wordcloud库、以及scipy库，安装方式pip install 库名

下面划线的部位根据自己文档和图片，字体的实际路径填写。

源码：

import jieba
from wordcloud import WordCloud,STOPWORDS
from scipy.misc import imread
import matplotlib.pyplot as plt
# 读取文件
obj_content = open("C:/Users/Desktop/ciyun.txt",'r')
text= obj_content.read()
# 对文本进行分词
cut_text = ''.join(jieba.cut(text))
# 读取图片
picture = imread("C:/Users/Desktop/timg.jpg")
# 导入字体
cloud = WordCloud(font_path = "C:/Users/Desktop/simsun.ttc",
                  background_color = 'white',
                  mask = picture,
                  max_words = 3000,
                  max_font_size = 40)
word_cloud = cloud.generate(cut_text)
# 输出图片
plt.axis('off')
plt.imshow(word_cloud) 
plt.show()

网络爬虫---robots协议

robots协议就是不被允许的爬虫

例子：看一下百度的robots协议

网址：http://www.baidu.com/robots.txt

User-agent:后面指的被百度禁止的恶意爬虫，

disallow:后面的是被禁止的通配符类型，最后一个不允许爬虫访问的资源目录

京东的robots协议，被京东禁止的爬虫。在网址后面加/robots.txt就可以了。https://www.jd.com/robots.txt

QQ的robots协议https://www.qq.com/robots.txt

爬取网页源码通用框架：（为防止异常外加try :语句 except:语句）

# 通用爬取网页的代码框架
import requests
def getHtmlText(url):
    try:
        r = requests.get(url,timeout = 5)
        r.raise_for_status() # 如果状态不是200，引发HttpError异常
        r.encoding = r.apparent_encoding
        return r.text
    except :                          # except Exception as e 
        return "产生异常"
if __name__ == '__main__':
    url = "www.baidu.com"
    print(getHtmlText(url))

 实例一：

爬取京东商城手机信息：https://item.jd.com/5853575.html

过程如下：

源码：

# 通用爬取网页的代码框架
import requests
def getHtmlText(url):
    try:
        r = requests.get(url,timeout = 5)
        r.raise_for_status() # 如果状态不是200，引发HttpError异常
        r.encoding = r.apparent_encoding
        return r.text[:1000]
    except :                          # except Exception as e 
        return "产生异常"
if __name__ == '__main__':
    url = "https://item.jd.com/5853575.html"
    print(getHtmlText(url))
    

运行结果和上面截图一样。

  实例二：

爬取亚马逊商城商品信息：

import requests
url = 'https://www.amazon.cn/dp/B07G5Z9H8R/ref=lp_106200071_1_1?s=pc&ie=UTF8&qid=1546562300&sr=1-1'
try:
    kv = {"user_agent":"Mozilla/5.0"}
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])    # 返回字符串一万多行，截取了一部分字符串
except:
    print("异常返回")

实例三：

爬取苏宁易购ipad商品信息

import requests
url = 'https://product.suning.com/0000000000/10400501623.html?safp=d488778a.13701.productWrap.1'
# 请求头 模拟浏览器登陆
kv = {"user-agent":"Mozilla/5.0"}
try:
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

 百度搜索关键词借口：https://www.baidu.com/s?wd=keyword

import requests
url = 'http://www.baidu.com/s'
kv = {'wd':"python"}
try:
    r = requests.get(url,params = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.request.url)
    print(len(r.text))
except:
    print("爬取失败")
    
import requests
url = 'http://www.baidu.com/s'
kv = {'wd':"赵蕴卓"}
try:
    r = requests.get(url,params = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.request.url)
    print(len(r.text))
except:
    print("爬取失败")

搜狗搜索关键字接口：https://www.sogou.com/web?query=keyword

import requests
url = 'http://www.sougou.com/web'
kv = {'query':"python"}
try:
    r = requests.get(url,params = kv)
    r.raise_for_status()
    print(r.request.url)
    print(len(r.text))
except:
    print('搜索失败')

360搜索关键词接口：https://www.so.com/s?q=keyword

import requests
url = 'https://www.so.com/s'
kv = {"q":"python"}
try:
    r = requests.get(url,params = kv )
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.request.url)
    print(len(r.text))
except:
    print('爬取错误')

 爬取网页图片并存储：

import requests
import os
import time
url = 'http://wx1.sinaimg.cn/bmiddle/b4d7da4cly1fdk29b03dwj22c03407wi.jpg'
root = 'D://pics//'
path = root + url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            time.sleep(3)
            print('下载完成')
    else:
        print("该文件已存在")
    
except:
    print("爬取失败")

 利用ip138查询接口查询输入ip地址的归属地http://www.ip138.com/

查看网页的ip地址可以在dos页面输入 ping + 网址(不加http协议) ，例如：ping www.baidu.com

ip以我校ip地址为例

# 查询ip地址
import requests
url = 'http://www.ip138.com/ips138.asp?ip='

try:
    r = requests.get(url + "60.175.65.100")
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[7100:7400])
except:
    print('查询失败')

 BeautifulSoup库---美味汤

语法两行搞定：

from bs4 import BeautifulSoup

soup = BeautifulSoup('<p>data</p>','html.parser')，第二个参数是解析方法

url = 'https://python123.io/ws/demo.html'
import requests
from bs4 import BeautifulSoup
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo,'html.parser')
print(soup.prettify())

案例：最好大学排名 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html

爬取大学排名信息：

源码如下

import requests
from bs4 import BeautifulSoup
import bs4
def getHtmlText(url):
    '''提取html'''
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
    
def fillUnivList(ulist,html):
    '''提取关键信息，填到列表中，这是一个二维列表
    列表里面的每一个元素是一个学校信息，每一个元素
    仍是一个含有三个元素的列表'''
    soup = BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string])
             
            
def printUnivList(ulist,num):
    ''''输入表头，和输出排名信息'''
    plt = "{0:{3}<10}	{1:{3}^10}	{2:{3}>10}" # ^居中对齐；<左对齐；>右对齐；
    print(plt.format('排名','学校','总分',chr(12288))) # chr(12288)中文空格填充，放在对齐符号前面记住就行。
    for i in range(num):
        u =  ulist[i]
        print(plt.format(u[0],u[1],u[2],chr(12288)))
    print('Suc' + str(num))
def main():
    unifo = []
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html'
    html = getHtmlText(url)
    fillUnivList(unifo,html)
    printUnivList(unifo,20)
main()
 

输入结果：

 正则表达式