2018-7-19 21:39:49 我觉得这次的笔记是非常非常完美的!!!明天继续 睡觉去啦!
傍黑时候和晴宝打电话,她特能说,很喜欢这种感觉,有好多东西要和你分享!
1.复习!
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 10:12 # !@Author TrueNewBee # 今天和明天 多线程 # 协程 + IO模型 # 进程池所有内容: # 管道 # 数据的共享 Manager dic list # 进程池 # cpu个数+1 # ret = map(func, iterable) # 异步 自带close和join # 所有结果的[] # apply() # 同步的 : 只有当func执行完之后,才会继续向下执行其他的代码 # apply(func, args=()) # 返回值就是func的return # apply_async # 异步的:当func被注册进入一个进程之后,程序就继续向下执行 # apply_async(func, args()) # 返回值: apply_async返回的对象 # 为了用户能从中获取func的返回对象 obj.get() # get会阻塞直到对应的func执行完毕拿到结果 # 使用apply_async给进程池分配任务,需要线close()后join来保持多进程和主进程代码的同步性
2.回调函数
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 10:22 # !@Author TrueNewBee # 回调函数 from multiprocessing import Pool def func1(n): return n+1 def func2(m): print(m) if __name__ == '__main__': p = Pool(5) for i in range(10, 20): p.apply_async(func1, args=(i, ), callback=func2) p.close() p.join()
3.爬取数据例子
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 10:40 # !@Author TrueNewBee import requests from multiprocessing import Pool # 200 网页正常 # 404 网页找不到了 # 502 504 # 回调函数在主进程进行,因为是异步,不让主进程闲着,多做点东西! def get(url1): response = requests.get(url1) if response.status_code == 200: return url1, response.content.decode('utf-8') def call_back(args): url2, content = args print(url2, len(content)) url_list = [ 'https://www.cnblogs.com/', 'http://www.baidu.com/', 'http://www.jd.com/' ] if __name__ == '__main__': p = Pool(5) for url in url_list: p.apply_async(get, args=(url,), callback=call_back) p.close() p.join()
4.爬虫
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 11:23 # !@Author TrueNewBee # 爬取猫眼榜单数据,使用了线程池回调函数 import re from urllib.request import urlopen from multiprocessing import Pool def get_page(url,pattern): response = urlopen(url).read().decode('utf-8') return pattern, response # 正则表达式编译结果 网页内容 def parse_page(info): pattern, page_content = info res = re.findall(pattern, page_content) for item in res: dic = { 'index': item[0].strip(), 'title': item[1].strip(), 'actor': item[2].strip(), 'time': item[3].strip(), } print(dic) if __name__ == '__main__': # 正则要写的好 regex = r'<dd>.*?<.*?class="board-index.*?>(d+)</i>.*?title="(.*?)".*?class="movie-item-info".*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>' pattern1 = re.compile(regex, re.S) url_dic = { 'http://maoyan.com/board/7':pattern1, } p = Pool() res_l = [] for url, pattern in url_dic.items(): res = p.apply_async(get_page, args=(url, pattern), callback=parse_page) res_l.append(res) for i in res_l: i.get()
5.线程
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 15:50 # !@Author TrueNewBee # import os # import time # from threading import Thread # """多线程并发,都在同一个进程运行""" # # # def func(n): # time.sleep(1) # 全部线程并发睡1s 然后打印 # print(n, os.getpid()) # # # print('主线程:', os.getpid()) # for i in range(10): # t = Thread(target=func, args=(i, )) # t.start() """使用面向对象方式开启线程""" # class MyTread(Thread): # def __init__(self, arg): # super().__init__() # self.arg = arg # # def run(self): # time.sleep(1) # print(self.arg) # # # t = MyTread(10) # t.start() # threading模块: # multiprocessing模块的完全模仿threading模块的接口, # 二者在使用层面上有很大的相似地方 """修改全局变量""" # 在同一个进程多个线程之间的数据是共享的 # def func1(a): # global g # g = 0 # print(g, a, os.getpid()) # # # g = 100 # t_list = [] # for i in range(10): # t = Thread(target=func1, args=(i, )) # t.start() # t_list.append(t) # for t in t_list: # t.join() # print(g) # 进程 是最小的内存分配单位 # 线程 是操作系统调度的最小单位 # 线程被cpu执行了 # 进程内至少含有一个线程 # 进程中可以开启多个线程 # 开启一个线程所需要的时间要远远小于开启一个进程 # 多个线程内部有自己的数据栈,数据不共享 # 全局变量在多个线程之间是共享的 # 在CPython解释器下的python程序 在同一时刻 多线程只能有一个线程cpu被执行 # 高CPU(用多进程处理): 计算类 -----高CPU利用率 不占优势 # 高IO(用多线程处理): 爬取网页 200个网页 # qq聊天 send recv # 处理日志文件 读文件 # 处理web请求 # 读取数据库 写数据库 import time from threading import Thread from multiprocessing import Process """多线程与多进程时间对比""" def func(n): n+1 if __name__ == '__main__': start = time.time() t_list = [] for i in range(100): t = Thread(target=func, args=(i, )) t.start() t_list.append(t) for t in t_list: t.join() t1 = time.time() - start start1 = time.time() p_list = [] for i in range(100): p = Process(target=func, args=(i, )) p.start() p_list.append(t) for p in p_list: p.join() t2 = time.time() - start1 print(t1, t2)
6.线程模块中其他方法
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 21:26 # !@Author TrueNewBee import threading import time def func(n): time.sleep(0.5) # 查看线程名字和id print(n, threading.current_thread(), threading.get_ident()) for i in range(10): threading.Thread(target=func, args=(i, )).start() print(threading.current_thread()) print(threading.active_count()) # 查看所有线程数 11 加上主线程 print(threading.enumerate())
7. 多线程写 socket sever
sever端
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 21:06 # !@Author TrueNewBee import socket from threading import Thread def chat(conn1): conn1.send(b'hello') msg = conn1.recv(1024).decode('utf-8') print(msg) inp = input(">>").encode('utf-8') conn1.send(inp) conn1.close() if __name__ == '__main__': sk = socket.socket() sk.bind(('127.0.0.1', 8080)) sk.listen() while True: conn, add = sk.accept() # 创建一个多线程实现多线程通讯 Thread(target=chat, args=(conn, )).start() sk.close()
client端 (多线程中可以用input 而多进程中不可以用input)
# !/usr/bin/env python # !--*--coding:utf-8 --*-- # !@Time :2018/7/19 21:07 # !@Author TrueNewBee import socket sk = socket.socket() sk.connect(('127.0.0.1', 8080)) msg = sk.recv(1024) print(msg) inp = input('>>>>').encode('utf-8') # 多线程可以用input,多进程不可以用 sk.send(inp) sk.close()