一、目的：爬取阳光视频网的多个视频，下载到本地
二、网站分析：
1.网站结构分为：视频列表页和视频详情页
2.右键检查视频列表网页：
发现：每条视频都是一个class叫"title-box"的div，然后视频详情页的链接在这个div下面的a标签
3.进入视频详情页，检查网页：
发现：视频地址在id为"vs"的div标签下面的video标签里面
三、爬取过程：
1.最初爬取代码：
#需求：爬取阳光宽频网的视频，下载到本地
from selenium import webdriver
import time
import requests
#阳光宽频网爬取类
class ygkp:
video_url_list = []
url_list = []
#1.驱动——返回驱动driver
def get_driver(self):
# 1.selenium配置
# 1.1 设置请求头
options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
driver = webdriver.Chrome(options=options)
return driver
# #1.5 关闭底部banner页
# def close_bottom_banner(self,driver):
# #定位关闭按钮
# close_bt = driver.find_element_by_class_name("close-banner-icon")
# #点击关闭按钮
# close_bt.click()
#2.视频列表页——返回视频网页链接元素列表
def get_video_list_page(self,driver):
#2.进入网站
driver.get("https://365yg.com/")
time.sleep(5)
#3.获取视频详情页链接
video_div_url_list = driver.find_elements_by_class_name("title-box")
#print("video_div_url_list" + str(video_div_url_list))
for div in video_div_url_list:
#print("div" + str(div))
a = div.find_element_by_tag_name("a")
self.video_url_list.append(a)
#url = a.get_attribute("href")
#self.url_list.append(url)
#3.视频详情页——返回视频的URL
def get_video_url(self,driver,num):
time.sleep(5)
if num == 1:
driver.switch_to.window(driver.window_handles[num+1])
else:
driver.switch_to.window(driver.window_handles[-1])
driver.save_screenshot("01.png")
div = driver.find_element_by_id("vs")
#print("video_div" + str(div))
time.sleep(5)
video_src = div.find_element_by_tag_name("video").get_attribute("src")
#print("video_src" + str(video_src))
return video_src
#4.下载视频
def download_video(self,num,video_src):
response = requests.get(video_src).content
with open("shipin" + str(num+1) + ".mp4", "wb") as f:
f.write(response)
#5.运行
def run(self):
#1.获取驱动
driver = self.get_driver()
#2.获取视频详情页列表
self.get_video_list_page(driver=driver)
print(str(len(self.video_url_list)))
#3.关闭底部banner页
#self.close_bottom_banner(driver=driver)
#print("video_url_list"+str(self.video_url_list))
#4.点击每个视频链接
for i, video_web_url in enumerate(self.video_url_list):
driver.switch_to.window(driver.window_handles[0])
print("video_web_url" + str(i+1) +":" + str(video_web_url))
#print("url" + str(i+1) + ":" + str(self.url_list[i]))
time.sleep(10)
video_web_url.click()
#driver.execute_script("arguments[0].click();", video_web_url)
#5.获取每个视频的URL地址
video_src = self.get_video_url(driver=driver,num=i)
#6.下载url
self.download_video(num=i,video_src=video_src)
ygkp().run()
结果报错：
2.
在网上查询到，有两种解决办法：
#方法1：
element = driver.find_element_by_css('div[class*="loadingWhiteBox"]')
driver.execute_script("arguments[0].click();", element)
#方法2：
element = driver.find_element_by_css('div[class*="loadingWhiteBox"]')
webdriver.ActionChains(driver).move_to_element(element ).click(element ).perform()
我都试了一遍，结果，不会再报这个错误，但是后面会反复进入同一个详情页，反复下载同一个视频
再次查询ElementClickInterceptedException: Message: element click intercepted报错原因：发现原来是由于已经定位到的目标元素被其他元素遮挡，所以无法点击该元素。
查看网页：
发现：视频列表页，底部有banner页，挡住了第五条视频。所以，无法点击。就像用户操作鼠标一样，当banner页覆盖了第五条视频时，用户无法用鼠标点击到该条视频。这应该就是所说的——页面元素存在遮挡
再次查看报错信息：
也是在点击第五条视频时，出现错误。
解决方法：第一次进入视频列表网页时，就先立即关闭banner页，然后再逐个点击视频。
检查网页：
关闭banner的X按钮，class叫“close-banner-icon”
修改后代码：
#需求：爬取阳光宽频网的视频，下载到本地
from selenium import webdriver
import time
import requests
#阳光宽频网类
class ygkp:
video_url_list = []
url_list = []
#1.驱动——返回驱动driver
def get_driver(self):
# 1.selenium配置
# 1.1 设置请求头
options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
driver = webdriver.Chrome(options=options)
return driver
#1.5 关闭底部banner页
def close_bottom_banner(self,driver):
#定位关闭按钮
close_bt = driver.find_element_by_class_name("close-banner-icon")
#点击关闭按钮
close_bt.click()
#2.视频列表页——返回视频网页链接元素列表
def get_video_list_page(self,driver):
#2.进入网站
driver.get("https://365yg.com/")
time.sleep(5)
#3.获取视频详情页链接
video_div_url_list = driver.find_elements_by_class_name("title-box")
#print("video_div_url_list" + str(video_div_url_list))
for div in video_div_url_list:
#print("div" + str(div))
a = div.find_element_by_tag_name("a")
self.video_url_list.append(a)
#url = a.get_attribute("href")
#self.url_list.append(url)
#3.视频详情页——返回视频的URL
def get_video_url(self,driver,num):
time.sleep(5)
if num == 1:
driver.switch_to.window(driver.window_handles[num+1])
else:
driver.switch_to.window(driver.window_handles[-1])
driver.save_screenshot("01.png")
div = driver.find_element_by_id("vs")
#print("video_div" + str(div))
time.sleep(5)
video_src = div.find_element_by_tag_name("video").get_attribute("src")
#print("video_src" + str(video_src))
return video_src
#4.下载视频
def download_video(self,num,video_src):
response = requests.get(video_src).content
with open("shipin" + str(num+1) + ".mp4", "wb") as f:
f.write(response)
#5.运行
def run(self):
#1.获取驱动
driver = self.get_driver()
#2.获取视频详情页列表
self.get_video_list_page(driver=driver)
print(str(len(self.video_url_list)))
#3.关闭底部banner页
self.close_bottom_banner(driver=driver)
#print("video_url_list"+str(self.video_url_list))
#4.点击每个视频链接
for i, video_web_url in enumerate(self.video_url_list):
driver.switch_to.window(driver.window_handles[0])
print("video_web_url" + str(i+1) +":" + str(video_web_url))
#print("url" + str(i+1) + ":" + str(self.url_list[i]))
time.sleep(10)
video_web_url.click()
#driver.execute_script("arguments[0].click();", video_web_url)
#5.获取每个视频的URL地址
video_src = self.get_video_url(driver=driver,num=i)
#6.下载url
self.download_video(num=i,video_src=video_src)
ygkp().run()
这样就能正常爬取了
四、补充：
查看视频列表长度，发现：每次只能获取7条视频。
这是因为，网站视频列表是动态加载的。每次滑动到底部会再加载新的7条视频。
如果我们要想爬取所有视频，该怎么办呢？
解决方法：先爬取最初的7条视频，然后每次爬取之前，都将网页滚动到浏览器底部，待加载出新的视频后，再次爬取。为了防止视频element有重复，可以使用set集合存放视频element。
#需求：爬取阳光宽频网的视频，下载到本地
from selenium import webdriver
import time
import requests
#阳光宽频网类
class ygkp:
video_url_list = set()
url_list = set()
#1.驱动——返回驱动driver
def get_driver(self):
# 1.selenium配置
# 1.1 设置请求头
options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36")
driver = webdriver.Chrome(options=options)
return driver
#1.5 关闭底部banner页
def close_bottom_banner(self,driver):
#定位关闭按钮
close_bt = driver.find_element_by_class_name("close-banner-icon")
#点击关闭按钮
close_bt.click()
#2.视频列表页——返回视频网页链接元素列表
def get_video_list_page(self,driver):
# #2.进入网站
# driver.get("https://365yg.com/")
# time.sleep(5)
#3.获取视频详情页链接
video_div_url_list = driver.find_elements_by_class_name("title-box")
#print("video_div_url_list" + str(video_div_url_list))
for div in video_div_url_list:
#print("div" + str(div))
a = div.find_element_by_tag_name("a")
self.video_url_list.add(a)
url = a.get_attribute("href")
self.url_list.add(url)
#3.视频详情页——返回视频的URL
def get_video_url(self,driver,num):
time.sleep(5)
if num == 1:
driver.switch_to.window(driver.window_handles[num+1])
else:
driver.switch_to.window(driver.window_handles[-1])
driver.save_screenshot("01.png")
div = driver.find_element_by_id("vs")
#print("video_div" + str(div))
time.sleep(5)
video_src = div.find_element_by_tag_name("video").get_attribute("src")
#print("video_src" + str(video_src))
return video_src
#4.下载视频
def download_video(self,num,video_src):
response = requests.get(video_src).content
with open("shipin" + str(num+1) + ".mp4", "wb") as f:
f.write(response)
#5.运行
def run(self):
#1.获取驱动
driver = self.get_driver()
# 2.进入网站
driver.get("https://365yg.com/")
time.sleep(5)
# 3.关闭底部banner页
self.close_bottom_banner(driver=driver)
#2.获取视频详情页列表
for i in range(5):
self.get_video_list_page(driver=driver)
print(str(len(self.video_url_list)))
driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
time.sleep(5)
#print("video_url_list"+str(self.video_url_list))
#4.点击每个视频链接
# for i, video_web_url in enumerate(self.video_url_list):
# driver.switch_to.window(driver.window_handles[0])
# print("video_web_url" + str(i+1) +":" + str(video_web_url))
# print("url" + str(i+1) + ":" + str(self.url_list[i]))
# time.sleep(10)
# video_web_url.click()
# #driver.execute_script("arguments[0].click();", video_web_url)
# #5.获取每个视频的URL地址
# video_src = self.get_video_url(driver=driver,num=i)
# #6.下载url
# self.download_video(num=i,video_src=video_src)
ygkp().run()
运行结果：
可以看到：视频列表的长度增加了。
如果想爬取所有视频，可以将for循环改成while循环。
五：总结：
我学到了：
1.元素element定位有多种方式：
https://i.cnblogs.com/EditPosts.aspx?postid=11127907
2. 获取element的属性值：get_attribute("属性名")
3.下载视频、图片：
https://i.cnblogs.com/EditPosts.aspx?postid=11127907
4.报错：element click intercepted的原因
是由于网页上，存在页面元素相互遮挡，无法点击到目标元素
解决方法：
#方法1：
element = driver.find_element_by_css('div[class*="loadingWhiteBox"]')
driver.execute_script("arguments[0].click();", element)
#方法2：
element = driver.find_element_by_css('div[class*="loadingWhiteBox"]')
webdriver.ActionChains(driver).move_to_element(element ).click(element ).perform()
方法3：
关闭掉，遮挡元素；总之，想法设法将被遮挡的点击目标元素，露出来。
5.selenium滑动浏览器：
#移动到元素element对象的“顶端”与当前窗口的“顶部”对齐
driver.execute_script("arguments[0].scrollIntoView();", element);
driver.execute_script("arguments[0].scrollIntoView(true);", element);
#移动到元素element对象的“底端”与当前窗口的“底部”对齐
driver.execute_script("arguments[0].scrollIntoView(false);", element);
#移动到页面最底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)");
#移动到指定的坐标(相对当前的坐标移动)
driver.execute_script("window.scrollBy(0, 700)");
#结合上面的scrollBy语句，相当于移动到700+800=1600像素位置
driver.execute_script("window.scrollBy(0, 800)");
#移动到窗口绝对位置坐标，如下移动到纵坐标1600像素位置
driver.execute_script("window.scrollTo(0, 1600)");
#结合上面的scrollTo语句，仍然移动到纵坐标1200像素位置
driver.execute_script("window.scrollTo(0, 1200)");
6.python中set集合的用法：