第一章 认识爬虫以及环境安装

一、认识Python
1、什么是Python?
  - 一种解释型、面向对象的、带有动态语义的高级程序设计语言。是一种让你在编程时能够保持自己的风格的程序设计语言,不用费劲就可以实现你想要的功能,并且编写的程序清晰易懂。
  - 2019年python编程语言荣获“年度编程语言”称号!
  
 
2、Python特征
  - Python被直白地称为"胶水语言",可作为主程序语言编写程序,也可以作为辅助脚本用于其他编程语言中。
- 1)、简单易学
    他使你能够关注于解决问题而不是去搞明白语言本身。Python有极简单的语法,极易上手。
- 2)、解释型&编译性
    Python语言写的程序不需要编译成二进制代码,直接用解析器用源代码运行代码。
- 3)、面向对象
    于其他语言如C++和java相比,Python是一种非常强大又简单的方式实现面向对象编程。
- 4)、高级语言
    使用Python语言编写程序,无需考虑管路内存一类的底层。
- 5)、可扩展性及可嵌入性
    可以把部分程序用C或C++编写,然后在Python上运行程序,也可以把Python嵌入C或C++程序,提供脚本功能。
- 6)开源及可移植性    
    Python代码开源,可复制代码进行学习使用,可移植在许多平台上。如Windows、Linux、FreeBSD、Macintosh、Solaris、OS/2等平台。
- 7)、丰富的库
    丰富的库,似乎已成为判断一门编程语言是否强大的重要标准。
    Python标准库确实很庞大。它可以帮助你处理各种工作。包括正则表达式、电子邮件、文档生成、线程、数据库、网页浏览器、密码系统、GUI(图形用户界面)、FTP和其他与系统有关的各种库。
    只要安装了Python,所有这些功能都能用了,这被称为Python"功能齐全"理念。除了标准库一份外,还有很多其他高质量的第三方库,如requests、Twisted和Python图像库等等。
3、Python用途
- 1)、Web开发:Python有上百种Web开发框架,有很多成熟的模板技术,选择Python开发Web应用,不但开发效率高,而且运行速度快。常用的web开发框架有:Django、Flask、Tornado 等。
- 2)、网络爬虫:google在早期大量地使用Python语言作为网络爬虫的基础,带动了整个Python语言的应用发展。以前国内很多人用采集器搜刮网上的内容,现在用Python收集网上的信息比以前容易很多了,如:
 
  a)从各大网站爬取商品折扣信息,比较获取最优选择;
 
  b)对社交网络上发言进行收集分类,生成情绪地图,分析语言习惯;
 
  c)按条件筛选获得豆瓣的电影书籍信息并生成表格……
 
应用实在太多,几乎每个人学习爬虫之后都能够通过爬虫去做一些好玩有趣有用的事。
- 3)、数据分析:大数据分析中涉及到的分布式计算、数据可视化、数据库操作等,Python中都有成熟的模块可以选择完成其功能。对于Hadoop-MapReduce和Spark,都可以直接使用Python完成计算逻辑,这无论对于数据科学家还是对于数据工程师而言都是十分便利的。
- 4)、自动化运维:使用Python脚本进行批量化的文件部署和运行调整都成了Linux服务器上很不错的选择。Python中也包含许多方便的工具,从调控ssh/sftp用的paramiko,到监控服务用的supervisor,再到bazel等构建工具,甚至conan等用于C++的包管理工具,Python提供了全方位的工具集合,而在这基础上,结合Web,开发方便运维的工具会变得十分简单。
- 5)、人工智能:PythonAI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架,大多是Python的实现,为什么呢?因为有很多库很方便做人工智能,比如numpy, scipy做数值计算的,sklearn做机器学习的,pybrain做神经网络的,matplotlib将数据可视化的。在人工智能大范畴领域内的数据挖掘、机器学习、神经网络、深度学习等方面都是主流的编程语言,得到广泛的支持和应用。
- 6)、系统编程、数学处理、文本处理、图形处理、多媒体应用以及黑客编程等等这些应用都能利用Python得到很好发挥!
 
4、Python应用
- 1)、Google:实现Web爬虫和搜索引擎很多组件
- 2)、Yahoo:使用它管理讨论组
- 3)、NASA:在它的几个系统中既用了Python开发,又将其作为脚本语言。
- 4)、YouTube:视频分享服务大部分用Python编写的。
- 5)在国内,很多大家比较熟悉的网站都是用Python开发的,比如豆瓣、知乎、网易、百度、阿里、新浪等等。
 
二、环境安装
- 1、Linux
    大多数Linux发行版默认安装了Python环境。如想下载不通版本,可到www.python.org下载。软件安装方法参照Linux软件安装。
    输入Python可启动Python交互模式
    程序编译推荐使用VIM
1)Python交互模式
如下图所示:
 
知识点:
   a)、直接输入1+1这种算术,按【Enter】输出结果
   b)、exit():退出Python交互模式
   
2)VIM文本编辑器
如下图所示:
Python程序可以进入Python自带的VIM编辑器,输入命令:vim 文件名.py
a)进入VIM模式后,按【A】、【O】或者【I】可以进入插入模式,即输入代码模式
b)输入代码完成,按【ESC】转为命令模式,即可退出vim编辑,输入(:wq)可以退出VIM文本编辑器。
c)输入python 1.py就可以运行这个py文件,输出运行的结果。
- pyvip@Vip:~/first$ python 1.py
- hello world
 
- 2、Windows
    可下载安装python的msi开发环境
    自带python的GUI开发环境
    开发工具很多
Windows下,按【ctrl】+【R】,输入python,就可以看到python版本信息,进到了python交互模式。
如下图所示:
 
 
 
如有问题请留言,谢谢!
原文地址:https://www.cnblogs.com/yunsi/p/12573152.html