操作系统和网络基础
1 操作系统
1.1为什么要有操作系统
操作系统（Operating System，简称OS）是管理和控制计算机硬件与软件资源的计算机程序，是直接运行在“裸机”上的最基本的系统软件，任何其他软件都必须在操作系统的支持下才能运行。
1.2操作系统的位置
操作系统位于计算机硬件与应用软件之间，本质也是一个软件。 操作系统分为两部分：
- 由操作系统的内核（运行于内核态，管理硬件资源）
- 系统调用（运行于用户态，为应用程序员写的应用程序提供系统调用接口）
所以，单纯的说操作系统是运行于内核态的，是不准确的
1.3操作系统的功能
- 系统调用接口
隐藏硬件调用接口，为应用程序员提供调用硬件资源的更好，更简单，更清晰的模型（系统调用接口）。应用程序员有了这些接口后，就不用再考虑操作硬件的细节，专心开发自己的应用程序即可。
需要注意的是，命令行shell或者桌面等与用户打交道的都不是操作系统，都是应用软件 - 将应用程序对硬件资源的竞态请求变得有序化(多路复用)
很多的应用软件共享一套硬件，操作系统将应用程序对硬件资源的竞态请求变得有序化，
1.4 操作系统的发展
第一代计算机
这时的计算机是没有操作系统的，程序是机器语言编写的
第二代计算机
出现了批处理，节约了机时，但是这时候是顺序执行，执行效率低
第三代计算机
集成电路和多道程序设计
此时解决了上代计算机的两个问题
- 卡片被拿到机房后能够很快的将作业从卡片读入磁盘，于是任何时刻当一个作业结束时，操作系统就能将一个作业从磁带读出，装进空出来的内存区域运行，这种技术叫做
同时的外部设备联机操作：SPOOLING，该技术同时用于输出。此时已经不需要人的参与 - 多道技术
多道技术是指多个程序，多道技术的实现是为了解决多个程序竞争或者说共享同一个资源（比如cpu）的有序调度问题，解决方式即多路复用，多路复用分为时间上的复用和空间上的复用。
- 空间上的复用
将内存分为几部分，每个部分放入一个程序，这样，同一时间内存中就有了多道程序。
提前将需要的程序架子啊到内存中，减少了硬盘的压力
程序启动后，操作器系统在内存中有专门的区域
同时空间上必须要有隔离
硬件物理上的隔离，才使得多道技术有意义
空间上的复用最大的问题是：程序直接的内存必须分割，这种分割在硬件层面实现，由操作系统控制实现。如果内存彼此不分割，则一个程序可以访问另外一个程序的内存，
- 时间上的复用
当一个程序在等待I/O时，另一个程序可以使用cpu，如果内存中可以同时存放足够多的作业，则cpu的利用率可以接近100%。
类似统筹方法，是一种安排工作进程的数学方法。
第三代计算机的操作系统仍然是批处理
许多程序员怀念第一代独享的计算机，可以即时调试自己的程序。为了满足程序员们很快可以得到响应，出现了分时操作系统
如何解决很多人等待程序输出的问题？
解决方法是：
-
分时操作系统
-
多个联机终端+多道技术
2 多道技术(多路复用)
我们可将上述操作系统的功能总结为：处理来自多个程序发起的多个（多个即多路）共享（共享即复用）资源的请求，简称多路复用
多路复用有两种实现方式:
1.时间上的复用
当一个资源在时间上复用时，不同的程序或用户轮流使用它，第一个程序获取该资源使用结束后，在轮到第二个...第三个...
2.空间上的复用
每个客户都获取了一个大的资源中的一小部分资源，从而减少了排队等待资源的时间。
以上，时间上的复用和空间上的复用统称为多道技术
3 网络基础
3.1 互联网协议
一个人／计算机不可能掌握全世界的语言／标准，于是有了世界统一的通信标准：英语。英语成为世界上所有人通信的统一标准，如果把计算机看成分布于世界各地的人，那么连接两台计算机之间的internet实际上就是一系列统一的标准，这些标准称之为互联网协议，互联网的本质就是一系列的协议，总称为‘互联网协议’（Internet Protocol Suite).
3.2 OSI七层模型
我们将应用层，表示层，会话层并作应用层，从tcp／ip五层协议的角度来阐述每层的由来与功能，搞清楚了每层的主要协议就理解了整个互联网通信的原理。用户感知到的只是最上面一层应用层，自上而下每层都依赖于下一层，所以我们从最下一层开始切入，比较好理解。每层都运行特定的协议，越往上越靠近用户，越往下越靠近硬件
3.2.1 物理层
物理层是OSI的第一层，它虽然处于最底层，却是整个开放系统的基础。物理层为设备之间的数据通信提供传输媒体及互连设备，为数据传输提供可靠的环境。如果您想要用尽量少的词来记住这个第一层，那就是“信号和介质”。
物理层的特性就是基于高低电平信号，高电平1，低电平0。
物理层对应的设备：无线、光纤、电缆、双绞线
3.2.2 数据链路层
数据链路层由来：
单纯的电信号0和1没有任何意义，必须规定电信号多少位一组，每组什么意思
数据链路层的功能：定义了电信号的分组方式
- 以太网协议
早期的时候各个公司都有自己的分组方式，后来形成了统一的标准，即以太网协议ethernet：
- 一组电信号构成一个数据包，叫做‘帧’
- 每一数据帧分成：报头head和数据data两部分
报头head:包含发送者 接受者 数据类型 都是6个字节
数据data:包含数据的内容
- MAC地址
head中包含的源和目标地址由来：ethernet规定接入internet的设备都必须具备网卡，发送端和接收端的地址便是指网卡的地址，即mac地址
mac地址：每块网卡出厂时都被烧制上一个世界唯一的mac地址，长度为48位2进制，通常由12位16进制数表示（前六位是厂商编号，后六位是流水线号）
- 广播
有了mac地址，同一网络内的两台主机就可以通信了，
ethernet采用最原始的方式，广播的方式进行通信
3.2.3 网络层
网络层由来：有了ethernet、mac地址、广播的发送方式，世界上的计算机就可以彼此通信了，问题是世界范围的互联网是由一个个彼此隔离的小的局域网组成的，那么如果所有的通信都采用以太网的广播方式，那么一台机器发送的包全世界都会收到
网络层功能：引入一套新的地址用来区分不同的广播域／子网，这套地址即网络地址
IP协议
IP协议是用于将多个包交换网络连接起来的，它在源地址和目的地址之间传送一种称之为数据包的东西，它还提供对数据大小的重新组装功能，以适应不同网络对包大小的要求。
- IP协议是网络地址,广泛采用的v4版本即ipv4，它规定网络地址由32位2进制表示
- 范围0.0.0.0-255.255.255.255
- 一个ip地址通常写成四段十进制数
子网掩码
子网掩码不能单独存在，它必须结合IP地址一起使用。子网掩码只有一个作用，就是将某个IP地址划分成网络地址和主机地址两部分
知道”子网掩码”，我们就能判断，任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算（两个数位都为1，运算结果为1，否则为0），然后比较结果是否相同，如果是的话，就表明它们在同一个子网络中，否则就不是。
IP协议的作用主要有两个，一个是为每一台计算机分配IP地址，另一个是确定哪些地址在同一个子网络。
ip数据包
p数据包也分为head和data部分
3.2.4 传输层
传输层的由来：网络层的ip帮我们区分子网，以太网层的mac帮我们找到主机，电脑上运行着各种程序，需要找到相应的应用程序通过端口。
端口即应用程序与网卡关联的编号。
传输层功能：建立端口到端口的通信
端口范围0-65535，0-1023为系统占用端口
3.2.5 应用层
应用层由来：用户使用的都是应用程序，均工作于应用层，包括我们的后期的Python开发都属于应用开发
发送数据是一个封装过程，接收数据是一个解封过程
3.3 Socket
socket是在应用层和传输层之间的一个抽象层，它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。
socket起源于UNIX，在Unix一切皆文件哲学的思想下，socket是一种"打开—读/写—关闭"模式的实现，服务器和客户端各自维护一个"文件"，在建立连接打开后，可以向自己文件写入内容供对方读取或者读取对方内容，通讯结束时关闭文件。
4 网络通信流程
4.1 本机获取
- 本机的IP地址
- 子网掩码
- 网关的IP地址
- DNS的IP地址
4.2 打开浏览器，用户在地址栏输入相应的网址
4.3 DNS协议(基于udp协议)
4.4 HTTP协议
4.5 TCP协议
TCP数据包需要设置端口，接收方（Google）的HTTP端口默认是80，发送方（本机）的端口是一个随机生成的1024-65535之间的整数，TCP数据包的标头长度为20字节
4.6 IP协议
TCP数据包再嵌入IP数据包。IP数据包需要设置双方的IP地址
4.7 以太网协议
IP数据包嵌入以太网数据包。以太网数据包需要设置双方的MAC地址，发送方为本机的网卡MAC地址，接收方为网关192.168.1.1的MAC地址（通过ARP协议得到）
4.8 服务器响应
经过多个网关的转发，Google的服务器172.194.72.105，收到了这四个以太网数据包。根据IP标头的序号，Google将四个包拼起来，取出完整的TCP数据包，然后读出里面的”HTTP请求”，接着做出”HTTP响应”，再用TCP协议发回来。本机收到HTTP响应以后，就可以将网页显示出来，完成一次网络通信。