20191302 第七、八章学习笔记

第七章文件操作

文件操作级别

1、硬件级别操作：硬件级别的文件操作包括：
-fdisk：将硬盘、u盘或SDC盘分区。
-mkfs：格式化磁盘分区，为系统做好准备。
-fsck：检查和维修系统。
-碎片整理：压缩文件系统中的文件。
2、操作系统内核中的文件系统函数：每个操作系统内核均可为基本文件操作提供支持，下文列出了类unix系统内核中的一些函数，其中前缀k表示内核函数。

kmount () . kumount ( ) (mount/umount file systems)
kmkdir(), krmdir() (make/ remove directory)
kchdir(), kgetcwd () (change directory, get CWD pathname)
klink(),kunlink() (hard link/unlink files)
kchmod(), kchown(),kutime() (change r|w|x permissions, owner,time)
kcreat (), kopen() (create/open file for R,W,RW,APPEND)
kread(),kwrite() (read/write opened files)
klseek(): kclose() (lseak/close file descriptors)
ksymlink(), kreadlink () (create/read symbolic link files)
kstat(), kfstat(),klstat() (get file status/information)
kopendir(), kreaddiz() (open/read airectories)

3、系统调用：用户模式程序使用系统调用来访问内核函数
open(),read(),lseek()和close()都是c语言库函数。每个库函数都会发出一个系统调用，使进程进入内核模式来执行相应的内核函数，当进程结束执行内核函数使，会返回到用户模式，并得到所需的结果。

4、I/O库函数：系统调用可以让用户读/写多个数据块，这些数据块只是一系列字节。他们不知道，也不关心数据的意义。用户通常需要读/写单独的字符、行或数据结构记录等。

FILE mode I/O: fopen(),fread();fwrite(),fseek(),fclose(),fflush()
char mode I/O: getc(), getchar(); ugetc(); putc(),putchar()
line mode I/O: gets() , fgets();puts( ) , fputs()
formatted I/O: scanf(),fscanf().sscanf(); printf(),fprintf() , sprintf()

5、用户命令：用户可以使用Unix/Linux命令来执行文件操作，而不是编写程序。用户命令如下：
mkdir，rmdir，cd，pwd，ls，link，unlink，rm，cat，cp，mv，chmod，etc.

6、sh脚本：虽然比系统调用方便的多，但是必须要手动呼入命令，如果使用的是GUI，必须要拖放文件图标和点击指向设备来输入，操作繁琐而且耗时。

文件I/O操作

分为用户模式和内核模式操作
用户模式
(1)用户模式下的程序执行操作
FILE *p = fopen("file", "r"); or FILE *p = fopen( "file", "w");可以打开一个读/写文件流。

(2) fopen()在用户(heap)空间中创建一个FILE结构体，包含一个文件描述符fd、一个fbuf[BLKSIZE]和一些控制变量。它会向内核中的kopen()发出一个fd =
open("file",flags=READ or WRITE)系统调用，构建一个OpenTable来表示打开文件示例。OpenTable的mptr指向内存中的文件INODE。对于非特殊文件，INODE 的i_block数组指向存储设备上的数据块。成功后，fp会指向FILE结构体，其中fd是open()系统调用返回的文件描述符。

(3) fread(ubuf, size,nitem, fp):将nitem个size字节读取到ubuf上，通过:
- 将数据从FILE结构体的fbuf上复制到ubuf上，若数据足够、则返回。
- 如果fbuf没有更多数据,则执行(4a)。
  (4a)发出read(fd, fbuf, BLKSIZE)系统调用，将文件数据块从内核读取到fbuf上，然后将数据复制到ubuf上,直到数据足够或者文件无更多数据可复制。
(4b)fwrite(ubuf, size, nitem, fp):将数据从ubuf复制到 fbuf。
- 若(fbuf有空间):将数据复制到fbuf上，并返回。
- 若(fbuf已满):发出 write(fd, fbuf, BLKSIZE)系统调用，将数据块写入内核，然后再次写入fbuf。
- 这样，fread()/fwrite()会向内核发出read(/write)系统调用，但仅在必要时发出，而且它们会以块集大小来传输数据，提高效率。同样，其他库I/O函数，如 fgetc /fputc、fgets/fputs、fscanf/fprintf等也可以在用户空间内的FILE结构体中对fbuf进行操作。
内核模式
(5)内核中的文件系统函数:
假设非特殊文件的read(fd, fbuf[], BLKSIZE)系统调用。

(6)在read()系统调用中，fd是一个打开的文件描述符，它是运行进程的fd数组中的一个索引，指向一个表示打开文件的 OpenTable。

(7)OpenTable包含文件的打开模式、一个指向内存中文件 INODE的指针和读/写文件的当前字节偏移量。从OpenTable的偏移量，
- 计算逻辑块编号lbk。
- 通过 INODE.i_block[]数组将逻辑块编号转换为物理块编号blk 。
(8)Minode包含文件的内存INODE。EMODE.i_block[]数组包含指向物理磁盘块的指针。文件系统可使用物理块编号从磁盘块直接读取数据或将数据直接写入磁盘块，但将会导致过多的物理磁盘I/O。

(9)为提高磁盘VO效率，操作系统内核通常会使用一组I/O缓冲区作为高速缓存，以减少物理I/O的数量。

(9a)对于read(fd, buf, BLKSIZE)系统调用，要确定所需的(dev, blk)编号，然后查询I/O缓冲区高速缓存，以执行以下操作:

.get a buffer = (dev, blk);
.if (buffer's data are invalid){
start_io on buffer;
wait for I/O completion;
}
.copy data from buffer to fbuf;
.release buffer to buffer cache;

(9b)对于write(fd, fbuf, BLKSIZE)系统调用，要确定需要的(dev, blk)编号，然后查询IO缓冲区高速缓存，以执行以下操作:

.get a buffer = (dev, blk):
.write data to the I/O buffer;
.mark buffer as dataValid and DIRTY (for delay-write to disk);
.release the buffer to buffer cache;

(10)设备I/O:I/O缓冲区上的物理I/O最终会仔细检查设备驱动程序，设备驱动程序
由上半部分的start_io()和下半部分的磁盘中断处理程序组成。

------------Upper-half of disk driver---------------

start_io(bp): //bp=a locked buffer in dev_list,opcode=R|W(ASYNC)
{
  enter bp into dev's I/O_aueue;
  if (bp is FIRST in I/O_queue)
    issue I/O command to device;
}

---------Lower-half of disk driver-----------

Device_Interrupt_Handler:
{
  bp = dequeue(first buffer from dev.I/O_queue);
  if(bp was READ){
    mark bp data VALID;
    wakeup/unblock waiting process on bp;
  }
  else  // bp was for delay write
    release bp into buffer cache;
  if(dev.I/O_queue NOT empty)
    issue I/O command for first buffer in dev.I/O_queue;
}

低级别文件操作
- 分区
  - 一个区块存储设备可以分为几个逻辑单元，成为分区。分区表位于第一个扇区的字节偏移446（ox1BE）处，改扇区称为设备的主引导记录。
  - 如果某分区是扩展类型（类型编号=5)，那么它可以划分为更多分区。假设分区P4是扩展类型，它被划分为扩展分区P5、P6、P7。扩展分区在扩展分区区域内形成一个链表。
  - 每个扩展分区的第一个扇区是一个本地MBR。每个本地MBR在字节偏移量0xIBE处也有一个分区表，只包含两个条目。第一个条目定义了扩展分区的起始扇区和大小。第二个条目指向下一个本地MBR。所有本地MBR的扇区编号都与P4的起始扇区有关。照例，链表以最后一个本地MBR中的0结尾。在分区表中，CHS值仅对小于8GB的磁盘有效。对大于8GB但小于4G扇区的磁盘，只有最后两个条目start _sector 和nr sector有意义。
格式化分区
- fdisk只是将一个存储设备划分为多个分区。每个分区都有特定的文件系统类型，但是分区还不能使用。为了存储文件，必须先为特定的文件系统准备好分区。该操作习惯上称为格式化磁盘或磁盘分区。
- 在Linux中，命令
  mkfs -t TYPE [-b bsize] device nblocks
- 在一个nblocks设备上创建一个TYPE文件系统，每个块都是bsize字节。如果bsize未指定，则默认大小为1KB.
- 在Linux中，还不能访问新的文件系统。它必须挂在到跟文件系统中的现有目录。由于细腻文件系统不是真正的设备i，他们必须作为循环设备挂载，如：
  sudo mount -o loop vdisk /mnt
挂载分区
- man 8 losetup:显示用于系统管理的losetup 实用工具命令:
  (1)用dd命令创建-一个虚拟磁盘映像:
  dd if=/dev/zero of=vdisk bs=1024 count=32768 #32K (1KB) blocks
  (2)在vdisk. 上运行fdisk来创建一一个分区P1:
  fdisk vdisk
  - 输人n(new)命令，使用默认的起始和最后扇区编号来创建一个分区Pl。然后，输人w命令将分区表写人vdisk并退出fdisko vdisk 应包含-个分区P1 [start=2048, end=65535]。该分区的大小是63488个扇区。
  (3)使用以下扇区数在vdisk的分区1上创建一个循环设备 :
  losetup -o $(expr 2048 * 512) --sizelimit $(expr 65535 * 512) /dev/1oop1vdisk
  - losetup需要分区的开始字节(start_ sector512) 和结束字节(end_ sector512)。读者可手动计算这些数值，并在losetup命令中使用它们。可用类似方法设置其他分区的循环设备。循环设备创建完成后，读进程可以使用命令
    losetup - a 将所有循环设备显示为/dev/loopN。
  (4)格式化/dev/loop1,它是一个EXT2文件系统:
  mke2fs -b 4096 /dev/loop1 7936 # mke2fs with 7936 4KB blocks
  - 该分区的大小是63488个扇区。4KB块的扇区大小是63488 /8=7936
  (5)挂载循环设备:
  mount /dev/ 1oop1 /mnt # mount as loop device
  (6)访问作为文件系统一部分的挂载设备:
  ``(cd /mnt; mkdir bin boot dev etc user) # populate with DIRs```
  
  (7)设备使用完毕后，将其卸载。
  umount /mnt
  
  (8)循环设备使用完毕后，通过以下命令将其断开:
  losetup -a /dev/loop1 # detach a loop device.
EXT2文件系统
- 多年来，Linux一直使用EXT2作为默认文件系统。EXT3中增加的主要内容是一个日志文件，记录系统更改记录。日志可在文件系统崩溃时更快从错误中恢复。
- Block#0: 引导块，文件系统不会使用它。它用于容纳从磁盘引导操作系统的引导程序。
超级块
- Block#1: 超级块（在硬盘分区中字节偏移量为1024）。用于容纳关于整个文件系统的信息。超级块中一些重要字段
struct et2_super block {
u32 s_inodes_count; /* Inodes count /
u32 s_blocks_count; / Blocks count /
u32 s_r_blocks_count; / Reserved blocks count /
u32 s_free blocks_count; / Free blocks count /
u32 s_free_inodes_count; / Free inodes count /
u32 s_first_data_block; / First Data Block /
u32 s_log block_size; / Block size /
u32 s_log_cluster_size; / Al1ocation cluster size /
u32 s_blocks per_group; / # Blocks per group * /
u32 s_clusters per_group; /* # Fragments per group /
u32 s_inodes_per_group; / # Inodes per group * /
u32s_mtime; /* Mount time * /
u32s_wtime; /* write time /
u16s_mnt_count; / Mount coune* /
s16 s_max_ntcount; /* Maximal mount count /
u16 B_magic; / Magic signature /
//more non-essential fields
u16 s_inode_size; / size of inode structure*/
}
- s_first_data_block:0表示4KB块大小，1表示1KB块大小。它用于确定块组描述符的起始块，即s_first_data_block +1。 s_log_block_size确定文件块大小，为1KB*(2**s_log_block_size)，例如0表示 1KB块大小,1表示2KB块大小，2表示4KB块大小，等等。最常用的块大小是用于小文件系统的1KB和用于大文件系统的4KB。 s_mnt_count:已挂载文件系统的次数。当挂载计数达到max_mount_count时，fsck会话将被迫检查文件系统的一致性。 s_magic是标识文件系统类型的幻数。EXT2/3/4文件系统的幻数是OxEF53。
块组描述符
- Block#2 块组描述符（硬盘上的s_first_data_blocks-1） EXT2将磁盘块分成几个组，每个组有8192个块（硬盘上的大小为32K）
  
  struct ext2_group_dese {
  u32 bg_b1ock_bitmap; //Bmap bloak number
  u32 bg_inode_bitmap; //Imap block number
  u32 bg_inode_table; //Inodes begin block number
  u16 bg_free_blocks_count; //THESE are OBVIOUS
  u16 bg_free_inodes_count;
  u16 bg_used_dirs_count;
  u16 bg_pad; // ignore these
  u32 bg_reserved[3];
  };
- 由于一个软盘只有1440个块，B2只包含一个块组描述符。其余的都是0。在有大量块组的硬盘上，块组描述符可以跨越多个块。块组描述符中最重要的字段是bg_block_bitmap.bg_inode_bitmap和 bg_inode_table，它们分别指向块组的块位图、索引节点位图和索引节点起始块。对于Linux格式的EXT2文件系统，保留了块3到块7。所以，bmap=8，imap=9，inode_table= 10。
位图
- Block #8 块位图（Bmap）用来表示某种项的位序列。0表示对应项处于FREE状态，1表示处于IN_USE状态。1个软盘有1440个块，但Block#0未被文件系统使用，所以对应位图只有1439个有效位，无效位视作IN_USE处理，设置为1.
- Block #9 索引节点位图（Imap）一个索引节点就是用来代表一个文件的数据结构。EXT2文件系统是使用有限数量的索引节点创建的。各索引节点的状态用B9 中 Imap中的一个位表示。在EXT2 FS 中，前10个索引节点是预留的。所以，空EXT2FS的Imap 以10个1开头，然后是0。无效位再次设置为1。
索引节点
- Block #10 索引（开始）节点块(bg_inode_table) 每个文件都用一个128字节（EXT4中的是256字节)的独特索引节点结构体表示。

第八章使用系统调用进行文件操作

系统调用
- 在操作系统中，进程以两种不同的模式运行，即内核模式和用户模式，简称Kmode和Umode。在Umode中，进程的权限非常有限。它不能执行任何需要特殊权限的操作。特殊权限的操作必须在Kmode下执行。系统调用（简称syscall）是一种允许进程进入Kmode以执行Umode不允许操作的机制。复刻子进程、修改执行映像，甚至是终止等操作都必须在内核中执行。
- 在Unix以及大多版本的Linux中，在线手册页保存在/usr/man/目录中（Goldt等1995；Kerrisk 2010，2017）。而在Ubuntu Linux中，则保存在/usr/share/man目录中。man2子目录中列出了所有系统调用手册页。sh命令man 2 NAME显示了系统调用名称的手册页。
  例如：
  
  man 2 stat
  man 2 open
  man 2 read
- 许多系统调用需要特别包含头文件，手册页的SYNOPSIS（概要）部分列出来这些文件。如果没有合适的头文件，会有警告。
使用系统调用进行文件操作
- access：检査对某个文件的权限
  int access(char •pathname, int mode);
- chdir：更改目录
  int chdir(const char *path);
- chmod：更改某个文件的权限
  int chmod(char *path, mode_t mode);
- chown：更改文件所有人
  int chown(char *name, int uid, int gid);
- chroot：将(逻辑)根目录更改为路径名
  int chroot (char *patiiname);
- getcwd：获取CWD的绝对路径名
  char *getcwd(char *buf, int size);
- mkdir：创建目录
  int mkdir(char *pathname, mode_t mode);
- rmdir：移除目录(必须为空)
  int rmdir (char *pathname);
- link：将新文件名硬链接到旧文件名
  int link(char *oldpath, char *newpath);
- unlink：减少文件的链接数；如果链接数达到0,则删除文件
  int uniink(char *pathname);
- symlink：为文件创建一个符号链接
  int symliak(char *oldpath, char *newpath);
- rename:更改文件名称
  int rename(char *oldpath, char *newpath);
- utime:更改文件的访问和修改时间
  int utime(char *pathname, struct utimebuf *time)
- 以下系统调用需要超级用户权限:
- mount：将文件系统添加到挂载点目录上
  int mount(char *specialfile, char *mountDir);
- umount：分离挂载的文件系统
  int umount(char *dir);
- mknod：创建特殊文件
  int mknod(char *path, int mode, int device);
常用的系统调用
- stat：获取文件状态信息

int stat(char *filename, struct stat *buf);
int fstat(int filedes, struct stat *buf);
int lstat(char *filename, struct stat *buf);

open：打开一个文件进行读、写、追加
int open(char *file, int flags, int mode);
close：关闭打开的文件描述符
int close(int fd);
read：读取打开的文件描述符
int read(int fd, char buf[], int count);
write：写入打开的文件描述符
int write(int fd, char buf[], int count);
lseek：重新定位文件描述符的读/写偏移量
int lseek(int fd, int offset, int whence);
dup：将文件描述符复制到可用的最小描述符编号中
int dup(int oldfd);
dup2：将oldfd复制到newfd中，如果文件链接数为0，则删除文件
int dup2(int oldfd, int newfd);
link：将新文件硬链接到旧文件
int link(char *oldPath, char *newPath);
unlink：取消某个文件的链接；如果文件链接数为0，则删除文件
int unlink(char *pathname);
symlink：创建一个符号链接
int symlink(char *target, char *newpath);
readlink：读取符号链接文件的内容
int readlink(char *path, char *buf, int bufsize);
umask：设置文件创建掩码；文件权限为(mask & ~umask)
int umask(int umask);

最有收获的内容

进一步了解和学习了利用stat()、open()、read()、write()系统调用进行文件操作，通过书中的C代码，了解了ls程序的编写。
了解了EXT2文件系统的系统数据结构、显示超级块、组描述符、块和索引节点位图以及目录内容的示例程序。

实践内容

mkdir、chdir、getcwd系统调用
该程序发出一个mkdir()系统调用来创建新目录。mkdir()系统调用需要一个路径名和一个权限。如果没有新目录，则系统调用成功，返回值为0，如果目录已存在，则会失败，返回值为-1.
代码

#include <stdio.h>
#include <errno.h>

int main()
{
 char buf[256],*s;
  int r;
  r = mkdir("newdir", 0766);
  if ( r < 0 )
    printf("errno=%d : %s
",errno,strerror(errno));
  r = chdir("newdir");
  s = getcwd(buf, 256);
  printf("CWD = %s
",s);
}