5 推导数据：处理数据、格式、编码、解码、排序
处理数据：从Head First Python 上下载资源文件，即：james.txt，julie.txt，mikey.txt，sarah.txt。
实例一：打开以上文件，将数据提取到列表中
>>> with open('james.txt') as jaf: data = jaf.readline() james = data.strip().split(',') with open('julie.txt')as juf: data = juf.readline() julie = data.strip().split(',') >>> print(james) ['2-34', '3:21', '2.34', '2.45', '3.01', '2:01', '2:01', '3:10', '2-22'] >>> print(julie) ['2.59', '2.11', '2:11', '2:23', '3-10', '2-23', '3:10', '3.21', '3-21'] >>> with open('mikey.txt')as mif: data = mif.readline() mikey = data.strip().split(',') with open('sarah.txt')as saf: data = saf.readline() sarah = data.strip().split(',') >>> print(mikey) ['2:22', '3.01', '3:01', '3.02', '3:02', '3.02', '3:22', '2.49', '2:38'] >>> print(sarah) ['2:58', '2.58', '2:39', '2-25', '2-55', '2:54', '2.18', '2:55', '2:55']
data.strip().split(',')，这种形式的代码段叫方法串链（method chaining）。
第一个方法strip()应用到data中的数据行，这个方法会去除字符串中不想要的空白符；
第二个方法split(',')会创建一个列表；
采用这种方法可以把多个方法串链接在一起，生成所需要的结果。从左到右读。
排序：有两种方式
一、原地排序(In-plice sorting)
使用sort()方法，新生成的数据会替代原来的数据；
二、复制排序(Copied sorting)
保留原来的数据，然后新生成一个排序后的数据；
>>> data2=[6,3,1,2,4,5]
>>> data2
[6, 3, 1, 2, 4, 5]
>>> sorted(data2)
[1, 2, 3, 4, 5, 6]
>>> data2
[6, 3, 1, 2, 4, 5]
>>> data3=sorted(data2)
>>> data3
[1, 2, 3, 4, 5, 6]
>>> data1=[2,4,6,5,1,3]
>>> data1.sort()
>>> data1
[1, 2, 3, 4, 5, 6]
使用print(sorted(data))来输出之前的james,julie,mikey,sarah列表，如下：
>>> print(sorted(james))
['2-22', '2-34', '2.34', '2.45', '2:01', '2:01', '3.01', '3:10', '3:21']
>>> print(sorted(julie))
['2-23', '2.11', '2.59', '2:11', '2:23', '3-10', '3-21', '3.21', '3:10']
>>> print(sorted(mikey))
['2.49', '2:22', '2:38', '3.01', '3.02', '3.02', '3:01', '3:02', '3:22']
>>> print(sorted(sarah))
['2-25', '2-55', '2.18', '2.58', '2:39', '2:54', '2:55', '2:55', '2:58']
会发现，排序并不正确，目标是从左到右，从小到大。
仔细看，发现有'-'，':'，'.'这些符号，因为符号不统一，所以会影响排序。
接下来，创建一个函数，名为：sanitize()，作用是：从各个选手的列表接收一个字符串，
然后处理这个字符串，将找到的'-'和':'替换为'.'并返回清理过的字符串，此外如果字符串
本身已经包含'.'，那么就不需要在做清理工作了。
函数代码如下：
>>> def sanitize(time_string):
if'-'in time_string:
splitter='-'
elif ':'in time_string:
splitter=':'
else:
return(time_string)
(mins,secs)=time_string.split(splitter)
return(mins+'.'+secs)
实例二：接下来实现正确排序上面四个文件生成的列表
>>> with open('james.txt') as jaf: data = jaf.readline() james=data.strip().split(',') with open('julie.txt')as juf: data = juf.readline() julie=data.strip().split(',') with open('mikey.txt')as mif: data = mif.readline() mikey=data.strip().split(',') with open('sarah.txt')as saf: data = saf.readline() sarah=data.strip().split(',') clean_james=[] clean_julie=[] clean_mikey=[] clean_sarah=[] for each_t in james: clean_james.append(sanitize(each_t)) for each_t in julie: clean_julie.append(sanitize(each_t)) for each_t in mikey: clean_mikey.append(sanitize(each_t)) for each_t in sarah: clean_sarah.append(sanitize(each_t)) >>> print(clean_james) ['2.34', '3.21', '2.34', '2.45', '3.01', '2.01', '2.01', '3.10', '2.22'] >>> print(clean_julie) ['2.59', '2.11', '2.11', '2.23', '3.10', '2.23', '3.10', '3.21', '3.21'] >>> print(clean_mikey) ['2.22', '3.01', '3.01', '3.02', '3.02', '3.02', '3.22', '2.49', '2.38'] >>> print(clean_sarah) ['2.58', '2.58', '2.39', '2.25', '2.55', '2.54', '2.18', '2.55', '2.55']
重新排序如下：
>>> print(sorted(clean_james))
['2.01', '2.01', '2.22', '2.34', '2.34', '2.45', '3.01', '3.10', '3.21']
>>> print(sorted(clean_julie))
['2.11', '2.11', '2.23', '2.23', '2.59', '3.10', '3.10', '3.21', '3.21']
>>> print(sorted(clean_mikey))
['2.22', '2.38', '2.49', '3.01', '3.01', '3.02', '3.02', '3.02', '3.22']
>>> print(sorted(clean_sarah))
['2.18', '2.25', '2.39', '2.54', '2.55', '2.55', '2.55', '2.58', '2.58']
推导列表
>>> print(sorted([sanitize(t)for t in james]))
['2.01', '2.01', '2.22', '2.34', '2.34', '2.45', '3.01', '3.10', '3.21']
>>> print(sorted([sanitize(t)for t in julie]))
['2.11', '2.11', '2.23', '2.23', '2.59', '3.10', '3.10', '3.21', '3.21']
>>> print(sorted([sanitize(t)for t in mikey]))
['2.22', '2.38', '2.49', '3.01', '3.01', '3.02', '3.02', '3.02', '3.22']
>>> print(sorted([sanitize(t)for t in sarah]))
['2.18', '2.25', '2.39', '2.54', '2.55', '2.55', '2.55', '2.58', '2.58']
Python的列表推导是这种语言支持函数编程概念的一个例子。
列表推导的妙处：通过使用列表推导可以大幅减少需要维护的代码。
迭代删除重复项：
>>> unique_james=[]
>>> for each_t in james:
if each_t not in unique_james:
unique_james.append(each_t)
>>> print(unique_james[0:3])
['2-34', '3:21', '2.34']
通过not in操作符来滤除列表中的重复项。
用集合删除重复项：
通过set()可以创建一个新的集合，属于“工厂函数”，用于创建某种类型的新的数据项。
重新定义函数，精简代码，将数据返回代码前完成分解/去除空白符处理。
>>> unique_james=[] >>> for each_t in james: if each_t not in unique_james: unique_james.append(each_t) >>> print(unique_james[0:3]) ['2-34', '3:21', '2.34'] >>> def get_coach_data(filename): try: with open(filename)as f: data=f.readline() return(data.strip().split(',')) except IOError as ioerr: print('File error: '+ str(ioerr)) return(None) >>> sarah1 = get_coach_data('sarah.txt') >>> print(sorted(set([sanitize(t)for t in james]))[0:3]) ['2.01', '2.22', '2.34']
>>> print(sarah1)
['2:58', '2.58', '2:39', '2-25', '2-55', '2:54', '2.18', '2:55', '2:55']
>>> print(sorted(set([sanitize(t)for t in sarah1]))[0:3])
['2.18', '2.25', '2.39']
函数串链：如 print(sorted(set([sanitize(t)for t in sarah1]))[0:3])，需要从右往左读，和方法串链正好相反。
本质上是一堆函数的嵌套操作。
总结
Python术语：1原地排序：转换然后替换；
2复制排序：转换然后返回；
3方法串链：对数据应用一组方法；
4函数串链：对数据应用一组函数；
5列表推导：在一行上指定一个转换；
6分片：从一个列表，访问多个列表项；
7集合：一组无需的数据项，其中不包含重复项。
具体方法：1 sort()：原地排序；
2 sorted()：复制排序；
3 对于以下代码：
new=[]
for t in old:
new.append(len(t))
可以用列表推导代替：new=[len(t) for t in old]；
4 分片：使用my_list[3:6]可以访问列表my_list从索引位置3到索引位置6的列表数据项；
5 使用set()工厂方法可以创建一个集合。
------------------------------------------------The End of Fifth Chapter------------------------------------------------