复合数据类型，英文词频统计

本次作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753

一、列表，元组，字典，集合分别如何增删改查及遍历

1、列表

1）增

- append()方法：在列表的末尾增加一个元素
- insert()方法：在列表指定的位置上增加一个元素
- extend()方法：可迭代，分解成元素添加在末尾

2）删

- pop()方法：按照下标索引删除指定的值
- remove()方法：按元素删除指定的值
- del：删除列表、也可以进行切片删除

3）改

4）查

5）遍历

2、元组

- 元组不允许修改以及单个删除元素

3、字典

1）增

- dict[key]=value 通过赋值的方法增加元素

2）删

del dict[key] 删除单一元素，通过key来指定删除
dict.pop(key) 删除单一元素，通过key来指定删除

3）改

dict[key]=value 通过对已有的key重新赋值的方法修改

4）查

dict[key] 通过key访问value值

4、集合

1）增

- add()方法：增加一个元素

2）删

- remove()和pop()方法：删除集合中一个元素

二、总结列表，元组，字典，集合的联系与区别。参考以下几个方面：

括号
有序无序
可变不可变
重复不可重复
存储与查找方式

联系与区别如下：

1、列表的括号是"[ ]" ，元组的括号是”( )“，字典的括号和集合的括号都是”{ }“；

2、列表与元组都为有序序列，字典与集合为无序序列；

3、列表、字典、集合属于可变序列，而元组属于不可变序列；

4、列表和元组允许重复，而字典和集合不允许重复；

5、列表和元组是可以根据下标进行查找的，但元组不可修改，列表可以，字典可根据字典的键名查找相应的值，集合是不允许通过下标进行查询的。

三、词频统计

1.下载一长篇小说，存成utf-8编码的文本文件 file
2.通过文件读取字符串 str
3.对文本进行预处理
4.分解提取单词 list
5.单词计数字典 set , dict
6.按词频排序 list.sort(key=lambda),turple
7.排除语法型词汇，代词、冠词、连词等无语义词

- 自定义停用词表
- 或用stops.txt
8.输出TOP(20)
9.可视化：词云

排序好的单词列表word保存成csv文件

import pandas as pd
pd.DataFrame(data=word).to_csv('big.csv',encoding='utf-8')

线上工具生成词云：
https://wordart.com/create

词频统计代码如下：

import string
import pandas as pd

'''定义获取文件并处理函数'''
def gettext():
    txt = open("After Twenty Years.txt").read().lower()

    for c in string.punctuation:
        txt = txt.replace(c, " ")
    return txt

'''将文本分成单词'''
txtDC=gettext().split( )

'''过滤无意词'''
ex = {'a','an','and','was','as','up','my','it','here','at','ll','his','s','he','that','from','had','have','we','the','i','you','in','on','but','with','not','by','its','for','of','to'}
txtSet=set(txtDC)-ex

'''单词统计'''
txtDic = {}
for word in txtSet:
    txtDic[word] = txtDC.count(word)

'''排序'''
wordList = list(txtDic.items())
wordList.sort(key=lambda x:x[1],reverse=True)

'''输出top20'''
for i in range(20):
    print(wordList[i])

'''保存为csv文件'''
pd.DataFrame(data=wordList).to_csv('My story.csv',encoding='utf-8')

下面是After Twenty Years.txt：

运行截图如下：

控制台输出：

可视化词云：