1、 np.percentile(train_list["wnum1"], [10, 90, 95, 99]) 计算一个多维数组的任意百分比分位数，此处的百分位是从小到大排列
2、fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(20, 6)) 定义画图的画布
- 在画图时，要注意首先定义画图的画布：fig = plt.figure( )
- 然后定义子图ax ，使用 ax= fig.add_subplot( 行，列，位置标)
- 当上述步骤完成后，可以用 ax.plot（）函数或者 df.plot(ax = ax)
- 在jupternotebook 需要用%定义：%matplotlib notebook；如果是在脚本编译器上则不用，但是需要一次性按流程把代码写完；
- 结尾时都注意记录上plt.show()
DataFrame.plot( )函数具体解释：https://blog.csdn.net/brucewong0516/article/details/80524442
3、train_list.plot(kind="hist", y=["wnum1", "wnum2"], bins=20, alpha=0.5, density=True, ax=ax1)
kind代表的图的类型，hlist是柱状图
bins代表柱状图有几个柱子，设置为20，默认是10
alpha 代表填充的不透明度 0-1取值
4、ax1.legend()
显示图例
5、train_unique_q = np.concatenate([train_data["q2"].unique(), train_data["q1"].unique()])
示例：
>>> a=np.array([1,2,3])
>>> b=np.array([11,22,33])
>>> c=np.array([44,55,66])
>>> np.concatenate((a,b,c),axis=0) # 默认情况下，axis=0可以不写
array([ 1, 2, 3, 11, 22, 33, 44, 55, 66]) #对于一维数组拼接，axis的值不影响最后的结果
6、from collections import Counter
train_question = np.concatenate([train_data["q1"], train_data["q2"]])
test_question = np.concatenate([test_data["q1"], test_data["q2"]])
train_counter = Counter(train_question)
test_counter = Counter(test_question)
print(train_counter.most_common(10))
print(test_counter.most_common(10))
输出：
[('Q489328', 112), ('Q119369', 109), ('Q632400', 109), ('Q382228', 108), ('Q081677', 107), ('Q555455', 107), ('Q149996', 105), ('Q436579', 105), ('Q143237', 105), ('Q424359', 104)]
[('Q066137', 34), ('Q209532', 31), ('Q526780', 31), ('Q665740', 29), ('Q405292', 28), ('Q092597', 28), ('Q195819', 26), ('Q150486', 26), ('Q263180', 26), ('Q492945', 25)]
counter工具用于支持便捷和快速地计数
7、words = questions["words"].str.split(" ").tolist()
8、from gensim.corpora import Dictionary
word_dict = Dictionary(words)
char_dict = Dictionary(chars)
dictionary.id2token 结果:{0: 'human', 1: 'interface', 2: 'computer', 3: 'survey', 4: 'user'}
dictionary.token2id 结果：{'human': 0, 'interface': 1, 'computer': 2, 'survey': 3, 'user': 4, 'system': 5, ..................}
dictionary.dfs 结果：{0: 2, 1: 2, 2: 2, 3: 2, 4: 3, 5: 3, 6: 2, 7: 2, 8: 2, 9: 3, 10: 3, 11: 2}
参考博客：https://blog.csdn.net/qq_19707521/article/details/79174533
9、char_df = pd.concat([char_series, char_prop], axis=1)
10、train_list = train_data.merge(questions, how="left", left_on="q1", right_on="qid").drop("qid", axis=1)
11、
train_list = train_data.merge(questions, how="left", left_on="q1", right_on="qid").drop("qid", axis=1)
train_list.head()
train_list = train_list.rename(columns={"words": "w1", "chars": "c1"})
train_list = train_list.merge(questions, how="left", left_on="q2", right_on="qid").drop("qid", axis=1)
train_list = train_list.rename(columns={"words": "w2", "chars": "c2"})
train_list["wnum1"] = train_list["w1"].map(len)
train_list["cnum1"] = train_list["c1"].map(len)
train_list["wnum2"] = train_list["w2"].map(len)
train_list["cnum2"] = train_list["c2"].map(len)
train_list["wboth"] = train_list.apply(lambda x: len([t for t in x["w1"] if t in x["w2"]]), axis=1)
train_list["cboth"] = train_list.apply(lambda x: len([t for t in x["c1"] if t in x["c2"]]), axis=1)
train_list.head()
12、label = train_data["label"].values.copy() 值的复制
13、question_feature = total_question.value_counts().reset_index()
value_counts确认数据出现的频率 注意：from collections import Counter Counter()函数也能计数，返回值格式可能不一致
.reset_index 是改变index，重置index
14、
unique_question = total_question.drop_duplicates().reset_index(drop=True)
question_dict = pd.Series(unique_question.index,unique_question).to_dict()
注释：.drop_duplicates() 去重 .reset_index（）重置index series.to_dict()转换为字典、
15、 from keras.preprocessing.text import Tokenizer
char_tokenizer = Tokenizer()
char_tokenizer.fit_on_texts(question_data["chars"])
char_tokenizer.word_index
使用Tokenizer的方法是，首先用Tokenizer的 fit_on_texts 方法学习出文本的字典，然后word_index 就是对应的单词和数字的映射关系dict，通过
这个dict可以将每个string的每个词转成数字
16、word_count = sorted(list(word_tokenizer.word_counts.items()), key=lambda x: x[1], reverse=True)
lambda是一个隐函数，是固定写法，不要写成别的单词；x表示列表中的一个元素，在这里，表示一个元组，x只是临时起的一个名字，你可以使用任意的名字；x[0]表
示元组里的第一个元素，当然第二个元素就是x[1]；所以这句命令的意思就是按照列表中第一个元素排序
items() 函数以列表返回可遍历的(键, 值) 元组数组
reverse=true参数实现倒序排列
17、data["word_same"] = data.apply(lambda x: len(set(x["words1"]).intersection(set(x["words2"]))), axis=1)
解释：假设a，b为两个list
1、交集
list(set(a).intersection(set(b)))2、并集
list(set(a).union(set(b)))3、差集（list a中有，而list b中没有的）
list(set(a).difference(set(b)))18、word_embedding_data = pd.read_csv(WORD_EMBED_PATH, delimiter=" ", header=None, index_col=0)
分隔符为空格、列表头为none、列的索引去第0列