文本主题模型提取
如下程序将句子主题提取后，将权重值存入dataframe.
#!/usr/bin/python # -*- coding:utf-8 -*- import pandas as pd import numpy as np import matplotlib as mpl import math import warnings import jieba from gensim import corpora, models, similarities # 参数说明： # doc_topics: 可用np.array(doc_topics) # 对其进行查看， # 它里面存储的是每个句子对应的list, list中分别是句子中部分词的标号和权重值， # x:表示的是单个句子在dataframe的index # num_show_topic：LdaMulticore提取的主题的个数 # col：是列名 def getlda(doc_topics, x, num_show_topic, col): # topic是doc_topics中list的内容变成了二阶张量的形式 topic = np.array(doc_topics[x]) # topic[:,1]中是某个句子中部分词的权重值 # argsort函数返回的是数组值从小到大的索引值,即np.argsort(topic[:,1])中是list中所有的权重值由小到大排序后的索引 # topic_id中是topic按权重值排序后生成的二维张量 topic_id=topic[np.argsort(topic[:,1])] # 如果该句子主题个数不够LdaMulticore提取的个数，则对缺少的部分补0 if topic_id.shape[0]<num_show_topic: settopici=set(topic_id[:,0]) settopicadd=set([x for x in range(num_show_topic)])-settopici# 补上没出现的topic dfall=pd.concat([pd.DataFrame({0:list(settopicadd),1:[0 for x in range(len(settopicadd))]}),pd.DataFrame(topic_id)],axis=0) # 否则说明该句子中的主题个数与LdaMulticore中规定的一致， else: dfall=pd.DataFrame(topic_id) # print(dfall) # 对第一列进行排序,即按主题进行排序 共num_show_topic个主题 dfall.sort_values(0,inplace=True) # 将dfall中的权重值列转化为dataframe,变为1行num_show_topic列 df =pd.DataFrame([dfall[1].values]) df=df.astype(np.float32) # 生成num_show_topic个列 L = range(num_show_topic) df.columns = [col + 'lda' + str(i) for i in L] # 将最终生成的1行num_show_topic列的dataframe返回 return df def fenge(x): x = x.split('|') # print('x中不同元素共有：', len(set(x))) return x df = pd.DataFrame({ 'user_id': [113401,378358,434838,577061], 'taglist': [ '4707|70|3498|4707|2099|1832|1911', '751|2207|1100|2099|1832|1911|70|2254|171', '877|3242|5628|70|2684|691|70|4228|631|70', '2431|3242|3242|1823|4020|3242|70|620|2168' ] }) # r的数据类型是series，key是df的index，values是分割‘|’后返回的list r = df['taglist'].map(lambda x: fenge(x)) # testdata是list，每个元素也是list testdata = list(r) # dictionary中是将testdata中所有不同的标记tokens都取了出来放在一个list中 dictionary = corpora.Dictionary(testdata) # corpus中存放的是testdata中每个元素在dictionary中的编号与出现次数 # corpus中的数据形式是[[(0, 1), (1, 1), (2, 1)], [(0, 1), (1, 1), (2, 1), (5, 1), (6, 1)],....... corpus = [dictionary.doc2bow(text) for text in testdata] # 输出tfidf是TfidfModel(num_docs=4,num_nnz=31)，其中num_docs表示的是处理了4个语句，num_nnz表示的是4个语句中共有31个不同的词 tfidf = models.TfidfModel(corpus) # 此处计算得出语料库corpus中所有句子的tf-idf值，这儿放其他的语料库可能也行 corpus_tfidf = tfidf[corpus] # LdaMulticore()参数解析官网链接：https://radimrehurek.com/gensim/models/ldamulticore.html # 参数解释：corpus_tfidf:要训练的语料库 # num_topics:指定从要训练的语料库中要提取的主题数量 # id2word:与语料库对应的字典 # chunksize:每次训练的词的数量 # passes:训练中通过语料库的次数，即训练的次数 # minimum_probability:设置阈值，低于该阈值的主题将被舍弃掉 # workers:设置进程数，即用于并行化的工作进程的数量 # decay:一个介于(0.5,1)之间的数字，以表示在检查每个新文档时忘记前面lambda值的百分比 # https://radimrehurek.com/gensim/models/ldamulticore.html lda = models.LdaMulticore(corpus_tfidf, num_topics=60, id2word=dictionary,chunksize=2000, passes=1, random_state=0, minimum_probability=0.005, workers=11) # print('lda is:', lda) # lda is: LdaModel(num_terms=23, num_topics=60, decay=0.5, chunksize=2000) # 保存模型 # lda.save('./model/' + 'lad.model') # 留给test集合用 # doc_topics直接输出看不到内部的值 doc_topics = lda.get_document_topics(corpus_tfidf) print(np.array(doc_topics)) # # 显示文档主题doc_topics有3种方法： # doc_topic = [i for i in lda[corpus_tfidf]] ##法1 # print(doc_topic) # # for doc_topic in lda.get_document_topics(corpus_tfidf): ##法2 # print(doc_topic) # print(np.array(doc_topics)) ##法3 item = 'taglist' # 列名 # [print(cols) for cols in df.reset_index()['index'].apply(lambda x: getlda(doc_topics, x, 60, item))] # df.reset_index()['index'].apply(lambda x: getlda(doc_topics, x, 60, item)) # 是series类型，其中每个values都是返回的dataframe,1行num_show_topic列 dfjoin = pd.concat([cols for cols in df.reset_index()['index'].apply(lambda x: getlda(doc_topics, x, 60, item))], ignore_index=True) print(dfjoin.shape) #(4, 60)
https://blog.csdn.net/sinat_26917383/article/details/71436563#gensimdoc2bow_209
https://radimrehurek.com/gensim/models/ldamulticore.html
https://blog.csdn.net/appleyuchi/article/details/78055371
https://blog.csdn.net/qq_23926575/article/details/79429689
https://radimrehurek.com/gensim/tut1.html#from-strings-to-vectors
http://www.pianshen.com/article/6714154086/