到目前为止,我一直以最基本的方式使用doc2vec,但成效有限.我能够找到类似的文档,但是经常会出现很多误报.我的主要目标是为用户需求建立分类算法.这有助于进行用户需求分析和搜索.

我知道这确实不是一个足够大的数据集,所以有一些问题我需要帮助：

>如何训练一组文档并在另一组文档上构建矢量？
>如何调整模型,特别是为向量空间选择正确的维数
>如何为单词向量创建层次聚类,应该使用一个模型来完成,还是应该创建单独的单词和文档分类模型？
>我没有基础知识,这是在调整如何测量结果质量时的无监督学习？
>最后,是否有推荐的在线资源可以涵盖上述内容.

我一直在用2000个文档中的100个向量调用一次train,每个向量约有100个单词,每个文档有22列,分别由单元格和行标记.

def tag_dataframe(df,selected_cols):
    tagged_cells = []
    headers = list(df.columns.values)
    for index,row in df.iterrows():
        row_tag = 'row_' + str(index)
        for col_name in headers:
            if col_name in selected_cols:
                col_tag = 'col_' + col_name
                cell_tag = 'cell_' + str(index) + '_' + col_name
                cell_val = str(row[col_name])
                if cell_val == 'nan':
                    continue
                cleaned_text = clean_str(cell_val)
                if len(cleaned_text) == 0:
                    continue
                tagged_cells.append(
                    gensim.models.doc2vec.TaggedDocument(
                        cleaned_text,[row_tag,cell_tag]))
    print('tagged rows')
    return tagged_cells

def load_or_build_vocab(model_path,tagged_cells):
    if os.path.exists(model_path):
        print('Loading vocab')
        d2vm = gensim.models.Doc2Vec.load(model_path)
    else:
        print('building vocab')
        d2vm = gensim.models.Doc2Vec(
            vector_size=100,min_count=0,alpha=0.025,min_alpha=0.001)
        d2vm.build_vocab(tagged_cells)
        print('    built')
        d2vm.save(model_path)
    return d2vm

def load_or_train_model(model_path,d2vm,tagged_cells):
    if os.path.exists(model_path):
        print('Loading Model')
        d2vm = gensim.models.Doc2Vec.load(model_path)
    else:
        print('Training Model')
        d2vm.train(
            tagged_cells,total_examples=len(tagged_cells),epochs=100)
        print('    trained')
        d2vm.save(model_path)
    return d2vm

我希望实现的是一组文档向量,这将有助于从自由文本和层次聚类中查找相似的用户需求,以构建现有需求的导航.