网页数据构建知识图谱-数据和方法

1.网页数据解析

（1）可以参看webkit内核，构建一个网页解析工具，解析dom树/视觉树/分块树，根据需求解析目标数据；

（2）构建xpath类规则，提取指定目标数据；

（3）解析microdata数据，可以参考pps/babytree，里面的itemscope/itemprop系列标签

2.数据来源

（1）百度百科/维基百科等知识词条类

（2）豆瓣类垂直站点

（3）其它类别的站点

3.构建

（1）实体：可以使用百科词条/维基百科的词条作为一个实体，里面能够包含实体属性，如果有图片可以直接配图

（2）关系：可以挖掘标签，如类型电视剧，作为某一个电视剧实体的上位关系，挖掘类型电视剧下面的所有电视剧实体，这可以作为一种方法。还可以从垂直站点挖掘，另外，可以考虑mypos数据，kv数据等。实体和关系都以七元组的方式存入知识库中。

（3）算法：有了实体和关系，用户输入一个query，对query变换，分析用户意图之后，检索出和query相似度比较高的实体和关系，拉取匹配度高的【关系，下位实体1，下位实体2，…】列表，通过相似度/query点展预测/用户意图等一系列特征判断，给出topN的推荐，可以以星状图展现，也可以以检索列表展现等。