技术文章 | 项目实战:如何构建知识图谱
2017-09-15 14:31
931 查看
本文来源于阿里云-云栖社区,原文点击这里。
实践了下怎么建一个简单的知识图谱,两个版本,一个从 0 开始(start from scratch),一个在 CN-DBpedia 基础上补充,把 MySQL,PostgreSQL,Neo4j 数据库都尝试了下。自己跌跌撞撞摸索可能踩坑了都不知道,欢迎讨论。
1. CN-DBpedia 构建流程
知识库可以分为两种类型,一种是以 Freebase,Yago2 为代表的 Curated KBs,主要从维基百科和 WordNet 等知识库中抽取大量的实体及实体关系,像是一种结构化的维基百科。另一种是以 Stanford OpenIE,和我们学校 Never-Ending Language Learning (NELL) 为代表的 Extracted KBs,直接从上亿个非结构化网页中抽取实体关系三元组。
与 Freebase 相比,这样得到的知识更加多样性,但同时精确度要低于 Curated KBs,因为实体关系和实体更多的是自然语言的形式,如“奥巴马出生在火奴鲁鲁。” 可以被表示为(“Obama”, “was also born in”, “ Honolulu”)。
下面以 CN-DBpedia 为例看下知识图谱大致是怎么构建的。
上图分别是 CN-DBpedia 的构建流程和系统架构。知识图谱的构建是一个浩大的工程,从大方面来讲,分为知识获取、知识融合、知识验证、知识计算和应用几个部分,也就是上面架构图从下往上走的一个流程,简单来走一下这个流程。
展开全文
实践了下怎么建一个简单的知识图谱,两个版本,一个从 0 开始(start from scratch),一个在 CN-DBpedia 基础上补充,把 MySQL,PostgreSQL,Neo4j 数据库都尝试了下。自己跌跌撞撞摸索可能踩坑了都不知道,欢迎讨论。
1. CN-DBpedia 构建流程
知识库可以分为两种类型,一种是以 Freebase,Yago2 为代表的 Curated KBs,主要从维基百科和 WordNet 等知识库中抽取大量的实体及实体关系,像是一种结构化的维基百科。另一种是以 Stanford OpenIE,和我们学校 Never-Ending Language Learning (NELL) 为代表的 Extracted KBs,直接从上亿个非结构化网页中抽取实体关系三元组。
与 Freebase 相比,这样得到的知识更加多样性,但同时精确度要低于 Curated KBs,因为实体关系和实体更多的是自然语言的形式,如“奥巴马出生在火奴鲁鲁。” 可以被表示为(“Obama”, “was also born in”, “ Honolulu”)。
下面以 CN-DBpedia 为例看下知识图谱大致是怎么构建的。
上图分别是 CN-DBpedia 的构建流程和系统架构。知识图谱的构建是一个浩大的工程,从大方面来讲,分为知识获取、知识融合、知识验证、知识计算和应用几个部分,也就是上面架构图从下往上走的一个流程,简单来走一下这个流程。
展开全文
相关文章推荐
- 项目实战:如何构建知识图谱
- 项目实战:如何构建知识图谱
- 医学知识图谱构建技术与研究进展
- 程序员日常应该如何构建自己的技术知识体系
- 【实战\聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎项目笔记】第4章 scrapy爬取知名技术文章网站(1)
- python简单实战项目:《冰与火之歌1-5》角色关系图谱构建
- 程序员如何构建知识图谱,让自己更值钱?
- python简单实战项目:《冰与火之歌1-5》角色关系图谱构建——人物关系可视化
- 技术文章 | 如何构建AI驱动型智能服务?
- 【知识图谱】杨娟:告别传统,基于知识图谱技术构建智能CRM
- 技术人,为什么需要构建知识图谱
- Spring Boot基础知识(一)----如何构建spring boot的web项目
- 技术人,为什么需要构建知识图谱
- 知识图谱技术分享会----有关知识图谱构建的部分关键技术简介及思考
- 知识图谱2-【浅谈知识图谱的构建技术】
- 技术文章|机器学习先驱Thomas Dietterich: 如何构建强健的人工智能
- 知识图谱数据构建的“硬骨头”,阿里工程师如何拿下?
- 构建自己的技术知识体系-技术高手如何炼成
- Vue2+VueRouter2+Webpack+Axios 构建项目实战(一)基础知识概述
- 知识图谱构建技术综述