您的位置:首页 > 大数据

PostgreSQL 30天 培训视频(SQL基础,备份恢复,HA,服务端编程,大数据,内核,应用案例)

2015-10-14 22:49 627 查看


Postgres2015全国用户大会将于11月20至21日在北京丽亭华苑酒店召开。本次大会嘉宾阵容强大,国内顶级PostgreSQL数据库专家将悉数到场,并特邀欧洲、俄罗斯、日本、美国等国家和地区的数据库方面专家助阵:
Postgres-XC项目的发起人铃木市一(SUZUKI Koichi)
Postgres-XL的项目发起人Mason Sharp
pgpool的作者石井达夫(Tatsuo Ishii)
PG-Strom的作者海外浩平(Kaigai Kohei)
Greenplum研发总监姚延栋
周正中(德哥), PostgreSQL中国用户会创始人之一
汪洋,平安科技数据库技术部经理
……

 
2015年度PG大象会报名地址:http://postgres2015.eventdove.com/PostgreSQL中国社区: http://postgres.cn/PostgreSQL专业1群: 3336901(已满)PostgreSQL专业2群: 100910388PostgreSQL专业3群: 150657323

为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.(免费观看和下载)
希望通过这些视频帮到一些朋友, 同时对视频中的错误点烦请读者指出以更正, 谢谢.
目前在更新的视频是<PostgreSQL 数据库管理 5天>和<PostgreSQL
性能优化 3天>.

在线观看地址 : 
http://www.tudou.com/home/digoal/
培训视频源文件以及文档下载地址 : 
http://pan.baidu.com/share/home?uk=1982970774#category/type=0

转载请注明出处.

针对一些网友的反馈, 重新设计的培训内容如下, 由浅入深, 适合不同的人群. 包含

<PostgreSQL发展历程,社区介绍,资源介绍 2小时>
<PostgreSQL SQL基础 2天>
<PostgreSQL 数据库管理 3天>
<PostgreSQL 数据库备份与恢复, 数据复制, 负载均衡与高可用 3天>
<PostgreSQL 服务端编程 3天>
<PostgreSQL 性能优化 3天>
<PostgreSQL 大数据应用 3天>
<PostgreSQL 内核 2天>
<PostgreSQL 应用案例 n天>

个人技术水平有限, 应用案例的培训诚邀有经验的技术人员分享以拓展应用面, 譬如游戏开发者, 大数据分析产品的开发者等.

详细的课程内容如下 : 
<PostgreSQL发展历程,社区介绍,资源介绍 2小时>

<PostgreSQL SQL基础 2天>
第一天

  PostgreSQL的安装, 架构基础介绍, 如何创建和访问数据库;
  SQL语言基础(创建表, 操作表数据, 表关联查询, 聚合查询);
  SQL高级应用(视图, 外键, 事务, 窗口函数, 继承);
  SQL语义结构介绍(关键字, 常量, 操作符, 特殊字符, 注释, 操作符的优先级);
  值表达式介绍(列, 位置参数, 数组下标, field引用, 操作符调用, 函数调用, 聚合表达式, 窗口函数调用, 类型转换, collate表达式, 标量子查询, 数组构造器, 行构造器, 表达式逻辑运算规则);
  函数调用用法介绍(位置参数调用, 命名参数调用, 混合调用);
  数据定义(默认值, 约束, 系统列, 表结构和定义修改, 权限, schema, 继承, 分区, 外部数据);
第二天
  数据查询(from子句, where子句, group by having子句, 窗口子句, select子句, 结果集合操作, 排序, 限制, 位移, values子句, CET用法);
  数据类型(数字, 货币, 字符, 字节, 时间, 布尔, 枚举, 几何, 网络, 比特, 文本搜索, UUID, XML, JSON, 数组, 复合类型, 范围类型, 对象类型, 伪类型);
  函数与操作符(逻辑, 比较, 数学运算, 字符串, 字节流, 比特位, 样式匹配, 格式化, 时间, 枚举, 几何, 网络, 全文检索, XML, JSON, 序列, 条件, 数组, 范围, 聚合, 窗口, 子查询, 行与数组的比较, SRF函数, 系统信息函数, 系统管理函数, 触发器函数, 事件触发器函数);
  类型转换;
  索引用法;
  全文检索用法;
  并行控制;
  SQL性能优化;

<PostgreSQL 数据库管理 3天>
第一天

  PostgreSQL源代码安装(源码结构介绍, 配置介绍, 自定义FLAG介绍, 内核参数优化, 安装);
  数据库服务器配置(OS USER, 初始化集群, 启动数据库集群, 关闭数据库集群, 升级数据库软件, 防止欺骗, 数据封装方法, SSL, SSH隧道)
  数据库集群进程结构介绍(postmaster, logger, checkpointer, writer, wal writer, autovacuum launcher, autovacuum worker, stats collector, backend, worker);
  认证和连接(客户端认证方法介绍, 认证配置, 常用认证方法使用举例, 常见认证错误排错);
  pgAdmin III 使用介绍(安装, 使用, 调试函数, 维护数据);
  数据库配置(guc.c, 参数优先级, 参数含义, 开发参数, guc隐含参数, 如何修改参数并使之生效, 如何查看当前参数值, 如何查看参数值的范围);
  用户管理(创建角色, 角色权限管理, 角色membership管理, 角色成员权限管理);
  数据库逻辑结构(cluster, database, schema, object, field, access privilege);
  数据库物理结构(tablespace, datafile, segment, block, controlfile, xlog, archivelog);
第二天
  数据库管理(创建表空间, 创建数据库, 创建数据库模板, 数据库配置, 删除数据库, 跨数据库的数据访问);
  基于角色的对象权限管理(表, 列, 序列, 数据库, 域, 外部数据, 函数, 语言, 大对象, schema, 表空间, 类型);
  默认权限和继承权限(default privilege, inherit privilege);
  数据库安全(认证, 网络, 数据存储, 密码, 注入, 欺骗);
  数据库监控(状态监控, 趋势监控, 预警, 常用监控工具和插件nagios, zabbix, pg_statsinfo);
  多版本并发控制和垃圾回收;
  日常维护(垃圾回收, 数据重组, 索引维护, VM维护, 预防XID溢出, 日志维护);
第三天
  数据迁移(逻辑备份和还原, 增量数据迁移的方法, 异构数据迁移的方法(如oracle to postgresql));
  如何打数据库补丁;
  数据库版本升级(小版本升级方法, 大版本升级方法);
  建模与Benchmark(如何根据业务形态建立数据库测试模型, 测试工具的使用, 根据测试模型和硬件标准输出benchmark);
  数据库日志分析(错误代码介绍, 日志的筛选过滤, 日志的维护);
  数据库审计(参数层面的审计开关, 定制化审计(如触发器结合HSTORE), 审计数据的维护手段);
  本地化(字符集, collate, 编码转换, 如何防止乱码);
  数据库性能分析(OS性能分析报表, SQL性能分析报表);
  数据库巡检(如何定制巡检项, 指标, 如何分析巡检报告);

<PostgreSQL 数据库备份与恢复, 数据复制, 负载均衡与高可用 3天>
第一天

  逻辑数据备份和还原(定制备份目标, 备份集压缩, 编辑TOC文件, 可选还原, 文本还原, 命令详解pg_dump, pg_dumpall, pg_restore);
  物理数据备份和基于时间点,XID,还原点的还原(物理备份原理, 参数配置, fsync接口可靠性测试, 归档脚本编写, 备份演示, 三种还原截止的演示, WAL不写场景的数据修正方法);
  逻辑备份设计案例(在被管理的数据库较多的场景中, 如何设计集中备份和元数据的管理, 分布式文件系统的应用);
  物理备份设计案例(在被管理的数据库较多的场景中, 如何设计集中备份和元数据的管理);
  数据库流复制概念(流复制协议的介绍, 同步和异步的流复制架构, 相关的参数, 利用流复制协议的命令讲解pg_basebackup, pg_receivexlog);
  容灾设计案例(log shipping, stream replication异地容灾架构, 容灾需要考虑的WAN网络安全, 数据加密, 数据压缩, 网络稳定性等问题);
第二天
  数据复制的分类和应用场景(中间件数据分发的前端复制, 基于触发器的后端复制, 基于块变更的物理复制, 基于xlog的逻辑复制);
  前端数据复制应用案例(pgpool-II);
  后端数据复制应用案例(londiste3, slony-I, 触发器);
  物理复制应用案例(同步和异步stream replication, log shipping);
  XLOG逻辑复制应用案例(stream replication 9.4);
  standby在升级PostgreSQL版本中的应用举例
第三天
  高可用方案(介绍高可用的两种架构以及优缺点 - 共享存储, replication standby; 这两种HA架构的具体实施方法; 流复制HA的使用注意事项, WAL不写场景, 异步场景的角色切换);
  负载均衡案例(读写分离架构以及实现方法举例(pgpool-II), 读写负载均衡架构以及实现方法举例(pgpool-II,plproxy,pg-xc));

<PostgreSQL 服务端编程 3天>
第一天

  SQL函数(参数: 基本类型, 复杂类型, OUTPUT, 可变参数, 默认值, 表参数; 返回结果集; 返回表; 任意类型参数)
  函数重载(同名, 但是参数类型不同或参数个数不同)
  函数稳定性(volatile, stable, immutable详解)
  函数成本和执行计划
  函数PLAN CACHE
第二天
  过程语言(安装语言, 语言可信度, plpgsql, plpython, ...)
  触发器
  事件触发器
  规则系统
第三天
  C语言函数
  聚合函数开发
  函数内容加密
  模块发布
  代理函数语言(针对大数据的scale out, plproxy)

<PostgreSQL 性能优化 3天>
第一天

  硬件架构(CPU,内存,磁盘,存储缓存,存储可靠性)
  硬件benchmark(cpu, 内存, 块设备)
  文件系统特性以及优化(ext4, xfs, zfs, btrfs, ...)
  内核参数优化
  缓存(本地缓存shared buffer, os cache; 外部缓存memcached, redis)
  参数调优
  多版本并发控制, 锁, 垃圾回收, HOT, 如何减少产生垃圾
第二天
  建模和压力测试, 数据库benchmark(tpc-b, 自定义benchmark)
  索引(btree, hash, gin, gist, spgist索引用法, 复合索引, 排他索引, 部分索引, 函数索引, 全文检索)
  查询优化(柱状图, 成本因子以及校准, explain, 数据访问开关, plan cache, 函数三态, join优化, geqo, CET, 窗口函数)
  统计信息(pg_stat*, pg_statio*)
  状态监控和趋势报表
第三天
  连接池
  读写分离
  数据分区(本地分区, 异地分区)
  负载均衡
  DEBUG, TRACE, 性能分析工具
  性能优化案例

<PostgreSQL 大数据应用 3天>
第一天

  本地数据分区
  异地数据分区
  负载均衡
  物化视图在大数据中的应用
  加速数据加载
  加速数据导出
  plproxy的架构以及用法
第二天
  londiste3的架构以及用法
  pg-xc的架构以及用法
  pgpool-II的架构以及用法
第三天
  citusdb的架构以及用法
  greenplum的架构以及用法
  fdw for MPP
  实时大数据统计案例

<PostgreSQL 内核 2天>

第一天
  进程结构
  backend工作流(初始化工作流, 主查询工作流, 命令, 辅助进程)
第二天
  探针
  动态内核跟踪

<PostgreSQL 应用案例 n天>
      这部分内容大多来自我写过的BLOG, 针对以前写过的一些和PG相关的专题文章细化再以视频的形式演示和讲解方便读者理解, 适合有PostgreSQL基础的朋友.

------------------------------------------------------------------------------------------------------------------------------------------------------
*****************************************************************************************************************************

PostgreSQL 性能优化视频(18集全) : 

18. 性能优化培训 - 综合优化案例
http://www.tudou.com/programs/view/UeXudDhDaHU/
17. 性能优化培训 - 性能分析工具3, pg_statsinfo的使用(与DBA培训同集)
http://www.tudou.com/programs/view/5SUCgb7_hsY/

16. 性能优化培训 - 性能分析工具2, pg_stat_statements
http://www.tudou.com/listplay/JW66CCxpr-s/xkOD3u8kQkE.html
15. 性能优化培训 - 性能分析工具1, sar
http://www.tudou.com/listplay/JW66CCxpr-s/qX8HOgBZu2M.html
14. 性能优化培训 - PostgreSQL压力测试工具pgbench讲解
http://www.tudou.com/listplay/JW66CCxpr-s/OUl0DLhiJwg.html
13. 性能优化培训 - 如何让数据库输出好的执行计划, 访问开关, 指定表关联顺序, 遗传算法
http://www.tudou.com/listplay/JW66CCxpr-s/dS2x85nosBw.html
12. 性能优化培训 - PostgreSQL锁的详解
http://www.tudou.com/listplay/JW66CCxpr-s/OsRGPcGEL9M.html
11. 性能优化培训 - PostgreSQL事务隔离级别讲解
http://www.tudou.com/listplay/JW66CCxpr-s/2sqzjiuqKFY.html
10. 性能优化培训 - 函数的三种稳定性状态对优化器的影响分解讲解 
http://www.tudou.com/programs/view/p6E3oQEsZv0/
9. 性能优化培训 - PostgreSQL trace & debug (跟踪和调试)
http://www.tudou.com/programs/view/SbglCp2T3t4/
8. 性能优化培训 - 执行计划缓存管理, 绑定变量接口
http://www.tudou.com/programs/view/kwmilXD7JEw/
7. 性能优化培训 - auto_explain插件, 索引扫描引发的heap page scan被放大的实例讲解
http://www.tudou.com/programs/view/LwMWC4ZpOhU/
6. PostgreSQL 性能优化培训 - 执行计划成本因子(page scan cost, cpu cost)的校准方法实例讲解
http://www.tudou.com/programs/view/yQ0SzBqx_4w/
5. PostgreSQL 性能优化培训 - 行评估算法讲解, 成本计算实例讲解
http://www.tudou.com/programs/view/3zgOuh7kbfs/
4. PostgreSQL 性能优化培训 - explain 实例讲解
http://www.tudou.com/programs/view/QztOh_hCFKw

3. PostgreSQL 性能优化培训 - explain输出结构信息详解
http://www.tudou.com/programs/view/OZSUbOFZ0U4

2. PostgreSQL 性能优化培训 - 统计信息详解, 成本因子介绍
http://www.tudou.com/programs/view/oA1v5sDFq3Q/

1. PostgreSQL 性能优化培训 - 授课环境搭建讲解
http://www.tudou.com/programs/view/AVCbdfl9rH8/

PostgreSQL 9.3 管理视频(更新中) : 
24. PostgreSQL 日常维护和巡检
http://www.tudou.com/programs/view/muc2XSx16lQ/
23. PostgreSQL 监控4 动态内核跟踪stap篇
http://www.tudou.com/programs/view/nNbwv33U9co/
22. PostgreSQL 监控3 PostgreSQL性能快照和图形化分析工具pg_statsinfo的使用
http://www.tudou.com/programs/view/5SUCgb7_hsY/
21. PostgreSQL 监控2 趋势监控数据收集和分析, nagios实时监控部署和自定义监控
http://www.tudou.com/programs/view/hzLFo5qGwqU/
20. PostgreSQL 监控1 统计进程和统计信息的解读
http://www.tudou.com/programs/view/TLi9Bohwles/
19. 锁介绍, 锁类型, 锁模式, 锁冲突, 死锁检测.
http://www.tudou.com/listplay/QHOjn39ooAI/GbMB1RCIZXk.html

18. 事务隔离级别的实现原理与多版本并发控制介绍
http://www.tudou.com/listplay/QHOjn39ooAI/iB-k4ekbqWE.html

17. shared nothing 分布式用法原理和介绍
http://www.tudou.com/listplay/QHOjn39ooAI/-bDZzJeFYaE.html

16. 本地分区表的用法和优化
http://www.tudou.com/listplay/QHOjn39ooAI/tthGvcvs_PY.html

15. 表级复制 - Londiste3, 数据汇聚型, 从多个节点汇聚复制到一个节点的场景.
http://www.tudou.com/listplay/QHOjn39ooAI/EpgRVjXllMg.html

14. 表级复制 - Londiste3, 数据打散型, 从一个节点打散复制到多个节点的复制场景, 哈希数据分区.
http://www.tudou.com/listplay/QHOjn39ooAI/rjtjbYuYcsw.html

13. 表级复制 - Londiste3, 级联复制以及provider角色的切换.
http://www.tudou.com/listplay/QHOjn39ooAI/4jBRN0k66fA.html

12. 表级复制 - Londiste3, 一对多的复制, DDL的复制以及排错
http://www.tudou.com/listplay/QHOjn39ooAI/NlmfgJwqCbs.html

11. 表级复制 - Londiste3, 安装和使用
http://www.tudou.com/listplay/QHOjn39ooAI/k1vIzHuUrSc.html

10. 表级复制 - 物化视图篇, 支持本地复制, 异地复制, 异构复制(如oracle,mysql,mongodb,redis到postgresql的复制)
http://www.tudou.com/listplay/QHOjn39ooAI/aJkaz2lSM6g.html

9. 点对点的多主复制介绍(master-master), 表级别-触发器篇
http://www.tudou.com/listplay/QHOjn39ooAI/1dW8TlhwG-I.html

8. 使用PG流复制搭建主从环境, 同步和异步流复制的详细介绍, 压力测试, 主从角色切换.
http://www.tudou.com/listplay/QHOjn39ooAI/Ca8XPq5I7Ng.html

7. 物理备份和还原, 逻辑备份和还原.
http://www.tudou.com/listplay/QHOjn39ooAI/Od0QoG3-leM.html

6. 连接池, 本地高速缓存, 异地高速缓存.
http://www.tudou.com/listplay/QHOjn39ooAI/gFoYdxzL3q4.html

5. 执行计划, 成本计算公式, 代价因子的校准, 自动跟踪SQL执行计划.
http://www.tudou.com/listplay/QHOjn39ooAI/WyHZcxEz5N0.html

4. 索引, 全文检索, 模糊查询, 近似查询.
http://www.tudou.com/listplay/QHOjn39ooAI/X2U9f0s04h0.html

3. psql用法, SQL语法, 数据类型, 递归SQL用法.
http://www.tudou.com/listplay/QHOjn39ooAI/hYAo6pNgxaU.html

2. PostgreSQL 物理, 逻辑, 进程结构, 系统表, 系统函数介绍.
http://www.tudou.com/listplay/QHOjn39ooAI/zAAsgrbZOXs.html

1. PostgreSQL 系统概述与编译安装.

http://www.tudou.com/listplay/QHOjn39ooAI/1V_DtL2t0Qw.html
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息