Docker 持久化存储和数据共享_Volume
2018-08-23 16:28
816 查看
有些容器会自动产生一些数据,为了不让数据随着container的消失而消失,保证数据的安全性。例如:数据库容器,数据表的表会产生一些数据,如果我把container给删除,数据就丢失。为了保证数据不丢失,这就有了Volume的存在。
Volume 是保存Docker容器生成和使用的数据的首选机制。虽然 bind mounts 依赖于主机的目录结构,但Volume完全由Docker管理。Volume绑定安装有几个优点:
与bind mounts入相比,Volume更易于备份或迁移。
您可以使用Docker CLI命令或Docker API管理Volume。
Volume适用于Linux和Windows容器。
可以在多个容器之间更安全地共享Volume。
Volume驱动程序允许您在远程主机或云提供程序上存储Volume,加密Volume的内容或添加其他功能。
新Volume可以通过容器预先填充其内容。
此外,Volume通常是比容器的可写层中的持久数据更好的选择,因为Volume不会增加使用它的容器的大小,并且Volume的内容存在于给定容器的生命周期之外。
Data Volume 结构图
如果容器生成非持久状态数据,请考虑使用 tmpfs挂载以避免将数据永久存储在任何位置,并通过避免写入容器的可写层来提高容器的性能。
Volume使用
新用户应该尝试
如果需要指定Volume选项,则必须使用
对于命名卷,第一个字段是Volume的名称,并且在给定主机上是唯一的。对于anonymous volumes,省略第一个字段。
第二个字段是文件或目录在容器中安装的路径。
第三个字段是可选的,是逗号分隔的选项列表,例如
转义外部CSV解析器的值
如果您的volume驱动程序接受以逗号分隔的列表作为选项,则必须从外部CSV解析器中转义该值。要转义a
例如,
下面的示例显示了可能的语法
与bind mounts相反,anonymous volumes的所有选项都可用于 标记
使用具有服务的anonymous volumes时,仅
Create a volume:
List volumes:
Inspect a volume:
Remove a volume:
所述
-v
使用
这表明mount是一个volume,它显示正确的源和目标,并且mount是可读写的。
停止容器并移除volume。注意删除volume是一个单独的步骤。
以下示例启动
使用
删除服务,停止其所有任务:
删除服务不会删除该服务创建的任何volume。Volume removal是一个单独的步骤。
为了说明这一点,此示例启动一个
这些
运行这些示例之一后,运行以下命令以清理容器和volume。注意删除volume是一个单独的步骤。
此示例修改上面的一个,但通过
这些
使用
停止并取出容器,然后取出volume。去除volume是一个单独的步骤。
在开发应用程序时,有几种方法可以实现此目的。一种是为应用程序添加逻辑,以将文件存储在Amazon S3等云对象存储系统上。另一种方法是使用支持将文件写入NFS或Amazon S3等外部存储系统的驱动程序创建volume。
volume驱动程序允许您从应用程序逻辑中抽象底层存储系统。例如,如果您的服务使用具有NFS驱动程序的volume,则可以更新服务以使用其他驱动程序,例如在云中存储数据,而无需更改应用程序逻辑。
在Docker主机上,安装
启动新容器并从
挂载本地主机目录为
将
当命令完成并且容器停止时,我们将留下我们
例如,创建一个名为的新容器
然后解压缩新容器的数据volume中的备份文件:
您可以使用上述技术使用首选工具自动执行备份,迁移和还原测试。
例如,命名volume在容器外部具有特定的源表单
匿名volume没有特定的源,因此在删除容器时,指示Docker Engine守护程序删除它们。
例子:
以官方镜像mysql的dockerfile文件为例 。其中dockerfile通过volume指定了当前容器中要备份的文件路径,但是并没有指定说要保存到宿主机的哪个位置。
volume:映射容器中的文件到本地宿主机硬盘中
在我们使用
启动mysql镜像容器的时候,容器会默认在宿主机生成一个volume,至于位置在哪,名字是什么,可以通过如下命令查看
此时我们删除容器,发现volume数据卷还在,有保留。
此时我们会觉得这个data volume name 的名字很长,很不好理解。我们可以通过
:前参数是volume name, :后面的是要备份的文件目录(容器)
此时我们删除容器,volume数据卷还在,我们用这个名为mysql的volume作为一个新容器的数据卷,覆盖它。
进入mysql2容器中,mysql -uroot 进入数据库中,发现当前数据库数据和之前删除的容器中的数据库数据一样。
Volume 是保存Docker容器生成和使用的数据的首选机制。虽然 bind mounts 依赖于主机的目录结构,但Volume完全由Docker管理。Volume绑定安装有几个优点:
与bind mounts入相比,Volume更易于备份或迁移。
您可以使用Docker CLI命令或Docker API管理Volume。
Volume适用于Linux和Windows容器。
可以在多个容器之间更安全地共享Volume。
Volume驱动程序允许您在远程主机或云提供程序上存储Volume,加密Volume的内容或添加其他功能。
新Volume可以通过容器预先填充其内容。
此外,Volume通常是比容器的可写层中的持久数据更好的选择,因为Volume不会增加使用它的容器的大小,并且Volume的内容存在于给定容器的生命周期之外。
Data Volume 结构图
如果容器生成非持久状态数据,请考虑使用 tmpfs挂载以避免将数据永久存储在任何位置,并通过避免写入容器的可写层来提高容器的性能。
Volume使用
rprivate绑定传播,并且Volume不可配置绑定传播。
选择-v或--mount标志
最初,-v或者
--volume标志用于独立容器,
--mount标志用于群集服务。但是,从Docker 17.06开始,您还可以使用
--mount独立容器。一般来说,
--mount更明确和冗长。最大的区别在于
-v语法将所有选项组合在一个字段中,而
--mount语法将它们分开。以下是每个标志的语法比较。
新用户应该尝试
--mount比
--volume语法更简单的语法。
如果需要指定Volume选项,则必须使用
--mount。
-v或
--volume:由三个字段组成,用冒号字符(
:)分隔。字段必须按正确的顺序排列,并且每个字段的含义不是很明显。
对于命名卷,第一个字段是Volume的名称,并且在给定主机上是唯一的。对于anonymous volumes,省略第一个字段。
第二个字段是文件或目录在容器中安装的路径。
第三个字段是可选的,是逗号分隔的选项列表,例如
ro。这些选项将在下面讨论。
--mount:由多个键值对组成,以逗号分隔,每个键
<key>=<value>组由一个元组组成。该
--mount语法比更详细的
-v或
--volume,但按键的顺序并不显著,并且标志的价值更容易理解。
type安装件,其可以是
bind,
volume,或
tmpfs。本主题讨论volumes,因此类型始终是
volume。
source安装的。对于命名卷,这是volume的名称。对于anonymous volumes,省略此字段。可以指定为
source或
src。
destination文件或目录安装在容器中的路径作为其值。可以指定为
destination,
dst或
target。
readonly选项(如果存在)导致绑定装入以只读方式装入容器中。
volume-opt选项可以多次指定,它采用由选项名称及其值组成的键值对。
转义外部CSV解析器的值
如果您的volume驱动程序接受以逗号分隔的列表作为选项,则必须从外部CSV解析器中转义该值。要转义a
volume-opt,用双引号括起来(
")并用单引号括起整个mount参数(
')。
例如,
local驱动程序接受mount选项作为
o参数中以逗号分隔的列表。此示例显示了转义列表的正确方法。
$ docker service create \ --mount 'type=volume,src=<VOLUME-NAME>,dst=<CONTAINER-PATH>,volume-driver=local,volume-opt=type=nfs,volume-opt=device=<nfs-server>:<nfs-path>,"volume-opt=o=addr=<nfs-address>,vers=4,soft,timeo=180,bg,tcp,rw"' --name myservice \ <IMAGE>[/code]
下面的示例显示了可能的语法
--mount和
-v语法,并
--mount首先给出。
-v
和--mount
行为之间的差异
与bind mounts相反,anonymous volumes的所有选项都可用于 标记--mount和
-v标记。
使用具有服务的anonymous volumes时,仅
--mount支持。
创建和管理volume
与bind mounts不同,您可以创建和管理任何容器范围之外的volume。Create a volume:
$ docker volume create my-vol[/code]
List volumes:
$ docker volume ls local my-vol[/code]
Inspect a volume:
$ docker volume inspect my-vol [ { "Driver": "local", "Labels": {}, "Mountpoint": "/var/lib/docker/volumes/my-vol/_data", "Name": "my-vol", "Options": {}, "Scope": "local" } ][/code]
Remove a volume:
$ docker volume rm my-vol[/code]
启动具有volume的容器
如果启动具有尚不存在volume的容器,Docker会为您创建volume。以下示例将volumemyvol2装入
/app/容器中。
所述
-v和
--mount以下实施例产生相同的结果。除非在运行第一个
devtest容器和
myvol2volume之后删除容器和volume,否则不能同时运行它们。
--mount
$ docker run -d \ --name devtest \ --mount source=myvol2,target=/app \ nginx:latest[/code]
-v
$ docker run -d \ --name devtest \ -v myvol2:/app \ nginx:latest
使用
docker inspect devtest验证创建volume并安装正确。寻找
Mounts部分:
"Mounts": [ { "Type": "volume", "Name": "myvol2", "Source": "/var/lib/docker/volumes/myvol2/_data", "Destination": "/app", "Driver": "local", "Mode": "", "RW": true, "Propagation": "" } ],[/code]
这表明mount是一个volume,它显示正确的源和目标,并且mount是可读写的。
停止容器并移除volume。注意删除volume是一个单独的步骤。
$ docker container stop devtest $ docker container rm devtest $ docker volume rm myvol2[/code]
使用volume启动服务
启动服务并定义volume时,每个服务容器都使用自己的本地volume。如果使用localvolume驱动程序,则所有容器都不能共享此数据,但某些volume驱动程序确实支持共享存储。Docker for AWS和Docker for Azure都使用Cloudstor插件支持持久存储。
以下示例启动
nginx具有四个副本的服务,每个副本使用一个名为的本地volume
myvol2。
$ docker service create -d \ --replicas=4 \ --name devtest-service \ --mount source=myvol2,target=/app \ nginx:latest[/code]
使用
docker service ps devtest-service验证服务正在运行:
$ docker service ps devtest-service ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS 4d7oz1j85wwn devtest-service.1 nginx:latest moby Running Running 14 seconds ago[/code]
删除服务,停止其所有任务:
$ docker service rm devtest-service[/code]
删除服务不会删除该服务创建的任何volume。Volume removal是一个单独的步骤。
服务的语法差异
该docker service create命令不支持
-v或
--volume标志。将volume 安装到服务的容器中时,必须使用该
--mount标志。
使用容器填充volume
如果启动一个创建新volume的容器(如上所述),并且容器在要挂载的目录中具有文件或目录(/app/如上所述),则将目录的内容复制到volume中。然后容器安装并使用该volume,而使用该volume的其他容器也可以访问预先填充的内容。
为了说明这一点,此示例启动一个
nginx容器,并
nginx-vol使用容器
/usr/share/nginx/html目录的内容填充新volume,这是Nginx存储其默认HTML内容的位置。
这些
--mount和
-v示例具有相同的最终结果。
--mount
$ docker run -d \ --name=nginxtest \ --mount source=nginx-vol,destination=/usr/share/nginx/html \ nginx:latest[/code]
-v
$ docker run -d \ --name=nginxtest \ -v nginx-vol:/usr/share/nginx/html \ nginx:latest
运行这些示例之一后,运行以下命令以清理容器和volume。注意删除volume是一个单独的步骤。
$ docker container stop nginxtest $ docker container rm nginxtest $ docker volume rm nginx-vol[/code]
使用只读volume
对于某些开发应用程序,容器需要写入绑定装入,以便将更改传播回Docker主机。在其他时候,容器只需要对数据的读访问权。请记住,多个容器可以安装相同的volume,并且可以为其中一些容器以读写方式挂载,同时为其他容器以只读方式挂载。此示例修改上面的一个,但通过
ro在容器中的挂载点之后添加(默认为空)选项列表,将目录挂载为只读volume.如果存在多个选项,请用逗号分隔。
这些
--mount和
-v示例具有相同的结果。
--mount
$ docker run -d \ --name=nginxtest \ --mount source=nginx-vol,destination=/usr/share/nginx/html,readonly \ nginx:latest[/code]
-v
$ docker run -d \ --name=nginxtest \ -v nginx-vol:/usr/share/nginx/html:ro \ nginx:latest
使用
docker inspect nginxtest验证绑定安装正确创建。寻找
Mounts部分:
"Mounts": [ { "Type": "volume", "Name": "nginx-vol", "Source": "/var/lib/docker/volumes/nginx-vol/_data", "Destination": "/usr/share/nginx/html", "Driver": "local", "Mode": "", "RW": false, "Propagation": "" } ],[/code]
停止并取出容器,然后取出volume。去除volume是一个单独的步骤。
$ docker container stop nginxtest $ docker container rm nginxtest $ docker volume rm nginx-vol[/code]
在机器之间共享数据
构建容错应用程序时,可能需要配置同一服务的多个副本才能访问相同的文件。在开发应用程序时,有几种方法可以实现此目的。一种是为应用程序添加逻辑,以将文件存储在Amazon S3等云对象存储系统上。另一种方法是使用支持将文件写入NFS或Amazon S3等外部存储系统的驱动程序创建volume。
volume驱动程序允许您从应用程序逻辑中抽象底层存储系统。例如,如果您的服务使用具有NFS驱动程序的volume,则可以更新服务以使用其他驱动程序,例如在云中存储数据,而无需更改应用程序逻辑。
使用音量驱动程序
使用创建volume时docker volume create,或者启动使用尚未创建的volume的容器时,可以指定volume驱动程序。以下示例使用
vieux/sshfsvolume驱动程序,首先在创建独立volume时使用,然后在启动创建新volume的容器时使用。
初始设置
此示例假定您有两个节点,第一个节点是Docker主机,可以使用SSH连接到第二个节点。在Docker主机上,安装
vieux/sshfs插件:
$ docker plugin install --grant-all-permissions vieux/sshfs[/code]
使用卷驱动程序创建volume
此示例指定SSH密码,但如果两台主机配置了共享密钥,则可以省略密码。每个卷驱动程序可以具有零个或多个可配置选项,每个选项都使用-o标志指定。
$ docker volume create --driver vieux/sshfs\[/code]
-o sshcmd=test@node2:/home/test \
-o password=testpassword \
sshvolume
启动使用volume驱动程序创建volume的容器
此示例指定SSH密码,但如果两台主机配置了共享密钥,则可以省略密码。每个volume驱动程序可以具有零个或多个可配置选项。如果volume驱动程序要求您传递选项,则必须使用该--mount标志来装入volume,而不是
-v。
$ docker run -d \[/code]
--name sshfs-container \
--volume-driver vieux/sshfs\
--mount src=sshvolume,target=/app,volume-opt=sshcmd=test@node2:/home/test,volume-opt=password=testpassword \
nginx:latest
备份,还原或迁移数据volume
volume对备份,还原和迁移很有用。使用该--volumes-from标志创建一个安装该volume的新容器。
备份容器
例如,在下一个命令中,我们:启动新容器并从
dbstore容器装入volume
挂载本地主机目录为
/backup
将
dbdatavolume内容的命令传递给目录中的
backup.tar文件
/backup。
$ docker run --rm --volumes-from dbstore -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata[/code]
当命令完成并且容器停止时,我们将留下我们
dbdatavolume的备份。
从备份还原容器
使用刚刚创建的备份,您可以将其还原到同一容器或您在其他位置创建的另一个容器。例如,创建一个名为的新容器
dbstore2:
$ docker run -v /dbdata--name dbstore2 ubuntu /bin/bash[/code]
然后解压缩新容器的数据volume中的备份文件:
$ docker run --rm --volumes-from dbstore2 -v $(pwd):/backup ubuntu bash -c "cd /dbdata&& tar xvf /backup/backup.tar --strip 1"[/code]
您可以使用上述技术使用首选工具自动执行备份,迁移和还原测试。
删除volume
删除容器后,Docker数据卷仍然存在。要考虑两种类型的volume:例如,命名volume在容器外部具有特定的源表单
awesome:/bar。
匿名volume没有特定的源,因此在删除容器时,指示Docker Engine守护程序删除它们。
删除匿名volume
要自动删除匿名volume,请使用该--rm选项。例如,此命令创建匿名
/foovolume。移除容器后,Docker Engine会删除
/foovolume但不会删除
awesomevolume。
$ docker run --rm -v /foo-v awesome:/bar busybox top[/code]
删除所有volume
要删除所有未使用的volume并释放空间:$ docker volume prune[/code]
例子:
以官方镜像mysql的dockerfile文件为例 。其中dockerfile通过volume指定了当前容器中要备份的文件路径,但是并没有指定说要保存到宿主机的哪个位置。
volume:映射容器中的文件到本地宿主机硬盘中
在我们使用
docker run
启动mysql镜像容器的时候,容器会默认在宿主机生成一个volume,至于位置在哪,名字是什么,可以通过如下命令查看
#查看所有 volumedocker volume ls #删除指定 volumedocker volume rm [volume name] #查看volume详细 docker volume inspect [volume name]
此时我们删除容器,发现volume数据卷还在,有保留。
此时我们会觉得这个data volume name 的名字很长,很不好理解。我们可以通过
-v如下命令来指定生成的volume name
docker run -d -v mysql:/var/lib/mysql --name mysql mysql5.7
-v
:前参数是volume name, :后面的是要备份的文件目录(容器)
此时我们删除容器,volume数据卷还在,我们用这个名为mysql的volume作为一个新容器的数据卷,覆盖它。
docker run -d -v mysql:/var/lib/mysql --name mysql2 mysql5.7
进入mysql2容器中,mysql -uroot 进入数据库中,发现当前数据库数据和之前删除的容器中的数据库数据一样。
相关文章推荐
- 『中级篇』docker的数据持久化存储和数据共享(32)
- 详解Docker的持久化存储和数据共享
- [Docker] 容器持久化数据的首选机制 Volume
- Docker 存储之数据卷(Volume)
- docker 系列 - 容器数据持久化和数据共享
- SUN平台,光纤共享存储互斥失败导致的数据灾难恢复
- Android的数据持久化存储
- [转]使用 PHP 直接在共享内存中存储数据集
- 【数据存储全方案,详解 持久化技术】实现记住密码功能
- 关于 Unity3D 持久化数据存储的笔记 之 PlayerPrefs
- iphone开发常用的持久化存储数据的策略
- 如何共享数据?- 每天5分钟玩转 Docker 容器技术(41)
- iOS文件使用总结(数据持久化存储)
- 《第一行代码》第二版 学习总结12 数据持久化之本地文件存储
- IOS数据持久化存储机制
- docker之数据存储
- android 开发-数据存储之共享参数
- 【Android 开发】:数据存储之 SharedPreference 共享参数
- Android教程 -09 数据的持久化存储
- centos7下安装docker(13.2容器数据共享)