澳门新葡新京网址网盘被关,极客自救教程

网盘被关,极客自救教程

• 2016年11月11日18:54 • 飞象网

   个人用户无法避免地需要迁移数据,或是在担惊受怕中尽早寻求安全地数据备份。所幸他们发现能够用“工业级别”的美团云对象存储服务搭建一个绿色的个人网盘。

  最近个人网盘服务纷纷宣布整改关闭。个人用户无法避免地需要迁移数据,或是在担惊受怕中尽早寻求安全地数据备份。所幸他们发现能够用“工业级别”的美团云对象存储服务搭建一个绿色的个人网盘。

  通过对象存储搭建的个人网盘,有着极低的成本,上传下载速度秒杀个人网盘,数据可加密,数据存储持久稳定有保障。虽然官方并不提供直接的个人网盘客户端,但是美团云对象存储支持S3协议,用户能够轻而易举地通过第三方客户端,分分钟将对象存储搭建成个人网盘,并且在Windows,mac,iPhone,Android等跨平台使用。

  以下是搭建个人网盘教程

  工具:美团云对象存储、第三方客户端

  1. 首先,登陆美团云官方网站
mos.meituan.com,注册账户。如果在美团上注册过账号,可以直接登陆。 

   2. 进入“控制台”,点击左侧工具栏里的“API”,记录下美团云账户的access
key和secret key。

  3. 进入“控制台”,点击左侧工具栏里的“对象存储”,并创建bucket。

  4. 第三方客户端下载

  支持s3协议的客户端分两种,一种以应用程序的形式,将s3
server上的bucket,object信息显示出来,提供s3的访问管理功能;另一种以文件系统的形式,分配盘符将s3挂载到虚拟磁盘上,向操作本地文件一样管理远端文件。

  支持美团云对象存储的客户端很多,简单做了个调查,下面收集了一些相关客户端的信息,均测试可用:  

    – CloudBerry Explorer(应用程序)

  收费方式:免费版/专业版

  操作系统:windows

  地址:www.cloudberrylab.com

  - Cyber Duck(应用程序)

澳门新葡新京网址,  收费方式:开源免费

  操作系统:windows/mac

  地址:cyberduck.io

  - TntDrive(文件系统)

  收费方式:收费可试用

  操作系统:windows

  地址:tntdrive.com

  5. 以CloudBerry为例的配置过程(适用于windows系统)

  如下图,添加一个兼容s3协议的账户,服务端api填写mtmss.com,然后填写美团云账户的access
key,secret
key,就可以连接到自己的远端存储系统,开始使用了。

  客户端不同程度的实现了s3协议,诸如加密,设置权限信息,生成访问url,设置http头,大文件分片上传等。

  添加账户:

澳门新葡新京网址 1

  配置连接信息:

澳门新葡新京网址 2

  进入使用界面:

澳门新葡新京网址 3

  如何配置通过windows explorer访问

  相比于应用程序提供功能,挂载为文件系统,通过windows
explorer访问可能更贴合操作本地文件的使用习惯,对文件的修改可实时同步到远端存储。

  可以下载TntDrive,添加远端存储到本地虚拟磁盘的映射,还是同样的配置,注意存储类型选择s3协议存储即可。

  TntDrive配置连接信息:

澳门新葡新京网址 4

  大功告成,远端存储挂载为虚拟磁盘:

澳门新葡新京网址 5

  6. 以Cyberduck 为例的配置过程(适用于mac系统)  如果使用 Cyberduck
5.0 或更新版本,请先下载 S3 AWS2 Signature Version
(HTTPS).cyberduckprofile  下载地址:  下载、运行后,点击
Cyberduck 界面上的「新建连接」,协议选择 S3(Amazon Simple Storge
Service)

澳门新葡新京网址 6

  如图输入服务器 mtmss.com,及从美团云网页版控制台获取的 key、secre
t,随后点击连接,即可看到已有的 bucket,点进对应
bucket,即可进行上传或下载操作。  (注:客户端无法直接创建
bucket,需要先在美团云网页版控制台新建 bucket
后,才能在客户端看到)  自己动手,丰衣足食!使用放心稳定的云存储,为自己的数据做好保障吧。

澳门新葡新京网址 7

Amazon S3 和 Google Cloud
Storage
之类的商业云存储服务以能承受的价格提供了高可用性、可扩展、无限容量的对象存储服务。为了加速这些云产品的广泛采用,这些提供商为他们的产品通过明确的
API 和 SDK
培养了一个良好的开发者生态系统。而基于云的文件系统便是这些活跃的开发者社区中的典型产品,已经有了好几个开源的实现。

文件共享是团队协作的刚需,面对说停就停的网盘服务,很多同学除了心塞已经开始盘算搭建自己的网盘应用了。

S3QL
便是最流行的开源云端文件系统之一。它是一个基于 FUSE
的文件系统,提供了好几个商业或开源的云存储后端,比如 Amazon S3、Google
Cloud Storage、Rackspace CloudFiles,还有
OpenStack。作为一个功能完整的文件系统,S3QL 拥有不少强大的功能:最大 2T
的文件大小、压缩、UNIX
属性、加密、基于写入时复制的快照、不可变树、重复数据删除,以及软、硬链接支持等等。写入
S3QL
文件系统任何数据都将首先被本地压缩、加密,之后才会传输到云后端。当你试图从
S3QL
文件系统中取出内容的时候,如果它们不在本地缓存中,相应的对象会从云端下载回来,然后再即时地解密、解压缩。

ownCloud 是一个开源免费的存储管理工具,它能帮你快速架设一套专属的网盘服务,可以像
Dropbox 那样实现文件跨平台同步、共享、版本控制、团队协作等等。

澳门新葡新京网址 8

然而在VPS上搭建ownCloud是一件费时费力的工作,除此之外更需要考虑数据的可靠性、备份等工作。

需要明确的是,S3QL 的确也有它的限制。比如,你不能把同一个 S3FS
文件系统在几个不同的电脑上同时挂载,只能有一台电脑同时访问它。另外,ACL(访问控制列表)也并没有被支持。

本文将利用阿里云容器服务在几分钟内轻松搭建一个基于Docker的ownCloud专属网盘,并使用阿里云提供的OSS(Object
Storage Service,对象存储服务)作为高可靠、低成本的云存储后端。

在这篇教程中,我将会描述“如何基于 Amazon S3 用 S3QL
配置一个加密文件系统”。作为一个使用范例,我还会说明如何在挂载的 S3QL
文件系统上运行 rsync 备份工具。

创建 OSS bucket

准备工作

本教程首先需要你创建一个 Amazon AWS
帐号(注册是免费的,但是需要一张有效的信用卡)。

然后 创建一个 AWS access key(access key ID 和
secret access key),S3QL 使用这些信息来访问你的 AWS 帐号。

之后通过 AWS 管理面板访问 AWS S3,并为 S3QL 创建一个新的空 bucket。

澳门新葡新京网址 9

为最佳性能考虑,请选择一个地理上距离你最近的区域。

澳门新葡新京网址 10

首先你需要创建一个和容器服务处于同一区域中的bucket,这样容器应用可以通过内网地址来访问bucket中存储的文件数据,提升访问速度并节省公网带宽

在 Linux 上安装 S3QL

在大多数 Linux 发行版中都有预先编译好的 S3QL 软件包。

澳门新葡新京网址 11

对于 Debian、Ubuntu 或 Linux Mint:

  1. $ sudo apt-get install s3ql

创建 OSS 数据卷

对于 Fedora:

  1. $ sudo yum install s3ql

对于 Arch Linux,使用 AUR。

数据卷是Docker提供的容器储存模型:可以实现容器和数据生命周期的解耦,当容器被删除或重建之后数据依然存在;提供了可扩展的插件机制,支持不同的存储实现。

首次配置 S3QL

在 ~/.s3ql 目录中创建 autoinfo2 文件,它是 S3QL
的一个默认的配置文件。这个文件里的信息包括必须的 AWS access key,S3
bucket
名,以及加密口令。这个加密口令将被用来加密一个随机生成的主密钥,而主密钥将被用来实际地加密
S3QL 文件系统数据。

  1. $ mkdir ~/.s3ql
  2. $ vi ~/.s3ql/authinfo2

  1. [s3]
  2. storage-url:
    s3://[bucket-name]
  3. backend-login:[your-access-key-id]
  4. backend-password:[your-secret-access-key]
  5. fs-passphrase:[your-encryption-passphrase]

指定的 AWS S3 bucket 需要预先通过 AWS 管理面板来创建。

为了安全起见,让 authinfo2 文件仅对你可访问。

  1. $ chmod 600~/.s3ql/authinfo2

阿里云容器服务内置了针对阿里云的数据卷驱动,支持不同类型的云存储服务:包括NAS(文件存储服务
NFS),OSS(对象存储服务,OSSFS)和云盘(即将推出)。关于数据卷的详细信息可以参阅帮助文档

创建 S3QL 文件系统

现在你已经准备好可以在 AWS S3 上创建一个 S3QL 文件系统了。

使用 mkfs.s3ql 工具来创建一个新的 S3QL 文件系统。这个命令中的 bucket
名应该与 authinfo2 文件中所指定的相符。使用“–ssl”参数将强制使用 SSL
连接到后端存储服务器。默认情况下,mkfs.s3ql 命令会在 S3QL
文件系统中启用压缩和加密。

  1. $ mkfs.s3ql s3://[bucket-name] –ssl

你会被要求输入一个加密口令。请输入你在 ~/.s3ql/autoinfo2
中通过“fs-passphrase”指定的那个口令。

如果一个新文件系统被成功创建,你将会看到这样的输出:

澳门新葡新京网址 12

OSSFS 能把OSS
bucket挂载到本地像访问本地文件一样操作云端存储数据,非常适合文件存储类型的应用。我们可以在容器服务控制台的“数据卷”页面,方便地为指定集群创建一个“OSS”类型的数据卷

挂载 S3QL 文件系统

当你创建了一个 S3QL 文件系统之后,下一步便是要挂载它。

首先创建一个本地的挂载点,然后使用 mount.s3ql 命令来挂载 S3QL 文件系统。

  1. $ mkdir ~/mnt_s3ql
  2. $ mount.s3ql s3://[bucket-name] ~/mnt_s3ql

挂载一个 S3QL 文件系统不需要特权用户,只要确定你对该挂载点有写权限即可。

视情况,你可以使用“–compress”参数来指定一个压缩算法(如
lzma、bzip2、zlib)。在不指定的情况下,lzma
将被默认使用。注意如果你指定了一个自定义的压缩算法,它将只会应用到新创建的数据对象上,并不会影响已经存在的数据对象。

  1. $ mount.s3ql –compress bzip2 s3://[bucket-name] ~/mnt_s3ql

因为性能原因,S3QL
文件系统维护了一份本地文件缓存,里面包括了最近访问的(部分或全部的)文件。你可以通过“–cachesize”和“–max-cache-entries”选项来自定义文件缓存的大小。

如果想要除你以外的用户访问一个已挂载的 S3QL
文件系统,请使用“–allow-other”选项。

如果你想通过 NFS 导出已挂载的 S3QL
文件系统到其他机器,请使用“–nfs”选项。

运行 mount.s3ql 之后,检查 S3QL 文件系统是否被成功挂载了:

  1. $ df ~/mnt_s3ql
  2. $ mount | grep s3ql

澳门新葡新京网址 13

澳门新葡新京网址 14

卸载 S3QL 文件系统

想要安全地卸载一个(可能含有未提交数据的)S3QL 文件系统,请使用
umount.s3ql
命令。它将会等待所有数据(包括本地文件系统缓存中的部分)成功传输到后端服务器。取决于等待写的数据的多少,这个过程可能需要一些时间。

  1. $ umount.s3ql ~/mnt_s3ql

配置如下:
数据卷名: owncloud ,也可以选择其他值,这个需要和下文模板中引用volume保持一致

查看 S3QL 文件系统统计信息及修复 S3QL 文件系统

若要查看 S3QL 文件系统统计信息,你可以使用 s3qlstat
命令,它将会显示诸如总的数据、元数据大小、重复文件删除率和压缩率等信息。

  1. $ s3qlstat ~/mnt_s3ql

澳门新葡新京网址 15

你可以使用 fsck.s3ql 命令来检查和修复 S3QL 文件系统。与 fsck
命令类似,待检查的文件系统必须首先被卸载。

  1. $ fsck.s3ql s3://[bucket-name]

AccessKey ID和AccessKey Secret:可以从当前用户账号的“accesskeys”中获得

S3QL 使用案例:Rsync 备份

让我用一个流行的使用案例来结束这篇教程:本地文件系统备份。为此,我推荐使用
rsync 增量备份工具,特别是因为 S3QL 提供了一个 rsync
的封装脚本(/usr/lib/s3ql/pcp.py)。这个脚本允许你使用多个 rsync
进程递归地复制目录树到 S3QL 目标。

  1. $ /usr/lib/s3ql/pcp.py
    -h

澳门新葡新京网址 16

下面这个命令将会使用 4 个并发的 rsync 连接来备份 ~/Documents
里的所有内容到一个 S3QL 文件系统。

  1. $ /usr/lib/s3ql/pcp.py
    -a –quiet –processes=4~/Documents ~/mnt_s3ql

这些文件将首先被复制到本地文件缓存中,然后在后台再逐步地同步到后端服务器。

若想了解与 S3QL
有关的更多信息,如自动挂载、快照、不可变树,我强烈推荐阅读
官方用户指南。欢迎告诉我你对 S3QL
怎么看,以及你对任何其他工具的使用经验。

本文永久更新链接地址:http://www.linuxidc.com/Linux/2014-12/110137.htm

澳门新葡新京网址 17

澳门新葡新京网址 18

其他参数值:输入 -o noxattr 来提升数据卷性能

访问域名:根据当前集群的网络方式,选择“内网域名”或者“VPC域名”来访问OSS
bucket。

文件缓存:选择 打开 可以提升访问性能

值得注意的是:OSS和NAS类型的数据卷都是全局(global)数据卷,会出现在集群中任何一个节点上。如果容器指明了重新调度配置,即使所在节点挂掉,可以自动在其他健康节点上重新恢复,而相同数据卷依然可以mount到容器指定目录上,不会导致数据丢失。

创建编排模板

在编排模板列表页面,创建如下编排模板

owncloud:
 image: owncloud:9
 restart: always
 links:
  - mysql:mysql
 volumes:
  - owncloud:/owncloud
 labels:
  aliyun.routing.port_80: 'owncloud'
mysql:
 image: mysql:5.7
 restart: always
 environment:
  MYSQL_ROOT_PASSWORD: changeme

注释:

这里使用了 ownCloud的官方Docker镜像 和 MySQL的官方Docker镜像 。ownCloud应用容器利用容器别名 mysql 来关联MySQL容器。
利用 aliyun.routing.port_80:
‘owncloud’ 标签指明了用于访问网盘应用的虚拟域名
利用 volumes 中的数据卷映射,把我们创建出来的OSS数据卷 owncloud 挂载到容器的 /owncloud 目录。使用编排模板部署ownCloud应用

选择编排模板,点击部署应用。片刻之后,应用就会部署成功

澳门新葡新京网址 19

选择owncloud服务,并点击访问端点

澳门新葡新京网址 20

在浏览器中就可以看到ownCloud的配置界面了

澳门新葡新京网址 21

输入管理员账号和密码之后,选择“存储&数据库”进行配置。ownCloud
缺省会使用SQLite作为数据库,并使用本地文件系统来保持数据文件。请按如下界面修改配置

澳门新葡新京网址 22

注意:

数据目录: 输入 /owncloud/data 这里面/owncloud是OSS
bucket在容器中的挂载点 配置数据库:选择 MySQL/MariaDB 数据库用户:
输入 root 数据库密码: 输入编排模板中对应数据库ROOT密码 数据库名称:
输入 owncloud 数据库地址: 输入 mysql 连接MySQL数据库容器

点击“安装完成”,片刻之后下面的页面会出现

澳门新葡新京网址 23

使用ownCloud应用

这时候你的专属网盘就成功建立起来了。不但可以上传文件,还可以为文件生成“分享链接”。

澳门新葡新京网址 24

收到链接的小伙伴,就能看到你送来的满满的节日祝福了

澳门新葡新京网址 25

ownCloud还有很多玩法,本文不再赘述。

总结

数据卷是Docker支持有状态应用的重要机制。合理选择不同的数据卷类型可以让你更好地管理应用中的持久化数据。

阿里云容器服务完全兼容Docker数据卷机制,同时内置了对阿里云存储服务的支持,无需编程就可以使用不同的存储能力。

您可能感兴趣的文章:

  • 详解如何在 Docker 中设置 Go
    并部署应用
  • 在docker中部署tomcat并且部署java应用程序的步骤详解
  • 在Docker上开始部署Python应用的教程
  • 在Docker快速部署Node.js应用的详细步骤
  • Ubuntu Docker
    的安装部署及简单应用
  • 使用Docker部署 spring-boot
    maven应用的方法
  • 使用Docker部署Spring
    Boot的应用示例
  • Docker实践–部署Nodejs应用
  • .Net
    Core自动化部署之利用docker版jenkins部署dotnetcore应用的方法
  • Docker
    Cloud实现部署应用操作详解
网站地图xml地图