登录  | 加入社区

黑狼游客您好!登录后享受更多精彩

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

查看: 440|回复: 0

利用DockerCompose摆设FATEv1.5.0

[复制链接]

898

主题

898

帖子

0

现金

黑狼菜鸟

Rank: 1

积分
0
发表于 2020-12-24 03:53:44 | 显示全部楼层 |阅读模式 来自 法国

原标题:利用Docker Compose 摆设FATE v1.5.0

V1l7aQX7OkGAdq39.jpg

题图摄于Austin

(本文作者系 VMware 中国研发云原生实行室工程师,从事联邦学习 FATE/ KubeFATE 开源项目开辟。)

必要参加KubeFATE开源项目讨论群的同砚,请关注本公众号后复兴 “ kubefate” 即可。

VMware雇用呆板学习和云原生开辟工程师

FATE 已经发布了首个恒久支持版本,怎样快速体验新版本的FATE来做联邦学习的实行使命呢,接下来我们领导各人一起利用 docker-compose 来快速摆设 FATE v1.5.0 LTS。

本文将引导你在两台 Linux 主机上利用 docker-compose 摆设两方的 FATE集群。(本文为公众号:亨利条记 原创文章)

预备情况

利用 docker-compose 摆设 FATE 必要三台 Linux 的呆板,两个工作机和一个摆设机。

硬件需求

  • 两台工作机
  • 一台摆设机,只必要是 Linux 情况的呆板就可以;

本文利用 VMware Workstation 来新建两台假造机,摆设机利用本机的 Windows 的 WSL 情况,也可以利用上边两台呆板的恣意一台。 (本文为公众号:亨利条记 原创文章)

安装摆设情况信息如下:

d2TBJn22H9CEVQ2v.jpg

睁开全文

本文运行 FATE 的主机利用的是Centos 情况,由于 docker container 的运行不依靠主机操纵体系,以是利用 Ubuntu 也是可以的,不外底子情况设置的下令会有一些差别。

底子情况

这部门必要同时在两个目的呆板上操纵

关闭防火墙

gaNwNZ6245moCOZc.jpg

OZ310ioKEI3RZ05v.jpg

ZBZWw4wcNW4i8w4W.jpg

安装docker

yw58ZPRKQpDQ0GGP.jpg

OdzSv5FSFm3d4doS.jpg

veSY3FOmlU31U2mO.jpg

假如你利用上面的方式安装 docker,不能乐成,也可以利用 docker-ce 其他安装方式 ( http://developer.aliyun.com/mirror/docker-ce)

安装docker-compose # step 1: 下载Docker Compose

sudo curl -L "http://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)"-o /usr/local/bin/docker-compose

# step 2: 增长可实行权限

sudo chmod +x /usr/local/bin/docker-compose

# step 3: 创建指向/usr/bin的符号链接

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

# step 4: 测试安装效果

sudo docker-compose --version

IYPbPoZp07ZiOr8z.jpg

T444hmmQx44m4jYZ.jpg

假如你利用上面的方式安装docker,不能乐成,也可以利用docker-compose (http://developer.aliyun.com/mirror/docker-toolbox)

新增用户 # 新增用户fate

sudo useradd -s /bin/bash -g docker -d /home/fate fate

# 设置用户暗码

sudo passwd fate

ElA31k133mcoAQgq.jpg

B2224Nn4O0F55JP5.jpg

设置免密

这部门必要在摆设机上操纵

# step 1: 天生公私钥

ssh-keygen

# step 2: 发送到partyA

ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

# step 3: 发送到partyB

ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

M0akdH94O93J7hC3.jpg

安装FATE

安装 FATE 比力简朴,只必要下载相应的安装包,解压,设置,安装就可以了。接下来是详细操纵: (本文为公众号:亨利条记 原创文章)

下载安装包

在摆设机下载 FATE 的 docker-compose 安装包

eHpKYfFy1hGyWPzE.jpg

Bp3efZE7RP13y3CE.jpg

FATE的各个版本的安装包都可以在这里找到

http://github.com/FederatedAI/KubeFATE/releases

修改设置

我们在partyA上摆设9999,在partyB上摆设10000,按次序填写party_id和party_ip。

LDS13wPyKs3G993P.jpg

重要修改 party_ip_list serving_ip_list ,其他的可以默认稳定。 假如想要利用spark盘算引擎,修改 computing_backend=spark 即可。

V88ZAVuJlf5JdXVj.jpg

第一次摆设的时间镜像必要从docker hub下载,由于国内用户常常不能链接docker hub,可以利用hub.c.163.com的镜像,只必要设置RegistryURI就可以。

UDXX5PEVV57RWp6w.jpg

天生安装包

根据上文的设置天生相对应的安装文件包

bash generate_config.sh

oAn7q6FzmpffobA7.jpg

这一步会天生摆设FATE的两方的全部tar包。假如修改了设置文件 parties.conf大概 .env,那么就必要重新天生安装包。

摆设

摆设两边的FATE和FATE-Serving

bash docker_deploy.sh all

X83jQH7338886Peq.jpg

这一步会通过scp和ssh的方式将tar包拷贝到目的主机的对应目次,然后启动FATE集群。 (本文为公众号:亨利条记 原创文章)

这里利用了参数 all 直接摆设了party10000和party9999的FATE与FATE-Serving,假如想要只摆设一个部门,可以参考这里的 具体利用(http://github.com/FederatedFATE/tree/v1.5.0/docker-deploy-deploy#deploying-fate-to-target-hosts )

查抄FATE是否摆设乐成

SSnsLPLTA111kPd0.jpg

cv1YmaGHV75c3YmV.jpg

P98Ob1Bahe830oW3.jpg

rsARaBMRbW28CL87.jpg

全部的组件状态都是Up而且python容器中出现"* Running on http://x.x.x.x:9380/ (Press CTRL+C to quit)"的日记消息代表FATE已经乐成启动。

测试FATE是否摆设乐成

zruQK7ZzRH34Xk7X.jpg

k1GbGZKqQzJ7910L.jpg

XaLA6h6o7OL81fL5.jpg

GHOtJ9UjPztpTGIH.jpg

L636845x64866TIo.jpg

表现job status is running代表使命已经开始运行,而且出现"success to calculate secure_sum, it is 2000.0"代表使命已经乐成。 (本文为公众号:亨利条记 原创文章)

利用FATE

在利用WSL摆设的时间,屏幕表现有 fateboard 和 notebook 的地点

Y6tdbE44b3Ky033T.jpg

检察fateboard

在欣赏器分别打开两边的fateboard

  • partyA: http://192.168.0.9:8080
  • partyB: http://192.168.0.10:8080

NAarRK8ozaPRNWxR.jpg

u50a6A2ciXpHiFp0.jpg

iMNwN7K4wwvdNvC4.jpg

利用notebook

检察notebook

  • partyA: http://192.168.0.9:20000
  • partyB: http://192.168.0.10:20000

C4eG7i22gigI80N2.jpg

利用notebook运行toy_example

step 1:打开 partyA 的 notebook 内里的 toy_example 的示例:

http://192.168.0.9:20000/notebooks/Toy_Example/toy_example_submit_job.ipynb

nAhQ0HH0UqXXChKU.jpg

step 2:修改默认的party_id

dqRYArFRoF2dYofr.jpg

step 3:运行toy_example

B5ge7OLgtZtEmt76.jpg

出现success,利用notebook运行toy_example乐成,接下来利用notebook完成本身的联邦学习模子建立吧! (本文为公众号:亨利条记 原创文章)

必要参加KubeFATE开源项目讨论群的同砚,请关注本公众号后复兴 “ kubefate” 即可。

参考文档:

http://github.com/FederatedAI/KubeFATE/blob/v1.5.0/docker-deploy/README.md

http://github.com/FederatedAI/FATE/blob/v1.5.0/examples/toy_example/README.md

接待点 “在看”和赞。返回搜狐,检察更多

责任编辑:





上一篇:国产物牌或首发液态镜头,它会成为手机照相的来日诰日吗? ...
下一篇:2020年云原生技能关键趋势总结
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

 

QQ|申请友链|小黑屋|手机版|Hlshell Inc. ( 豫ICP备16002110号-5 )

GMT+8, 2024-6-2 06:37 , Processed in 0.192272 second(s), 47 queries .

HLShell有权修改版权声明内容,如有任何爭議,HLShell將保留最終決定權!

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表