CloudSuite环境搭建
2013-10-28 10:55
134 查看
2016-4-13更新:
CloudSuite已经更新到3.0版本,安装方式发生了很大的变化,本文不再有效。
现在CloudSuite采用Docker镜像的方式分发,只需要安装Docker后docker pull几个镜像就可以运行了,十分简单。
Docker是利用Linux Kernel中的容器技术,做的轻量级虚拟化。和虚拟机的类似之处在于直接下载镜像文件即可运行。和虚拟机不同之处在于,性能损失非常小,但当前也做不到绝对的隔离。
1.http://parsa.epfl.ch/cloudsuite/cloudsuite.html CloudSuit是一套用于测试服务器云服务性能的工具,我们采用这套软件提供的测试工具进行测试,同时用Pin来记录对于内存的访问情况,以便进行后续的分析。
2.系统安装:Fedora 19,在数次进入安装的过程中遭遇黑屏重启后,意识到了Fedora19采用了GNOME3,很可能是显卡的问题。于是选择basic graphical mode,成功安装。(SSD果然神速)
3.系统配置:Fedora19虽然也用的是RPM包,但和OpenSUSE强大的YaST不同,我们需要用yum来进行包管理。yum的具体使用,查看man就能知晓不少,不过常用的也就update和install。/etc/yum.repos.d/下是所有的源的配置文件。显卡驱动一直是Linux用户的心病,所以就不强求了,有1024×768就够用了,虽然是1065×1028的显示器。(应该是这个分辨率)数次安装Nvidia的官方驱动,最终都以640*480的分辨率告败。
4.Benchmark 1:Data Analytics 采用Mahout提供的库,基于Hadoop,对Wikipedia的全部数据进行分析。
5.Hadoop配置:新建用户组,添加用户,修改密码;配置SSH,启用sshd服务,生成密钥,注意修改密钥的权限为只读;解压Hadoop,设置所属用户,修改配置文件;格式化HDFS;尝试启动和停止Hadoop。
6.Maven配置:Mahout需要使用Maven来进行编译安装;编译Maven;设置环境变量,加入到PATH中。
7.Java配置:OpenJDK对于很多软件存在兼容性问题,而且自带的只有JRE,没有开发环境;下载SunJDK的tar包,解压缩,放到合适的位置;设置.bashrc的JAVA_HOME、PATH和CLASSPATH;采用update-alternetives --config java(java -version)来查看配置是否成功。
8.Mahout配置:
9.Run Benchmark 1:下载维基百科的数据,解压缩出XML文件,放到Mahout下的temp中;采用Mahout对数据进行分块
10.Benchmark 2:Data Caching 采用memcached做缓存服务器,使用loader来发起请求,twitter的数据作为测试数据,得到最大的rps(requst per second)
11.Server配置:安装Memcached;启动Memcached
12.Client配置:编译loader(保证依赖的库齐全)
13.Server Warm-Up:用twitter的unscaled data来生成因子为30的测试数据;同时预热服务器。
14.Run Benchmark 2:用loader来对服务器发起大量请求,通过不断调整rps来找到最大的rps。
15.内存访问记录:Pin,Intel的工具,记录进程对于寄存器、内存的访问;Pintools,基于Pin开发的一系列工具,此处我们用到Footprinter(不包含在默认的包里);loclab
CloudSuite已经更新到3.0版本,安装方式发生了很大的变化,本文不再有效。
现在CloudSuite采用Docker镜像的方式分发,只需要安装Docker后docker pull几个镜像就可以运行了,十分简单。
Docker是利用Linux Kernel中的容器技术,做的轻量级虚拟化。和虚拟机的类似之处在于直接下载镜像文件即可运行。和虚拟机不同之处在于,性能损失非常小,但当前也做不到绝对的隔离。
1.http://parsa.epfl.ch/cloudsuite/cloudsuite.html CloudSuit是一套用于测试服务器云服务性能的工具,我们采用这套软件提供的测试工具进行测试,同时用Pin来记录对于内存的访问情况,以便进行后续的分析。
2.系统安装:Fedora 19,在数次进入安装的过程中遭遇黑屏重启后,意识到了Fedora19采用了GNOME3,很可能是显卡的问题。于是选择basic graphical mode,成功安装。(SSD果然神速)
3.系统配置:Fedora19虽然也用的是RPM包,但和OpenSUSE强大的YaST不同,我们需要用yum来进行包管理。yum的具体使用,查看man就能知晓不少,不过常用的也就update和install。/etc/yum.repos.d/下是所有的源的配置文件。显卡驱动一直是Linux用户的心病,所以就不强求了,有1024×768就够用了,虽然是1065×1028的显示器。(应该是这个分辨率)数次安装Nvidia的官方驱动,最终都以640*480的分辨率告败。
4.Benchmark 1:Data Analytics 采用Mahout提供的库,基于Hadoop,对Wikipedia的全部数据进行分析。
5.Hadoop配置:新建用户组,添加用户,修改密码;配置SSH,启用sshd服务,生成密钥,注意修改密钥的权限为只读;解压Hadoop,设置所属用户,修改配置文件;格式化HDFS;尝试启动和停止Hadoop。
6.Maven配置:Mahout需要使用Maven来进行编译安装;编译Maven;设置环境变量,加入到PATH中。
7.Java配置:OpenJDK对于很多软件存在兼容性问题,而且自带的只有JRE,没有开发环境;下载SunJDK的tar包,解压缩,放到合适的位置;设置.bashrc的JAVA_HOME、PATH和CLASSPATH;采用update-alternetives --config java(java -version)来查看配置是否成功。
8.Mahout配置:
mvn -DskipTests install;cd core;mvn -DskipTests compile;mvn -DskipTests install;cd ../examples;mvn -DskipTests compile其中-DskipTests是跳过测试,测试会耗费大量时间,大概在一个多小时左右,而直接编译安装只需要几分钟。
9.Run Benchmark 1:下载维基百科的数据,解压缩出XML文件,放到Mahout下的temp中;采用Mahout对数据进行分块
10.Benchmark 2:Data Caching 采用memcached做缓存服务器,使用loader来发起请求,twitter的数据作为测试数据,得到最大的rps(requst per second)
11.Server配置:安装Memcached;启动Memcached
12.Client配置:编译loader(保证依赖的库齐全)
13.Server Warm-Up:用twitter的unscaled data来生成因子为30的测试数据;同时预热服务器。
14.Run Benchmark 2:用loader来对服务器发起大量请求,通过不断调整rps来找到最大的rps。
15.内存访问记录:Pin,Intel的工具,记录进程对于寄存器、内存的访问;Pintools,基于Pin开发的一系列工具,此处我们用到Footprinter(不包含在默认的包里);loclab
相关文章推荐
- CloudSuite之Web Search Benchmark环境搭建
- Linux下Java开发环境的搭建Tomcat6+jdk6+eclipse3.5.2+Myeclipse9.0+mysql5.1.47
- Java开发环境搭建
- android开发—01开发环境的搭建
- iOS开发39-Mac OS X下搭建XAMPP环境
- React Native环境搭建
- ZooKeeper 3.4.5 分布式环境搭建详解
- QT环境搭建: QT-4.8.6在windows下的使用 -(1)QT-4.8.6安装配置使用
- MyEclipse+Tomcat+MAVEN+SVN项目完整环境搭建
- 从零开始系列-Caffe从入门到精通之一 环境搭建
- 快速搭建vim的python的集成环境
- Android NDK开发环境搭建
- JBoss下EJB3.x简单环境搭建实例
- 搭建Selenium-Grid环境
- Hadoop2.2.0-HA高可用集群环境搭建
- 用grunt搭建自动化的web前端开发环境-完整教程
- 项目——环境搭建及部署到云服务器
- hadoop之spark完全分布式环境搭建
- 搭建Ruby on Rails开发环境
- spring+hibernate+struts环境搭建