您的位置:首页 > 运维架构 > Linux

Linux,虚拟机安装,Linux简单命令,Linux文件类型和命令,大数据使用的软件

2019-07-18 10:26 274 查看
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/qq_41587198/article/details/96424887

Linux虚拟机安装

  • 下载CentOS.ios镜像文件
  • 安装vmware
  • 安装Linux
  • 初步配置
  • 克隆
  • 完善配置

设置IP

  • vi /etc/syscomfig/network-scripts/ifcfg-eth0
  • 删除UUID和MAC地址
  • ONBOOT=yes,BOOTPROTO=static,按a切换输入模式
  • IPADDR、NETMASK和GATEWAY在VM中"编辑>虚拟网络编辑器"
  • DNS1=114.114.114.114,DNS2=8.8.8.8
  • 按Esc退出输入模式,输入":wq",:wq保存并退出
  • rm -fr /etc/udev/rules.d/70-persistent-net.rules,删除70-persistent-net.rules文件,不删除此文件,虚拟机在克隆的时候:1.文件被带到新的虚拟机中,2.vm变更了新的虚拟机的mac地址,3.新机器不能使用eth0接口,4.你网络配置不起作用

克隆

  • 关机,拍摄快照
  • 每一台虚拟机都要配置IP,配置主机名
  • 配置主机名 - vi /etc/sysconfig/network,更改HOSTNAME
  • 还可配置hosts,- vi /etc/hosts

Linux简单命令


简单命令

  • type:判断命令类型:内部命令和外部命令
  • help:内部命令帮助
  • man:外部命令帮助手册manual,精简版本虚拟机需要安装,- yum install man -y,查看帮助手册:空格下一页,b上一页,enter下一行,q退出
  • whereis:定位命令位置
  • file:文件类型
  • echo:打印到标准输出,相当于System.out.print()
  • $PATH:环境变量,路径
  • $LANG:语言
  • vi:修改
  • ps -fe:进程列表,相当于window下任务管理器中进程管理
  • hash -r:清除缓存
  • 定义变量:a=3,b=(1,2,3)这种不是数组,c=(1 2 3)才是数组,输出数组指定位上值- echo ${c[2]}
  • echo $$输出当前shell的PID,重新开始会话,PID不同
  • shell对于命令的查找方式:在PATH记录的目录中查找,缓存到内存hash中,第一次在缓存中查找
  • man:-1:用户命令(/bin,/usr/bin),-2:系统调用,-3:库用户,-4:特殊文件(设备文件),-5:文件格式(配置文件的语法),-6:游戏,-7:杂项,-8:管理命令(/sbin,/usr/sbin)

文件系统




文件系统层次化标准

  • /boot:系统启动相关的文件,
  • /dev:设备文件
  • /etc:配置文件
  • /home:用户的家文件
  • /root:管理员的家目录
  • /lib:库文件:没有执行入口的应用程序
  • /media:挂载点目录,移动设备
  • /mnt:挂载点目录,额外的临时文件系统
  • /opt:可选目录,第三方程序的安装目录
  • /proc:伪文件系统,内核映射文件
  • /sys:伪文件系统,跟硬件设备相关的属性映射文件
  • /tmp:临时文件,/var/tmp
  • /var:可变化的文件
  • /bin:可执行文件,用户命令
  • /sbin:管理命令

文件类型

  • -:普通文件
  • d:目录文件
  • b:块设备文件block
  • c:字符设备文件character
  • l:符号链接文件symbolic link file
  • p:命令管道文件pipe
  • s:套接字文件socket
  • 文件权限:9位,每三位一组(U用户,G组,O其他用户),rwx(读写执行)
  • 文件硬链接的次数
  • 文件的属主
  • 文件的属组
  • 文件大小,单位字节

文件系统简单命令

  • df:显示磁盘使用情况,df -h
  • du:显示文件系统使用情况,du -sh,du -a
  • ls:显示目录,ls -alhrt
  • cd:切换工作目录,cd ~,cd /
  • pwd:显示当前工作目录
  • mkdir:创建目录
  • rm:删除,rm -f,rm -rf,加上-r删除文件夹
  • cp:拷贝,cp /etc/
  • mv:移动
  • ln:链接,默认硬链接,-s软链接
  • stat:元数据
  • touch:文件存在,刷新访问时间,没有创建文件
  • cat:查看,-more,-less,-head,-tail,都是查看
  • |:管道,完成命令直接的数据传递,如cat b | head -3,b文件内容作为右边head输入。shell读取用户输入的字符串,发现 |,代表管道,| 左右被理解为简单命令。
  • xargs:它擅长将标准输入数据转换成命令行参数

大数据简介

  • 大数据:对海量数据的分析、挖掘、计算的技术。由麦肯锡全球研究所提出大数据这一概念。
  • 数据单位:bit Byte KB MB GB TB PB EB IB YB BB NB DB,达到PB就达到大数据范畴了。
  • 特点:Volume大量、Velovity高速(获取和分析)、Variety多样、Value价值
  • 数据结构分为结构化、半结构化、非结构化。结构化简单说就是数据库,由二维表结构来逻辑表达和实现的数据;非结构化:数据结构不规则或不完整。大数据处理的数据几乎都是非结构化数据。

大数据目前使用的软件

  • 开发语言:scala、Java、Python
  • 分布式存储:Hdfs、Hbase、Redis、Mongedb
  • 分布式计算:Mapreducer、SparkCore、SparkSreaming、Storm、Ffink
  • 数据仓库技术: Hive、Sqoop、Flume、Spark
  • 机器学习: Scikit=learn、MLlib
    大数据的第一天,继续努力…
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐