http://mirror.centos.org/centos/6.8/os/x86_64/Packages/ http://ftp.gnu.org/gnu/autoconf/ http://ftp.gnu.org/gnu/automake/
# 按照inode 删除文件 # 某些场景下,文件名很复杂或者很奇怪。可按照inode删除 ls -ail # 在输出中找到文件的inuode find -inum 12345 | rm -rf {} \; # 12345为要删除文件的inode
# rpm 查看已经安装的rpm rpm -q libtool # rpm 卸载软件 rpm -e libtool-xxx # 安装 rpm -ivh libtool # 设置hostname /etc/sysconfig/network # 将 HOSTNAME=test #这里将hostname改为test # 重启后生效 # 安装 scp ,属于openssh yum install -y openssh-clients # 固定IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 # 内容如下: DEVICE=eth0 设备名称 BOOTPROTO=dhcp /static 自动获取/静态ip IPADDR=IP地址 NETMASK=掩码 GATEWAY= #网关 ONBOOT=yes 开机激活网卡 NM_CONTROLLED=no 需重启网络服务后生效 # 重启网络服务 service network restart
# vm ware 复制导致eth0不可用,解决方案 # ·、先删除一个文件 # 2、查看Mac地址 # 3、修改eth0的Mac为第二步的值 # 4、重启服务器 # 1,删文件 rm -rf /etc/udev/rules.d/70-persistent-net.rules # 2、查看Mac地址 ifconfig -a # 笔者输出如下:
eth0 Link encap:Ethernet HWaddr 00:0C:29:3C:76:AA inet addr:192.168.1.181 Bcast:192.168.1.255 Mask:255.255.255.0 inet6 addr: fe80::20c:29ff:fe3c:76aa/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:1963 errors:0 dropped:0 overruns:0 frame:0 TX packets:138 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:154529 (150.9 KiB) TX bytes:18157 (17.7 KiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) # 记下 HWaddr的值,本例中为 00:0C:29:3C:76:AA
# 3、修改eth0的Mac为第二步的值 vi /etc/sysconfig/network-scripts/ifcfg-eth0 # 笔者输出结果如下:
DEVICE=eth0 HWADDR=00:0C:29:3C:76:AA # 修改成上一步的HWaddr的值 TYPE=Ethernet UUID=90cf1d08-bb39-4b35-b8a4-c3780d336afb ONBOOT=yes NM_CONTROLLED=yes IPADDR=192.168.1.181 # 这个地址修改下 GATEWAY=192.168.1.1 NETMASK=255.255.255.0 BOOTPROTO=static
# 将HWADDR和IPADDR做相应修改后,重启服务器 # 4、重启服务器 reboot
# CentOS修改DNS vi /etc/resolv.conf # 内容如下 # nameserver 8.8.8.8 #google域名服务器 # nameserver 8.8.4.4 #google域名服务器 # 增加JAVA_HOME 环境变量 vi /etc/profile # 将 export JAVA_HOME=/usr/local/jdk1.8.0_121 插入到 export PATH= 上一行 # 追加JAVA_HOME/bin至 PATH中。 # 如 修改前为: # 上面若干行代码 export MysqL_HOME=/usr/local/MysqL export PATH=.:${MysqL_HOME}/bin:$PATH # 下面若干行代码 # 修改后为: # 上面若干行代码 export JAVA_HOME=/usr/local/jdk1.8.0_121 export MysqL_HOME=/usr/local/MysqL export PATH=.:${MysqL_HOME}/bin:${JAVA_HOME}/bin:$PATH # 下面若干行代码 # 文件保存退出后需要 执行一下命令 以生效 source /etc/profile # 全局环境变量 /etc/profile # 用户环境变量 /~/.bashrc # 切换用户 # 切换到zhangsan用户登录 su - zhangsan # su - 等同于 su - root 等同于 su # 配置的host和IP可以通过host 方式替代· /etc/hosts # 在最后追加 # 如: # 192.168.153.131 master # 192.168.153.130 worker2 # 192.168.153.129 worker1 # 重启 服务后生效 service network restart # 查看系统打开文件最大数设置 ulimit -a # 输出如下: core file size (blocks,-c) 0 data seg size (kbytes,-d) unlimited scheduling priority (-e) 0 file size (blocks,-f) unlimited pending signals (-i) 3810 max locked memory (kbytes,-l) 64 max memory size (kbytes,-m) unlimited open files (-n) 1024 pipe size (512 bytes,-p) 8 POSIX message queues (bytes,-q) 819200 real-time priority (-r) 0 stack size (kbytes,-s) 10240 cpu time (seconds,-t) unlimited max user processes (-u) 3810 virtual memory (kbytes,-v) unlimited file locks (-x) unlimited # 修改配置: vi /etc/security/limits.conf # 在最后增加如下配置,注意,前面的*也要输入 * hard nofile 2048 * soft nofile 2048 #保存后重启后生效,可用ulimit -a再次确认。
# 查看当前登录的服务器的hostname hostname # 解压tgz压缩包,tgz是tag.gz的缩写 tar -zxvf *.tgz # 增加 sudo 用户 vim /etc/sudoers # User privilege specification root ALL=(ALL:ALL) ALL user ALL=(ALL) ALL # 说明:格式为(用户名 网络中的主机=(执行命令的目标用户) 执行的命令范围) # 配置 sudo 命令的使用日志 ,用于查看sudo用户的操作记录 # 1、创建sudo log touch /var/log/sudo.log # 2、修改 /etc/rsyslog.conf,在最后加一行 local2.debug /var/log/sudo.log # 上面的内容,中间空白部分是Tab,不是空格,否则不生效 #3、修改/etc/suduers 在最后增加如下内容: Defaults logfile=/var/log/sudo.log Defaults loglinelen=0 Defaults !syslog #4、重启rsyslog service rsyslog restart 或者 service /etc/init.d/rsyslog restart # 安装 scp ,属于openssh yum install -y openssh-clients # 卸载自带的JDK #1、找到已安装的java信息 rpm -qa | grep java # 一般输出如下: # java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 # java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5 # 2、逐个删除 yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 # ssh 免密登录,从master、worker1、worker2、worker3等多台机器免密互通 # 1、在每台机器上执行如下操作: sudo vim /etc/ssh/sshd_config # 修改 3个 配置项 # # RSAAuthentication yes # PubkeyAuthentication yes # AuthorizedKeysFile .ssh/authorized_keys # 2、在每台机器上执行生成公钥和私钥 ssh-keygen -t rsa # 之后一直回车,直到不再有交互 # 3、在每台机器上 将当前机器的公钥拷贝到 其中固定的一台机器,这里我们选master来接收所有的公钥 ssh-copy-id -i master # 会有选择yes 还是 no ,这里选择yes # 需要 录入master的登录密码 # master的公钥也要拷贝给master,数据都会追加到~/.ssh/authorized_keys 文件中 # 至此,从master、worker1、worker2、worker3登录到master 不需要输入密码了 # 4、将master中的 ~/.ssh/authorized_keys 复制给其他所有的机器, scp ~/.ssh/authorized_keys worker1:~/.ssh/authorized_keys scp ~/.ssh/authorized_keys worker2:~/.ssh/authorized_keys scp ~/.ssh/authorized_keys worker3:~/.ssh/authorized_keys # 因为还没有免密,因此还需要输入密码 # scp完之后,从master登录到master、worker1、worker2、worker3不需要输入密码了 # 5、在 master 机器上 ssh 到所有的机器 ssh master # 然后Ctrl + d 退出 ssh worker1 # 然后Ctrl + d 退出 ssh worker2 # 然后Ctrl + d 退出 ssh worker3 # 然后Ctrl + d 退出 # 6、将master上的 ~/.ssh/known_hosts 赋值给其他所有机器 scp ~/.ssh/known_hosts worker1:~/.ssh/known_hosts scp ~/.ssh/known_hosts worker2:~/.ssh/known_hosts scp ~/.ssh/known_hosts worker3:~/.ssh/known_hosts # 至此,所有的机器可以互通了。 # 如果还是有问题,执行一下操作: # 在每台机器上执行 service sshd restart # 检查~/.ssh/authorized_keys 的权限是否是 -rw-------,权限过大是有问题的。 # ll -a 确认 ~/.ssh 目录的权限是否是 drwx------ # 关防火墙 service iptables stop # 重启后失效 chkconfig iptables off # 禁用防火墙 # 关闭SElinux setenforce 0 vi /etc/selinux/config # 设置SELINUX=disabled # 修改UMASK umask 0022 echo umask 0022 >> /etc/profile
# hadoop 格式化 hdfs namenode -format
spark warn native codeloader:unable to load native-hadoop library for your platform... cp ${HADOOP_HOME}/lib/native/libhadoop.so.1.0.0 ${JAVA_HOME}/jre/lib/amd64/libhadoop.so
#linux的时区设置为上海 ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 将系统日期设定成1996年6月10日的命令 date -s 06/22/96 将系统时间设定成下午1点52分0秒的命令 date -s 13:52:00 将当前时间和日期写入BIOS,避免重启后失效 hwclock -w # 查看端口占用 netstat -nutlp netstat -an # 查看打开的文件情况 lsof # 查看端口 lsof -i :3306 # 将当前目录以http形式暴露出来 # 到需要暴露的路径下执行如下命令,其中 8000为端口 nohup python -m SimpleHTTPServer 8000 & # ftp 命令 ftp 192.168.1.2 # 连接192.168.1.2 ftp ,提示输入用户名 密码 get a.txt # 从ftp 下载a.txt put a.txt # 从本地上传a.txt 到当前ftp目录 # 查看linux 分区格式 如ext3 ext4 df -T # 查看分区 fdisk -l # 挂载,sda4分区到/home/p4目录下 mount /dev/sda4 /home/p4 # 开机自动挂载 vi /etc/fstab # 只启动hadoop 的namenode hadoop-deamon.sh start namenode # 开机使用命令行模式 vi /etc/inittab id:5:initdefault: # 按照上面的说明,将5改为3即可。
# 总核数 = 物理cpu个数 X 每颗物理cpu的核数 # 总逻辑cpu数 = 物理cpu个数 X 每颗物理cpu的核数 X 超线程数 # 查看物理cpu个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每个物理cpu中core的个数(即核数) cat /proc/cpuinfo| grep "cpu cores"| uniq # 查看逻辑cpu的个数 cat /proc/cpuinfo| grep "processor"| wc -l 查看cpu信息(型号) cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 查看内 存信息 # cat /proc/meminfo
# 查看进程的内存占用 pmap $PID