Linux_大数据与数据仓库

Linux网路部分 && 类似算法部分  ---需要不断项目或者实际业务需求深度探索

VMware:桥接,仅主机,Nat模式

image

VMnet8:模拟路由器

网络配置:

image

Nat模式——利用VMnet8作为虚拟路由器,建立一个独立于当前物理机的局域网。【只存在于当前物理机内部的局域网V8】

桥接模式——vmnet0物理网卡作为桥梁,可以连接物理机以外的局域网。【支持连接外部的网络】--手段分配物理地址,容易出现IP地址冲突

仅主机模式——以当前物理机的网卡为网卡,和物理机公用IP公用。【没有独立IP】

CPU虚拟化——BIOS界面进行设置 【virtualization technology】

VMware设置:关注点

【1】创建虚拟磁盘;将文件拆分为多个虚拟文件

【2】在准备好创建虚拟机时:进行自定义硬件操作,选择镜像文件 【此时只是初始化配置,并没有装系统】

【3】装系统:主机名,不要使用特殊符号。——C1

【4】配置网络: 

       -名称: eth0

       -自动连接

       -ipv4设置 :手动。 添加地址: 避开0:子网;1:路由;2:网关 

image

      所以:设置ip地址为 192.168.92.101  255.255.255.0   2    DNS服务器:同V8里面的,搜索域同理。

【5】注意取消系统时钟使用UTC时间

【6】创建自定义布局:标准分区

        -设置根目录: /  ext4  18000【固定大小】

        -使用剩余全部空间 swap

【7】格式化磁盘

【8】安装basic server

安装成功后:检查网络——通过更改hosts文件,进行通信: 地址 192.168.92.101

SecureCRT_SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序.

SSh协议:传统的网络服务程序,如:ftp、pop和telnet在本质上都是不安全的,因为它们在网络上用明文传送口令和数据,别有用心的人非常容易就可以截获这些口令和数据。而且,这些服务程序的安全验证方式也是有其弱点的, 就是很容易受到“中间人”(man-in-the-middle)这种方式的攻击。

【1】更改Emulator :linux

【2】安装notepad插件:NppFTP_Plugin for Notepad++ allowing FTP, FTPS, FTPES and SFTP communications.

        -放到plugins文件夹即可——设置对应的配置信息

image

Linux命令 ——命令补全:两次tab键

reboot   --  shutdown –r  now/10[分钟]/20:35          重启

halt   --  shutdown –h now / 10    poweroff              关机

【1】 命令 &  //将命令转为后台状态

【2】shutdown –c  //取消

less 文件路径   //查看文件内容

groupadd 组名

useradd –g 组名 用户名

passwd 用户名  //修改用户名密码

Øsu:用户切换  //超级管理员到普通用户不需要密码;但是普通用户到超级管理员,需要密码

Øsudo:临时获取某个用户权限

对于权限不足:提升用户权限,sudo  //需要将用户权限配置/etc/sudoers才能使用sudo

【1】用户名 ALL=(ALL) ALL   //支持用户访问

对于未配置的,会将该行为报告给root用户

目录操作

ls –l  //详细内容  ll

ls –a  //查看所有文件,包括隐藏文件 

支持组合: ls –al

权限  用户  用户组  容量 最后修改日期  文件名

===========================

文件属性:r w x -

d/-  当前用户组  当前用户  其他人权限

===

更改当前文件夹/下所有文件的访问权限

chgrp [-R] groupname dirname/filename……   // –R 将当前问价夹下的所有文件都更改为指定用户组

chown [-R] username:groupname dirname/filename……  //修改为指定用户组

chmod [-R] mode dirname/filename……   // mode:

u(user)、g(group)、o(other)、a(all)

使用+(添加权限)、-(删除权限)、=(设置权限)

=====

cd  //  pwd

mkdir  //  rmdir--只能删除空目录

touch  //创建文件

cp【复制】  mv【移动】  rm[删除]

=====

cp  source target

cp  source   /dir/target

复制目录: cp  -R test  test1  //递归将目录下文件复制

====

mv  test2*  指定文件夹

mv  test2  指定文件夹/更改的文件名

mv 移动目录不需要递归

====

rm test10  //删除  -f 不需要询问   -r递归删除

cat

由第一行开始显示内容

tac

由最后一行开始显示内容

nl

显示,同时显示行号

more

一页一页的显示内容

less

类似more

head

只看头几行

tail

只看尾部几行

加压缩,严格遵循顺序: –cvf   -zcvf 

tar –cvf /tmp/etc.tar /etc

tar –zcvf /tmp/etc.tar.gz /etc

tar –xzvf /tmp/etc.tar.gz

===========

重定向:覆盖

echo abc > test

输出重定向到一个文件或设备 覆盖原来的文件

echo abc >! test

输出重定向到一个文件或设备 强制覆盖原来的文件

echo abc >> test

输出重定向到一个文件或设备 追加原来的文件

============

查找所有文件

find -name *.tar

find –type f

find . -ctime -20

将目前目录及其子目录下所有最近 20 天内更新过的文件列出

==========管道

find –type f | less   //支持上下页翻页

echo hello,a,hello,b | cut -d "," -f 1,2   //  按照 “,”切隔,获取 1,2位置字符串

find /etc -type f | grep xml –c   //忽略大小写  文件名  计算找到 '查找字符串'的次数

Linux进程_瞬时状态的快照

【1】进程状态

pid:进程的PID号

s:进程状态,R-running   S-sleep   D-不可被唤醒    T--停止状态    Z--僵尸进程(Zombie)

ps aux | grep ssh  

ps ao pid,ppid

o

指定显示列

USER :用户

PID:进程id

%CPU:cpu占用率

%MEM:内存占用率

VSZ:虚拟内存大小

RSS:真实内存大小

TTY:终端

STAT:状态

START:开始时间

TIME:占用cpu时间

COMMAND:命令

PRI:优先级

RTPRIO:实时优先级

PSR:当前进程对应的处理器

NI:进程的nice值


pstree:

u

指定用户

p

显示进程的pid

h

高亮显示当前的进程及其祖先

灵活应用:

ps aux | grep shutdown   //获取关机进程

kill –9 进程pid

kill –l  //获取

(1)SIGHUP

重启程序

(2)SIGINT

SIGINT中止正在运行的进程;相当于Ctrl+c

(9)SIGKILL

杀死正在运行的进程

(15) SIGTERM

终止正在运行的进程,但让其正常运行完

(19) SIGSTOP

相当于Ctrl+z暂停

jobs:任务——属于进程

选项

说明

l

列出,jobnumber和PID

r

仅列出正在后台运行的工作

s

请列出后台暂停(stop)的工作

Shell 编程

name=macro

echo $name

Linux安装JDK、Mysql

java

【1】安装 yum install Llrzsz   //实现文件从本地到虚拟级的上传   rz:实现文件上传

【2】yum install gcc  //C语言运行库

【3】环境变量配置: 分别解压移动到  /usr/local 文件夹目录下

【4】配置环境变量

    -卸载预安装的OpenJDK

查询OpenJDK:rpm -qa|grep java

•删除OpenJDK:rpm -e --nodeps <OpenJDK版本>   //可能会对应多个JDK版本

etc/profile 配置  :

     -Java_HOME

     -CLASSPATH

     -PATH

export JAVA_HOME=/usr/local/java

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

===

刷新配置文件  :  source /etc/profile

Mysql

【1】创建用户,用户组的目的???

groupadd mysql

useradd –g   mysql mysql

【2】



mysql服务状态查询

启动服务:service mysqld start

检查状态:service mysqld status

关闭服务:service mysqld stop

mysql –u root –p  //明确密码等问题

===================配置用户信息等

mysql -u root -p

① show databases;

② use mysql;

③ show tables;

④ select Host,User,Password from user;

update user set Password=password('new password') where user = 'root';

⑥ flush privileges;

==============

授权

① GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

② flush privileges;

临时关闭防火墙——centos6.x关闭防火墙

③ service iptables stop

④ chkconfig iptables off



ifconfig

原文地址:https://www.cnblogs.com/macro-renzhansheng/p/13156957.html