分类:未分类


网络基础就这么多


很多同学都在群里问,网络该学习那些知识?

对于一个计算机专业的学生,我写了这篇帖子。

下面是我罗列的一些知识点:脑海中根深蒂固,纯手打

1. OSI七层模型与TCP/IP五层模型

2.对所谓的五层模型进行详细讲解

2.1 物理层:同轴电缆、双绞线和光纤,这些网络传输介质;集线器和中继器等工作在物理层的网络设备

2.2数据链路层:什么是以太网帧?为什么都MAC地址来标识数据帧?为什么都讲交换机工作在这一层?什么是冲突域?

2.3 网络层:什么是IP包?为什么用IP地址来标识?IP和MAC的区别?为什么讲路由器工作在这一层?什么是广播域?

2.4 传输层:什么是报文?什么是TCP和UDP?TCP和UDP对应的IP协议号是什么?

2.5 应用层:常见的应用层服务DHCP,DNS,FTP?这些服务时干啥用的?它们对应的TCP或UDP端口号多少?

2.6 IP:A B C D E类IP地址的区别?如何一眼区分不同类别的IP地址?什么是掩码?

 

这些知识点,在《计算机网络》中都可以找得到, 所有的计算机专业的学生都会有这么一本书,大家可以取淘宝二手搜一下,十块钱 十五块钱就能买一本

下面是电子版

http://download.csdn.net/download/wjbnys/5924361 《计算机网络》第五版 谢希仁

FTP服务的主动模式和被动模式区别


FTP协议有两种工作方式:PORT方式和PASV方式,中文意思为主动模式和被动模式

一、什么是主动FTP
主动模式的FTP工作原理:客户端从一个任意的非特权端口N连接到FTP服务器的命令端口,也就是21端口。然后客户端开始监听端口N+1,并发送FTP命令“port N+1”到FTP服务器。接着服务器会从它自己的数据端口(20)连接到客户端指定的数据端口(N+1)。

针对FTP服务器前面的防火墙来说,必须允许以下通讯才能支持主动方式FTP:

1. 任何大于1024的端口到FTP服务器的21端口(客户端初始化的连接)
2. FTP服务器的21端口到大于1024的端口(服务器响应客户端的控制端口)
3. FTP服务器的20端口到大于1024的端口(服务器端初始化数据连接到客户端的数据端口)
4. 大于1024端口到FTP服务器的20端口(客户端发送ACK响应到服务器的数据端口)

二、什么是被动FTP
为了解决服务器发起到客户的连接的问题,人们开发了一种不同的FTP连接方式。这就是所谓的被动方式,或者叫做PASV,当客户端通知服务器它处于被动模式时才启用。

在被动方式FTP中,命令连接和数据连接都由客户端发起,这样就可以解决从服务器到客户端的数据端口的入方向连接被防火墙过滤掉的问题。

当开启一个 FTP连接时,客户端打开两个任意的非特权本地端口(N>1024和N+1)。第一个端口连接服务器的21端口,但与主动方式的FTP不同,客户端不会提交PORT命令并允许服务器来回连它的数据端口,而是提交 PASV命令。这样做的结果是服务器会开启一个任意的非特权端口(P>1024),并发送PORT P命令给客户端。然后客户端发起从本地端口N+1到服务器的端口P的连接用来传送数据。

对于服务器端的防火墙来说,必须允许下面的通讯才能支持被动方式的FTP:

1. 从任何大于1024的端口到服务器的21端口(客户端初始化的连接)
2. 服务器的21端口到任何大于1024的端口(服务器响应到客户端的控制端口的连接)
3. 从任何大于1024端口到服务器的大于1024端口(客户端初始化数据连接到服务器指定的任意端口)
4. 服务器的大于1024端口到远程的大于1024的端口(服务器发送ACK响应和数据到客户端的数据端口)

从上面可以看出,两种方式的命令链路连接方法是一样的,而数据链路的建立方法就完全不同。

FTP服务器的主动工作模式如下图:

FTP服务器的被动工作模式如下图:

以上关于主动和被动FTP的解释,可以简单概括为以下两点:

1、主动FTP:
命令连接:客户端 >1024端口 -> 服务器 21端口
数据连接:客户端 >1024端口 <- 服务器 20端口

2、被动FTP:
命令连接:客户端 >1024端口 -> 服务器 21端口
数据连接:客户端 >1024端口 -> 服务器 >1024端口

三、主动模式ftp与被动模式FTP优点和缺点:

主动FTP对FTP服务器的管理和安全很有利,但对客户端的管理不利。因为FTP服务器企图与客户端的高位随机端口建立连接,而这个端口很有可能被客户端的防火墙阻塞掉。被动FTP对FTP客户端的管理有利,但对服务器端的管理不利。因为客户端要与服务器端建立两个连接,其中一个连到一个高位随机端口,而这个端口很有可能被服务器端的防火墙阻塞掉。


nginx代理一堆域名


需求背景:  内网有一台机器不能连外网,所以没有办法使用yum,考虑过使用iptables nat 转发上网,但因为一些原因,放弃使用。所以想到nginx代理,原理很简单。

A 不能访问 1网站, B可以访问,A和B可以内网通信,所以可以让B作为A的代理。 并且可以限定访问的来源IP,配置文件如下:

server {
listen       80;
server_name aaa.com bbb.com  ccc.com ddd.com eee.com;

location / {
resolver 119.29.29.29;
proxy_pass       http://$host;
proxy_set_header Host      $host;
proxy_set_header X-Real-IP $remote_addr;
allow 192.168.5.0/24;
deny all;
}
}

说明:这里的119.29.29.29 为一个DNS的ip,用resolver来指定。

假如B机器内网ip为 192.168.5.11,只需要在A上加一条hosts

192.168.5.11 aaa.com bbb.com ccc.com ddd.com eee.com


分享一个使用第三方邮箱发邮件的脚本


网上找的,原作者不详。这脚本用起来比linux系统自带的sendmail或者postfix强太多,无论是在shell告警脚本中引用,还是用于zabbix都非常好用。

可以在后面的地址下载源码  https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py

#!/usr/bin/env python

#-*- coding: UTF-8 -*-
import os,sys
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from  subprocess import *

 
def sendqqmail(username,password,mailfrom,mailto,subject,content):
    gserver = 'smtp.qq.com'
    gport = 25

    try:
        msg = MIMEText(unicode(content).encode('utf-8'))
        msg['from'] = mailfrom
        msg['to'] = mailto
        msg['Reply-To'] = mailfrom
        msg['Subject'] = subject

        smtp = smtplib.SMTP(gserver, gport)
        smtp.set_debuglevel(0)
        smtp.ehlo()
        smtp.login(username,password)
        smtp.sendmail(mailfrom, mailto, msg.as_string())
        smtp.close()

    except Exception,err:
        print "Send mail failed. Error: %s" % err
 
def main():
    to=sys.argv[1]
    subject=sys.argv[2]
    content=sys.argv[3]

##定义QQ邮箱的账号和密码,你需要修改成你自己的账号和密码(请不要把真实的用户名和密码放到网上公开,否则你会死的很惨)
    sendqqmail('1234567@qq.com','aaaaaaaaaa','1234567@qq.com',to,subject,content)
 
if __name__ == "__main__":
    main()

脚本使用说明:

1. 首先定义好脚本中的邮箱账号和密码

2. 脚本执行命令为:python mail.py 目标邮箱 “邮件主题” “邮件内容”


mysql远程备份、压缩、解压、导入一条命令搞定


需求: 需要把远程的mysql服务器A上的数据,导出再导入到另一台服务器B。
其中B机器没有外网,所以只能通过中间一台有外网的机器C来操作。
其中C机器和B机器内网是通的。

思路就是: 先登录C机器,然后在C机器上执行命令:
ssh  user@A   “mysqldump -uroot –single-transaction  –master-data=2 -q –flush-logs –databases databasename |bzip2 -” |bzip2 -d |tee /data/1.sql |mysql -hB  -Pport -uusername -ppasswd

说明:

1. 命令中的A,B都为IP地址。

2. InnoDB 表在备份时,通常启用选项 –single-transaction 来保证备份的一致性,实际上它的工作原理是设定本次会话的隔离级别为:REPEATABLE READ,以确保本次会话(dump)时,不会看到其他会话已经提交了的数据。

3. master-data,使用此选项,可用于设立另一台服务器作为master的slave。它会使dump输出包含CHANGE MASTER TO语句,标记dump源的二进制日志坐标(文件名和位置)。在把load dump文件加载到slave之后,slave应当从该master坐标开始复制。如果选项赋值为2,那么CHANGE MASTER TO 语句会被写成一个SQL comment(注释),从而只提供信息,如果选项赋值为1,那么CHANGE MASTER TO语句不会被写成注释并且在dump被载入时生效。如果没有指定,默认值为1。

nginx 代理tomcat,自定义404页面


需求背景是:

网站基于java,使用tomcat搭建环境,使用nginx作为前端代理。若不做特殊处理,当访问出现404时,将会返回tomcat的404页面,现要求404页面为nginx的自定义页面,并非tomcat自带的404页面。

nginx的配置文件内容如下:

server {

listen 80;

server_name www.xxx.com;

proxy_intercept_errors  on;

recursive_error_pages   on;

location / {

error_page 404 @404;

proxy_pass      http://127.0.0.1:8080;

proxy_set_header Host   $host;

}

location @404 {

root /tmp/111/;

error_page 404 /404.html;

}

}

其中红色字体的两行配置非常关键,404.html的位置在/tmp/111/404.html。

proxy_intercept_errors  on; 当上游服务器响应头回来后,可以根据响应状态码的值进行拦截错误处理,与error_page 指令相互结合。用在访问上游服务器出现错误的情况下。

recursive_error_pages   on; 可以让下面的location @404生效。


grep命令的-P选项


man grep的时候有一个-P,文档上的英文:

-P, –perl-regexp

Interpret PATTERN as a Perl regular expression.  This is highly experimental and grep -P may warn of  nimplemented features.

这意思是,-P 可以让grep使用perl的正则表达式语法,因为perl的正则更加多元化,能实现更加复杂的场景。

最典型的用法是,匹配指定字符串之间的字符。 比如,我们想在一句话(Hello,my name is aming.)中匹配中间的一段字符串(my name is) 可以这样写正则表达式。

echo “Hello, my name is aming.”|grep -P ‘(?<=Hello, ).*(?= aming.)’

如果只需要匹配到的部分,还可以加上-o选项

echo “Hello, my name is aming.”|grep -Po ‘(?<=Hello, ).*(?= aming.)’

根据这个思路,我们可以去匹配IP地址

ifconfig eth0 |grep -Po ‘(?<=addr:).*(?= Bcast)’


sort命令默认并不以ASCII排序


咱们在课程中讲,sort命令默认以ASCII排序,但这是要一个前提的。先来看看ASCII表:

做个实验吧:
1.txt文件内容如下:
1
2
a
[
b
A
C
{
*
sort的时候,结果并不是按ASCII排序的:
[
{
*
1
2
a
A
b
C

这结果很明显不对。
man sort的时候发现了一个信息:
*** WARNING *** The locale specified by the environment affects sort order.  Set LC_ALL=C to get the traditional sort order that uses native byte values.
它意思是说,sort排序的结果会跟运行sort的系统环境有关系,而影响sort排序结果的环境变量为LC_ALL,如果想要按ASCII排序,需要设置LC_ALL=C
我们在系统上查看该变量
echo $LC_ALL 结果为空,然后设置一下:
export LC_ALL=C
再次排序:
*
1
2
A
C
[
a
b
{

这次结果对了。

 

bzip2和xz的默认压缩级别验证


一个1.1G的日志文件

[root@izwz98t5u2dsk7xaviccuhz tmp]# du -sh logfile

1.1G        logfile

[root@izwz98t5u2dsk7xaviccuhz tmp]# cp logfile logfile_9

[root@izwz98t5u2dsk7xaviccuhz tmp]# cp logfile logfile_6

[root@izwz98t5u2dsk7xaviccuhz tmp]# bzip2 logfile

[root@izwz98t5u2dsk7xaviccuhz tmp]# du -sm logfile.bz2

42        logfile.bz2

[root@izwz98t5u2dsk7xaviccuhz tmp]# bzip2 -6 logfile_6

[root@izwz98t5u2dsk7xaviccuhz tmp]# du -sh logfile_6.bz2

46M        logfile_6.bz2

到这里,就不用继续压缩logfile_9了吧。 答案已经确定,bzip2默认压缩级别就是9.

而xz的测试结果,有点匪夷所思。

[root@izwz98t5u2dsk7xaviccuhz tmp]# du -s logfile_9.xz

48796        logfile_9.xz

[root@izwz98t5u2dsk7xaviccuhz tmp]# du -s logfile_6.xz

47908        logfile_6.xz

[root@izwz98t5u2dsk7xaviccuhz tmp]# du -s logfile_default.xz

47908        logfile_default.xz

有一点可以肯定,xz默认压缩级别为6,但是用9级别压缩时,反而比6级别还要大一些,怪事。