Q: 什么是叨叨·改?
A: 叨叨·改是用 Flask 重写了原叨叨 (Rock-Candy-Tea/daodao (github.com))的后端, 并增添了前端的一个初步可用的应用, 前端说说展示页面直接搬运自小冰博客 - 做个有梦想的人！ (zfe.space) , 其余前端来源于网络. 后端 api 可见 README

A: 叨叨·改已经插件化, 项目地址: ayasa520/hexo-daodao-plus: 适用于 hexo 的”叨叨·改”插件 (github.com). 后端项目地址: ayasa520/daodao-kai: 叨叨改，用 flask 重写叨叨的后端 (github.com)

使用

• 登录

点击下方”登录”按钮, 在表单中输入用户名和密码

• 删除

登录后直接点击右侧的 x

• 发送

登录后点击下方”新建”按钮, 在文本框中输入内容. 支持 Markdown.

后端部署

Vercel 部署

配置 MongoDB (若使用自己的 MongoDB 数据库可跳过)

1. 在 MongoDB Atlas | MongoDB 申请 MongoDB 帐号

   选免费的, 其他全默认选项

2. 点击 connect

3. 选择 Allow Access From Anywhere 并确认

   

   

4. 输入数据库的用户名和密码, 不要带有特殊字符, 因为我的后端没有做转义

   

5. 选择 Connect your application

6. 复制数据库的连接字符串, 注意手动将 <password> 换成刚刚输入的密码

配置 Vercel

1. 点击下面的按钮创建 Vercel 项目

   点击部署

   

   

2. 部署好后, 添加三个环境变量 MONGODB : 刚才复制的数据库连接字符串; USERNAME: 自定义叨叨·改登录名; PASSWORD: 自定义叨叨·改登陆密码. 由于刚才部署的时候还没有配置环境变量, 此时配置好后需要 重新部署

   

前端部署

不使用插件 (不适用于当前最新版本)

以这种方式添加没有首页的滚动组件

在 _posts 下新建一个 md 文件, 内容如下, 注意把 https://daodao-omega.vercel.app/api/query/20 换成自己的. 不要忘记写后面的 api/query/20

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

---
title: 闲话板砖
date: 2021-05-27 18:24:04
---

  <link rel="stylesheet" type="text/css" href="https://cdn.jsdelivr.net/gh/ayasa520/daodao-kai@main/static/css/index.css" />

   <div id="bber">
        <section class="timeline page-1">
                <div class="list" id="bbitems">
                </div>
        </section>
    </div>
    
{% raw %}
    <script src="https://unpkg.com/art-template@4.13.2/lib/template-web.js"></script>
    <script id="template" type="text/html">
        {{each list item index}}
        <div class="item" id={{item["_id"]}}>
            <p class="datatime">{{item["date"]}}</p>
            <p class="datacont">
                {{@item["content"]}}
            </p>
            <p class="datafrom">
                <small><i class="fas fa-tools"></i>{{item["from"]}}</small>
            </p>
        </div>
        {{/each}}
    </script>
{% endraw %}

  <script>
    var xmlHttp = new XMLHttpRequest();
    // 注意下面的链接换成自己的
    xmlHttp.open("get","https://daodao-kai.vercel.app/api/query/20");
    xmlHttp.send(null);
    xmlHttp.onreadystatechange=function()
    {
        if (xmlHttp.readyState==4 && xmlHttp.status==200)
        {
            console.log(xmlHttp.responseText);
            var result = JSON.parse(xmlHttp.responseText);
            var html = template('template', { list: result })
            document.getElementById("bbitems").innerHTML = html;
        }
    }</script>

然后就能看到了:

npm 插件 (推荐)

安装

在 hexo 博客根目录运行 npm 命令

1

npm install hexo-daodao-plus --save

配置

在主题文件夹下 (或者根目录) 的 _config.yml 中添加下面的配置项

1
2
3
4
5
6
7
8
9
10
11
12
13
14

daodao_plus:
  enable: 
    page: true
    card: true
  priority: 0
  filter: 
  url: https://daodao-kai.vercel.app/
  path: daodaoplus 
  front_matter: 
    title: 闲话板砖
    comments: true
  CDN: 
    js: https://cdn.jsdelivr.net/npm/hexo-daodao-plus@2.1.2/dist/js/main.js
    css: https://cdn.jsdelivr.net/npm/hexo-daodao-plus@2.1.2/dist/css/main.css

配置项说明

截图

本文已失效
在本文中您将会看到:
低技术力
低效率
几乎没有的可移植性与可拓展性

唯一的优点: 对于新手 (我自己) 来说不需要掌握很多技术就能实现

需求

hexo 的友链页面和文章一样, 要想更新就得重新生成并部署. 使用 webhook, Github Action 或者 vercel 等实现自动化部署后, 更新网站内容变得更加方便: 本地改好后直接推送到仓库, 剩下的交给服务器去做. 但是增加友链每次都要从评论区复制粘贴到 link.yml 然后 push, 还是比较麻烦. 目前有通过 issue 添加友链的方法, 但是对于我这种懒人来讲, 能在评论区做就不想再开个网页, 所以我想要做出一点更改, 能自动获取评论中的友链信息并直接添加(这建立在自动部署的前提上). 关于审核什么的, 我就不关心了, 现在评论一共都没多少

思路

我的博客中评论用的是 twikoo, 云函数的代码我看不到(当然也肯定看不懂), 于是就只剩下 JS 了, 简单 F12 看一下, 发现点击发送按钮后, twikoo.all.js 会给 twikoo 云函数发 post 请求, 请求负载的 request_data 字段包含了评论内容, 评论链接等.

只需要在 twikoo.all.js 向 twikoo 云函数发送 post 请求的同时给我自己的服务器也发一个评论内容的 post 请求, 后端解析得到的 json 格式字符串, 就能提取到新增友链需要的昵称, 头像, 邮箱, 网址信息, 然后通过 Github API 更新仓库中的 link.yml 文件, 然后触发 webhook, 部署博客的服务器自动拉取最新的代码.

具体步骤

搭建简单的 flask 应用

flask 是一个轻量化的 web 框架, 下面是一个最简单的 flask 应用, 访问 route() 中的 URL 就能触发下面的函数, 它会返回一段 html 代码, 浏览器会将其渲染出来.

1
2
3
4
5
6
7

from flask import Flask

app = Flask(__name__)

@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

在终端中启动应用并进行本地测试, 其中 FLASK_APP=hello中的 hello 是 py 文件名.

1
2

export FLASK_APP=hello
flask run

1
2

set FLASK_APP=hello
flask run

1
2

$env:FLASK_APP = "hello"
flask run

默认端口为 5000, 访问 localhost:5000 就可以看到 Hello, World!

要处理 post 请求, 只需要在 @app.route 装饰器里添加 methods=['post'], 这样这个路由就只能以 post 方式访问. request.get_data 可以接收 post 请求的负载.

1
2
3
4

@app.route("/",methods=['post'])
def hello_world():
    print(request.get_data(as_text=True))
    

点击发送按钮, twikoo 会发起一个 post 请求, Request PayLoad 的内容如下:

从图可以看出只需要解析其中的 comment 字段.

comment 字段是 html 代码, 借助 etree.HTML 从 html 代码中解析文本内容. 关于如何使用 json, xpath, subprocess 工具等就不在这里赘述了.

完整的后端实现:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

from flask import Flask
from flask import request
from markupsafe import escape
from lxml import etree
from flask_cors import *
import re
import time
import subprocess
import json

app = Flask(__name__)
CORS(app, supports_credentials=True) # 允许跨域

@app.route("/",methods=['post'])
def hello_world():
    data = json.loads(request.get_data(as_text=True))
    data = json.loads(data['request_data'])
    # 检查来源, 换成自己的
    if "comment" in data and data['href'] == 'https://www.bilibilianime.com/link/':
        with open('/var/hexo_source/hexo/source/_data/link.yml','a+')as f:
            # f.write(str(data))
            dom = etree.HTML(str(data['comment']))
            # f.write(s+'\n\n')
            info = []
            try:
                info = dom.xpath("//code[@class='language-yml']//text()")
                info =  [ainfo.strip() for ainfo in info[0].split("\n")]
                # f.write(str(info))
                template = "\n\n    {}\n      {}\n      {}\n      {}"    
                f.write(template.format(info[0],info[1],info[2],info[3]))
                with open('log.txt','a+')as logfile:
                    logfile.write(time.asctime( time.localtime(time.time()))+": 新增一条友链: "+" ".join(info)+"\n")
                # link.yml 所在目录, 换成自己的
                subprocess.Popen('cd /var/hexo_source/hexo/&&git add .&&git commit -m "update: friend link"&&git push>log.txt',shell=True)
            except:
                with open('log.txt','a+')as logfile:
                    logfile.write(time.asctime( time.localtime(time.time()))+ ": 失败！"+"info: {}".format(" ".join(info))+"\n")
    
    else:
        return '<span>bad!</span>'
            
    return  '<span>ok!</span>'

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61

from flask import Flask
from flask import request
from markupsafe import escape
from lxml import etree
from flask_cors import *
import re
import time
import subprocess
import json
import requests
import base64
import traceback


from twisted.internet import reactor
from twisted.web import proxy, server

# 此处填入你的 token
token = '' 

# 此处填入你的 link.yml 的 Github API 链接
url = 'https://API.github.com/repos/ayasa520/hexo/contents/source/_data/link.yml' 
headers = {'Authorization': 'token ' + token}

app = Flask(__name__)

# 允许跨域
CORS(app, supports_credentials=True) 




@app.route("/",methods=['post'])
def hello_world():
    data = json.loads(request.get_data(as_text=True))
    data = json.loads(data['request_data'])
    if "comment" in data and data['href'] == 'https://www.bilibilianime.com/link/':
        dom = etree.HTML(str(data['comment']))
        info = []
        try:
            info = dom.xpath("//code[@class='language-yml']//text()")
            info =  [ainfo.strip() for ainfo in info[0].split("\n")]
            template = "\n\n    {}\n      {}\n      {}\n      {}"    
            response_json = json.loads(requests.get(url, headers=headers).text)
            old_text = str(base64.b64decode(response_json['content']), encoding='utf-8')
            b64 = base64.b64encode((old_text +template.format(info[0],info[1],info[2],info[3])).encode('utf-8')).decode('ascii')
            data = {
                'message': "update from Python",
                'content': b64,
                'sha': response_json['sha']
            }            
            requests.put(url=url, data=json.dumps( data), headers=headers)
            with open('log.txt','a+')as logfile:
                logfile.write(time.asctime( time.localtime(time.time()))+": 新增一条友链: "+" ".join(info)+"\n")
        except  Exception as e:
            with open('log.txt','a+')as logfile:
                logfile.write(time.asctime( time.localtime(time.time()))+ ": 失败！"+"info: {}".format(" ".join(info))+"\n")
                logfile.write(traceback.format_exc())
    else:
        return '<span>bad</span>'
    return  '<span>ok!</span>'

在非开发环境用 flask 自带的服务器就不合适了, 这里我写了一个启动脚本, 使用 Gunicorn 作为服务器

1
2

source /var/hexo_source/simpleSever/# flask 源码目录
gunicorn -w 2 -b :5000 flask_web:app # 绑定到 5000 端口. flask_web 是 py 文件名

运行脚本即可完成部署. 如何部署到自己的云主机什么的网上说的很详细, 不再赘述.

在 https://postwoman.com.cn/ 可以快速地进行测试:

更改 twikoo.all.js

在格式化后的 twikoo.all.js 5783 行处插入下面的代码:

1
2
3
4
5
6
7
8
9
10
11

$.ajax({
    // 这个域名指向 5000 端口, 换成自己的
    url:'https://update-friend.bilibilianime.com/',
    type:'POST',
    dataType:'json',
    contentType:'application/json;charset=UTF-8',
    data:JSON.stringify(e.data),
    success:function(data, status){
        console.log(data);
    }
});

如图所示:

将主题 _config.yml 内 twikoo 的 CDN 修改为更改后的. 所有的工作就完成了

我没有对友链进行审核, 因为本来评论的人也不多, 现在就先不管了.

• 网络层的主要任务: 实现网络互连, 进而实现数据报再各网络之间的传输

• 要实现网络层任务, 需要解决以下的问题

  • 网络层向运输层提供怎样的服务 (“可靠传输” 还是 “不可靠传输”)
  • 网络寻址问题
  • 路由选择问题
    • 人工配置
    • 实现路由选择协议

• 因特网使用 TCP/IP协议栈

• TCP/IP协议栈的网络层使用网际协议IP, 是整个协议栈的核心协议, 常称为网际层

  

网络层提供的两层服务

面向连接的虚电路服务

• 可靠通信由网络来保证
• 必须建立网络层的连接—虚电路 VC（Virtual Circuit）
• 通信双方沿着已经建立的虚电路发送分组
• 目的主机的地址仅在连接建立阶段使用, 之后每个分组的首部都只需携带一条虚电路编号(构成虚电路的每一段链路都有一个虚电路编号)
• 使用可靠传输的网络协议实现可靠传输
• 通信结束后, 需要释放之前建立的虚电路

无连接的数据报服务

• 可靠通信由用户主机来保证
• 不需要建立网络层连接
• 每个分组可以走不通的路径
• 首部必须携带完整地址
• 分组可能重复, 失序, 误码, 丢失
• 网络本身不提供端到端的可靠传输服务, 路由器廉价
• 因特网采用这种设计思想: 复杂网络处理功能置于因特网边缘, 相对简单的网络交付功能置于因特网核心

IP 地址

IPv4 地址概述

• 分配给每一台主机(或路由器)的每一个接口

• IPv4 地址的编址方法

  • 分类编址
  • 划分子网
  • 无分类编址

• 32 比特不方便, 采用点分十进制表示方法

  

分类编址的 Ipv4 地址

A 类地址

B 类地址

C 类地址

练习题

划分子网的 IPv4 地址

需求

随着网络发展, 主机数目不断增加, 并且需要将主机划分到独立的网络, 如果为新增的网络申请新的网络号会有以下弊端

• 需要等待时间更多的费用
• 增加其他路由器路由表记录的数量
• 浪费原有网络中剩余的大量 IP 地址

解决方法——从主机号部分借用一部分作为子网号

子网掩码

32 bit 的子网掩码可以表明分类 IP 地址的主机号部分被借用了几个 bit 作为网络号

• 使用连续的 bit 1 来对应网络号和子网号
• 使用连续的 bit 0 对应主机号
• 将划分子网的 IPv4 地址与相应的子网掩码做逻辑与运算就可以得到 IPv4 地址所在的子网的网络地址

划分子网的细节

默认的子网掩码是指未划分子网的情况下使用的子网掩码

• A: 255.0.0.0
• B: 255.255.0.0
• C: 255.255.255.0

无分类编址的 IPv4 地址

• 划分子网一定程度上解决了困, 但是没有充分利用 C 类网, IPv4 面临消耗殆尽的局面
• IETF 提出采用无分类编址的方法解决 IP 地址紧张的局面, 同时成立 IPv6 工作组以彻底解决 IP 地址耗尽的问题

• 无分类域间路由(Classless Inter-Domain Routing, CIDR)

  • CIDR 消除了传统的 A 类, B 类和 C 类地址, 以及划分子网的概念
  • CIDR 可以更加有效地分配 IPv4 的地址空间

• CIDR 使用”斜线记法“, 或称 CIDR 记法, 斜线后面写网络前缀所占的比特数量

  • 举例: 128.14.35.7/20, 网络前缀占用 20 位, 主机编号占用 32 - 20 = 12 位

• CIDR 实际上是将网络前缀都相同的连续的 IP 地址组成一个 “CIDR 地址块”

  • 只要知道其中一个地址, 就可以知道这个地址块的全部细节:

    • 包括最小地址, 最大地址, 地址数量, 聚合某类(A, B, C)网络的数量, 地址掩码(可继续称为子网掩码)

    举例: 给出 128.14.35.7/20 的全部细节

    查看答案

    聚合C类网: 用该地址中的地址数量/C类网的地址数量

• 路由聚合(构造超网)

  • 两个路由器直接相连, 其中一个要将路由信息通告给另一个路由器, 就需要找共同前缀
    • 路由表中目的网络的共同前缀保持不变, 其余位取零, 就能得到聚合地址块
  • 网络前缀越长, 地址块越小, 路由越具体
  • 路由器转发分组时若有多条路有可选, 使用最长前缀匹配

IPv4 地址的应用规划

定长的子网掩码 (Fixed Length Subnet Mask, FLSM)

• 从主机号部分借用 n 位作为子网号, 则可分配 $2^n$ 个子网, 每个子网的主机数相同
  • 容易造成浪费

变长的子网掩码(Variable Length Subnet Mask, VLSM)

从例子来看:

假设申请到的地址快是 218.75.230.0/24, 每一台主机一个地址, 每个子网有一个网络地址一个广播地址, 每个路由器接口有一个地址

• N1: 6 + 2 + 1 = 9; N2: 25 + 2 + 1 = 28; N3: 12 + 2 + 1=15;N4: 10 + 2 + 1 = 13; N5: 0 + 2 + 2 = 4;
• 所以需要 3 个 /28 地址块, 1 个 /27 地址块, 1 个 /30 地址块
• 从大到小, 按需分配, 每个子快只能选取块大小整数倍的地址作为起点, 以防止本该属于一个子网分配到下一个子网

IP 数据报的发送和转发过程

重点放在 TCP/IP 协议栈的网际层发送和转发 IP 数据数据报的过程上, 以下内容省略了 ARP 和交换机自学习以及转发帧的过程

• 同一网络中的主机: 直接交付
• 不同网络中的主机: 间接交付, 通过路由器中转

间接交付

• 将自己的 IP 地址与自己的子网掩码相与得到自己的网络地址, 将目的 IP 地址与自己的子网掩码相与得到目的网络地址 (如果在同一个网络, 两个网络地址相等)

• 默认网关: 本网络中的主机要与其他网络中的主机进行通信, 就必须给他指定一个本网络的路由器, 这个路由器被称为默认网关. 默认网关帮助主机将 IP 数据报转发出去

  

• 路由器转发过程

  1. 检查 IP 数据报首部是否出错

     • 出错: 丢弃, 告知源主机
     • 未出错: 进行转发

  2. 根据 IP 数据报的目的地址在路由表中查找匹配的条目:

     通过依次将目的地址与路由表中的地址掩码相与来判断

     

     • 找到: 转发给条目中指定的下一跳
     • 没找到: 丢弃并告知源主机

静态路由配置及其可能产生的路由环路问题

举例: 静态路由配置以及默认路由, 特定路由

静态路由配置错误导致路由环路

R2 本该将数据报转发给 R1 的接口 1,却错误地转发给了 R3 的接口 0, 导致了路由环路

• 为了避免IP 数据报在路由环路中永久兜圈, IP 数据报的首部设有生存时间 TTL 字段. IP 数据报进入路由器后, TTL 字段的值减一, 若 TTL 的值为 0, 则丢弃

聚合了不存在的网络导致路由环路

解决方法: 设置黑洞路由

​

网络故障导致的路由环路

当 R1 直连网络 192.168.1.0/24 不可达的时候, 就会将路由表中的记录删除, 收到目的网络地址为 192.168.1.0/24 的数据报, 就会通过默认路由转发给 R2, 导致了环路

解决方法: 同样是设置黑洞路由

此处使用的播放器为 DPlayer:

DPlayer 官方文档

http://dplayer.js.org/zh/

使用之前要必须先引入 hls.js

1

<script src="https://cdn.jsdelivr.net/hls.js/latest/hls.min.js"></script>

也可以用 hexo-tag-dplayer 通过外挂标签的形式使用 DPlayer:

1

{% dplayer "url=https://cdn.jsdelivr.net/gh/ayasa520/assets/%E8%96%87%E8%96%87%20-%E8%90%A4%E7%9F%B3%E7%9C%BC%E4%B9%8B%E6%AD%8C-4/playlist.m3u8" "type: 'hls'",  "id=9E2E3368B56CDBB4" "loop=yes" "theme=#FADFA3" "autoplay=false"  %}

示例:
看不到视频请刷新

仓库:

今天一边看视频一边用 Typora 记笔记的时候发现一个问题, Typora 自带的 保持窗口在最前端不知何故会失效, 所以我就想用 Python 写一个可以让窗口强制指定的工具, 毕竟在查阅文档的时候还是有些用处的.

使用的模块

1. win32gui
2. keyboard
3. win32con
4. pyinstaller

使用的函数及其原型

1. SetWindowPos

   1	WINUSERAPI BOOL WINAPI SetWindowPos(HWND hWnd,HWND hWndInsertAfter,int X,int Y,int cx, int cy, UINT uFlags);

   用于设置窗口的 Z 序号

   参数解释如下:

   • hwnd: 被修改的窗口的句柄
   • hWndlnsertAfter: 用于标识 Z 顺序, 可设为以下值:
     • HWND_BOTTOM: 值为 1, 置底
     • HWND_NOTOPMOST: 值为 -2, 置于非置顶窗口之上
     • HWND_TOP : 值为 0, 置顶
     • HWND_TOPMOST: 值为 -1, 置顶 (在HWND_TOP之上)
   • X, Y, cx,cy 确定了新窗口的位置和宽高
   • uFlags: 窗口尺寸和定位的标识, 部分值如下:
     • SWP_NOOWNERZORDER: 不改变 Z 序中所有者窗口的位置
     • SWP_NOSIZE: 不改变窗口大小
     • SWP_NOMOVE: 不移动窗口

2. GetForegroundWindow

   用于获取当前激活的窗口 (鼠标焦点所在窗口)的句柄

   1	HWND GetForegroundWindow(void);

3. keyboard.addhotkey 和keyboard.wait

   1 2 3

   keyboard.add_hotkey('alt + t', fun) while true: keyboard.wait()

   add_hotkey 可以设置热键和检测到热键按下后执行的方法, wait是阻塞方法, 便于检测组合键

源码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

import win32gui
import keyboard
import win32con
import atexit


class totop:
    flag = False
    hw = ''

    def force_focus(self, hwnd):
        win32gui.SetWindowPos(hwnd, win32con.HWND_TOPMOST, 0, 0, 0, 0,
                              win32con.SWP_NOOWNERZORDER | win32con.SWP_NOSIZE | win32con.SWP_NOMOVE)
        print("置顶", hwnd, win32gui.GetWindowText(hwnd))

    def cancel_focus(self, hwnd):
        win32gui.SetWindowPos(hwnd, win32con.HWND_NOTOPMOST, 0, 0, 0, 0,
                              win32con.SWP_SHOWWINDOW | win32con.SWP_NOSIZE | win32con.SWP_NOMOVE)
        print("取消置顶", hwnd, win32gui.GetWindowText(hwnd))

    def handler(self, op, hwnd):
        op(hwnd)

    def get_key(self):
        def fun():

            if not self.flag and win32gui.GetForegroundWindow() != '':
                self.hd = win32gui.GetForegroundWindow()
                self.handler(self.force_focus, self.hd)
                self.flag = True
            elif self.flag and win32gui.GetForegroundWindow() != '':
                if self.hd == win32gui.GetForegroundWindow():
                    self.handler(self.cancel_focus, win32gui.GetForegroundWindow())
                    self.flag = False

        keyboard.add_hotkey('alt+t', fun)

        while True:
            keyboard.wait()


if __name__ == '__main__':
    zd = totop()
    zd.get_key()

• E-R 模型是一种描述数据库的抽象方法
• 实体关系建模的方法更多依赖于直觉而非机器, 但会导致相同的设计

E-R 模型

实体 (Entity)

• 实体是具有公共性质的可区别的现实世界对象集合

• 举例

  • 学生
  • 教师
  • 教师
  • 课程
  • 选课

• 一般而言, 一个实体被映射到一张关系表中, 代表一组对象的集合; 表中的每一行被称为一个实体发生(Entity Occurrence)或实体实例(Entity Instance), 代表一个特定对象

• 在 E-R 图中, 用矩形框表示

属性 (Attribute)

• 属性是描述实体(Entity)或者关系(Relationship)性质的关系项

• 在 E-R 图中, 用椭圆框表示, 主标识符要加下划线, 多值属性要加一条线

• 特定属性的特定术语

  • 标识符或候选键 (Identifier 或 Candidate Key)

    标识符是能够唯一识别一个实体实例的属性集, 一个实体可以有多个标识符

  • 主键或主标识符 (Primary Key)

    被数据库设计者选择出来的作为表中特定行唯一标识符的候选键, 一个实体只有一个主标识符

  • 描述符(Descriptor)

    描述性的非键属性, 如年龄

  • 复合属性

    一组共同描述一个性质的简单属性

    

  • 多值属性

    单个实例这个属性可以具有多个值, 如下图: 一个人可以有多个爱好

    

联系(Relationships)

• 给定一个包含 m 个实体的有序列表, E1, E2,…, Em(一个实体可以出现多次)
• 一个联系 R 当以了这些实体实例之间的对应规则
• 特别地 R 代表了一个 m 元组的集合, 它是笛卡尔积 E1$\times$ E2$\times$ …$\times$ Em的子集
• 联系用菱形表示, 联系也能附加属性

举例:

将实体和属性转换为关系

• 规则一

  • 一个实体映射到关系型数据库中的一张表. 实体的单值属性被映射为表的列(复合属性被映射为多个简单列)
  • 实体标识符映射为候选键
  • 实体主标识符映射为主键
  • 实体的实例映射为表中的一行

  举个例子: 按上面出现过的图, Students(sid, Iname, fname, midiaitia)

• 规则二

  • 多值属性必须被映射成它自己的表

  举例: 对于上面的 hobbies 多值属性, 将 hobbies 单独映射成一张表 hobbies(hobby,eid)

• 规则三: N-N Relationships

  • 当两个实体 E 和 F 参与一个多对多二元联系 R 时, 在相关的关系型数据库中, 联系被映射成一个表 T, 表 T 中包含所有从 E 和 F 转化而来的两个表的主键的所有属性, 列构成了表 T 的主键
  • T 也包含了所有附加在联系 R 上的属性构成的列

  简单来讲, 就是 N-N 联系中, 将联系单独转换成一张表, 表的主键是 E 和 F 的表的主键, 还要加上附加的属性

  上面这好似读天书一般, 举个例子:

  

  Employees 和 Projects 是 N-N 的关系, 可以得到三张表:

  • Employees(eid, straddr, city,…)
  • Projects(prid, proj_name, cue_date)
  • work_on(eid, prid, percent)

• 规则四: N-1 Relationships

  • 当两个实体 E, F 参与 N-1 的二元联系 R 时, 这个关系不能被映射成自身的一个表.
  • 若 max_card(F, R) = 1,并且 F 为联系中的多方, 那么从实体 F 转换出的关系表 T 中包括从 E 转换出的关系表的主键属性列, 这被称为 T 的外键(可以简单理解为表的一列是另一张表的主键, 这两张表是有关联的)
  • 若 F 强制参与, F 转换出的关系表中外键列不允许为空;若 F 是选择参与, 允许为空

  简单来讲, N-1 联系: 两个实体转换成两张表, 为 N 方的表需要包含外键(1 方的主键)

  举例:

  

  一个 Instructors 可以对应多个 Course_sections, 一个Course_sections 只能对应一个 Instructors, 所以映射成两张表:

  • Instructors(insid, Iname,…)
  • Course_sections(secid, insid, course,…)

• 规则五&六: 1-1 Relationships

  • 有一侧是可选参与
    • 若两张表都是可选参与: 选一张表插入另一张表的主键属性列作为外键;
    • 若有一张表是强制参与: 在强制参与的实体表中添加外键列(非空的)
  • 都是强制参与
    • 最好将两张表合并, 避免使用外键

E-R 图更多的细节

基数 (Cardinality of Entities Participation in a Relationship)

• 实体 E, F 联系 R
• 点表示实体的实例, 先表示联系的实例
• max-card 和 min-card
  • 一个实例出去两条或两条以上的线, max-card = n;一个实例出去零条线, min-card = 0

举例:

• 1 个雇员可以管理 0 ~ n个雇员
• 1 个雇员最多向 1 个雇员报告(最高层管理没有上一级)

多值参与和单值参与 (single-valued participation and multi-valued participation)

• max-card(X, R) = 1, X 单值参与 联系 R
• max-card(X, R) = n, X 多值参与 联系 R

强制参与和可选参与 (mandatory participation and optional participation)

• min-card(X, R) = 1, X 强制参与 联系 R
• max-card(X, R) = 0, X 可选参与 联系 R

One-to-One, Many-to-Many, and Many-to-One Relationship

• One-to-One: 两个实体均为单值参与
• Many-to-Many: 两个实体均为多值参与
• Many-to-One: 一个实体多值参与, 另一个实体单值参与

弱实体 (Weak Entities)

• 如果一个实体的所有实例都通过联系 R 依赖于另一个实体的实例而存在, 这个实体就是弱实体, 另一个实体是强实体

举例:

弱实体 Line_items, 强实体 Orders, Line_items 的主标识符 Line_number 只有存在于某个订单中时, 才是有意义的. 若 订单取消了, Line_items 中所有相关的记录也会消失.

若 Line_items 映射为一张关系表, ,按照规则四, Orders 的主键 oid 被加入进来, 表的主键由外属性 Oid 和弱实体标识符 Line_number 组成

泛化层次

这不就是继承吗

函数依赖 (Functional Dependency, FD)

• 定义: A->B, 读作 A 决定B (或者 B 依赖于A ), 意为对于 T 中的两行 r₁ 和 r₂, 若r₁(A) = r₂(A) 则 r₁(B) = r₂(B)\
• 完全函数依赖: X->Y, 对于 X 的任意一个真子集 X’, X’->Y 均不成立, 则称 Y 完全依赖于 X. 如 (学号, 课程)->成绩
• 部分函数依赖:Y 不完全依赖于 X, 如 (学号, 课程)->姓名, 只用学号就能决定姓名了

举例:

Sno->Sname…

Armstron规则:

X 都相等了, X 的子集肯定也相等

1. 传递规则:

   $$\text { If } \mathbf{X} \rightarrow \mathbf{Y} \text { and } \mathbf{Y} \rightarrow \mathbf{Z}, \text { then } \mathbf{X} \rightarrow \mathbf{Z}$$

2. 增广规则:

   $$\text { If } \mathbf{X} \rightarrow \mathbf{Y}, \text { then } \quad \mathbf{X Z} \rightarrow \mathbf{Y Z}$$ $$\mathbf{t}_{\mathbf{1}}[\mathbf{X} \mathbf{Z}]=\mathbf{t}_{\mathbf{2}}[\mathbf{X} \mathbf{Z}]$$

   $\mathbf{t}{\mathbf{1}}[\mathbf{X}]=\mathbf{t}{\mathbf{2}}[\mathbf{X}]$
   $\mathbf{t}{\mathbf{1}}[\mathbf{Z}]=\mathbf{t}{2}[\mathbf{Z}]$

Armstrong 公理的蕴含

1. 合并规则:

1. 分解规则:

   $$\text { If } \mathbf{X} \rightarrow \mathbf{Y Z}, \text { then } \mathbf{X} \rightarrow \mathbf{Y}, \text { and } \mathbf{X} \rightarrow \mathbf{Z}$$

2. 伪传递规则:

   $$\text { If } \mathbf{X} \rightarrow \mathbf{Y}, \text { and } \mathbf{W Y} \rightarrow \mathbf{Z}, \text { then } \mathbf{X W} \rightarrow \mathbf{Z}$$

3. 聚积规则:

   $$\text { If } \mathbf{X} \rightarrow \mathbf{Y} \mathbf{Z} \text { and } \mathbf{Z} \rightarrow \mathbf{W}, \text { then } \mathbf{X} \rightarrow \mathbf{Y Z W}$$

例题:

存在的函数依赖: A->B, D->ABC, AC->D C->D, 首先找左边只有一个的, 然后找左边有多个的(排除掉没有被依赖的和决定所有其他的), 如果可以用 Armstrong 公理推出, 就不需要一个一个看

函数依赖集的闭包(Closure of a Set of FDs)

给定一个函数依赖集 F 作用在表 T 的属性上, 定义 F 的 闭包(记作 F⁺)为 F 推导出的所有函数依赖的集合

• F 中有两个函数依赖 a, b, 基于 Armstrong 公理和 a,b 可以得到新的函数依赖 c, c 就是 F 推导出的函数依赖
• 如果 d 是平凡依赖 (X->Y 且 Y⊆X), d 是由 F 推导出的函数依赖
• F 中的函数依赖都属于 F⁺

函数依赖集的覆盖

对于表 T 上的两个函数依赖集 F 和 G, 如果 G 可从 F 由蕴含规则推导出来(即 G ⊆ F⁺, F 覆盖 G)

函数依赖集的等价

F 覆盖 G, G 覆盖 F, 则 F 等价于 G

属性集的闭包

给定表 T 的函数依赖集 F 和属性集 X, X 的闭包(记作 X⁺ )作为由 X 决定的最大属性集合 Y, Y 满足 X->Y 并且 Y 存在于 F⁺

说人话: 在 F ⁺ 中, 对于属性集 X 有 X->A, 所有 A 的集合被称作 X⁺ (A 也在 F⁺)

算法:

先把 X⁺ 赋值为 X, 然后对于函数依赖集 F 中的每一项, 若左侧包含于当前的 X⁺ , 将右侧的并入 X⁺, 直到 X⁺ 中不再增加

练习:

答案:

X⁺ = {A,B,C,D,E}

最小覆盖

• 没有冗余的函数依赖
• 每一个函数依赖的左边都没有多余属性

计算步骤:

1. 创建函数依赖集 F 的等价函数依赖集 H, 它的右边只有单个属性

2. 顺次去掉 H 中非关键的单个依赖

   将 H 中的一项 X->Y 去掉, 得到新的函数依赖集 J, 若 J⁺ =H ⁺ 则称这个函数依赖是非关键的. 也就是说去除这个函数依赖对 H ⁺没有任何影响.

3. 在不改变 H⁺ 的前提下, 将 H 中的每个函数依赖用左边属性更少的函数依赖替换

   注意: 第三部中函数依赖集如果发生了变化, 需要返回第二步

4. 用合并规则创建一个等价的函数依赖集 M

来个例题: $\mathbf{F}=\{\mathbf{a} \rightarrow \mathbf{b}, \mathbf{b}\mathbf{c} \rightarrow \mathbf{d}, \mathbf{ac} \rightarrow \mathbf{d}\}$, 求 F 的最小覆盖 M

解题步骤:

1. 本来就做好了

2. 依次尝试去掉非关键依赖

   1. 尝试去掉 a->b, 得到 $\mathbf{G}=\{ \mathbf{b} \mathbf{c} \rightarrow \mathbf{d}, \mathbf{ac} \rightarrow \mathbf{d}\}$, {a}_G⁺ = {a}, 所以去掉 a->b 后, 在 G 中无法再推导出 a->b, G⁺ != H⁺ 不能去掉.
   2. 尝试去掉 bc->d, 得到 $\mathbf{G}=\{\mathbf{a} \rightarrow \mathbf{b}, \mathbf{ac} \rightarrow \mathbf{d}\}$, {b,c}_G⁺ = {b,c}, 不包含 d, 不能去掉
   3. 尝试去掉 ac->d, $\mathbf{G}=\{\mathbf{a} \rightarrow \mathbf{b}, \mathbf{b} \mathbf{c} \rightarrow \mathbf{d}\}$, {a,c}_G⁺ = {a,c,b,d}, 包含了 d, 所以去掉后的函数依赖集 G 仍然可以推导出所有的函数依赖, 即 G⁺ = F⁺ , 是非关键依赖, 可以去掉
3. 上一步的结果:$\mathbf{F}=\{\mathbf{a} \rightarrow \mathbf{b},\mathbf{b}\mathbf{c} \rightarrow \mathbf{d}\}$. 尝试减少左侧的属性
   1. 尝试将 bc->d 精简为 c->d, 得到 $\mathbf{G}=\{\mathbf{a} \rightarrow \mathbf{b},\mathbf{c} \rightarrow \mathbf{d}\}$, 计算 {c}_F⁺ = {c}, 不包含 d 所以不能精简
   2. 将 bc->d 精简为 b->d, 得到$\mathbf{G}=\{\mathbf{a} \rightarrow \mathbf{b},\mathbf{b} \rightarrow \mathbf{d}\}$, 计算 {b}_F⁺ = {b}, 不包含 d 所以不能精简
4. 这个例子不需要合并, 最终结果: $\mathbf{F}=\{\mathbf{a} \rightarrow \mathbf{b},\mathbf{b}\mathbf{c} \rightarrow \mathbf{d}\}$

无损分解

规范化的流程

• 把一张表分解为一张或者多张更小的表

  也就是投影到两个或者多个覆盖全部列的子集并有一些公共列

• 但将表重新连接起来的时候, 并不总与原表完全相同

  可能多出一些原来没有的行

  举个例子:

  

无损 分解

对于一个表 T 和它的一个函数依赖集 F, T 的一个分解(decomposition) 是一个表的集合: {T₁,T₂,…,T_k}. 这个集合具有性质:

• 对于集合中的一个表 T_i , Head(T_i) 是 Head(T) 的一个子集

• Head(T) = Head(T₁) ∪ Head(T₂) ∪….∪…∪ Head(T_k)

• 给定表 T 的特定内容, T 的一行被投影到每个 T_i 的列上作为分解的结果 ????

• F 中的所有函数依赖需要保证:

  $$\mathbf{T} \equiv \mathbf{T}_{1} \text { join } \mathbf{T}_{2} \text { join } \ldots \text { join } \mathbf{T}_{\mathbf{k}}$$

说人话: 无损分解(也叫无损联接分解) 指将一个关系模式分解为若干个关系模式后, 通过自然连接和投影等运算, 还能回到原来的关系模式. 如果插入了新的记录, 前面的条件仍然必须满足

一个定理

• 给定一个表 T 和它的一个函数依赖集 F, 一个把 T 分解为 {T₁,T₂}的分解是 T 的一个无损分解, 当且仅当 Head(T₁) Head(T₂ )都是 Head(T) 的真子集, Head(T₁)∪ Head(T₂ ) = Head(T), 同时以下两个可以由 F 推导出来

  1. Head(T₁) ∩ Head(T₂ )-> Head(T₁)
  2. Head(T₁) ∩ Head(T₂ )-> Head(T₂)

说人话: 判断分解成的两个表是不是无损分解, 就得根据表 T 的函数依赖集 F, 检查两张表标题交集能否决定其中一张表的标题

举例子: $\mathbf{F}=\{\mathbf{A} \rightarrow \mathbf{B}\}, \quad \mathbf{T}_{1}(\mathbf{A}, \mathbf{B}), \mathbf{T}_{2}(\mathbf{A}, \mathbf{C})$ ,Head(T₁) ∩ Head(T₂ ) = A, 而 A->AB, 所以是无损分解.

如何无损分解?

每个函数依赖左边的属性在老的核心的表中都出现, 并决定了所有新表中的其他属性

数据库模式 (Database Schema)

• 一个数据库的模式是数据库所有表的标题的集合, 以及设计者希望在表的连接上成立的所有的函数依赖的集合.

• 举例子:

  假定 ABC 有函数依赖 B->C, 则下表是合法的

  

  像下面那样插入是非法的, 因为破坏了 B->C

范式 (Normal Form, NF)

设计关系数据库时, 遵从不同的规范要求, 设计出合理的关系型数据库, 这些规范被称为范式

目的:

• 使结构更合理
• 消除存储异常
• 减小数据冗余
• 便于增,删,更新

保持依赖性 (FD Preserved)

• 前置条件: 通用表 T, 函数依赖集 F, 无损分解 {T₁,T₂,…,T_k}
• 对于 F 中的一个函数依赖 X->Y,如果在 T_i 中有 X ∪ Y ⊆Head(T_i), 则称在 T_i 保持了依赖性
• 若$\text { F和 }\left(F_{1} \cup F_{2} \cup \ldots \cup F_{k}\right)$ 相互等价, 即 $\text { F}^+=\left(F_{1} \cup F_{2} \cup \ldots \cup F_{k}\right)^+$ , 称这个分解是保持依赖性的

超键 (Super Key)

• 超键在关系中能够唯一标识元组的属性集, 允许有多余属性

• 给定表 T 和 它的一组函数依赖集 F, 属性集 X ⊆ Head(T), 下面的描述等价

  • X 是 T 的超键
  • X -> Head(T) 或者 X⁺ _F-> Head(T)

候选键 (Key)

• 候选键同样可以唯一标识元组, 不允许有多余属性

• 寻找候选键的算法:

  

  就是依次尝试去掉在 Head(T)中的属性, 若去掉后的属性集在 F 的闭包包含了 T 的所有属性(可以决定 T 所有的属性), 就可以真的去掉了

主属性 (Primary Attribute)

• 候选键里的属性就是主属性

范式

1NF

• 关系型数据库的一张表中, 每一列都不可再分割, 即某一属性不能有多个值

• 不符合 1NF 的例子:

• 符合 1NF 的例子:

2NF

课件上的定义何止不是人话, 简直不是人话!

• 在 1NF 的基础上, 消除了非主属性对于键(指候选键)的部分函数依赖

• 判断方法:

  1. 找出表中所有非主属性
  2. 查看是否存在有非主属性对键的部分函数依赖, 若无, 则符合 2NF

• 修改为符合 2NF:

  • 将数据表拆分成含有较少字段的表

• 存在的问题: 插入, 删除还是存在异常

• 举例: 将之前的表修改为符合 2NF:

  候选键:(id,课名),依赖关系: (id, 课名)->分数, id->(姓名,系名,系主任), 可以拆分为两张表

3NF

• 在 2NF 的基础之上, 消除了非主属性对于键的传递函数依赖. 如果存在非主属性对于键的传递函数依赖, 则不符合 3NF 的要求

  • 传递函数依赖: X->Y, Y->Z, 则 X->Z

• 修改为符合 3NF:

  • 拆分

• 举例

  刚才的例子中, 存在 id->系名, 系名->系主任的依赖, 继续将这张表拆分:

BCNF

• 基于 3NF, 更加严格
• 在 3NF 基础上消除主属性对候选键的部分依赖和传递依赖

来几个练习题:

1. R(A,B,C), F={AB->C}

   • 候选键: AB, 主属性:A,B,非主属性:C,

   • C 完全依赖于 AB, 满足 2NF

   • 没有 C 对 AB 的传递依赖, 满足 3NF

   • 满足 BCNF

2. R(A,B,C), F={B->C,AC->B}

   • 候选键: AB, AC, 主属性: A, B, C, 非主属性: 无
   • 最少都会是 3NF
   • AB 是候选键, B->C , C 作为主属性对 AB 的子集 B 存在依赖, 所以存在主属性对候选键的部分依赖, 不符合 BCNF

3. R(A,B,C), F={B->C, B->A, A->BC}

   • 候选键: A, B, 主属性: A, B, 非主属性: C
   • 满足 3NF
   • 满足 BCNF

数据链路层在网络体系中所处的地位

研究数据链路层的问题时, 可以认为数据包只在数据链路层沿水平方向传送.

如下图, 两台主机之间的通信可以看作是在 4 条不同的链路上的通信组成的.

• 链路(Link) 从一个结点到相邻结点的一段物理线路, 而中间没有任何其他的交换结点
• 数据链路(Data Link) 把实现通信协议的硬件和软件加在链路上, 形成数据链路
• 数据链路层以帧(Frame)为单位传输和处理数据

使用点对点信道的数据链路层

• 封装成帧
• 差错检测
• 可靠传输

使用广播信道的数据链路层(共享式局域网)

• 代表帧的信号会通过总线传输到总线上的其他各主机. 如何分辨帧是发给自己的呢? 在帧中添加地址字段

  

• 总线上多台主机同时使用总线传输帧的时候, 传输信号产生碰撞

  • 以太网: CSMA/CD

  

交换式局域网

使用点对点链路和链路层交换机的交换式局域网已经在(有线)局域网的领域取代了共享式局域网

• 网桥和交换机工作原理

无线局域网

• 802.11 局域网的媒体介入控制协议 CSMA/CA

封装成帧

• 封装成帧是指数据链路层给上层交付的协议数据单元添加帧头和帧尾使之成为帧

  • 帧头和帧尾包含重要控制信息

    

    

  • 帧头和帧尾的作用之一就是帧定界

    • MAC帧中无帧定界标志, 而是添加前导码. MAC 帧的发送间隔为 96 比特时间

      

• 透明传输是指数据链路层对上层交付的传输数据没有任何限制,就好像数据链路层不存在一样

  • 面向字节的物理量链路使用字节填充(字符填充), 如: 插入转义字符 ESC (0x1B, 0b00011011)

  • 面向比特的数据链路使用比特填充, 如下图每 5 个比特 1 填充一个比特 0

    

• 为了提高帧的传输效率,应当使帧的数据部分的长度尽可能大些.

• 考虑到差错控制等多种因素,每一种数据链路层协议都规定了帧的数据部分的长度上限,即最大传送单元 MTU (Maximum Transfer Unit)。

差错检测

• 实际的通信链路都不是理想的, 比特在传输过程中可能会产生差错: 1可能会变成0, 而0也可能变成1. 这称为比特差错.
• 在一段时间内, 传输错误的比特占所传输比特总数的比率称为误码率BER(Bit Error Rate).

• 使用差错检测码来检测数据在传输过程中是否产生了比特差错, 是数据链路层所要解决的重要问题之一.

• 帧尾中包含的 FCS (检错码)字段

奇偶校验

见计组

循环冗余校验 (CRC)

见计组

循环冗余校验CRC有很好的检错能力(漏检率非常低),虽然计算比较复杂,但非常易于用硬件实现,因此被广泛应用于数据链路层。

局限

• 检错码只能检测出帧在传输过程中出现了差错,但并不能定位错误,因此无法纠正错误.
• 要想纠正传输中的差错,可以使用冗余信息更多的纠错码进行前向纠错。但纠错码的开销比较大,在计算机网络中较少使用.

可靠传输

基本概念

• 数据链路层向上提供的服务

  • 不可靠传输服务: 仅仅丢弃有误码的帧, 其他什么都不做
  • 可靠传输服务: 想办法实现发送端发送什么, 接收端就收到什么

• 一般情况下,有线链路的误码率比较低,为了减小开销,并不要求数据链路层向上提供可靠传输服务。即使出现了误码,可靠传输的问题由其上层处理

• 无线链路易受干扰,误码率比较高,因此要求数据链路层必须向上层提供可靠传输服务

• 传输差错除了数据链路层的比特差错, 还包括分组丢失, 分组失序,分组重复. 后三者一般出现在上层, 这就意味着可靠传输不仅仅局限在数据链路层

  • TCP 向其上层提供面向连接的可靠传输服务
  • UDP 向上层提供无连接, 不可靠传输服务
• 可靠传输实现复杂, 开销较大, 是否实现取决于具体的应用需求

停止-等待协议 (Stop-and-Wait, SW)

• 正常情况下, 接收方每收到一个 DATA 分组, 就会返回一个 ACK 分组. 发送方接收到 ACK 分组后, 继续发送下一个 DATA 分组

• 接收端检测到数据分组有误码时, 将其丢弃并等待发送方的超时重传。但对于误码率较高的点对点链路, 为使发送方尽早重传,也可给发送方发送NAK 分组。

• 为了让接收方能够判断所收到的数据分组是否是重复的, 需要给数据分组编号。由于停止等待协议的停等特性, 只需1个比特编号就够了, 即编号0和1。

• 为了让发送方能够判断所收到的ACK分组是否是重复的, 需要给ACK分组编号,所用比特数量与数据分组编号所用比特数量一样。数据链路层一般不会出现ACK分组迟到的情况, 因此在数据链路层实现停止-等待协议可以不用给ACK分组编号。

• 超时计时器设置的重传时间应仔细选择, 一般可将重传时间选为略大于“从发送方到接收方的平均往返时间”。

  • 在数据链路层点对点的往返时间比较确定,重传时间比较好设定。
  • 然而在运输层, 由于端到端往返时间非常不确定, 设置合适的重传时间有时并不容易。

• 当往返时延RTT远大于数据帧发送时延To时(例如使用卫星链路) .信道利用率非常低。

  

• 若出现重传, 则对于传送有用的数据信息来说, 信道利用率还要降低。

• 为了克服停止等待协议信道利用率很低的缺点, 就产生了另外两种协议, 即后退N帧协议GBN和选择重传协议SR。

回退 N 帧协议 GBN （Go-Back-N)

发送方

• 发送窗口尺寸 $W_T$ 的取值范围是 $1<W_T<2^n-1$ , $n$ 为构成分组序号的比特数量
  • $W_T$ = 1 停止等待协议
  • $W_T\geq2^n-1$ 无法辨认新旧分组, 如累积确认分组丢失后, 发送方重发的数据分组会被接收方认为是新的的组
• 发送方可以在未收到接收方确认分组的情况下, 将序号落在发送窗口中的多个数据分组全部发送出去

• 发送方收到已发送数据分组的确认时, 发送窗口才能向前移动

• 发送方收到多个重复确认时, 可在重传超时计时器前尽早开始重传, 由具体实现决定

• 发送方发送窗口内某个已发送的数据分组超时重发时, 其后续在发送窗口内已发送的数据分组也必须全部重传

接收方

• 接收方的接收窗口 $W_R$ 大小为 1, 接收方只能按序接收数据分组

• 接收方只接受序号落在接收窗口且无误码的数据分组, 之后接收窗口滑动一个位置.

  • 不一定每收到一个按需到达无误码的数据分组就发回一个确认分组
  • 可以接收到连续几个数据分组后, 针对最后一个数据分组发送确认分组, 称为累积确认. ACKn 表示序号为 n 以及之前的数据分组全部正确接收. 这意味着即使确认分组丢失了一部分, 发送方也不一定需要重传.
  • 或者在自己有数据分组要发送时捎带确认
• 接收方收到未按序到达的分组, 丢弃后对最近按序到达的数据分组进行确认

总结

• 回退 N 帧协议在流水线传输的基础上通过发送窗口限制发送方连续发送数据分组的数量, 是一种自动重传请求（Automatic Repeat-reQuest，ARQ）协议
• 协议工作过程中发送窗口和接收窗口不断向前滑动, 因此又被称为滑动窗口协议
• 由于回退 N 帧的特性, 通信线路质量不好时, 信道利用率不必 SW 协议高

选择重传协议 SR(Selective Request)

与 GBN 相比

• GBN 一个数据分组误码会导致其后续的多个数据分组被丢弃, 尽管它们可能没有乱序和误码

• SR 的接收窗口尺寸 $W_R$ 不再是 1, 以便接收失序到达但无误码并且序号落在接收窗口内的数据分组, 等到所缺分组收齐后再一并送交上层

• 选择重传协议不能使用累计确认, 因为不是按照组好顺序顺序接收的

发送方

• 发送窗口尺寸: $1<W_T\leq2^{n-1}$
  • $W_T=1$ 与停止等待协议相同
  • $W_T>2^{n-1}$ 接收方无法辨认新旧分组(比如接收方确认分组丢失了, 发送方重传)
• 发送方可以在未收到接收方确认分组的情况下, 将序号落在发送窗口中的多个数据分组全部发送出去
• 发送方按序收到确认分组时, 发送窗口前移; 若收到未按序到达的确认分组, 对其记录防止超时重发, 发送窗口不移动

接收方

• 接收窗口尺寸:$1<W_R\leq W_T$
  • $W_R>W_T$ 无意义
• 接收方可以接收未按序到达但没有误码且序号落在接收窗口的数据分组
  • 为了使得发送方仅重传出现差错的分组, 接收方不使用累积确认
• 接收方在按序接收数据分组后, 接收窗口才能滑动

点对点协议 PPP(Point-to-Point Protocol)

• 目前使用最广泛的点对点数据链路层协议

  • 用户计算机与 ISP 进行通信时, 数据链路层的协议就是 PPP 协议
  • 广泛应用于广域路由器之间的专用线路

• PPP 协议在点对点链路传输各种协议数据报提供了标准方法

  • 对各种协议数据报的封装方法 (封装成帧)

  • 链路控制协议 LCP: 用于建立, 配置以及测试数据链路的连接

  • 一套网络控制协议 NCPs: 其中的每一个协议支持不同的网络层协议

    

PPP 协议帧格式

• 标志 ( Flag ) 字段: PPP 帧的定界符, 取值为 0x7E
• 地址 ( Address ) 字段: 取值为 0xFF, 目前无作用
• 控制 ( Control ) 字段: 取值为 0x03, 目前无作用
• 协议 ( Protocol ) 字段: 指明帧的数据部分分别送交哪个协议处理
  • 取值为 0x0021: IP数据报
  • 取值为 0xC021: LCP 分组
  • 取值为 0x8021: NCP 分组
• 帧检验序列 ( Frame Check Sequence ) 字段: CRC 校验位

透明传输

面向字节的异步链路采用插入转义字符的字节填充法

发送方的处理:

• 每出现一个7E (PPP 帧的定界符) , 在前面插入转义字符 7D并减去 0x20, 变成 7D 5E
• 每出现一个7D (转义字符), 在前面插入 7D , 并减去 0x20, 变成 7D 5D
• 每出现一个 ASCII 码控制字符 (小于 0x20 的字符), 在前面插入7D, 并给该字符编码加上 0x20

接收方只要进行反变化即可恢复原来的帧的数据部分

面向比特的同步链路采用插入比特 0 的比特填充法

发送方的处理:

• 对帧的数据部分进行扫描, 每发现 5 个连续的比特 1, 立即填充 1 个比特 0

接收方的处理:

• 反过来

差错检测

生成多项式

工作状态

媒体接入控制 (Medium Access Control, MAC)

基本概念

• 共享信道着重考虑的问题: 协调多个发送和接受站点对一个共享传输媒体的占用, 即 MAC

• 分类

  

• 点对点链路和链路层交换机的交换式局域网在有限领域已经取代了共享式局域网, 无线局域网仍然使用共享媒体技术

静态划分信道

• 复用 (Multiplexing) :一条物理线路同时传输多路用户的信号
• 用复用技术可以在一条物理线路上建立多条通信信道来充分利用传输媒体的带宽

频分复用 (Frequency Division Multiplexing, FDM)

• 传输线路频带资源划分为多个子频带, 形成多个子信道, 之间有隔离频带, 以免干扰
• 复用器将每一路信号调整到不同频率的载波上, 接收端通过分用器将各路信号分开, 恢复原信号
• 频分复用所有用户同时占用不同的频带资源并行通信

时分复用 (Time Division Multiplexing, TDM)

• TDM 将带宽资源按时隙轮流分配给不同的用户, 每对用户只在分配的时隙里使用线路传输数据
• TDM 将时间划分为等长的 TDM 帧, 每个 TDM 用户在每一帧中占用的时隙的序号是固定的, 周期即 TDM 帧的长度
• 时分复用的所有用户在不同的时间占用同样的频带宽度

波分复用 (Wavelength Division Multiplexing, WDM)

码分复用 (Code Division Multiplexing,CDM)

• CDM 是一种共享信道的方法, 多用于多址接入, 更常用的名词是码分多址 (Code Division Multiple Access, CDMA)

• FDM 和 TDM 同样可以用于多址接入

• 复用和多址

  • 复用: 单一媒体频带资源划分为多个相互独立, 互不干扰的子信道. 每个子信道只占用媒体频带资源的一部分
  • 多址 (多点接入) 处理将信道动态分配给用户, 用户暂时占用信道的应用必须,信道永久性分配给用户的应用则不需要
  • FDMA, TDMA, CDMA 可分别看作 FDM, TDM, CDMA 的应用

• CDM 的每一个用户可以在同样的时间内使用同样的频带进行通信

• 各个用户使用经过特殊挑选的不同码型, 不会造成干扰

• CDMA 中每一个比特时间被分为 m 个短间隔, 称为码片(Chip) 通常是 64 或 128

• 使用CDMA 的每一个站点被指派唯一的 m 位码片序列 (Chip Sequence)

  • 一个站点若要发送比特1, 则发送自身的 m 位码片序列
  • 若要发送比特0, 则发送发送自身的 m 位码片序列的二进制反码

  举个例子: 某站点码片序列为 00011011, 则发送比特1: 发送00011011, 发送比特 0: 11100100.

  按惯例将码片序列中的 0 写为 -1, 1 写为 +1, 则该站点码片序列为: (-1, -1, -1, +1, +1, -1, +1, +1)

• 码片序列挑选原则

  • 每个站点的码片序列必须各不相同, 常采用伪随机码序列
  • 每个站点的码片序列必须互相正交, 即规格化内积为 0 ($S\cdot T=\displaystyle \frac 1 m \sum_{i=1}^{m}S_i T_i=0$)

• 要判断某个站点发送信号的情况, 只需要将叠加信号和该站点码片序列做规格化内积, 为 1 则发x送 1,为 -1 则发送 0, 为 0 则未发送

动态接入控制

随机接入 (Random Access)

载波监听多址接入/碰撞 检测 (Carrier Sense Multiple Access/Collision Detection,CSMA/CD)

• 多址接入 MA

  • 多个站点连接在一条总线,竞争使用总线

• 载波监听 CS

  • 每个站点发送帧之前检测一下总线上是否有其他站点再发送帧
    • 检测到总线空闲 96 比特时间后, 则发送帧, 96 bit 是帧间最小间隔, 使接收方可以检测出一个帧的结束, 也使得其他站点公平竞争信道
    • 若总线忙, 继续检测并等待

• 碰撞检测 CD

  • 每一个正在发送帧的站点边发送帧边检测碰撞
    • 一旦碰撞, 立即停止, 退避一段时间后择机发送
  • 以太网有强化碰撞机制, 即一旦发生碰撞, 立即停止发送帧, 并发送 32 bit 或者 48 bit 的人为干扰信号 (Jamming Signal), 使足够多的站点检测出碰撞

• 争用期 (碰撞窗口)

  

  • 最多经过 2τ 时间可知本次发送是否遭遇碰撞, 以太网端到端往返传播时延 2τ 就称为争用期或者碰撞窗口
  • 争用期内未检测到碰撞, 这次发送必定无碰撞
  • 主机越多, 端到端往返时延越大, 碰撞几率越高. 共享式连接主机数量有限, 总线长度也不能太长

• 最小帧长

  

  • 由于是边检测边发送, 若帧长过短, 传输过程中遭遇碰撞发送方不会重发
  • 以太网规定最小帧长为 64 字节(512 bit 时间即争用期)
    • 若发送数据少, 需要填充字节
  • 最小帧长保证主机可以在帧发送完毕前确定是否发生碰撞
    • 若在争用期未检测到碰撞, 则后续的数据一定不会发生碰撞
    • 若在争用期检测到碰撞, 立即终止发送. 此时发送出去的帧长度一定小于 512 bit. 规定长度小于 64 byte 的帧都是碰撞引起的无效帧

• 最大帧长

  • 过长的帧会长时间占用总线
  • 过长的帧可能会导致接收方缓冲区溢出

  

  

• 截断二进制指数退避算法

  • 退避时间 = 基本退避时间( 争用期 2τ ) × 随机数 r (r ∈ {0, 1, …2^k-1}, k=min{重传次数, 10})

  • 举例:

    

  • 该算法可以使重传需要推迟的时间随重传次数而增大, 减小发生碰撞概率

  • 重传 16 次仍然失败, 丢弃该帧, 向上层报告

• 信道利用率

  

  • 理想情况

    • 各个主机发送的帧无碰撞

    • 总线一旦空闲, 某主机立即发送帧

    • 发送一帧占用总线 τ₀+τ, 帧本身发送时间为 τ₀

      • 极限信道利用率 $\displaystyle S_{max}=\frac {\tau_0}{\tau_o+\tau}=\frac{1}{1+\frac{\tau}{\tau_0}}$
      • 提高利用率, 以太网端到端距离受到限制, 以太网帧长度应尽量长

• 帧发送流程

  

• 帧接收流程

  

• 发展

  • CSMA/CD 协议曾用于各种总线结构以太网和双绞线以太网早期版本
  • 现在以太网基于交换机和全双工连接, 没有碰撞, 因此没有必要使用 CSMA/CD 协议

载波监听多址接入/碰撞避免 (Carrier Sense Multiple Access/Collision Avoidance,CSMA/CA)

• 无线局域网不能使用碰撞检测 CD

  • 无线信道传输条件特殊, 信号强度动态范围大, 实现 CD 对硬件要求过高

  • 存在隐蔽站问题

    

• 802.11无线局域网使用 CSMA/CA 协议，在 CSMA 的基础上增加了一个碰撞避免 CA 功能, 而不再实现碰撞检测功能

• 由于不可能避免所有的碰撞，并且无线信道误码率较高, 802.11 标准还使用了数据链路层确认机制(停止-等待协议)来保证数据被正确接收

• 802.11 的 MAC 层标准定义了两种不同的媒体接入控制方式:

  • 分布式协调功能 DCF (Distributed Coordination Function). 在 DCF 方式下，没有中心控制站点, 每个站点使用 CSMA/CA 协议通过争用信道来获取发送权, 这是 802.11 定义的默认方式
  • 点协调功能 PCF (Point Coordination Function)。PCF 方式使用集中控制的接入算法(一般在接入点 AP 实现集中控制)，是 802.11 定义的可选方式，在实际中较少使用

• 帧间间隔 IFS (Inter Frame Space)

  • 802.11 标准规定，所有的站点必须在持续检测到信道空闲一段指定时间后才能发送帧，这段时间称为帧间间隔 IFS。
  • 帧间间隔长短取决于发送帧类型:
    • 高优先级帧需要等待的时间较短，因此可优先获得发送权
    • 低优先级帧需要等待的时间较长。若某个站的低优先级帧还没来得及发送，而其他站的高优先级帧已发送到信道上，则信道变为忙态，因而低优先级帧就只能再推迟发送了。这样就减少了发生碰撞的机会。
  • 常用的两种帧间间隔:
    • 短帧间间隔 SIFS (28μs) , 是最短的帧间间隔，用来分隔开属于一次对话的各帧。一个站点应当能够在这段时间内从发送方式切换到接收方式。使用 SIFS 的帧类型有 ACK 帧、CTS 帧、 由过长的 MAC 帧分片后的数据帧、以及所有回答 AP 探询的帧和在 PCF 方式中接入点 AP 发送出的任何帧
    • DCF 帧间间隔 DIFS (128 μs) 发送数据帧和管理帧

• 工作原理

  

  • 源站为什么在检测到信道空闲后还要等待一段时间 DIFS?
  查看答案

  考虑到其他的站点有高优先级帧要发送, 若有, 让高优先级帧先发送

  • 目的站为什么正确接收数据帧后还要等待一段时间 SIFS 才能发送 ACK 帧?

    查看答案

    <div class="note green no-icon flat"><p>短帧间间隔 SIFS , 是最短的帧间间隔，一个站点应当能够在这段时间内从发送方式切换到接收方式</p>

    </div>

  • 使用退避算法的时机?

  查看答案

  1. 发送数据帧之前检测到信道忙

  2. 每次重传数据帧

  3. 每次成功发送后要连续发送下一个帧时(避免一个站点长时间占用信道)

• CSMA/CA 协议的退避算法

  • 执行退避算法时, 站点为退避计时器设置一个随机的退避时间
    • 退避计时器时间减为 0, 开始发送数据
    • 退避计时器尚未减少到 0, 信道又转变为忙状态, 则冻结退避计时器的数值, 待信道空闲并经过 DIFS 时间后继续启动退避计时器
  • 在进行第 i 次退避时, 退避时间在时隙编号 {0, 1, …, 2²⁺ⁱ -1} 中随机选择一个, 然后乘以基本退避时间(一个时隙的长度), 就可以得到随机的退避时间. 时隙编号达到 255 (第 6 次退避) 就不再增加

  

• CSMA/CA 协议的信道预约和虚拟载波监听

  • 为了减少碰撞概率和降低碰撞的影响, 802.11 标准允许要发送数据的站点对信道进行预约.
    1. 源站在发送数据帧之前先发送一个短的控制帧, 称为 请求发送 RTS (Request To Send) , 包含源地址, 目的地址以及这次通信(包括相应的确认帧)所需要的持续时间
    2. 若目的站正确收到 RTS 帧, 且媒体空闲, 就发一个响应控制帧, 称为允许发送 CTS (Clear To Send) , 包含此次通信所需要的持续时间
    3. 源站收到 CTS 帧后, 在等待一段时间 SIFS 后, 就可以发送数据帧
    4. 目的站正确接收数据帧后, 等待 SIFS 后发送确认帧 ACK
  • 除了目的站和源站, 在收到 CTS 帧 (或者数据帧) 后, 就推迟接入到无线局域网中, 保证源站和目的站之间通信不受干扰
  • 若 RTS 帧发生碰撞, 源站就收不到 CTS 帧, 需要执行退避算法重传 RTS 帧
  • 由于 RTS帧 和 CTS 帧很短，发送碰撞的概率、碰撞产生的开销及本身的开销都很小。而对于一般的数据帧，其发送时延往往大于传播时延(因为是局域网) .碰撞的概率很大, 且一旦发生碰撞而导致数据帧重发, 则浪费的时间就很多, 因此用很小的代价对信道进行预约往往是值得的. 802.11 标准规定了 3 种情况供用户选择:
    • 使用 RTS 和 CTS
    • 不使用 RTS 和 CTS
    • 当数据帧长度超过某一数值才使用 RTS 和 CTS 帧
  • 除了 RTS 帧和 CTS 帧携带通信所需要的时间, 数据帧也能携带通信所需要的时间, 这称为 802.11 的虚拟载波监听机制
    • 借助这个机制, 站点只需要监听到 RTS, CTS 或者数据帧中的一个, 就可以知道信道被占用的时间, 进而减少隐蔽站问题带来的碰撞问题

• 本节测试题

  1. 【2011 年题 36】下列选项中，对正确接收到的数据帧进行确认的 MAC 协议是 查看答案 D

     A. CSMA B. CDMA C. CSMA/CD D. CSMA/CA

     查看解析

     CDMA 码分多址, 静态划分信道, 是物理层的信道复用技术, 不属于 MAC 协议.CSMA/CA 使用停止等待协议, 有确认机制

  2. 【2013 年题 36】下列介质访问控制方法中，可能发生冲突的是 查看答案 B

     A. CDMA B. CSMA C. TDMA D. FDMA

MAC 地址，IP 地址以及 ARP 协议

MAC 地址

• 使用点对点信道的数据链路层不需要使用地址
• 使用广播信道的数据链路层必须使用地址区分各主机

• 每个主机发送的帧中 必须携带标识发送主机和接收主机的地址 , 这类地址用于媒体接入控制 ( MAC )的, 因此被称为 MAC 地址

  • MAC 地址一半固化在网卡的 EEPROM 中, 因此 MAC 地址也被称为 硬件地址
  • 有时候也被称为 物理地址

• 每个网络适配器拥有一个全球唯一的 MAC地址, 用户主机一半包括有线网卡与无向网卡两个网络适配器. 严格来说 MAC 地址是对网络上各接口的唯一标识, 而不是各设备

MAC 地址格式

• 表示方法

  • Windows: 00-0C-CF-93-8C-92
  • Linux: 00:0C:CF:93:8C:92

• 

• 发送顺序

  • 字节发送顺序: 第一字节到第六字节

  • 字节内发送顺序: $b_0$ 到 $b_7$

MAC 地址举例

• 单播

• 广播

• 多播

  

  • B, C, D 主机都会收到该多播帧
  • 若该多播帧的目的 MAC 地址在自己的多播列表, 接受并上交上层, 否则丢弃

IP 地址

• IP 地址是因特网上的主机和路由器所使用的地址, 用于标识两部分信息

  • 网络编号: 标识因特网上数意百万计的网络

  • 主机编号: 标识同一网络上的不同主机以及路由器各个接口

• MAC 地址不具备区分不同网络的功能

  • 单独网络不介入因特网, 可以只使用 MAC 地址
  • 如果需要接入因特网, IP 地址和 MAC 地址都需要使用

• 数据包转发过程中 IP 地址和 MAC 地址变化情况

  

  • 源 IP 地址和目的 IP 地址不变
  • 源 MAC 地址和目的 MAC 地址逐链路(网络)改变

ARP (Address Resolution Protocol) 协议

• 每台主机都有一个 ARP 高速缓存表, 记录 IP 地址和 MAC 地址的对应关系, 例如

  

  每次发送 MAC 帧的时候, 首先在自己的 ARP 高速缓存表中查找, 若未找到, 则发送 ARP 请求报文

• ARP 请求报文(广播)

  • 封装在 MAC 帧中

  • 目的地址 FF-FF-FF-FF-FF-FF

  • 内容 (大致)

    • 我的 IP 地址为: 192.168.0.2
    • 我的 MAC 地址为 00-E0-F9-A3-43-77
    • 我想知道 IP 地址为 192.168.0.3 的主机的 MAC 地址

  • 各主机收到 ARP 请求报文后, 上交给上层处理, 若 IP 地址相符

    • 将 B 的 IP 地址和 MAC 地址记录到自己的 ARP 高速缓存表中
    • 给源主机发送 ARP 响应, 以告知自己的 MAC 地址

• ARP 响应报文(单播)

  • 内容

    • 我的 IP 地址是: 192.168.0.3
    • 我的 MAC 地址是: 00_0C-CF-B8-4A-82

  • 总线上的各个主机都能收到该单播帧, 若网卡的 MAC 地址与响应报文不匹配, 直接丢弃; 否则交付给上层处理

• ARP 缓存表中的记录有两种类型
  • 动态: 自动获取, 生命周期默认 2 分钟
  • 静态: 手动配置, 不同操作系统生命周期不一样
• ARP 协议没有安全验证机制, 存在 ARP 欺骗, 攻击等问题

问题: 下图中主机 H1 是否可以使用 ARP 协议获取到主机 H2 的 MAC 地址? 查看答案 不可以

集线器和交换机

早期总线型以太网

使用大量机械接头的总线型以太网没有人们想象的可靠, 被淘汰

使用双绞线和集线器 HUB 的星型以太网

集线器使用大规模集成电路, 可靠性更高, 并且使用更便宜更灵活的双绞线作为传输媒体.

• 使用集线器的以太网在逻辑上仍然是一个总线网, 各站共享资源, 使用的还是 CSMA/CD 协议
• 集线器只工作在物理层, 网络中某个网卡出了故障, 不停地发送帧, 集线器可以断开这个故障网卡的连线

  使用集线器 HUB 在物理层扩展以太网

集线器可以将各个小型以太网互连形成一个更大的以太网, 同时合并成一个更大的碰撞域. 一台主机发送的数据帧的信号会传输到整个网络中的其他各主机.

以太网交换机

对比

• 发送单播帧

  • 一台主机通过集线器向另一主机发送单播帧, 这个单播帧会沿着共享总线传输到总线上的其他各个主机
  • 而单播帧进入交换机后, 交换机会将该单播帧转发给目的主机, 而非网络中其他各个主机

• 发送广播帧

  • 从效果上看无差别, 使用交换机的交换式以太网中的各主机属于同一个广播域, 使用集线器的共享式以太网中的各主机也属于同一个广播域

• 同时向一台主机发送单播帧

  

  • 集线器: 遭遇碰撞的帧传播到总线上的各主机
  • 交换机: 收到多个帧会将它们缓存起来, 然后逐个转发给目的主机

• 扩展以太网

  

  交换机和集线器均可以扩大广播域, 但是集线器会同时扩大冲突域, 增加了竞争总线的主机; 交换机不会扩大碰撞域 (VLAN 除外)

交换机简介

• 以太网交换机有多个接口. 每个接口与另一台交换机或者主机连接. 一般工作在全双工方式 (发送与接收同时进行). 交换机工作在半双工方式
• 以太网交换机具有并行性, 同时连通多对接口, 使多对主机同时通信, 无碰撞 (无需使用 CSMA/CD 协议)
• 以太网交换机一般具有多种速率的接口, 例如 10 Mbps, 100 Mbps, 1Gbps, 10Gbps 接口的多种组合
• 以太网交换机工作在 数据链路层 (也包括物理层), 收到帧后, 在帧交换表中查找 帧的 MAC 地址所对应的接口号, 然后通过该接口转发帧.
• 以太网交换机是一种即插即用设备, 帧交换表是通过自学习算法建立起来的
• 帧的两种转发方式:
  1. 存储转发:延时大，速度慢，可靠性高，可检错纠错
  2. 直通交换: 交换时延小, 不检测差错

以太网交换机自学习和转发帧的流程

流程

• 当 MAC 帧通过交换机的接口进入交换机后, 首先进行登记工作 (若帧交换表中没有这条记录)

  • 将该帧的源 MAC 地址记录到自己的帧交换表中
  • 将该帧进入自己的接口号记录到自己的帧交换表中

• 之后, 交换机对该帧进行转发

  • 若帧交换表中找到了目的 MAC 地址, 把帧由对应的接口转发出去
  • 否则对该帧进行盲目转发 (盲目泛洪), 除该帧进入交换机的接口外所有接口转发该帧

• 主机的网卡接收到帧后, 根据帧的目的 MAC 地址判断是否为转发给自己的帧

  • 若是, 交付给上层处理
  • 否则丢弃

有效时间

帧交换表中的每条记录都有有效时间, 到期自动删除. 这是因为 MAC 地址与接口的对应关系不是永久性的

本节习题

​

以太网交换机的生成树协议 STP (Spanning Tree Protocol)

提高以太网的可靠性

• 添加冗余链路
• 冗余链路的负面效应
  • 广播风暴: 大量消耗网络资源, 使得网络无法正常转发其他数据帧
  • 主机收到重复的广播帧: 大量消耗主机资源
  • 交换机的帧交换表震荡 (漂移)

生成树协议 STP

• 以太网交换机使用生成树协议可以在增加冗余链路提高网络可靠性的同时又避免网络环路带来的各种问题
  • 不论交换机之间采用怎么样的物理连接, 交换机都能自动计算并构建一个逻辑上没有环路的网络, 其逻辑拓扑结构必须是树形的(无环路)
  • 最终生成的树型逻辑结构确保连通整个网络
  • 当首次连接交换机, 或者网络物理拓扑结构发生变化时(人为改变或故障), 交换机都会进行生成树的重新计算

虚拟局域网 VLAN

分割广播域

• 使用路由器可以隔离广播域, 但成本高

  

• 虚拟局域网技术 VLAN 应运而生

  • 虚拟局域网 VLAN (Virtual Local Area Network) 是一种将局域网内的设备划分成与物理位置无关的逻辑组的技术吗这些逻辑组具有某些共同的需求

  

虚拟局域网 VLAN 的实现机制

IEEE 802.1Q 帧

• IEEE 802.1Q 帧对以太网 MAC 帧格式进行了扩展, 插入了 4 字节的 VLAN 标记

  

• VLAN 标记的最后 12 位 被称为 VLAN 标识符 VID, 它唯一地标识了以太网帧属于哪一个 VLAN

  • VID 取值范围 0 ~ 4095
  • 0 和 4095不用来表示 VLAN , 因此用于表示 VLAN 的 VID 的有效范围是 1 ~ 4094
• 802.1Q 帧是由交换机来处理的而不是用户主机来处理的
  • 打标签: 交换机给普通的 MAC 帧插入 4 字节的 VLAN 标记
  • 去标签: 删除 802.1Q 帧的 VLAN 标记

交换机的端口类型

• 端口类型有以下三种
  • Access
  • Trunk
  • Hybrid
• 交换机各端口的缺省 VLAN ID
  • 思科交换机上称为 Native VLAN, 即本征 VLAN, 默认都是 VLAN1
  • 在华为交换机上称为 Port VLAN ID, 即端口 VLAN ID, 简记为 PVID

Access 端口

• 一般连接用户计算机

• 只能属于一个 VLAN

• Access 端口的 PVID 值与端口所属的 VLAN ID 相同(默认为 1)

• 接收

  • 一般只接受 “未打标签” 的普通以太网 MAC 帧, 根据接收帧的端口 PVID 给帧 “打标签“, 插入的 VLAN 标记字段与 PVID 取值相等

• 发送

  • 若帧中的 VID 与 PVID 相等, 则去标签并转发该帧, 否则不转发

    

Trunk 端口

• 一般用于交换机之间或者交换机与路由器之间互连
• Trunk 端口可以属于多个 VLAN

• 用户可以设置 Trunk 的 PVID 值, 默认情况下Trunk 端口的 PVID 值位 1

• 发送

  • 对 VID 等于 PVID 的帧, 去标签再转发.
  • 对于 VID 不等于 PVID 的帧, 直接转发.

• 接收

  • 接收未打标签的帧, 根据自己的 PVID 给帧打标签.
  • 接收到已经打标签的帧.

  

物理层所考虑的

• 怎样在连接各种计算机的传输媒体上传输比特流
• 物理层为数据链路层屏蔽了各种传输媒体的差异, 是数据链路层只需要考虑如何完成本层的协议, 而无需考虑网络具体的传输媒体是什么

传输媒体

• 导引型传输媒体

  • 双绞线 (Twisted Pair)
  • 同轴电缆(Coaxial Cable)
  • 光纤(Fiber-Optic)

• 非导引型传输媒体

  • 微波通信 (Microwave Communication)

物理层协议的主要任务

• 机械特性

  • 指明接口所用接线器的形状和尺寸, 引脚数目和排列, 固定和锁定装置

• 电气特性

  • 指明接口电缆上各条线的电压范围

• 功能特性

  • 指明某条线出现某一电平的电压表示何种意义

• 过程特性

  • 指明对于不同功能的各种可能事件的出现顺序

物理层下面的传输媒体

导引型传输媒体

• 同轴电缆 (Coaxial Cable)

  

  • 优点:

    1.与 STP 和 UDP 相比,同轴电缆可以在几乎没有中继器推动的情况下,在距离较远的两个网络节点之间传输数据；

    2.比光缆便宜（比 STP 和 UTP 贵）。

  • 缺点:

    同轴电缆价格较贵且布线不够灵活和方便,随着集线器的出现, 在局域网领域基本上都是采用双绞线作为传输媒体。

• 双绞线 (Twisted Pair)

  

  • 类型

    • 屏蔽双绞线 (Shielded Twisted Pair, STP)

    • 非屏蔽双绞线( Unhielded Twisted Pair, UTP )

    • 网屏式双绞线(Screened Twisted Pair, ScTP)

• 绞合作用

  • 抵御部分来自外界的电磁波干扰
  • 减少相邻导线的电磁干扰

• 类别和典型应用

  | 类别 | 带宽 | 线缆特点 | 应用 |
  | :————: | :——: | ——————— | ————————————————— |
  | 3 | 16MHz | 2对4芯双绞线 | 模拟电话;曾用于传统以太网 (10Mbps) |
  | 4 | 20MHz | 4对8芯双绞线 | 曾用于令牌局域网 |
  | 5 | 100MHz | 增加了绞合度 | 传输速率不超过 100Mbps 的应用 |
  | 5E(超五类) | 125MHz | 衰减更小 | 传输速率不超过 1Gbps 的应用 |
  | 6 | 250MHz | 改善串扰 | 传输速率高于 1Gbps 的应用 |
  | 7 | 600MHz | 使用屏蔽双绞线 | 传输速率高于 10Gbps 的应用 |

• 光纤 (Fiber-Optic)

  

  • 纤芯直径

    • 多模光纤: 50 μm, 62.5 μm
    • 单模光纤: 9 μm

  • 包层直径

    • 125 μm

  • 工作波长

    • 0.85 μm (衰减较大)
    • 1.30 μm(衰减较小)
    • 1.55 μm (衰减较小)

  • 优点

    • 通信容量大 (25000~ 30000GHz的带宽)
    • 传输损耗小,远距离传输时更加经济。

    • 抗雷电和电磁干扰性能好。这在大电流脉冲
      干扰的环境下尤为重要。

    • 无串音干扰,保密性好,不易被窃听。

    • 体积小,重量轻。

  • 缺点

    • 切割需要专用设备
    • 光电接口较贵

  • 原理

    

  • 多模光纤和单模光纤对比

    

• 电力线

导引型传输媒体

• 无线电波
• 微波
• 红外线
• 可见光

传输方式

串行传输和并行传输

串行传输

一个一个比特依次传输, 只需要一条传输线路

并行传输

n 条线路同时传输

• 优点
  • 速度是串行的 n 倍
  • 成本高

远距离传输( 如计算机网络 )常采用串行传输, 计算机内部传输常采用并行传输 ( 如总线 )

同步传输和异步传输

同步传输

数据块以稳定比特流传输, 字节之间没有间隔. 接收端在每个比特信号中间检测是0还是1.

由于不同设备时钟频率不同, 为避免时钟误差积累, 需要实现同步

• 外同步
  • 收发双方之间添加单独信号线
• 内同步
  • 发射端将时钟同步信号编码到数据中一起传输(如曼彻斯特编码)

异步传输

• 字节之间异步(字节之间的时间间隔不固定)
• 字节中的没个比特仍然要同步(各个比特持续时间相同)

单工通信和双工通信

• 单工通信: 单向通信 如: 广播
• 半双工通信: 双向交替通信 如: 对讲机
• 全双工通信: 双向同时通信 如: 电话

编码与调制

码元

在使用时间域的波形表示数字信号时, 代表不同离散数值的基本波形. 例:

信道和传输媒体

• 单工传输

  • 传输媒体中只包含一个信道: 发送信道或者接受信道

• 双工/半双工传输

  • 传输媒体中包含两个信道: 发送信道和接收信道

• 若使用信道复用技术, 一条传输媒体包含多个信号

常见编码

不归零编码

• 需要额外一根传输线传输时钟信号, 使发送方和接收方同步
• 宁愿用这根线传输数据信号而不是时钟信号
• 存在同步问题, 故计算机网络中的数据不采用这类编码

归零编码

• 每个码元传输结束后信号都要”归零”, 所以接收方只需要在信号归零后进行采样, 不需要单独的时钟信号
• 相当于把时钟信号用”归零”方式编在数据之内, 称为”自同步“信号
• 大部分带宽被用来传输”归零”而被浪费掉了, 编码效率低

曼彻斯特编码 (Manchester Encoding)

• 每个码元的中间时刻发生跳变, 既表示时钟, 又表示数据

差分曼切斯特编码 (Differential Manchester Encoding)

• 跳变仅表示时钟
• 每个码元开始时刻相对于上一个码元的结束电位是否发生变化表示数据

调制

基本调制方法

混合调制

• 基本调制方法一个码元只能表示一个比特

• 频率和相位相关, 所以通常情况下将相位和振幅和振幅合起来一起调制, 称为正交振幅调制 QAM(Quadrature Amplitude Modulation)

• QAM-16

  • 12 种相位

  • 每种相位有1或者2种振幅可选

    

• 可以调制出16种码元, 可以表示 0b0000~0b1111的数据, 故每个码元对应4个比特

• 码元与4个比特的对应关系采用格雷码. 相邻码元只有一位不同

  

信道的极限容量

失真因素

• 码元传输速率
• 信号传输距离
• 噪声干扰
• 传输媒体质量

失真的例子:

奈氏准则 (Nyquist’s Theorem)

在假定的理想条件下, 为了避免码间串扰, 码元的传输速率是有上限的.

内容

• 理想低通(频率低于某个上限值)信道的最高码元传输速率 = 2W Baud = 2W 码元/秒

• 理想带通(频率位于上下限之间)信道的最高码元传输速率 = 1W Baud = W 码元/秒

  其中 W: 信道带宽(Hz) Baud: 波特, 即码元/秒

• 实际上信道所能传输的最高码元速率要明显低于奈氏准则的上限数值

码元传输速率(波特率, 调制速率, 波形速率,符号速率)与比特率的关系

• 1个码元携带1个比特的信息量, 波特率和比特率在数值上相等
• 1个码元携带n个比特的信息量, 比特率=波特率*n
• 提高信息传输速率(比特率),必须使每个码元携带更多比特的信息量, 这需要采用多元制

香农公式 (Shannon Theorem)

带宽受限且有高斯白噪声干扰的信道的极限信息传输速率

c: 信道极限信息传输速率 (bps)

W: 信道带宽 (Hz)

S: 信道内所传信号的平均功率

N: 信道内高斯白噪声的功率

S/N: 信号与噪声噪之比, 无量纲单位

SNR: 信噪比(dB)作为度量单位, 计算公式 $\displaystyle \text {SNR} = 10 \times \log_{10}(\frac S N)$

结论

• 信道带宽或者信道中信噪比越大, c 越高

• 实际能达到的传输速率要低上不少, 因为在实际信道中, 还存在各种脉冲干扰, 信号在传输中的衰减和失真, 香农公式并未考虑

• 网络 (Network) 是由若干结点和连接这些结点的链路组成的
• 多个网络可以通过路由器互连起来, 构成一个覆盖范围更大的网络, 即互联网
• 因特网 (Internet) 是世界上最大的互连网络

Internet 和 internet

internet 是一个通用名词, 泛指多个计算机网络互连而成的网络. 在这些网络之间的通信协议可以是任意的

Internet 是专有名词, 指当前全球最大的, 开放的, 由众多网络互相连接而成的特定计算机网络, 采用 TCP/IP 协议族作为通信规则, 前身是美国的 APRANET

因特网发展的三个阶段

因特网服务提供者ISP (Internet Service Provider)

ISP 从因特网管理机构申请到成块的 IP 地址, 同时拥有通信线路以及路由器等联网设备. 任何机构和个人只要向 ISP 交纳规定费用, 就可以从 ISP 得到需要的 IP 地址.

我国主要的 ISP 就是三大运营商.

基于 ISP 的三层结构的因特网

• 第一层: 因特网主干网, 一般可以覆盖国际性区域范围, 拥有高速链路和交换设备. 第一层 ISP 直接互联.
• 第二层: 第二层 ISP 和一些大公司是第一层 ISP 的用户, 具有区域性或者国家性覆盖规模, 与少数第一层 ISP 相连接.
• 第三层: 本地 ISP 是第二层 ISP 的用户, 只拥有本地范围的网络, 一般的校园网, 企业网, 住宅用户是第三层 ISP 的用户.

数据 (Data)

• 数据以 0 1 序列发送.
• 数据不是信息的本身.
• 数据时信息的一种编码方式, 它通过电/光信号来传输.

数据包 (Data Packets)

• 数据被划分成易于传输的小单元.
  • 在 OSI 中, 这些单元可以是 packets, frames, segments
• 意义
  • 加速传输 (不同进程或任务对于用户是同时运行的)
  • 丢包重传数据少
  • 数据可通过不同的路径到达

因特网的标准化工作

• 因特网的标准化工作对因特网的发展起到了非常重要的作用
• 因特网在制定其标准上的一个很大的特点是面向大众.

因特网的组成

• 边缘部分
  • 由所有链接在因特网上的主机组成. 这部分是用户直接使用的,用来进行通信(传送数据)和资源共享.
• 核心部分
  • 由大量网络和连接这些网络的路由器组成. 这部分是为边缘部分提供服务的.

三种交换方式

电路交换(Circuit Switching)

• 电话交换机接通电话线的方式称为电路交换

• 从通信资源呢分配角度来看, 交换(Switching) 是按照某种方式动态地分配传输线路的资源

• 步骤:

  1.建立连接 (分配通信资源)

  2.通话(一直占用通信资源)

  3.释放连接 (归还通信资源)

使用电路交换传送计算机地数据, 线路的传输效率会很低

分组交换 (Packet Switching)

发送方

• 构造分组

  将较长的报文划分为等长的数据段, 并添加首部, 构成一个分组, 也可以简称为包 (packets), 首部也可以称为包头. 首部包含了分组的目的地址.

• 发送分组

路由器

• 缓存分组

• 转发分组

  检查首部中的目的地址, 进行查表转发

接收方

• 接受分组

• 还原报文

  去掉首部还原出原始报文

下图展示了分组交换的两种情况:

• 各分组从源站到目的站可以走不同的路径
• 分组乱序

报文交换 (过时)

对比

计算机网络的定义

最简单定义: 一些互连, 自治的计算机集合

• 互连: 计算机之间可以通过有线或者无线的方式进行数据通信
• 自治: 独立的计算机, 有自己的硬件和软件
• 集合: 多台计算机

较好的定义:

计算机网络主要是由一些通用的、可编程的硬件互连而成的,而这些硬件并非专门用来实现某一特定目的 (例如,传送数据或视频信号)。这些可编程的硬件能够用来传送多种不同类型的数据,并能支持广泛的和日益增长的应用

计算机网络的分类

按交换技术

• 电路交换网络
• 报文交换网络
• 分组交换网络

按使用者

• 公用网
• 专用网

按传输介质

• 有线网络
• 无线网络

按覆盖范围

• 广域网 WAN
• 城域网 MAN
• 局域网 LAN
• 个域网 PAN

按拓扑结构分类

• 总线型网络
• 星型网络
• 环型网络
• 网状型网络

计算机网络的性能指标

速率

常用数据率单位:

$1Mbps=1000kbps=10^6bps$

一般在带宽, 速率中, 进率为 1000, 存储容量中进率为 1024. 当然也要看题目具体的说明.

带宽 (Bandwidth)

在模拟信号系统中

信号包含的各种不同频率所占据的频率范围, 单位 HZ

在计算机网络中

用来表示网络的通信线路所能传送数据的能力, 因此网络带宽表示最高速率

单位与速率相同.

吞吐量 (Throughput)

单位时间内通过某个网络(或信道,接口)的数据量, 与带宽不同的是, 吞吐量是真实的通过测量得到的.

时延

• $\displaystyle\text{发送时延}=\frac {分组大小}{发送速率} $
• $\displaystyle传播时延 = \frac{信道长度}{电磁波传播速率}$
• 处理时延 一般不便于计算

时延带宽积

• 传播时延和带宽的乘积
• 若发送端连续发送数据, 则在所发送的第一个比特即将到达终点时, 发送端就已经发送了时延带宽积个比特
• 又称为以比特为单位的链路长度

往返时间 RTT

• 因特网上的信息往往需要双向交互
• 有时需要知道双向交互一次的时间

利用率

• 信道利用率: 某信道的时间利用率

• 网络利用率: 全网络信道利用率的加权平均

• 利用率并非越高越好, 一条信道利用率和和时延有下面的关系:

  $D$ 表示网络当前时延, $D_0$ 表示网络空闲时的时延, $U$ 表示利用率

  $$\displaystyle D=\frac {D_0}{1-U}$$

  一些拥有较大主干网的 ISP 通常会控制信道利用率不超过 50%, 否则就要准备扩容, 增大带宽.

• 信道利用率太低会造成浪费, 可以根据情况动态调整输入到网络的通信量.

丢包率

• 即分组丢失率
• 原因:
  • 分组误码
  • 网络拥塞(结点交换机缓存队列满)

计算机网络体系结构

常见的计算机网络体系结构

开放系统互连参考模型 (Open System Interconnection,OSI)

• 法律上的国际标准
• 从下往上依次是: Physical, Data Link, Network, Transport, Session, Presentation, Application

TCP/IP 体系结构

• 事实上的国际标准

学习用模型

• 在学习时, 常把网络接口层分为物理层和数据链路层

计算机网络体系结构分层的必要性

• 减小复杂性
• 标准化的接口: 各层之间相互请求并提供服务
• 促进模块化工程
• 确保内部可操作的计数
• 促进发展

• 简化教学

• 应用层: 通过应用进程交互实现特定网络应用

• 运输层: 进程间基于网络的通信问题
• 网络层: 分组在多个网络上传输(路由)
• 数据链路层: 分组在一个网络(或者一段链路)传输
• 物理层: 用何种信号传输比特

计算机网络体系结构分层思想举例

发送方

层层封装

• 应用层: 构建一个 HTTP 请求报文
• 运输层: 添加一个 TCP 首部, 形成 TCP 报文
• 网络层: 添加一个 IP 首部, 形成 IP 报文
• 数据链路层: 添加以太网帧首部和帧尾部
  • 帧首部: 让帧能在一个网络或者一个链路上传输,能被相应主机接收
  • 帧尾部: 检查是否有误码
• 物理层: 添加前导码
  • 让目的主机做好接收帧的准备

路由器

一般只具有网络层, 链路层,和物理层

层层解封, 通过 IP 数据报的首部确定转发端口

接收方

层层解封

计算机网络体系结构中的专业术语

实体 (Entity)

• 实体 (Entity): 任何可发送或者接收信息的硬件或软件进程
• 对等实体 (Peer-Entity): 收发双方相同层次的实体

协议 (Protocol)

控制两个对等实体进行逻辑通信的规则的集合

• 逻辑通信实际上并不存在

协议的三要素

• 语法

  定义所交换信息的格式

• 语义

  定义收发双方所要完成的操作

• 同步

  定义收发双方的时序关系, 如 TCP 采用 “三报文握手” 建立连接的过程

服务

• 在协议的控制下, 两个对等实体间的逻辑通信使得本层能够向上一层提供服务

• 要实现本层协议, 还需要使用下面一层提供的服务

• 协议是 “水平的“, 服务是”垂直的“

• 下层协议对上层是不可见的

• 服务访问点 同一系统相邻两层的实体交换信息的逻辑接口, 用于区分不同的服务类型

  • 数据链路层: 帧的”类型”字段
  • 网络层: IP 数据报的”协议”字段
  • 运输层: “端口号”

• 服务原语: 上层使用下层服务必须与下层交换一些命令, 就是服务原语

• 协议数据单元 (PDU): 对等层次之间传送的数据包

• 服务数据单元 (SDU): 同一系统内, 层与层之间交换的数据包

  

📚 文档目录
合集-数的二进制表示-定点运算-BCD 码-浮点数四则运算-内置存储器-Cache-外存-纠错-RAID-内存管理-总线-指令集: 特征- 指令集:寻址方式和指令格式

• 每 4 位二进制数表示十进制的一位数
• 加法:由于真值的进位是 10,而 BCD 码的进位是 16,所以在真值产生进位的时候需加 6 强制进位.
• 减法:类似于补码减法. BCD”补码”与原码相加得 9.若结果是负数(“补码”表示),需转化成负号+原码的形式.

• 抽象函数—表达概念而无具体实现代码的函数
• 抽象类—表达概念而无法实例化对象的函数

2. 特点

• 带有 abstract 修饰符的函数
• 有抽象函数的类一定是抽象类
• 抽象类不能制造对象, 但是可以定义变量
  • 任何继承了抽象类的非抽象类的对象可以赋给这个变量

实现抽象函数

• 继承自抽象类的子类必须实现基类的抽象函数, 否则他自己就成为抽象函数

1
2
3

public abstract class AbstractClass{
    public abstract int abstractMethod();
}

与 C++ 相比

C++ 和 Java 实现多态的方式不同, 在 Java 中, 普通的函数就相当于 C++ 中的 virtual function, 从向上造型时候的例子可以看出, 即使变量本身是父类的, 但实际管理的对象是子类的, 默认调用的都是子类的函数, 如:

1
2
3
4
5
6
7
8
9
10
11
12
13
14

public class A {
    public void print(){System.out.println("A");}

    public static void main(String[] args) {
        A temp = new B();
        temp.print();
    }
}

public class B extends A {
    @Override
    public void print() {System.out.println("B");}
}

输出:

1

B

同理, 在存放基类对象的容器中添加子类的对象, 调用这些对象的函数时永远都是调用自己类的.

在 C++ 中默认的函数没有这种效果,而给函数加上 virtual 关键字后, 可以实现 Java 中的效果, 如:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

#include<iostream>
#include <vector>
using namespace std;
class A {
public:
 A() {}
 ~A() {}
 void print() { cout << "A" << endl; }
 virtual void print_v() { cout << "A" << endl; }
};
class B :public A
{
public:
 B() {}
 ~B() {}
 void print() { cout << "B" << endl; }
 virtual void print_v() { cout << "B" << endl; }
};
int main()
{
 A* temp = new B();
 temp->print();
 temp->print_v();
}

输出:

1
2

A
B

需要注意的是, C++ 中实现多态必须使用指针, 否则无论何时都只会调用静态类型( 变量类型 )的成员函数. 要在 C++ 中实现上文中 CD 存放的例子, 可以用容器vector<Item*>, 只需注意存放的类型必须为 Item*, 将需要在子类中重写的函数设为 virtual 即可.

• 接口是纯抽象类
  • 所有的成员函数都是抽象函数
  • 所有的成员变量都是public static final
    • final 变量意味着这个变量不可以改变值, final 类不可以被继承, final 的方法不可以被 override.
• 接口规定了长什么样, 但是不管里面有什么

1
2
3
4
5

//一个接口的例子
public interface Cell {
     void draw(int x, int y, int size);
}

2. 实现一个接口

• 继承用 extends, 接口用 implements
• 类可以实现多个接口( 实现类似多继承的效果 )
• 接口可以继承接口, 但不能继承类
• 接口不能实现接口
• 可以通过instanceof判断赋给接口变量的对象是不是某个类的

1
2
3
4
5
6

//一个实现接口的例子, Fox 继承了 Animal 类的同时实现了 Cell 的接口
public Fox extends Animal implements Cell {
     void draw(int x, int y, int size) {
        
     };
}

其中 Fox 和 Rabbit 都是继承自 Animal, 而 Field 作为容器, 接受的是 Cell, 由于 Java 不支持多继承, 所以将 Cell 做成接口, 在 Fox 和 Rabbit 内部分别实现这个接口, 就能把 FOX 和 Rabbit 赋给 Cell 的变量传给 Field 了.

1
2
3
4
5
6
7

try {
    //可能产生异常的代码
} catch (Type1 id1) {
    //处理 Type1 异常的代码
} catch (Type2 id2) {
    //处理 Type2 异常的代码
}

异常机制的最大好处: 清晰地分开了处理正常的业务逻辑代码和遇到情况时的代码
Java 中用try{}来包裹可能出现异常的代码块, 并用 catch(Type id){}捕捉并处理异常.

流程图

2. 捕捉到的异常

在 catch(type id){}的代码块中, 可以调用 id 的 一些方法, 比如getMessage(), printStackTrace() 来获得相关的信息.
如果在当前层面上无法全部处理, 可以通过 throw 再次将异常抛向上一层

• 有风险、可能会抛出异常的代码

1
2
3
4
5
6
7

//必须声明它会抛出 BadException
public void takeTisk() throws BadException {
    if(abandonallHopes) {
        //创建 Exception 对象并抛出
        throw new BadException();
    }
}

• 调用该方法的程序代码

1
2
3
4
5
6
7
8
9

public void crossFingers() {
    //如果不用 try - catch包裹起来, 就必须声明 throws BadException  
    try {
        anObject.takeRisk();
    } catch (BadException ex) {
        System.out.println("Aaargh");
        ex.printStackTrace();
    }
}

3. 什么东西可以扔出来

• 任何继承了 Throwable 类的对象
• Exception 类继承了 Throwbale
  • throw new Exception();
  • throw new Exception(“Something”);

4. catch 是怎样捕捉异常的

• 抛出子类的异常会被捕捉父类异常的 catch 捕捉到, 如 catch(Exception e){}会捕捉到所有的异常

运行时刻异常

• 像 ArrayIndexOutOfBoundsException 这样的异常不需要声明

5. 异常遇到继承

父类中的某个 Method 在子类中覆盖时, 必须保证子类中的同名方法不声明更多的异常抛出
子类的构造器中必须声明父类的全部异常

• InputStream
• OutputStream
  所有的输入、输出都基于这两个类. 这两个类的操作很有限, 都是字节( byte )层面的读写.
  注: Java 中 char 为两个字节 ( \u0000~\uFFFF ), byte 为一个字节 (-128 ~ 127).

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

package hello;

import java.io.IOException;
public class Main {
    public static void main(String[] args) {
        byte[] buffer = new byte[1024];
        try {
           int len =  System.in.read(buffer);
           String s = new String(buffer,0,len);
           System.out.println("读到了"+len+"字节");
            System.out.println(s);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

1
2

//输入
nihao你好

1
2
3

//输出
读到了12字节
nihao你好

2. 文件流

• FileInputStream
• FileOutputStream

这两个类可以对文件进行字节层面上的二进制输入输出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

public static void main(String[] args) {
    byte[] buffer = new byte[10];
    for(int i = 0;i<10;i++)
    {
        buffer[i] = (byte)i;
    }
    try {
        FileOutputStream out = new FileOutputStream("a.bat");
        out.write(buffer);
        out.close();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    }catch (IOException e){
        e.printStackTrace();
    }

}

1
2

//打开 a.bat
00 04 46 06 d8 ef 46 06 00 00  

3. 流过滤器

FileInputStream 和 FileOutputStream只能实现字节的读写, 如果需要写(读)入基本类型的数据, 就需要用到流过滤器.

• 写(读)如基本数据类型 DataOutputStream ( DataInputStream ) , 这两者是二进制写(读)

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

  DataOutputStream out = new DataOutputStream( //使用缓冲, 避免频繁对硬盘读写 new BufferedOutputStream( new FileOutputStream("a.bat"))); //可以写入 int out.write(123); DataInputStream in = new DataInputStream( //使用缓冲, 避免频繁对硬盘读写 new BufferedInputStream( new FileInputStream("a.bat"))); //可以读入 int int j = in.readInt(); out.close();

4. 文本数据 Reader/Writer

若文件是 Unicode 编码的， 可以直接用 Reader/Writer 打开读写， 但是实际情况下并不是所有的文件都是 Unicode ，所以需要借助 Stream 打开文件, 以过滤器的方式输入输出.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

//写入字符
PrintWriter pw = new PrintWriter(
    //缓冲
    new BufferedWriter(
        //OutputStreamWriter 是字符流到字节流的桥梁
        new OutputStreamWriter(
            new FileOutputStream("a.txt")
        )
    )
);
pw.println(123); 
pw.printf("")//格式化输出
pw.close();

//读入字符
BufferedReader in = new BufferedReader (
    new InputStreamReader(
        new FileInputStream ("a.txt"))
);
String line;
while ((line = in.readLine())!=null){
    System.out.println(line);
}

InputStreamReader 和 OutputStreamWriter起到了桥梁的作用, 将字符流和字节流建立了联系. 在他们的构造器中可以添加第二个参数以指定编码方式(如 utf-8 )
有更加方便的文件读写: FileReader 和 FileWriter, 但很少用. 使用如下:

1
2
3
4
5

//读
BufferedReader reader = new BufferedReader (new FilerReader("a.txt"));
......
//写
BufferedWriter writer = new BufferedWriter(new FileWriter("a.txt")); 

除了以上读取的方式, 当然也可以用 Scanner, 在 InputStream 或者 Reader 的基础上建立一个 Scanner 对象, 就可以从流中的文本解析出各种基本类型.

• Stream/Reader/Scanner 的选择

  

5. 对象序列化

1. 步骤

1. 创建 FileOutputStream
2. 创建 ObjectOutputStream
3. 写入对象
4. 关闭 ObjectOutputStream

1
2
3

ObjectOutputSream os = new ObjectOutputSream(new FileOutputStream());
os.writeObject(characterOne);
os.close();

2.注意事项

• 如果想要让类能够序列化, 要实现 Serializable 接口 ( 只声明即可 )
• 如果对象的,某个祖先类不可序列化, 那么这个不可序列化的类以及它的子孙的构造函数将会执行, 全部回归初始状态
• 静态变量不会被序列化, 而是一直维持原来状态
• 使用 transient 关键字来阻止某个变量被序列化, 还原时会自动被赋值为默认值

在原来的代码中，至少两处用到了相同的提示信息，需要将提示信息放在一个函数 showPrompt() 中来减少重复代码。

2. 封装

封装以降低耦合度。在原来的代码中，Game 类大量使用了 Room 类中的成员，比如得到 currentRoom 的出口，正确的做法是在 Room 类中的 getExits() 以 String 返回出口，而非返回 Room 类的对象；Game 类中 goRoom() 函数也不应该直接操作 Room 类的成员，而应让 Room 类自己返回输入所对应的房间。

3. 可拓展性

在原来的代码中, Room 类中含有 4 个表示出口的 Room 类型对象, 这不是好的做法, 因为这样大大降低了代码的可拓展性, 如果要增加 “up” 或者 “down” 方向的出口, 就会变得十分复杂. 更好的方式是用容器来增加代码的灵活性. 改造后, 只需在 createRoom()中写outside().setExit("up", anotherRoom);便可以使 outside 这个房间的 up 方向是 anotherRoom.
增加可扩展性:框架+数据

• 命令的解析脱离 if-else
• 定义一个 Handler 来处理命令
• 用 Hash 表来保存命令和 Handler 之间的关系

• toString()
• equals()

两个方法，前者可以打印对象的信息（可以在子类中具体实现）；后者判断是否管理着同一个对象 （默认实现为 ==） 。如果要实现判断内容是否一致，需要在子类中实现。比如，要实现只要 CD 类中 artist 成员相同，equals()就返回 true，需要这样写：

1
2
3
4
5
6
7

@Override
public boolean equals(Object obj)
{
    CD a = (CD)obj;//造型
    return artist.equals(a.artist);//equals判断两者所指向的对象的内容(可以自己实现判断标准)而==判断的是两者的值是否相等(即是否指向同一个对象)

}

• equals 比较二者指向对象的内容
• == 比较二者是否指向同一地址（管理同一个对象）

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

1.1 随机试验与随机事件

• 随机试验:

  • 相同条件可重复
  • 结果不止一个
  • 无法预测

• 事件：每种结果，随机事件A、B、C.

• 基本事件: 相对于实验目的不可再分.
• 复合事件: 由基本事件复合.

1.2 样本空间

• 样本空间: 所有基本事件复合, 记作 $\Omega$.
• 样本点: $\Omega$ 中的元素 $\omega$.

以下两种是非随机/极端:

• 必然事件: 一定会发生的事件.
• 不可能事件: 一定不发生的事件.
• 无限可列个: 按某种规律排成一个序列.

1.3 事件间的关系

• 包含
• 交( 积 )
• 并( 和 )
• 差: $A - B = A - AB$
• 互不相容事件: $A$ 与 $B$不同时发生
• 对立事件: $A + B = \Omega$ 且 $AB = \phi$
  与互不相容事件的不同:
  • 互不相容事件可以有多个, 对立事件只有两个.
  • 互不相容事件可以均不发生, 对立事件必定发生一个.
    相关公式: $A-B=A - AB=A\overline{B}$.

• 完备事件组:

  $$A_1, A_2,A_3...A_n 两两不相容, 且 \bigcup_{i=1}^{n} A_i = \Omega$$

• 运算律
  (1) 交换律
  (2) 结合律
  (3) 分配律
  (4) 对偶律:

  • $\overline{A\cup{B} } = \overline{A}\cap \overline{ {B}}$
  • $\overline{A\cap{B} } = \overline{A}\cup \overline{ {B}}$

1.4 频率与概率

1.4.1 频率

1.4.2 概率: 发生的可能性大小: $P(A)$

• 性质:
  1. 规范性: $P(\Omega) = 1$ , $P(\phi) = 0$
  2. 非负性: $0 \leq P(A) \leq 1$
  3. 可加性

1.5 事件概率

1.5.1 古典概型

• 性质:

  1. 有限可能

  2. 等可能

  3. 有限可加性:

     $$A_1, A_2,A_3...A_n 两两不相容,P(A_1+A_2+A_3...+A_n) = \sum_{i=1}^n {P(A_i)}$$

1.5.2 几何概型

典型问题: 会面问题, 蒲丰投针

• 性质:
  1. 完全可加性:$P(\bigcup_{i=1}^{\infty}A_i) = \sum_{i=1}^{\infty}P(A_i)$

1.6 公理化

1. 非负性: $0 \leq P(E) \leq 1$
2. 规范性: $P(\Omega) = 1$
3. 完全可加性: $P(\bigcup_{i=1}^{\infty}A_i) = \sum_{i=1}^{\infty}P(A_i)$

由这三条公理可以推出其他定理.
定理 1: $P(\phi) = 0$
证明:

定理 2:$P(\overline{E}) = 1 - P(E)$
证明:

定理 3: $P(A\cup B) = P(A)+P(B)-P(AB)$
证明:

补充: $P(A+B+C) = P(A)+P(B)+P(C)-P(AB)-P(C)-P(BC)+P(ABC).$

1.7 条件概率

1.7.1 条件概率

定义: 在样本空间内, $A$,$B$ 两个事件,$ P(B)>0$,在 $B$ 已经发生的条件下 $A$
发生的概率, 记作 $P(A|B)$.
公式: $P(A|B) = \frac{P(AB)}{P(B)}$. 乘法公式:$P(AB) = P(A|B)P(B)$
性质:

• $P(A|B)\leq 0$
• $P(\Omega|B) = 0$

1.7.2 全概率公式

定理：$A_1,A_2,A_3...A_n$ 是完备事件组（互不相容且并集为样本空间），且 $P(A_i)>0$ ,则 $P(B)=\sum_{i=1}^nP(A_i)P(B|A_i)$
典型问题: 各个厂家的产品各占多少,每个厂家的不合格率也不一样,求总的不合格概率

1.7.3 贝叶斯公式

全概率公式是知道原因推结果,贝叶斯公式是知道结果推原因, 例子: 感冒和肺炎都有可能引起发烧,全概率公式是感冒情况下发烧概率和肺炎情况下发烧概率都已知情况下求总的发烧概率,而贝叶斯公式是已知发烧,求感冒或者肺炎的概率.定理: $A_1,A_2,A_3…A_n$ 是完备事件组,则

• $P(A_i)$:先验概率,易算
• $P(A_i|B)$:后验概率,不易算(知道结果,求原因)

1.8 独立性

定义:
  事件 A 发生的概率不受事件 B 是否发生的影响.即: $P(A|B) = P(A)$.

• 注意:$\phi,\Omega$与任意事件独立.

定理 1：$P(AB)=P(A)P(B)$, 则为独立事件.
定理 2:

• $A$与$B$独立, 则 $A$与$\overline{B}$,$\overline{A}$与$B$,$\overline{A}$与$\overline{B}$独立
• $P(A) = 0$或者$P(A)=1$,则$A$与任何事件独立.
  • 注意: 概率为零不一定是空集, 概率为1也不一定是全集,比如集合概率模型,落在数轴上某点概率为零,但仍然可以发生.
• $E(X+Y)=E(X)+E(Y)$
• $D(X+Y)=D(X)+D(Y)$

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

2.1 随机变量

将样本空间 $\Omega$ 中的每个元素 e 与实数对应起来.

• 定义:
  设随机试验的样本空间为 $S = \{e\}.\space X = X(e)$ 是定义在样本空间的实值单值函数. 称 $X = X(e)$ 为随机变量.

2.3 离散型随机变量及其分布律

1. 离散型随机变量定义:

   • 有限个
   • 无限可列个

2. 满足条件:

   • $p_k\geq0,k=1,2…$
   • $\sum^n_{k=1}p_k=1$

3. 分布律:

   $$P\\{X = x_k\\}=p_k,k=1,2...$$

   也可以用表格:

   $$\begin{array}{|c|c|c|c|c|c|} \hline X & x_{1} & x_{2} & \ldots & x_{n} & \ldots \\ \hline p_{k} & p_{1} & p_{2} & \ldots & p_{n} & \ldots \\ \hline \end{array}$$

2.4 连续型随机变量及其概率密度函数

1. 定义:
   对于非负可积函数$f(x)$,有

1. 满足:

• $f(x) \geq 0$
• $\int^{-\infty}_{\infty}f(x)dx = 1$
• 取个别值概率为 0 , 则端点值有没有无所谓.

2.5 分布函数(对离散 连续均成立)

• 定义:
  $F(x) = P(X \leq x)$,即 $X$ 取值不超过 $x$ 的概率,它是一个普通的实函数

• 性质:

  1. $0\leq F(X) \leq 1, x \in (-\infty,+\infty)$

  2. $F(x)$ 不减, 即 $x_1 < x_2 \Rightarrow F(x_1)<F(x_2)$
     利用这个性质, 有:

  $$\begin{aligned} \lim_{x \rightarrow +\infty}F(x) = 1\\ \lim_{x \rightarrow -\infty}F(x) = 0\end{aligned}$$

  可以用来求参数

• $F(x)$右连续,且至多有可列个间断点 . 若为离散型, 则 $F(x)$ 右连续, 若为连续性, 则 $F(x)$ 不仅右连续, 还是连续的.
  以下公式对离散型和连续性均有用:

  $$\begin{array}{l} \text {。} P\\{X \leq a\\}=F(a)\\ 。P\\{X>a\\}=1-F(a)\\ 。P\\{a<X \leq b\\}=F(b)-F(a)\\ 。P\\{X=a\\}=F(a)-F(a-0) \text { 此处的 } 0 \text { 意为无穷小 }\\ 。 P\\{a \leq X \leq b\\}=F(b)-F(a-0)\\ 。 P\\{X<a\\}=F(a=0)\\ 。P\\{X \geq a\\}=1-F(a-0) \end{array}$$

2.5.1 离散型的分布函数

• 由概率求分布函数:

由图可见,函数的每一段都是右连续的.

• 由分布函数求概率:
  只需借助 $P\{X=a\}=F(a)-F(a-0)$.

2.5.2 连续型的分布函数

$F(x) = P\{X \leq x\}= \int_{-\infty}^{x}{f(x)}dx$
两边同时求导可得$F’(x)=f(x)$

2.6 几种分布

2.6.1 离散型的分布

1. 0-1分布

• 分布律

• 特点:
  • 只做一次
  • 结果只有两种: $p\{x=k\}=p^k(1-p)^{1-k}$
• 期望$E(X)=p$
• 方差$D(X)=p-p^2$

2. 几何分布

$A$发生概率为 $p$ 即$P(A) = p$,第 $k$ 次试验首次发生, 则前 $k-1$ 次没有发生,
$P\{X=k\}= (1-p)^{k-1}p$,$X$~$G(p)$.

3. 二项分布

• $P(A) =p$,$n$次试验,发生 $k$ 次的概率是 $P\{X=k\}=C^k_np^k(1-p)^{n-k},k=1,2,3,…,n, X \sim B(n,p)$
• 期望$E(X)=np$
• 方差$D(X)= np(1-p)$ 推导:因为每次试验都是互相独立的,所以将每次的都加起来

4. 泊松分布

• 公式: $P\{X=k\}=\frac{\lambda^k}{k!}e^{- \lambda},k=0,1,2,3,…,\lambda>0,X$~$P(\lambda)$
• 证明概率和为1:
  泰勒$:e^x=\sum_{k=0}^{\infty}\frac{x^k}{k!},\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}e^{- \lambda}=e^{-\lambda}\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}=e^{-\lambda} \cdot e^\lambda=1.$
• 适用范围:电台呼叫次数,公用设施(等车,摇号)
• 泊松分布近似二项分布:
  • 适用范围:$n$ 较大,$p$ 较小, $np$ 适中的时候. 当 $n\rightarrow+\infty$ 时,$\lambda \rightarrow np$.

例题: 银行有 1000 个账户,每户存了 10 万元. 每户提 2 万的概率是 0.006, 则银行应至少准备多少现金,可以有 95% 的概率满足用户需求?
设有 $X$ 名用户来取钱,银行要准备 $x$ 万元现金

查表即可求得 $x/2 \geq 10$

5. 超几何分布

• 定义：一共有 $N$ 个元素, $N_1$ 个属于第一类,$N_2$ 个属于第二类,取 $n$ 个元素, $X$ 代表这 $n$ 个元素中属于第一类的个数.

  $$P\\{X=k\\}= \frac{C_{N_1}^kC_{N_2}^{n-k}}{C^n_N},k=0,1,2,....min\\{n,N_1\\}$$

• 超几何分布:不放回试验. 但当 $N$ 很大, $n$ 很小的时候, 可近似视为放回抽样, 此时可以用二项分布近似. 例子:

  10000 粒种子, 发芽率 99%, 从中取出 10 粒, 有 k 粒发芽的概率:

  $$P\\{X=k\\}=\frac{C_M^{k}C_{10000-M}^{10-k}}{C_{10000}^{10}}\approx C_{10}^k0.99^k0.01^{10-k }$$

2.6.2 连续型的分布

1. 均匀分布

• 密度函数满足: $$f(x)=\begin{cases}\frac{1}{b-a},a \leq x \leq b \\0, else\\\end{cases}$$ 则 $x$ 服从均匀分布,记作 $x\sim \mathrm U[a,b]$

2. 指数分布

• 密度函数满足: $$f(x) = \begin{cases}\frac{1}{\theta} e^{-\frac{1}{\theta} x},x \gt 0\\ 0, x \leq 0\\ \end{cases}$$ 其中 $\theta>0$ 时, $X \sim \mathrm {Exp}(\theta)$
  • 无记忆性: 举例说明: 已经买了 10 年的灯泡还能再用 1 年的概率与刚刚买的灯泡能再用一年的概率相等. $$P\\{X>s+t|X>s\\} = P\\{X>t\\}$$ 直接按定义求积分可以证明.

3. 正态分布

• 密度函数:

  $$\displaystyle \phi(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},-\infty< x <+\infty$$

  记作

  $$X \sim N(\mu,\sigma^2).$$

  由 $\displaystyle \int_{-\infty}^{+\infty}e^{-x^2}dx=\sqrt{\pi}$ 可以证明 $\displaystyle \int_{-\infty}^{+\infty}\phi(x)dx = 1.$

• 分布函数:

  $$\Phi(x)=\frac{1}{\sqrt{2\pi\sigma}}\int_{-\infty}^{x}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx$$

• 性质:

  1. $y=\phi(x)$ 是以 $x=\mu$ 为对称轴的钟形曲线. $x = \mu$时, $\phi(x)$ 最大值$\frac{1}{\sqrt{2\pi}\sigma}.$

  2. $y=\phi(x)$ 以 $x$ 轴为渐近线. $x=\mu \pm \sigma$ 为拐点.

  3. $\sigma$ 固定,$\mu$ 变化, 图像左右移动;
     $\mu$ 固定,$\sigma$ 变化, 图像最高点变化.

  

• 标准正态分布

  • $\mu=0,\sigma=1.$
  • 性质:
    • 以 $y$轴为对称轴. 偶函数
    • $\Phi_0(-x)=1-\Phi_0(x).$

• 举例: 身高体重,受多种因素影响,且每种因素影响都不大.

  • 将一般的正态分布化为标准正态分布:

    $$\begin{aligned} \phi(x)&=\frac{1}{\sigma}\phi_0(\frac{x-\mu}{\sigma})\\ \Phi(x)&=\Phi_0(\frac{x-\mu}{\sigma})\\\end{aligned}$$

    做题时可以直接修改要求的 $X$ ,如:
    $\mu=1,\sigma=2,$则$P\{-2 \leq X \leq 2\}=P\{\frac{-2-1}{2}\leq \frac{X-1}{2} \leq\frac{2-1}{2}\}=\Phi_0(0.5)-\Phi_0(1.5)$

• 3 $\sigma$ 准则
  $P\{|X-\mu|<\sigma\} =0.6826$

  $P\{|X-\mu|<2\sigma\} =0.9545$

  $P\{|X-\mu|<3\sigma\} = 0.9973.$

• $X\sim N(0,1)$,给定 $\alpha(0<\alpha<1)$,找出 $v_\alpha$ 使得

  $$p\\{X>v_\alpha\\}=\alpha,v_\alpha \text{为}\alpha \text{分位数}$$

2.7 随机变量的函数的分布

2.7.1 离散型

• 已知 $X$ 服从某分布,求关于 $X$ 的函数 $Y$ 的分布.

• 例子:

  $$\begin{array}{|c|c|c|c|c|}\hline X & -1 & 0 & 1 & 2 \\\hline p_{k} & 0.2 & 0.3 & 0.1 & 0.4 \\\hline\end{array}$$

  则 $Y=(x-1)^2$ 的分布律为:

  $$\begin{array}{|c|c|c|c|}\hline Y & 0 & 1 & 4 \\\hline p_{k} & 0.1 & 0.7 & 0.2 \\\hline\end{array}$$

2.7.2 连续型

• 随机变量 $X$ 具有密度函数 $f_x(x)$ ,求$Y=g(X)$的密度函数.

• 步骤:

  1. $F_Y(x)\rightarrow F_x(x)$,注意 $F_Y(x) = p\{Y \leq x\},F_X(x) = p\{X \leq x\}$
  2. 两侧同时求导:$f_Y(x) \leftarrow f_X(x)$

• 例子 1:
  $X$ 概率密度为 $f_X(x)$,求 $Y=3X+2$ 的概率密度.

  解:

  $$\begin{aligned}F_Y(x)&= P\\{Y \leq x\\}=P\\{3X+2 \leq x\\}\\&=P\\{X \leq \frac{x-2}{3}\\}\\&=F_X(\frac{x-2}{3})\\\end{aligned}$$

  两边同时求导:

  $$\begin{aligned}f_Y(x)&=\frac{1}{3}f_X(\frac{x-2}{3})\\\end{aligned}$$

• 例子 2:
  $X\sim N(\mu,\sigma^2),Y=X^2,$ 求 $Y$ 的密度函数.
  按照上面方法,最后积分即可
  $Y$ 服从卡方分布

• 定理

  1. $X$ 服从 $(a,b)$ 内的均匀分布, 则 $Y=kX+c$ 也服从相应区间内的均匀分布.

     • 当$k>0,(ka+c,kb+c)$
     • 当$k<0,(kb+c,ka+c)$
       1. $X \sim N(\mu,\sigma^2)$,$Y=aX+b$,则 $Y\sim N(a\mu+b,a^2\sigma^2)$.
          证明:可以用上面分布函数求积分的方法,也可以用

  2. 若$X$ 的密度函数 $f_X(x)$,$Y=kX+b$,则$f_Y(x)=\frac{1}{|k|}f_x(\frac{x-b}{k})$

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

3.1 数学期望

3.1.1 离散型数据的数学期望

• $P(X=xk)= p_k,$ 若 $\sum^\infty{k=1}xkp_k$ 绝对收敛,则 $E(X)=\sum^\infty{k=1}x_kp_k$.
  注意:数学期望不一定均存在.

3.1.2 连续型数据的数学期望

• $X$ 的密度函数为 $f(x),\int{-\infty}^{\infty}xf(x)dx$ 绝对收敛,则$Ex = \int{-\infty}^{\infty}xf(x)dx$

3.1.3 随机变量函数的期望

$Y=g(X)$

• 离散 $E(X)=\sum x_i p_i,Y=g(X)$则$E(Y)=\sum g(x_i)p_i$

3.1.4 期望的性质

• $EC=C$
• $E(C_1X+C_2)=C_1EX+C_2$
• 若$X,Y$ 独立,则 $E(XY)=E(X)E(Y)$
• $E(X \pm Y)=EX \pm EY$

3.2 方差

3.2.1 方差的定义

• $DX = E((X-EX)^2)$
• 离散型: $DX=\sum(X_k-EK)^2p_k$
• 连续型: $DX=\sum_{-\infty}^{+\infty}(x-EX)^2f(x)dx$

但是一般用 $DX=E(X^2)-(EX)^2$ 计算.

3.2.2 方差的性质

• $DC=0$
• $D(C_1X+C_2) = C_1^2DX$
• 若$X,Y$ 独立 则$D(X \pm Y) = D(X)+D(Y)$

3.3 常见分布的期望和方差

3.3.1 常见离散型的期望与方差

1. 0-1分布

• $EX = p$
• $DX=E(X^2)-(EX)^2=p-p^2=p(1-p)$

2. 二项分布

• 期望
  设

  $$X_i=\begin{cases} 1,\text{the }\,\text{i-th}\,\text{ is}\,\text{ failure }\\ 0, \text{the }\,\text{i-th}\,\text{ is}\,\text{ success}\end{cases},$$

  则$E(Xi)=1 \times p+0 \times (1-p)=p,E(X)=E(\sum{i=1}^nXi)=np$

• 方差
  $DX=D(\sum_{i=1}^nXi)=np(1-p)$

3. 几何分布

$P\{X=k\}= (1-p)^{k-1}p$
$EX=\sum{k=1}^nk(1-p)^{k-1}p=\frac{1}{p}$运用级数求和
$DX=\sum{k=1}^nk^2(1-p)^{k-1}p=\frac{1-p}{p^2}$,借助$\sum{k=1}^\infty k^2X^{k-1}=\sum{k=1}^\infty k \cdot kX^{k-1}=(\sum{k=1}^\infty kX^k)’=(X\sum{k=1}^\infty kX^{k-1})’=(\frac{X}{(1-X)^2})’=\frac{1-x}{x^2}$

4. 泊松分布

$P\{X=k\}=\frac{\lambda^k}{k!}e^{- \lambda},k=0,1,2,3,…,\lambda>0,X$~$P(\lambda)$

• $EX=\sum{k=0}^\infty k\frac{\lambda^k}{k!}e^{- \lambda}=\sum{k=1}^\infty \frac{\lambda^k}{(k-1)!}e^{- \lambda}=\lambda \sum_{k=1}^\infty \frac{\lambda^{k-1}}{(k-1)!}e^{- \lambda}=\lambda \times 1=\lambda$(可以用概率和为1).
• 方差 $$\begin{aligned}E(X^2)&=\sum_{k=0}^\infty k^2\frac{\lambda^k}{k!}e^{- \lambda}\\&=\sum_{k=1}^\infty k\frac{\lambda^k}{(k-1)!}e^{- \lambda}\\&=\lambda\sum_{k=1}^\infty \frac{\lambda^{k-1}}{(k-1)!}e^{- \lambda}+\sum_{k=1}^\infty (k-1)\frac{\lambda^k}{(k-1)!}e^{- \lambda}\\&=\lambda+\sum_{k=2}^\infty \frac{\lambda^k}{(k-2)!}e^{- \lambda}\\&=\lambda+\lambda^{2}\sum_{k=2}^\infty \frac{\lambda^{k-2}}{(k-2)!}e^{- \lambda}\\&=\lambda+\lambda^2\\\end{aligned}$$ 则 $$\begin{aligned}DX=\lambda+\lambda^2-\lambda^2=\lambda\end{aligned}$$

3.3.2 常见连续型的期望与方差

1. 均匀分布

• $f(x)=\begin{cases}
  \frac{1}{b-a},a \leq x \leq b \
  0, else\
  \end{cases}$

• $\begin{aligned}
  EX=\int_a^bx\frac{1}{b-a}dx=\frac{a+b}{2}\end{aligned}$

• $\begin{aligned}E(X^2)=\int_a^bx^{2}\frac{1}{b-a}dx=\frac{b^2+ab+a^2}{3}\end{aligned}$

$\begin{aligned}DX=\frac{b^2+ab+a^2}{3}-(\frac{a+b}{2})^2=\frac{(b-a)^2}{12}\end{aligned}$

2. 指数分布

• $f(x) = \begin{cases}
  \frac{1}{ \theta} e^{-\frac{1}{ \theta} x},x \gt 0\
  0, x \leq 0\
  \end{cases}$

• 期望
  $\begin{aligned}EX&=\int_{0}^{\infty}x\cdot \frac{1}{ \theta} e^{-\frac{1}{ \theta} x}dx&=\theta\end{aligned}$

• 方差
  $\begin{aligned}D(X^2)=\int_{0}^{\infty}x^{2}\cdot \frac{1}{ \theta} e^{-\frac{1}{ \theta} x}dx = \theta^{2}\end{aligned}$

3. 正态分布

• $E(X)=\mu,D(X)=\sigma^2$
  证明:
  $Z=\frac{X-\mu}{\sigma}$,则 $Z\sim N(0,1)$

  $E(Z)=\displaystyle\int_{-\infty}^{+\infty}x\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx=0$

  $D(Z)=E(X^2)-(EX)^2=1$

  然后$E(X)=E(\sigma Z+\mu)=\mu,D(X)=D(\sigma Z+\mu)=\sigma^2$

3.4. 协方差和相关系数

3.4.1. 协方差

当随机变量$X,Y$ 独立时, $D(X+Y) = D(X)+D(Y)$.

当不独立的时候, $D(X+Y) = E((X+Y)^2)-(E(X+Y))^2$, 化简可以得到定理:

其中协方差 $Cov(X,Y)=E((X-EX)(Y-EY))$

推论: $E(XY)-E(X)E(Y)=Cov(X,Y)$

$Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$

3.4.2. 相关系数

3.5 中心距和原点矩

• $k$ 阶原点矩: $EX^k$. 例:$EX$ 一阶原点矩.
• $k$ 阶中心距: $E((X-EK)^k)$. 例: 一阶中心距:0; 二阶中心矩:$E((X-EX)^2)$,即方差.

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

4.1 大数定律

• 大量重复实验的平均结果的稳定性.

4.1.1. 马尔可夫不等式

• $P\{X\geq a\}\leq\displaystyle\frac{EX}{a}$

• 证明:$EX=\displaystyle\int_0^{\infty}xf(x)dx=\int_a^{\infty}xf(x)dx+\int_0^{a}xf(x)dx\geq\int_a^{\infty}xf(x)dx\geq\int_a^{\infty}af(x)dx=a P\{X\geq a\}$

4.1.2. 切比雪夫不等式

• 定理: 若 $EX$ 和 $DX$ 均存在, $\forall \epsilon >0$,均有 ${|X-EX|\geq \epsilon } \leq \frac{DX}{\epsilon ^2}$

  证明:

  $$\begin{aligned}\\{|X-EX|\geq \epsilon \\}&=\int_{|X-EX|\geq \epsilon }f(x)dx \\\\&\leq {\int_{|X-EX| \geq \epsilon }\frac{|X-EX|^2}{\epsilon ^2}f(x)dx}\\\\&\leq {\int_{-\infty}^{+\infty}\frac{(X-EX)^2}{\epsilon ^2}f(x)dx}\\ \\&\leq\frac{DX}{\epsilon ^2} \end{aligned}$$

4.1.3. 切比雪夫大数定律

• 依概率收敛: $X_n \rightarrow a$, $\forall \epsilon >0,∃ N>0$ 使得当 $n>N$ 时,有 $\{|X_n-a| \leq \epsilon \}=1$

伯努利大数定律

• $n$ 重伯努利试验, $A$ 发生了 $m_n$ 次, $P$ 为概率,则

  $$\displaystyle\lim_{n\rightarrow+\infty}{|\frac{m_n}{n}-P|\leq \epsilon \\}=1$$

  证明:

  $$\begin{aligned}&m_n\sim B(n,p),Em_n=np,Dm_n=np(1-p),\\&E(\frac{m_n}{n})=p,D(\frac{m_n}{n})=\frac{p(1-p)}{n}\\&1\geq {|\frac{m_n}{n}-P|\leq \epsilon \\}\geq 1-\frac{\frac{p(1-p)}{n}}{\epsilon ^2}\rightarrow1,n\rightarrow+\infty\end{aligned}$$

切比雪夫大数定律

• $X1,…,X_n$ 是不相关(没有线性关系)的变量,$EX_i$ 和 $DX_i$ 均存在,且方差有界,,$DX_i \leq M$, 则 $\forall\epsilon >0$ ,有$\displaystyle\lim{n\rightarrow\infty}P\{|\frac{1}{n}\displaystyle\sum{i=1}^{n}X_i-\frac{1}{n}\displaystyle\sum{i=1}^{n}EX_i|<\epsilon \}=1$

  证明:

  $$\begin{aligned} &E(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)=\frac{1}{n}\sum_{i=1}^n(EX_i),\\ &D(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)=\frac{1}{n^2}\sum_{i=1}^n(DX_i)\leq \frac{M}{n}\\ \therefore &1\geq\lim_{n\rightarrow\infty}{|\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i-\frac{1}{n}\displaystyle\sum_{i=1}^{n}EX_i|<\epsilon \\} \geq 1-\frac{D\Bigg(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i\Bigg)}{\epsilon ^2} \geq 1-\frac{M}{n\epsilon ^2}=1\\ \end{aligned}$$

辛钦大数定律

• $X1,…,X_n$ 是独立同分布的变量,$EX_i=\mu$,( 注:方差无要求 ) , 则 $\forall\epsilon >0$ ,有$$\displaystyle\lim{n\rightarrow\infty}{|\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i-\mu|<\epsilon }=1$$

  证明: 同样可用切比雪夫不等式.

4.2 中心极限定理

• 现象由大量相互独立的因素影响, 大量独立同分布的变量和极限分布是正态分布.

• 定理: 随机变量 $X1, X_2,…,X_n$ 独立同分布, 且 $E(X_i)=\mu,D(X_i)=\sigma^2>0(i=1,2,3…),$则随机变量之和$\displaystyle\sum{i=1}^{n}X_i$的标准化变量

  $$Y_n=\frac{\displaystyle\sum_{i=1}^{n}X_i-E(\sum_{i=1}^{n}X_i)}{\displaystyle\sqrt{D(\displaystyle\sum_{i=1}^{n}X_i)}}=\frac{\displaystyle\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}$$

  的分布函数 $F_n(x)$ 对于任意 x 满足

  $$\begin{aligned}\lim_{n\rightarrow{\infty}}F_n(x)&=\lim_{n\rightarrow{\infty}}P\lbrace\frac{\displaystyle\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\leq x\\\}\\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{x^2}{2}}dx=\Phi_0(x)\end{aligned}$$

  即该标准化变量近似服从标准正态分布:

  $$\frac{\displaystyle\sum_{i=1}^{n}X_i-n\mu}{\sqrt{n}\sigma}\sim N(0,1)$$

  可以改写成

  $$\frac{\overline{X}-\mu}{\sigma n^{-\frac{1}{2}}}\sim N(0,1)$$

  或者

  $$\overline{X} \sim N(\mu,\frac{\sigma^2}{n})$$

• e.g. 顾客有$100$人,在 $[0,60]$ 内均匀分布,独立,日销售额超 3500 概率为.

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

5.1. 总体与样本

5.2. 常用统计量

定义

• 样本均值: $\overline{X}=\displaystyle\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i$

• 修正后的样本方差: $\begin{aligned}S^{2}=\frac{1}{n-1} \sum{i=1}^{n}\left(X{i}-\bar{X}\right)^{2}\end{aligned}$

样本均值和样本方差的性质

• 定理: 设总体$X$的均值为$EX=\mu$,方差为$DX=\sigma^2$,样本{$X_1,X_2,\ldots ,X_n$} 来自总体$X$ ,则:
  • $E\overline{X}=\mu$
  • $\displaystyle D\overline{X} = \frac{1}{n}\sigma^2$
  • $ES^2=\sigma^2$

• 前两者证明略. $ES^2=\sigma^2$ 的证明:

  $$\begin{aligned} & \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}=\sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)-(\bar{X}-\mu)\right]^{2} \\=& \sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)^{2}-2\left(X_{i}-\mu\right)(\bar{X}-\mu)+(\bar{X}-\mu)^{2}\right] \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu) \sum_{i=1}^{n}\left(X_{i}-\mu\right)+\sum_{i=1}^{n}(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu)\left(\sum_{i=1}^{n} X_{i}-\sum_{i=1}^{n} \mu\right)+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu)(n \bar{X}-n \mu)+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 n(\bar{X}-\mu)^{2}+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2} \end{aligned}$$

  有:

  $$\begin{aligned} \text { } & \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}=\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2} \\ & E S^{2}=E\left[\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right] \\ &=\frac{1}{n-1} E\left[\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2}\right] \\ &=\frac{1}{n-1}\left\{E\left[\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right]-n E(\bar{X}-\mu)^{2}\right\} \\ &=\frac{1}{n-1}\left[\sum_{i=1}^{n} E\left(X_{i}-\mu\right)^{2}-n D \bar{X}\right] \\ &=\frac{1}{n-1} [ \sum_{i=1}^{n} D X_{i}-n D \bar{X} ] \\ &=\frac{1}{n-1}\left(n \sigma^{2}-n \frac{1}{n} \sigma^{2}\right)=\sigma^{2} \end{aligned}$$

5.3. 抽样分布

5.3.1. 三种重要分布

1. 卡方分布($\chi^2$分布)

• 定理: 设随机变量 $X{1}, X{2}, \ldots, X{n}$ 相互独立,且服从标准正态分布,则他们的平方和 $\chi^{2}=X{1}^{2}+X{2}^{2}+\ldots+X{n}^{2}$ 服从的分布称为自由度为 $n$ 的卡方分布.记作: $X \sim \chi^2(n)$.
  其中自由度表示独立的随机变量的个数.

• 密度函数:

  $$f(x)=\left\{\begin{array}{ll}\frac{1}{2^{\frac{n}{2}} \Gamma\left(\frac{n}{2}\right)} e^{-\frac{x}{2}} x^{\frac{n}{2}-1},&x>0 \text { } \\ 0 &,x \leq 0 \text {}\end{array}\right.$$

• 结论:若$X \sim \chi^2(n)$ 则:$EX = n, DX = 2n$

• 定理:若$X \sim \chi^2(m)$,$Y \sim \chi^2(n)$,则$X+Y \sim \chi^2{(m+n)}$

  • 推论:

    1. 若 $X{i} \sim \chi^{2}\left(n{i}\right), \quad i=1,2, \ldots, n,$ 且相互独立, 则

       $$\left(\sum_{i=1}^{n} X_{i}\right) \sim \chi^{2}\left(\sum_{i=1}^{n} n_{i}\right)$$

    2. 若 $X{1}, X{2}, \ldots, X{n}$ 相互独立，同服从于正态分布 $N\left(\mu{i}, \sigma_{i}^{2}\right),$ 则

    $$\sum_{i=1}^{n}\left(\frac{X_{i}-\mu_{i}}{\sigma_{i}}\right)^{2} \sim \chi^{2}(n)$$

2.$t$ 分布

• 定理:$X \sim N(0,1), Y \sim \chi^{2}(n), X,Y,$ 独立，则 称随机变量

服从的分布为自由的为 $n$ 的 $t-$ 分布.当自由度很大时,$t$ 分布无限趋近于标准正态分布.

• 性质:因为该分布是对称的, $t{1-\alpha}(n)=-t{\alpha}(n)$

3. $F$ 分布

• 定理:若 $X \sim \chi^{2}\left(n{1}\right), Y \sim \chi^{2}\left(n{2}\right), X, Y$ 独立,
  则 随机变量 $\quad F=\frac{X} / n{1}{\mathbf{Y} / n}{2} \quad$ 所服从的分布为自由度是$(n_1,n_2)$ 的 $F$ 分布,$n_1,n_2$ 分别为第一自由度,第二自由度.

5.3.2. 正态总体下的抽样分布

• 总体是正态分布, 抽样本, 构造统计量的分布.

• 定理: $X\sim N(\mu , \sigma^2)$ ,$\{X1\ldots X_n\}$ 为样本,则
  (1) $\bar{X} \sim N(\mu, \frac{\sigma^2}{n})$
  (2) $\displaystyle \frac{(n-1) S^{2}}{\sigma^{2}}=\frac{1}{\sigma^{2}} \sum{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} \sim \chi ^{2}(n-1)$ 证明较复杂,略
  (3) $\overline{X}$ 与 $S^2$ 独立

• 定理: (前提与上面的相同)
  (1) $\displaystyle \sum^{n}{i=1}(\frac{X_i-\mu}{\sigma})^2= \frac{1}{\sigma^{2}} \sum{i=1}^{n}\left(X_{i}-\mu\right)^{2} \sim \chi ^{2}(n)$ 上面的自由度为 $n-1$ 下面的为 $n$ ,可借助”多一个方程,自由未知量少一个来理解”
  (2) $\displaystyle\frac{\bar{X}-\mu}{S} \sqrt{n} \sim t(n-1)$

  证明:

  $$\begin{aligned} &\displaystyle\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)...①,\\&\frac{(n-1) S^{2}}{\sigma^{2}}\sim\chi^2(n-1)...② \\ \therefore &\frac{①}{\sqrt{② /(n-1)}}=\displaystyle\frac{\bar{X}-\mu}{S} \sqrt{n} \sim t(n-1)\end{aligned}$$

  • 定理: 两个正态总体 $X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2),X$ 取了$n_1$ 个,$Y$ 取了 $n_2$ 个,$\bar{X},\bar{Y},S_1^2,S_2^2$,则

    1. $\displaystyle\bar{X}-\bar{Y} \sim N\left(\mu{1}-\mu{2}, \frac{\sigma^2{1}}{n{1}}+\frac{\sigma{2}^2}{n{2}}\right)$
    2. $\displaystyle\frac{S{1}^{2} / \sigma{1}^{2}}{S{2}^{2} / \sigma{2}^{2}} \sim F\left(n{1}-1 , n{2}-1\right)$

📚 文档目录
随机事件及其概率
随机变量及其分布
期望和方差
大数定律与中心极限定理
数理统计的基本概念
参数估计
假设检验
多维
回归分析和方差分析
降维

7.1. 假设检验

7.1.1. 假设检验问题

• 参数估计:讨论如何根据样本得到总体分布所含参数的优良估计.
• 假设检验:讨论怎样在样本的基础上观察上面所得到的估计值与真实值之间在统计意义上相拟合,从而做出一个有较大把握的结论.
• 例子: 设菜厂生产一种灯管，其寿命X $\sim \mathrm{N}(\mu, 40000),$ 从过去较长一段 时间的生产情况看，灯管的平均寿命为 1500 小时，现在使用了新工艺后，在所生产的灯管中抽取25只，测得的平均寿命为1675 小时，问：采用新工艺后，灯管的寿命是否有显著提高?
  为了判别新产品的寿命是否显著提高,提出两个假设:
  • 原假设 $H_0:$
    • 新产品的寿命 $\mu=1500$
    • 接受 $H_0:$ 新产品寿命没有提高
  • 备择假设 $H_1:$
    • 新产品的寿命 $\mu > 1500$
    • 拒绝 $H_0:$(接受$H_1$) 新产品的寿命有所提高.
  • 注意:一般情况下,将希望成立的假设设为 $H_1$ ,将其否定形式设为 $H_0$
• 假设检验问题的处理方法
  1. 作出参数或者分布的假设.
  2. 根据样本值选择接受还是拒绝所作假设的结论.

7.1.2. 基本概念

• 假设: 对总体分布的各种论断
  • 参数假设: 对总体分布中参数的假设
  • 非参数假设: 不是关于总体分布中的参数的假设(如对分布的假设)
• 假设检验: 判断假设是否成立
  • 参数假设检验
  • 非参数假设检验
• 假设检验问题
  • 过程
    • 对总体分布中的某些参数或对总体分布的类型做某种假设.
    • 根据样本值做出接受还是拒绝所作假设的结论.
  • 分类
    • 只提出一个假设,显著性检验问题.
    • 提出两个假设($H_0,H_1$),且两者必居其一,则称其中一个为基本假设,另一个为它的对立假设.

7.1.3 基本思想

• 由样本构造用于检验 $H_0$ 的检验统计量 $T$, 并且当 $H_0$ 成立的时候, $T$ 的分布已知.
• 检验法则的确定
  • $P\{|T| \geq {k}\} = \alpha$ 是一个小概率事件.若 $H_0$ 为真, 几乎不可能发生.
  • 若 $|T| \geq {k}$, 拒绝原假设 $H_0$,此时 $T$ 的取值范围被称为拒绝域.拒绝域的边界点为临界点.
  • 若 $|T| < {k}$, 接受原假设 $H_0. $
• 一般步骤
  • 第一步 根据问题的要求提出原假设 $H{0}$ 和备择假没 $H{1}$
  • 第二步 选取检验统计量 $T\left({X{1}, X{2}, \ldots, X{n}}\right),$ 在 $H{0}$ 成立的情形下确定 其分布.
  • 第三步 对于给定的显著性水平 $\alpha$,找到 $H_{0}$ 的拒绝域 $W$ 和接受域.
  • 第四步 根据样本值 $\left(x{1}, x{2}, \ldots, x{n}\right)$ 求出检验统计值 $T,$ 如果 $\left(x{1}, x{2}, \ldots, x{n}\right) \in \mathrm{W}\left(\right.$ 小概率事件发生了), 则拒绝 $\mathrm{H}{0},$ 否则接受 $\mathrm{H}{0}$
• 
• 
• 

7.1.4. 假设检验中的两类错误

• 第一类错误: 弃真
  • $P\{ 拒绝 H_0|H_0 为真\}=\alpha$
• 第二类错误: 取伪
  • $P\{ 接受 H_0|H_0 为假 \}=\beta$

7.2. 参数假设检验

7.2.1 单总体 Z 检验

(1) 建立于均值的备择假设和原假设,选定合适的显著性水平$\alpha$。
(2)建立检验统计量乙,满足Z $\sim \mathrm{N}(0,1),$ 根据样本数据计算检验统计量数值Z。
(3)根据检验统计量数值 Z 和显著性水平$\alpha$,计算拒绝域。
(4)根据样本是否落入拒绝域作出判断, 有需要可以进一步输出 p 值(比样本观察更极端的概率)。

例题:

一种机床加工的零件尺寸绝对平均误差为1.35mm。生产厂家现采用一种新的
行加工以期进一一步降低误差。为检验新机床加工的零件平均误差与旧机床相比
是否有显著降机床进尺寸的平均误差与旧机床相比是否有显著降低?
(a=0.01)尺寸的平均误差与旧机床相比是否有显著降低?($\alpha$=0.01)

解：
建立假设： $\quad H{0}: \mu \geq 1.35, H{1}: \mu<1.35$
$\bar{x}=1.3152, s=0.365749, n=50,$ 计算检验统计量:

结论:拒绝 $\mathrm{H}_{0^{\circ}}$ 新机床加工的零件尺寸的平均误差与旧机床相比有显著降低。
计算p值

根据p值和 我们可以得到同样的结论：拒绝H $_{0}$ 。

PS: 这道题中样本总体方差是未知的, 本来应该用 t 检验, 但是在样本容量大于 30 的时候可以用 Z 检验代替 t 检验, 所以此处直接用样本方差代替了总体方差.

7.2.2. 双总体Z检验

1.检验条件: 两个总体近似服从正态分布且两总体方差$\sigma_1^2 ,\sigma_2^2$ 均已知, 则构造的统计量$Z = \frac{(\bar{X}-\bar{Y})-\delta}{\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}}\sim N(0,1)$

2.检验条件：两个总体不服从正态分布，但来自两总体的样本的容量较大 $\left(n{1}, n{2} \geqslant 30\right){\circ}$ 则我们构造检验统计量Z如下: $\quad Z=\frac{(\bar{X}-\bar{Y})-\delta}{\sqrt{S{1}^{2} / n{1}+S{2}^{2} / n_{2}}} \sim \mathrm{N}(0,1)$

7.2.3. 单总体 t 检验

t检验的基本步骤：
(1)建立关于均值的备择假设和原假设，选定合适的显著性水平$\alpha$。
(2)建立检验统计量t,满足t $\sim \mathrm{t}\left(n^{\prime}\right),$ 根据样本数据计算检验统计量数值t。
(3) 根据检验统计量数值t和显著性水平$\alpha$,计算拒绝域。
(4) 根据样本是否落入拒绝域作出判断，如有需要可以进一步输出值。

7.2.4.双总体 t 检验

公式参照参数估计

7.2.5. 卡方检验

$\chi^{2}$ 检验的基本步骤：
（1) 进立关于方差的备择假设和原假设, 选定合适的显著性水平 $\alpha_{\circ}$
(2) 建立检验统计量 $\chi^{2},$ 满足 $\chi^{2} \sim \chi^{2}\left(n^{\prime}\right)^{1},$ 根据样本数据计算检验统计量数值 $\chi^{2}$ 。
(3) 根据检验统计量数值 $\chi^{2}$ 和显著性水平 $\alpha,$ 计算拒绝域。
(4) 根据样本是否落入拒绝域作出判断, 如有需要可以进一步输出 $p$ 值。

例题: 生产的某型号电池，其寿命服从方差 $\sigma^2=5000$ 的正态分布.随机取26个电池，测出样本方差为 $\mathrm{s}^{2}=9200,$ 问能否推断波动较以往显著变化 $(\alpha=0.02)$ ?

7.2.6. F检验

原理与上面的类似, 公式参照参数估计

7.3. 非参数假设检验

7.3.1 符号检验

例: 某地 16 座预售楼盘均价如下表 ( 单位: 元/平方米 )

判断楼盘价格与媒体公布的 7900元/平方米是否相符($\alpha = 0.05$)

若用 $t$ 检验来做, 是无法拒绝原假设 $H_0: \mu = 7900$ 的, 但是样本中只有 3 个大于 7900, 此时用平均值并不能很好地衡量总体, 因此考虑用中位数.

建立假设:

$Mc$ 为总体中位数, $n{+} , n-$ 分别为大于小于 $7900$ 样本的个数. $H0$ 若为真, $n+ , n_-$

近似相等, 即$n+$ 不能太大也不能太小. 因此对 $n+$ 进行检验:

$n{+}=\sum{i=1}^{n} Y{i}.$ 中 $Y{i} \sim B(1, p), n{+} \sim B(n, p), p=P\{X{i} \geq M_{e}\}$, 做如下假设:

抽到样本 $n_{+} =3 $ 甚至更为极端的概率为:

则 p 值就是 0.0213, 由$\mathrm {p} = 0.0213<\alpha = 0.05$, 拒绝原假设, 认为总体中心与 7900 在统计意义上存在显著差异.

7.3.2 秩和检验

两个连续性总体的密度函数至多只差一个平移. 秩和检验可以用于判断两个样本是否来自同一总体.

各项假设:

步骤( 以双边检验为例 ):

• 将两个样本的观察值按从小到大排序, 求出每个观察值的秩. (总是假定样本容量 $n_1 \leq n_2$)

• 将属于第 1 个样本的总体的秩总和记为 $R_1$ ,其余观察值的秩记为 $R_2$.

• 考虑统计量 $R_1$ , 查表得 $C_U(\frac \alpha 2)$ 和 $C_L(\frac \alpha 2)$ , 则拒绝域为 $R_1\leq C_U(\frac \alpha 2)$ 或者 $R_1\geq C_L(\frac \alpha 2)$

*若 $n_1,n_2 \geq 10$, 当 $H_0$ 为真的时候, 近似地有:

可以采用 $Z$ 检验.

7.3.3. 偏度峰度检验

7.3.4.卡方拟合优度检验

判断一组样本是否服从某种分布, 可进行卡方拟合优度检验, 首先 当然需要设置$H_0,H_1$.

其中, 将样本分为 $k$ 个组, $T_i$是每组的理论频数, $T_i=nP_i$, $P_i$ 是每组的理论频率, $O_i$ 是每组观测的频数

如果理论分布有 $r$ 个位置参数用估计量代替, 则$n-> \infty, \chi^2\sim \chi^2(k-r-1)$