卡瓦邦噶！ | 无法自制的人得不到自由。

网站标签

该站未曾设置keywords

---

网站描述

该站未曾设置description

---

上一篇：首页 | 离别歌

下一篇：面向信仰编程

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：13 | 站内链接：242
IP网速：	IP地址：- 地址：- | 网速：514毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 HTTP/1.1 200 OK 页面类型 text/html; charset=UTF-8 服务器类型 cloudflare 程序支持 连接标识 消息发送 2024年12月4日 21时47分57秒 GZIP检测 已启用GZIP压缩 源文件大小 245.13KB 压缩后大小 47.66KB 压缩率 80.56%

网站快照

卡 瓦 邦 噶 ！ | 无 法 自 制 的 人 得 不 到 自 由 。 顶 部 菜 单 所 有 文 章 演 讲 J o i n S h o p e e s t r u c t i p _ v s _ s t a t s * s ; u 6 4 r a t e ; s t r u c t n e t n s _ i p v s * i p v s = f r o m _ t i m e r ( i p v s , t , e s t _ t i m e r ) ; s p i n _ l o c k ( l i s t _ f o r _ e a c h _ e n t r y ( e , s p i n _ l o c k ( i p _ v s _ r e a d _ c p u _ s t a t s ( / / 这 里 会 遍 历 所 有 的 C P U . . . 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 s t a t i c v o i d e s t i m a t i o n _ t i m e r ( s t r u c t t i m e r _ l i s t * t ) { s t r u c t i p _ v s _ e s t i m a t o r * e ; s t r u c t i p _ v s _ s t a t s * s ; u 6 4 r a t e ; s t r u c t n e t n s _ i p v s * i p v s = f r o m _ t i m e r ( i p v s , t , e s t _ t i m e r ) ;   s p i n _ l o c k ( l i s t _ f o r _ e a c h _ e n t r y ( e ,   s p i n _ l o c k ( i p _ v s _ r e a d _ c p u _ s t a t s ( / / 这 里 会 遍 历 所 有 的 C P U . . . i p _ v s _ r e a d _ c p u _ s t a t s C s t a t i c v o i d i p _ v s _ r e a d _ c p u _ s t a t s ( s t r u c t i p _ v s _ k s t a t s * s u m , s t r u c t i p _ v s _ c p u _ s t a t s _ _ p e r c p u * s t a t s ) { i n t i ; b o o l a d d = f a l s e ; f o r _ e a c h _ p o s s i b l e _ c p u ( i ) { / / 遍 历 所 有 的 C P U . . . 1 2 3 4 5 6 7 8 s t a t i c v o i d i p _ v s _ r e a d _ c p u _ s t a t s ( s t r u c t i p _ v s _ k s t a t s * s u m , s t r u c t i p _ v s _ c p u _ s t a t s _ _ p e r c p u * s t a t s ) { i n t i ; b o o l a d d = f a l s e ;   f o r _ e a c h _ p o s s i b l e _ c p u ( i ) { / / 遍 历 所 有 的 C P U . . . 由 于 新 机 型 C P U 数 量 比 较 多 ， 那 么 在 相 同 的 r u l e 数 量 下 ， 遍 历 所 需 要 的 时 间 也 就 更 多 。 所 以 延 迟 也 更 高 。 之 前 的 机 型 延 迟 也 受 此 影 响 ， 不 过 不 是 很 严 重 罢 了 。 通 过 和 用 户 讨 论 ， 发 现 我 们 没 有 使 用 I P V S 提 供 的 这 些 统 计 信 息 ， 所 以 这 个 函 数 可 以 关 闭 。 目 前 已 经 可 以 通 过 s y s c t l 参 数 关 闭 了 5 ， 不 需 要 打 p a t c h ： s y s c t l w n e t . i p v 4 . v s . r u n _ e s t i m a t i o n = 0 。 趣 头 条 的 相 同 问 题 的 排 查 记 录 ， 也 很 有 趣 ， 值 得 一 读 ： h t t p s : / / w w w . e b p f . t o p / p o s t / e b p f _ n e t w o r k _ k p a t c h _ i p v s / （ 不 过 这 个 网 站 的 证 书 貌 似 过 期 了 ） 。 T o t a l c o s t o f o w n : h t t p s : / / e n . w i k i p e d i a . o r g / w i k i / T o t a l _ c o s t _ o f _ o w n e r s h i p ↩ ︎ 字 节 跳 动 开 发 的 中 断 追 踪 工 具 h t t p s : / / g i t h u b . c o m / b y t e d a n c e / t r a c e i r q o f f ↩ ︎ 对 原 理 的 理 解 不 是 特 别 自 信 ， 有 错 误 请 读 者 指 出 。 ↩ ︎ e s t i m a t i o n _ t i m e r 函 数 的 源 代 码 h t t p s : / / e l i x i r . b o o t l i n . c o m / l i n u x / v 5 . 8 / s o u r c e / n e t / n e t f i l t e r / i p v s / i p _ v s _ e s t . c # L 1 9 1 ， i p _ v s _ r e a d _ c p u _ s t a t s 遍 历 C P U 的 源 代 码 ： h t t p s : / / e l i x i r . b o o t l i n . c o m / l i n u x / v 5 . 8 / s o u r c e / n e t / n e t f i l t e r / i p v s / i p _ v s _ e s t . c # L 5 6 ↩ ︎ 相 关 的 讨 论 ： h t t p s : / / l o r e . k e r n e l . o r g / n e t d e v / [ e m a i l   p r o t e c t e d ] / T / ↩ ︎ C a t e g o r i e s : B P F T a g s : C P U 遍 历 , e s t i m a t i o n _ t i m e r , I P V S 统 计 , I R Q 队 列 , K e r n e l 中 断 延 迟 , s y s c t l 参 数 , t r a c e i r q o f f , 中 断 处 理 , 多 线 程 延 迟 , 网 络 栈 , 高 规 格 C P U   K e e p a l i v e d 脑 裂 问 题 排 查 P o s t e d o n 2 0 2 4 年 1 2 月 2 9 日 b y l a i x i n t a o L e a v e a c o m m e n t 用 户 报 告 问 题 ， 说 在 虚 拟 机 里 面 启 动 的 K e e p a l i v e d 有 脑 裂 问 题 ， 一 启 动 就 开 始 脑 裂 了 。 K e e p a l i v e d 1 是 一 个 基 于 L V S 的 负 载 均 衡 和 高 可 用 框 架 。 负 载 均 衡 主 要 是 通 过 V R R P v 2 协 议 来 实 现 的 。 V R R P 协 议 2 在 这 个 博 客 中 介 绍 过 ， 主 要 场 景 是 两 个 路 由 器 可 以 通 过 V R R P 协 议 来 协 商 出 来 一 个 m a s t e r ， 对 外 提 供 服 务 ， 当 m a s t e r 挂 的 时 候 ， s l a v e 会 成 为 m a s t e r 继 续 提 供 服 务 。 V R R P 的 全 称 是 V i r t u a l R o u t e r R e d u n d a n c y P r o t o c o l ， K e e p a l i v e d 可 不 是 r o u t e r ， 为 什 么 用 这 个 协 议 呢 3 ？ 简 单 来 说 ， K e e p a l i v e d 要 提 供 的 是 一 个 高 可 用 的 V I P 服 务 ， 而 V i r t u a l R o u t e r 本 质 上 也 是 一 个 V I P 来 给 其 他 的 H o s t 当 作 网 关 ， 这 样 一 想 ， 就 很 合 理 了 。 K e e p a l i v e d 实 例 之 间 无 法 达 成 一 致 ， 肯 定 是 V R R P 协 商 失 败 ， 而 V R R P 又 是 机 器 简 单 的 协 议 ， 只 有 一 种 包 的 类 型 。 出 现 2 个 m a s t e r 节 点 ， 那 就 肯 定 是 s l a v e 的 节 点 收 不 到 m a s t e r 的 V R R P 协 议 包 ， 认 为 m a s t e r 挂 了 ， 所 以 站 出 来 当 m a s t e r 。 首 先 ， 用 t c p d u m p 检 查 了 一 下 两 个 k e e p a l i v e d ， 确 实 都 在 发 送 V R R P 的 包 。 而 且 V R R P 包 的 内 容 ， 如 a u t h ， 组 i d ， 权 重 等 ， 都 正 确 。 并 且 都 只 看 得 到 自 己 发 送 出 去 的 包 ， 无 法 收 到 对 方 的 包 。 那 接 下 来 就 来 排 查 为 什 么 这 个 包 无 法 发 送 给 V R R P 的 s l a v e 。 虚 拟 机 环 境 的 网 络 简 化 如 下 。 虚 拟 机 环 境 的 网 络 架 构 这 个 图 看 起 来 复 杂 ， 其 实 逻 辑 很 简 单 。 物 理 机 H o s t 使 用 b o n d i n g 连 接 交 换 机 ， 在 b o n d 0 接 口 上 配 置 V L A N 封 装 ， 和 交 换 机 做 t r u n k i n g ， 这 一 层 对 物 理 机 内 的 网 络 使 用 几 乎 是 透 明 的 。 然 后 虚 拟 机 内 网 络 使 用 T A P 4 ， 所 有 V M 内 e t h 0 发 送 的 包 会 出 现 在 m a c v t a p 1 上 ， 然 后 从 H o s t 的 b o n d 0 . 1 0 0 0 出 去 。 m a c v t a p 其 实 就 是 T A P 设 备 加 上 一 个 b r i d g e 5 ， m a c v t a p 基 于 m a c v l a n d r i v e r ， 使 用 一 个 m o d u l e 解 决 了 原 来 T A P + B r i d g e 的 工 作 。 下 一 步 就 是 定 位 V R R P 包 丢 在 了 哪 里 ， 虽 然 涉 及 的 网 络 i n t e r f a c e 很 多 ， 但 是 一 个 一 个 来 排 查 就 行 了 。 首 先 给 这 个 网 络 做 了 个 简 单 的 体 检 套 餐 ， 发 现 I C M P 还 是 T C P 都 是 一 点 问 题 没 有 ， 只 有 V R R P 协 议 有 问 题 。 V R R P 协 议 是 基 于 组 播 M u l t i c a s t 的 ， 直 觉 上 觉 得 可 能 是 什 么 A C L 把 组 播 网 络 给 D R O P 了 。 从 K e e p a l i v e d 发 包 的 实 例 开 始 抓 包 ， 下 一 步 直 接 抓 发 包 的 物 理 机 接 口 e t h 0 （ 二 分 查 找 定 位 么 ） ， 确 认 V R R P 正 确 发 出 去 了 ， 然 后 去 收 包 的 物 理 机 上 抓 e t h 0 ， 也 收 到 了 ， 直 接 排 除 了 交 换 机 的 问 题 。 再 抓 b o n d 0 . 1 0 0 0 接 口 ， 也 抓 得 到 ， 排 除 了 b o n d i n g 和 V L A N 问 题 。 下 一 步 是 [ e m a i l   p r o t e c t e d ] ， 也 抓 得 到 ， 然 后 去 收 包 的 V M 2 抓 包 e t h 0 ， 抓 不 到 。 那 丢 包 就 发 生 在 m a c v t a p 1 e t h 0 中 。 感 觉 已 经 接 近 真 相 了 ！ 实 际 上 并 没 有 … … 定 位 到 这 里 之 后 ， 后 面 花 了 几 个 小 时 来 研 究 为 什 么 m a c v t a p 1 的 包 没 有 转 发 到 e t h 0 中 。 期 间 研 究 了 m a c v t a p 设 备 的 原 理 ， l i b v i r t 相 关 的 文 档 ， 中 间 还 有 c h a t G P T 这 个 半 吊 子 瞎 出 主 意 ， 甚 至 把 相 关 的 s y s c t l 参 数 都 看 了 一 遍 ， r p _ f i l t e r 和 x x _ f o r w a r d i n g 之 类 的 ， 仍 然 没 有 解 决 问 题 。 这 些 没 有 用 的 排 查 就 不 记 录 了 。 物 理 机 的 m a c v t a p 的 T A P 设 备 是 由 q e m u l i b v i r t 接 管 的 ， 负 责 转 发 到 虚 拟 机 中 去 。 在 研 究 l i b v i r t 和 m u l t i c a s t 流 量 的 时 候 ， 发 现 了 这 个 问 题 和 回 答 6 ， 虽 然 没 有 直 接 解 决 我 的 问 题 ， 但 是 感 觉 脑 中 一 道 闪 电 划 过 ， 有 一 个 重 要 的 本 质 问 题 被 我 忽 略 了 — — V R R P 是 组 播 网 络 ！ 单 播 是 点 对 点 发 ， 广 播 是 点 对 所 有 点 群 发 ， 组 播 的 特 点 是 点 对 多 点 群 发 ， 「 多 点 」 指 的 是 哪 些 点 呢 ？ 怎 么 知 道 多 点 包 括 了 哪 些 点 呢 ？ 本 质 的 原 理 是 「 订 阅 」 ， 订 阅 了 特 定 流 量 则 会 收 到 ， 如 果 不 订 阅 ， 则 收 不 到 。 在 网 络 上 ， 多 个 设 备 之 间 订 阅 组 播 是 通 过 I G M P 协 议 7 实 现 的 。 在 同 一 个 设 备 上 ， 就 是 设 备 自 己 的 实 现 了 。 有 了 这 个 想 法 之 后 ， 我 马 上 在 V M 中 和 H o s t 中 运 行 了 i p m a d d r s h o w d e v 命 令 进 行 验 证 。 结 果 如 下 。 在 V M 中 的 运 行 结 果 在 H o s t 中 的 运 行 结 果 这 条 命 令 的 含 义 是 ， 列 出 来 当 前 这 个 接 口 订 阅 的 组 播 流 量 。 通 过 结 果 可 以 看 到 ， 在 V M 中 订 阅 了 V R R P 协 议 规 定 的 组 播 地 址 ， 但 是 在 物 理 机 的 m a c v t a p 接 口 上 ， 就 没 有 订 阅 这 个 地 址 。 所 以 物 理 机 的 接 口 在 收 到 发 给 2 2 4 . 0 . 0 . 1 的 V R R P 流 量 之 后 ， 会 认 为 当 前 这 个 接 口 没 有 订 阅 过 这 个 组 播 ， 所 以 不 需 要 这 些 流 量 ， 直 接 忽 略 。 这 是 组 播 协 议 预 期 的 工 作 方 式 ， 所 以 当 我 在 排 查 接 口 的 丢 包 参 数 的 时 候 ， 都 没 有 发 现 什 么 异 常 ， 因 为 这 不 算 做 是 丢 包 吧 ， 而 算 作 是 正 常 的 处 理 方 式 。 那 么 为 什 么 会 出 现 这 种 情 况 呢 ？ 按 照 组 播 协 议 的 工 作 方 式 ， 当 需 要 组 播 流 量 的 时 候 ， 需 要 向 操 作 系 统 通 过 s y s c a l l 来 发 出 「 订 阅 」 8 ， 因 为 协 议 是 由 操 作 系 统 来 处 理 的 。 但 是 我 们 这 里 存 在 2 个 操 作 系 统 ， V M 是 一 个 操 作 系 统 ， H o s t 是 一 个 操 作 系 统 。 如 上 图 所 示 ， 虽 然 V M 知 道 订 阅 了 这 个 组 播 地 址 ， 但 是 H o s t 操 作 系 统 并 不 知 情 ， 两 个 系 统 是 隔 离 的 。 所 以 当 H o s t 收 到 组 播 流 量 的 时 候 ， 直 接 忽 略 了 。 解 决 办 法 是 ， 对 接 口 设 置 i p l i n k s e t d e v m a c v t a p 8 a l l m u l t i c a s t o n ， 意 思 是 告 诉 接 口 ， 把 所 有 的 m u l t i c a s t 都 给 收 了 ， 这 样 V M 内 的 接 口 决 定 处 理 还 是 忽 略 ， 就 正 常 了 。 ( l i b v i r t 也 有 t r u s t G u e s t R x F i l t e r s 9 的 配 置 选 项 ） V R R P 脑 裂 问 题 需 要 避 免 ， 在 物 理 网 络 中 ， 网 关 之 间 的 v r r p k e e p a l i v e 会 使 用 专 用 的 k e e p a l i v e 线 路 ， 并 且 多 条 物 理 线 路 做 L A C P 高 可 用 。 h t t p s : / / k e e p a l i v e d . r e a d t h e d o c s . i o / e n / l a t e s t / i n t r o d u c t i o n . h t m l ↩ ︎ 数 据 中 心 网 络 高 可 用 技 术 之 从 服 务 器 到 网 关 ： 首 跳 冗 余 协 议 V R R P ↩ ︎ K e e p a l i v e d 的 系 统 设 计 ： h t t p s : / / k e e p a l i v e d . r e a d t h e d o c s . i o / e n / l a t e s t / s o f t w a r e _ d e s i g n . h t m l ↩ ︎ T A P 设 备 在 V P N 和 虚 拟 机 网 络 中 比 较 常 见 ： h t t p s : / / e n . w i k i p e d i a . o r g / w i k i / T U N / T A P ↩ ︎ h t t p s : / / v i r t . k e r n e l n e w b i e s . o r g / M a c V T a p ↩ ︎ h t t p s : / / s u p e r u s e r . c o m / q u e s t i o n s / 9 4 4 6 7 8 / h o w t o c o n f i g u r e m a c v t a p t o l e t i t p a s s m u l t i c a s t p a c k e t c o r r e c t l y ↩ ︎ h t t p s : / / e n . w i k i p e d i a . o r g / w i k i / I n t e r n e t _ G r o u p _ M a n a g e m e n t _ P r o t o c o l ↩ ︎ 如 何 使 用 组 播 的 教 程 h t t p s : / / t l d p . o r g / H O W T O / M u l t i c a s t H O W T O 6 . h t m l ↩ ︎ h t t p s : / / l i b v i r t . o r g / f o r m a t n e t w o r k . h t m l ↩ ︎ C a t e g o r i e s : 网 络 T a g s : a l l m u l t i c a s t , b o n d i n g , I G M P , K e e p a l i v e d , l i b v i r t , m a c v t a p , m u l t i c a s t f o r w a r d i n g , q e m u , T A P 设 备 , t r u s t G u e s t R x F i l t e r s , V l a n , V R R P , 组 播 , 组 播 订 阅 , 网 络 排 查 , 脑 裂   L i n u x i n t e r f a c e V l a n 和 B o n d 配 置 错 误 问 题 排 查 P o s t e d o n 2 0 2 4 年 1 2 月 2 8 日 b y l a i x i n t a o 5 C o m m e n t s 昨 天 同 事 报 告 了 一 个 L i n u x 机 器 网 络 问 题 ， 现 象 是 ： 一 台 服 务 器 无 法 p i n g 1 9 2 . 1 6 8 . 1 . 2 5 3 ， 但 是 可 以 p i n g 1 9 2 . 1 6 8 . 1 . 2 5 2 和 1 9 2 . 1 6 8 . 1 . 2 5 4 . 这 三 个 I P 都 是 交 换 机 的 I P ， 并 且 和 和 服 务 器 的 I P 在 同 一 个 子 网 下 。 服 务 器 使 用 了 b o n d 1 分 别 连 接 两 台 交 换 机 2 ， 两 台 交 换 机 通 过 V R R P 协 议 提 供 一 个 高 可 用 的 网 关 I P 3 。 其 中 ， 网 段 的 最 高 位 一 般 是 V R R P 的 V I P ， 即 1 9 2 . 1 6 8 . 1 . 2 5 4 ， 而 最 高 位 1 和 2 分 别 是 两 个 交 换 机 的 物 理 I P ， 即 1 9 2 . 1 6 8 . 1 . 2 5 3 和 1 9 2 . 1 6 8 . 1 . 2 5 2 分 别 是 两 台 交 换 机 。 于 是 ， 看 到 这 个 现 象 ， 自 然 而 然 地 想 到 是 其 中 一 台 交 换 机 有 问 题 ， 1 9 2 . 1 6 8 . 1 . 2 5 3 已 经 挂 了 ， 1 9 2 . 1 6 8 . 1 . 2 5 2 还 存 活 ， 并 且 担 任 了 1 9 2 . 1 6 8 . 1 . 2 5 4 的 V I P 的 责 任 。 先 去 这 台 服 务 器 p i n g 了 一 下 ， 果 然 是 p i n g 不 通 的 ， p i n g 显 示 的 错 误 信 息 是 D e s t i n a t i o n H o s t U n r e a c h a b l e 。 然 后 在 服 务 器 抓 包 ， 确 认 下 I C M P r e p l y 确 实 没 有 发 送 回 来 。 t c p d u m p i b o n d 0 i c m p . 抓 包 确 实 没 有 看 到 I C M P r e p l y 包 ， 但 是 奇 怪 的 是 ， 居 然 连 I C M P e c h o 也 没 有 抓 到 。 之 后 又 去 检 查 了 交 换 机 的 配 置 ， 包 括 c h a n n e l g r o u p ， V L A N 配 置 ， A C L 等 等 ， 也 确 认 了 下 两 台 交 换 机 之 间 的 横 连 状 态 是 正 常 的 。 这 时 候 看 起 来 不 像 是 交 换 机 的 问 题 了 。 使 用 另 一 台 服 务 器 p i n g 了 一 下 这 三 个 I P ， . 2 5 2 , . 2 5 3 , . 2 5 4 都 是 通 的 。 那 应 该 是 服 务 器 的 问 题 而 不 是 交 换 机 的 问 题 。 其 实 这 部 分 有 些 走 弯 路 ， 因 为 p i n g 明 确 显 示 D e s t i n a t i o n H o s t U n r e a c h a b l e ， 说 明 这 个 包 并 没 有 发 出 去 ； 而 且 t c p d u m p 也 没 有 抓 到 包 ， 也 可 以 印 证 。 接 下 来 继 续 在 服 务 器 上 定 位 问 题 。 I C M P 发 包 有 问 题 ， 就 先 检 查 一 下 发 包 链 路 。 之 前 遇 到 过 类 似 错 误 ， 是 i p t a b l e s 的 O U T P U T c h a i n 把 包 d r o p 了 ， 于 是 先 检 查 了 i p t a b l e s ， 确 认 没 有 相 关 的 D R O P 。 I C M P 是 基 于 I P 层 的 协 议 ， I P 层 的 协 议 依 赖 A R P 协 议 来 找 到 M A C 地 址 ， 然 后 封 装 成 二 层 F r a m e ， 才 能 发 出 去 ， 接 下 来 去 检 查 A R P 。 （ 其 实 上 一 步 直 接 检 查 i p t a b l e s 是 不 合 理 的 ， A R P 是 第 一 步 ， 有 了 A R P 才 可 能 构 造 出 来 完 整 的 F r a m e 开 始 发 送 ， 应 该 先 从 A R P 开 始 排 查 ） 。 检 查 a r p a | g r e p . 2 5 3 ， 发 现 A R P 的 c a c h e 结 果 是 . 然 后 用 a r p i n g 1 9 2 . 1 6 8 . 1 . 2 5 3 验 证 A R P r e q u e s t 是 否 能 得 到 正 常 的 r e p l y ， 发 现 结 果 都 是 T i m e o u t 。 到 这 里 已 经 知 道 为 什 么 p i n g 会 失 败 了 ， 因 为 服 务 器 得 不 到 这 个 I P 对 应 的 A R P 请 求 ， 所 以 p i n g 无 法 将 I C M P r e q u e s t 的 包 发 送 出 去 ， 直 接 报 错 了 。 接 下 来 就 定 位 为 什 么 A R P 会 失 败 。 正 常 来 说 ， A R P 应 该 从 b o n d 0 接 口 发 送 出 去 一 个 r e q u e s t ， 然 后 收 到 一 个 r e p l y ， 刷 新 服 务 器 的 A R P c a c h e e n t r y 。 服 务 器 的 i n t e r f a c e 配 置 如 下 ， 服 务 器 所 在 的 V L A N 是 1 0 0 0 ， 和 交 换 机 做 了 T r u n k i n g 4 ， 发 送 包 的 路 由 是 走 b o n d 0 . 1 0 0 0 @ b o n d 0 这 个 i n t e r f a c e ， b o n d 0 . 1 0 0 0 @ b o n d 0 是 一 个 虚 拟 i n t e r f a c e ， 主 要 的 功 能 是 ， 发 包 的 时 候 对 包 进 行 8 0 2 . 1 Q V L A N 封 装 ， 然 后 通 过 底 层 的 i n t e r f a c e — — 在 这 里 是 b o n d 0 — — 发 送 出 去 ， 收 包 的 时 候 对 V L A N 进 行 解 封 装 。 L i n u x i n t e r f a c e c o n f i g r o o t @ u b u n t u 1 : / $ i p l i n k 1 : l o : m t u 6 5 5 3 6 q d i s c n o q u e u e s t a t e U N K N O W N m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0 l i n k / l o o p b a c k 0 0 : 0 0 : 0 0 : 0 0 : 0 0 : 0 0 b r d 0 0 : 0 0 : 0 0 : 0 0 : 0 0 : 0 0 2 : b o n d 0 : m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0 l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 3 : b o n d 0 . 1 0 0 0 @ b o n d 0 : m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0 l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 4 : e t h 0 . 1 0 0 0 @ e t h 0 : m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0 l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 1 4 3 : e t h 0 : m t u 1 5 0 0 q d i s c f q _ c o d e l m a s t e r b o n d 0 s t a t e U N K N O W N m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0 l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 1 4 4 : e t h 1 : m t u 1 5 0 0 q d i s c f q _ c o d e l m a s t e r b o n d 0 s t a t e U N K N O W N m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0 l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 r o o t @ u b u n t u 1 : / $ i p l i n k 1 : l o : L O O P B A C K , U P , L O W E R _ U P > m t u 6 5 5 3 6 q d i s c n o q u e u e s t a t e U N K N O W N m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0         l i n k / l o o p b a c k 0 0 : 0 0 : 0 0 : 0 0 : 0 0 : 0 0 b r d 0 0 : 0 0 : 0 0 : 0 0 : 0 0 : 0 0 2 : b o n d 0 : B R O A D C A S T , M U L T I C A S T , M A S T E R , U P , L O W E R _ U P > m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0         l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 3 : b o n d 0 . 1 0 0 0 @ b o n d 0 : B R O A D C A S T , M U L T I C A S T , U P , L O W E R _ U P > m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0         l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 4 : e t h 0 . 1 0 0 0 @ e t h 0 : B R O A D C A S T , M U L T I C A S T , U P , L O W E R _ U P > m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0         l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 1 4 3 : e t h 0 : B R O A D C A S T , M U L T I C A S T , S L A V E , U P , L O W E R _ U P > m t u 1 5 0 0 q d i s c f q _ c o d e l m a s t e r b o n d 0 s t a t e U N K N O W N m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0         l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 1 4 4 : e t h 1 : B R O A D C A S T , M U L T I C A S T , S L A V E , U P , L O W E R _ U P > m t u 1 5 0 0 q d i s c f q _ c o d e l m a s t e r b o n d 0 s t a t e U N K N O W N m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0         l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 接 口 的 逻 辑 图 我 首 先 在 b o n d 0 抓 包 ， 确 认 A R P 的 发 送 和 接 收 在 协 议 上 是 正 常 的 。 结 果 在 这 一 步 就 发 现 问 题 了 ， b o n d 0 抓 包 发 现 ， 只 有 发 出 去 的 包 ， 没 有 收 到 的 包 。 为 啥 交 换 机 不 响 应 A R P 了 呢 ？ 这 时 候 又 怀 疑 是 交 换 机 的 问 题 ， 去 检 查 了 交 换 机 的 两 个 端 口 配 置 。 没 有 发 现 问 题 。 而 且 在 其 他 机 器 上 ， p i n g 和 a r p i n g 都 是 没 有 问 题 的 ， 交 换 机 设 备 的 问 题 可 能 性 比 较 小 。 也 不 会 是 服 务 器 安 全 策 略 的 问 题 ， 如 果 是 的 话 ， t c p d u m p 也 会 先 抓 到 包 的 ， 在 后 面 才 会 被 i p t a b l e s 之 类 的 D R O P 掉 。 于 是 仔 细 想 一 想 交 换 机 和 服 务 器 之 间 经 过 了 哪 些 组 件 ， 网 卡 收 包 ， 中 断 ， 网 卡 d r i v e r ， b o n d d r i v e r ， 协 议 栈 处 理 。 抓 包 都 没 抓 到 ， 说 明 问 题 出 在 协 议 栈 之 前 ， 于 是 怀 疑 到 b o n d d r i v e r 头 上 去 。 下 一 步 ， 在 物 理 i n t e r f a c e 上 抓 包 ， 确 认 物 理 i n t e r f a c e 到 底 收 到 了 A R P r e p l y 了 没 有 。 结 果 是 ， 发 现 e t h 0 这 个 i n t e r f a c e 收 到 了 A R P r e p l y ！ A R P r e p l y 在 e t h 0 上 收 到 了 ， 但 是 b o n d 0 上 没 收 到 。 这 下 感 觉 快 要 得 到 答 案 了 。 b o n d 有 两 个 s l a v e ， 我 把 e t h 0 s h u t d o w n 了 ， 只 留 下 e t h 1 ， 然 后 网 路 正 常 了 。 那 要 么 是 b o n d d r i v e r 真 的 有 问 题 ， 要 么 是 我 们 的 配 置 有 问 题 。 从 经 验 上 看 ， L i n u x d r i v e r 存 在 b u g 的 概 率 要 远 远 小 于 我 们 的 配 置 错 误 。 于 是 我 去 检 查 b o n d 相 关 的 配 置 。 检 查 b o n d 状 态 ( / p r o c / n e t / b o n d i n g / b o n d 0 文 件 ) , b o n d 配 置 ， 都 没 发 现 问 题 。 可 能 是 e h t 0 这 个 接 口 有 问 题 ？ 在 重 新 看 i n t e r f a c e 的 时 候 （ 即 上 面 的 i p l i n k 命 令 和 输 出 ） ， 我 发 现 了 可 疑 的 一 条 i n t e r f a c e ： 4 : e t h 0 . 1 0 0 0 @ e t h 0 : m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0 l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 1 2 4 : e t h 0 . 1 0 0 0 @ e t h 0 : B R O A D C A S T , M U L T I C A S T , U P , L O W E R _ U P > m t u 1 5 0 0 q d i s c n o q u e u e s t a t e U P m o d e D E F A U L T g r o u p d e f a u l t q l e n 1 0 0 0         l i n k / e t h e r b 6 : d b : e 6 : 7 6 : d d : 8 a b r d f f : f f : f f : f f : f f : f f 这 里 多 出 来 一 个 V L A N i n t e r f a c e 。 所 以 ， 实 际 上 的 i n t e r f a c e 配 置 应 该 是 如 下 这 样 。 由 于 e t h 0 . 1 0 0 0 的 存 在 ， 我 怀 疑 e t h 0 收 到 的 A R P r e p l y 实 际 上 是 送 给 了 e t h 0 . 1 0 0 0 @ e t h 0 而 不 是 b o n d 0 ， 然 后 在 A R P 协 议 处 理 的 时 候 ， L i n u x 认 为 我 们 没 有 从 e t h 0 . 1 0 0 0 发 送 出 去 A R P r e q u e s t ， 但 是 却 收 到 了 A R P 响 应 ， 属 于 G r a t u i t o u s A R P 5 . 而 发 送 A R P r e q u e s t 的 b o n d 0 ， 从 来 没 有 收 到 A R P r e p l y 。 A R P c a c h e 是 p e r i n t e r f a c e 的 ， 所 以 b o n d 0 无 法 发 送 I C M P 出 去 。 e t h 0 . 1 0 0 0 的 配 置 证 明 这 个 猜 测 很 简 单 ， 只 要 在 e t h 0 . 1 0 0 0 @ e t h 0 抓 包 ， 看 是 否 有 A R P r e p l y 就 好 了 。 抓 包 发 现 果 然 有 。 并 且 把 这 个 接 口 的 a r p _ a c c e p t 打 开 ， 让 其 接 受 G r a t u i t o u s A R P ， 发 现 A R P c a c h e 出 现 了 如 下 记 录 ： p r o o t @ u b u n t u 1 : / $ a r p a ? ( 1 9 2 . 1 6 8 . 1 . 2 5 3 ) a t c 6 : 3 4 : 2 2 : f c : 7 8 : b 4 [ e t h e r ] o n e t h 0 . 1 0 0 0 1 2 p r o o t @ u b u n t u 1 : / $ a r p a ? ( 1 9 2 . 1 6 8 . 1 . 2 5 3 ) a t c 6 : 3 4 : 2 2 : f c : 7 8 : b 4 [ e t h e r ] o n e t h 0 . 1 0 0 0 说 明 这 个 结 论 是 正 确 的 。 到 这 里 就 发 现 ， 其 实 问 题 不 仅 仅 是 A R P 的 问 题 ， 因 为 b o n d 的 两 个 s l a v e 有 一 个 不 对 ， 收 包 的 时 候 可 能 是 从 e t h 0 收 ， 也 可 能 是 从 e t h 1 收 ， 取 决 于 交 换 机 的 h a s h 策 略 6 。 如 果 从 e t h 0 进 来 ， 那 么 协 议 栈 的 s k b 的 d e v i c e 就 会 是 e t h 0 . 1 0 0 0 @ e t h 0 ， 所 有 有 连 接 的 协 议 处 理 都 匹 配 不 上 。 于 是 我 s h u t d o w n e t h 0 . 1 0 0 0 @ e t h 0 这 个 接 口 ， 理 论 上 机 器 的 配 置 应 该 都 是 对 的 了 。 结 果 不 是 ， 问 题 依 然 存 在 ， 有 点 让 人 怀 疑 人 生 。 由 于 接 口 d o w n 了 就 无 法 抓 包 了 ， 不 太 好 确 认 包 是 不 是 还 在 往 e t h 0 . 1 0 0 0 @ e t h 0 送 了 。 此 处 又 花 了 一 些 时 间 排 查 ， 因 为 怀 疑 自 己 的 推 论 是 错 误 的 ， 是 不 是 有 别 的 地 方 导 致 这 个 问 题 ？ 一 通 误 打 误 撞 ， 决 定 删 除 这 个 多 余 的 接 口 ， 然 后 网 路 就 完 全 恢 复 了 。 从 结 果 看 ， 只 s h u t d o w n 这 个 接 口 不 能 阻 止 包 往 这 个 v l a n 接 口 送 ， 得 删 除 才 行 。 事 后 我 们 得 知 ， 这 台 服 务 器 在 i n f r a 团 队 交 付 的 时 候 存 在 问 题 ， 应 该 配 置 b o n d i n g ， 但 是 没 有 配 置 ， 只 是 在 一 条 线 （ e t h 0 ） 上 配 置 了 V L A N 。 我 们 的 同 事 拿 到 机 器 之 后 修 复 了 b o n d i n g 问 题 ， 但 是 并 没 有 删 除 e t h 0 . 1 0 0 0 @ e t h 0 这 个 V L A N 虚 拟 接 口 ， 导 致 产 生 了 非 预 期 的 行 为 。 后 来 看 了 下 源 代 码 ， 发 现 V L A N 的 处 理 确 实 优 先 级 比 较 高 ， 在 _ _ n e t i f _ r e c e i v e _ s k b _ c o r e 7 这 里 就 会 执 行 v l a n _ d o _ r e c i e v e 8 ， 然 后 会 把 d e v i c e 的 i d 设 置 在 s k b 上 。 这 个 逻 辑 比 b o n d d r i v e r 的 逻 辑 靠 前 ， 导 致 后 续 协 议 栈 的 处 理 ， 会 认 为 这 个 包 是 从 e t h 0 . 1 0 0 0 @ e t h 0 收 到 的 ， 而 不 是 从 b o n d 0 收 到 的 。 数 据 中 心 网 络 高 可 用 技 术 之 从 服 务 器 到 交 换 机 ： 8 0 2 . 3 a d ↩ ︎ 数 据 中 心 网 络 高 可 用 技 术 之 从 交 换 机 到 交 换 机 ： M L A G , 堆 叠 技 术 ↩ ︎ 数 据 中 心 网 络 高 可 用 技 术 之 从 服 务 器 到 网 关 ： 首 跳 冗 余 协 议 V R R P ↩ ︎ V L A N T r u n k i n g P r o t o c o l ↩ ︎ 特 殊 的 A R P 用 法 ： G r a t u i t o u s A R P , A R P P r o b e 和 A R P A n n o u n c e ↩ ︎ 数 据 中 心 网 络 高 可 用 技 术 之 从 服 务 器 到 交 换 机 ： 链 路 聚 合 ( b a l a n c e x o r , b a l a n c e r r , b r o a d c a s t ) ↩ ︎ h t t p s : / / e l i x i r . b o o t l i n . c o m / l i n u x / v 6 . 1 2 . 6 / s o u r c e / n e t / c o r e / d e v . c # L 5 4 5 7 ↩ ︎ h t t p s : / / e l i x i r . b o o t l i n . c o m / l i n u x / v 6 . 1 2 . 6 / s o u r c e / n e t / 8 0 2 1 q / v l a n _ c o r e . c # L 1 0 ↩ ︎ C a t e g o r i e s : 网 络 T a g s : A R P , a r p i n g , B o n d , b o n d d r i v e r , b o n d 0 , e t h 0 . 1 0 0 0 , G r a t u i t o u s A R P , i c m p , i n t e r f a c e , i p t a b l e s , l i n u x , p i n g , t c p d u m p , T r u n k i n g , V l a n , V L A N 接 口 , V R R P , 交 换 机 , 协 议 栈 , 抓 包 , 网 关 , 网 卡 , 网 络 高 可 用 , 配 置 错 误 , 链 路 聚 合 , 问 题 排 查   菠 萝 P o s t e d o n 2 0 2 4 年 1 2 月 2 7 日 b y l a i x i n t a o 5 C o m m e n t s 体 检 的 诊 所 送 了 我 们 两 张 T o a s t B o x 的 券 ， T o a s t B o x 和 B r e a d T a l k （ 面 包 新 语 ） 是 一 家 ， 是 专 卖 吐 司 的 新 加 坡 经 典 早 餐 店 。 新 加 坡 注 重 效 率 ， 不 像 澳 大 利 亚 ， 买 一 杯 咖 啡 都 要 和 你 寒 暄 一 下 今 天 怎 么 样 ， 打 算 做 什 么 。 一 般 来 说 ， 早 餐 店 的 店 员 甚 至 都 不 会 说 出 一 个 没 有 用 的 字 。 而 且 不 管 你 是 不 是 外 国 人 ， 都 只 会 用 本 地 的 语 言 要 你 点 餐 ， 也 不 会 跟 你 解 释 。 但 我 可 是 来 了 新 加 坡 4 年 1 了 ， 已 经 身 经 百 战 。 店 员 看 了 看 券 ， 说 ， ” C o f f e e ? ” “ K o p i a n d K o p i C K o s o n g , S h a o ” ， 我 已 经 把 南 洋 咖 啡 的 逻 辑 熟 记 于 心 ， 难 不 倒 我 ， 甚 至 还 帮 欣 点 好 了 。 南 洋 咖 啡 的 逻 辑 店 员 说 ， ” T o a s t ? ” 我 点 了 个 最 贵 的 ， 店 员 说 这 个 不 能 用 券 。 我 问 能 点 啥 。 “ K a y a , B u t t e r , B o L u o . ” K a y a 齁 甜 ， 我 点 了 个 B u t t e r 。 但 是 B o L u o 是 什 么 玩 意 ？ 我 想 ， 哪 有 人 在 吐 司 上 放 菠 萝 的 ， 难 道 美 国 人 的 夏 威 夷 披 萨 启 发 了 新 加 坡 人 吗 ？ 这 也 能 吃 ？ 虽 然 很 不 可 思 议 ， 但 是 麦 当 劳 在 新 加 坡 推 出 了 菠 萝 汉 堡 ， 如 果 菠 萝 汉 堡 能 合 法 ， 那 么 菠 萝 吐 司 应 该 也 不 奇 怪 了 吧 。 不 过 ， 真 的 会 有 点 这 种 东 西 吗 ？ 这 样 想 着 ， 欣 说 ， ” B o L u o ” . 我 震 惊 ， 她 是 怎 么 想 的 。 在 等 餐 的 时 候 ， 我 还 在 做 着 思 想 斗 争 ， 这 菠 萝 会 酸 吗 ？ 菠 萝 是 热 过 的 还 是 鲜 菠 萝 ？ 早 上 吃 这 玩 意 胃 能 受 的 了 吗 ？ 漫 长 的 两 分 钟 过 去 了 ， K a y a 和 B o L u o 好 了 。 我 长 舒 了 一 口 气 — — “ 太 好 了 ， 是 菠 萝 包 。 ” “ 你 以 为 呢 ？ ” 欣 说 。 麦 当 劳 的 菠 萝 汉 堡 十 六 个 夏 天 （ 为 什 么 会 有 人 在 这 种 文 章 用 上 脚 注 ？ ） ↩ ︎ C a t e g o r i e s : 我 的 生 活   由 I C M P R e d i r e c t 消 息 引 起 的 丢 包 问 题 排 查 P o s t e d o n 2 0 2 4 年 1 2 月 2 4 日 b y l a i x i n t a o 3 C o m m e n t s 明 天 是 圣 诞 节 ， 今 天 是 平 安 夜 ， 公 司 给 提 前 下 班 。 但 是 年 假 还 有 二 十 多 天 ， 不 用 也 是 浪 费 了 ， 今 天 就 请 假 休 息 一 下 。 从 1 0 月 2 5 日 开 始 ， 一 直 在 排 查 一 个 比 较 复 杂 的 网 络 问 题 。 和 网 络 组 的 同 事 们 奋 战 了 两 个 月 ， 昨 天 终 于 有 了 答 案 ， 记 录 一 下 。 背 景 是 我 们 内 部 的 一 个 类 似 E K S 1 的 产 品 ， 是 使 用 虚 拟 机 来 搭 建 ， 虚 拟 机 的 网 络 是 一 层 虚 拟 的 O v e r l a y 网 络 ， 然 后 虚 拟 机 内 搭 建 P o d ， P o d 也 是 在 一 层 O v e r l a y 网 络 ， 整 体 上 ， 这 就 是 两 层 O v e r l a y 网 络 。 封 装 V X L A N 的 网 关 （ V T E P 设 备 ） 需 要 相 关 的 包 进 行 两 次 O v e r l a y 封 装 。 为 了 V X L A N 网 关 设 备 实 现 的 简 单 ， 用 了 一 个 比 较 奇 怪 的 路 由 方 式 ， 让 普 通 路 由 器 和 网 关 设 备 配 合 完 成 两 次 封 装 ： 路 由 器 收 到 包 ， 查 询 路 由 ， 发 现 这 个 包 应 该 转 发 给 V X L A N 网 关 ， 于 是 转 发 给 V X L A N 网 关 ； V X L A N 网 关 封 装 第 一 层 O v e r l a y ， 目 的 I P 改 成 O v e r l a y _ I P _ 1 完 成 之 后 ， 交 给 路 由 器 ； 路 由 器 收 到 包 ， 查 询 路 由 ， 发 现 这 个 包 现 在 的 I P 地 址 O v e r l a y _ I P _ 1 还 是 在 V X L A N 网 关 这 里 ， 再 次 转 发 给 V X L A N 网 关 ， 于 是 转 发 给 V X L A N 网 关 ； V X L A N 网 关 封 装 第 二 层 O v e r l a y ， 目 的 I P 改 成 O v e r l a y _ I P _ 2 完 成 之 后 ， 交 给 路 由 器 ； 路 由 器 查 询 路 由 ， 转 发 给 目 的 地 址 ， 完 成 ； 说 它 奇 怪 ， 是 因 为 在 第 2 步 和 第 3 步 ， 这 个 包 的 路 由 明 明 在 V X L A N 网 关 这 里 ， 但 是 包 从 V X L A N 网 关 发 给 了 路 由 器 ， 路 由 器 又 转 发 回 来 。 但 是 理 论 上 是 可 行 的 。 我 们 遇 到 的 问 题 是 ， 这 种 实 现 方 式 实 际 会 遇 到 2 5 % 或 者 5 0 % 的 丢 包 。 问 题 本 身 就 比 较 复 杂 ， 光 是 描 述 清 楚 就 比 较 绕 了 ， 所 以 中 间 花 了 很 多 时 间 沟 通 ， 测 试 ， 验 证 ， 抓 包 。 2 5 % 和 5 0 % 这 个 数 字 很 敏 感 ， 像 是 4 个 端 口 中 的 1 个 或 者 2 个 有 问 题 。 我 们 的 思 路 还 是 逐 渐 缩 小 问 题 范 围 ， 首 先 ， 确 认 丢 包 点 在 哪 里 — — 通 过 p i n g 来 缩 小 范 围 。 最 后 定 位 到 问 题 发 生 在 第 三 步 上 ， 网 关 把 包 发 给 路 由 器 之 后 ， 路 由 器 并 没 有 把 包 发 送 回 来 。 然 后 我 用 s c a p y 2 模 拟 了 最 简 单 的 包 在 网 关 发 出 去 ， 发 现 这 个 包 确 实 没 有 从 路 由 器 转 发 回 来 。 但 其 实 问 题 的 范 围 还 是 很 大 ， 比 如 ： 网 关 没 有 真 正 发 出 来 这 个 包 ， 即 使 我 们 抓 包 确 认 包 发 出 去 了 ， 但 是 可 能 被 网 卡 驱 动 ， 或 者 网 卡 硬 件 丢 掉 了 ； 路 由 器 收 到 之 后 ， 没 有 转 发 这 个 包 ； 路 由 器 转 发 了 ， 但 是 被 出 口 端 口 丢 弃 了 ； 路 由 器 转 发 了 ， 但 是 被 网 关 丢 了 ； 等 等 。 为 了 再 缩 小 问 题 ， 我 们 用 S P A N 3 对 路 由 器 抓 发 ， 最 后 定 位 包 确 实 到 了 路 由 器 ， 路 由 器 没 有 转 发 回 来 这 个 包 。 而 且 还 发 现 一 个 细 节 ： 网 关 和 路 由 器 之 间 是 有 多 条 连 线 4 的 ， 路 由 器 收 到 网 关 的 包 ， 然 后 选 择 路 由 器 和 网 关 之 间 的 一 条 线 ， 来 把 包 还 给 网 关 ， 假 设 选 中 （ h a s h ） 的 线 路 恰 好 是 收 到 包 的 线 路 ， 那 么 这 个 包 就 无 法 发 回 来 。 这 也 印 证 了 2 5 % 和 5 0 % 的 丢 包 率 。 在 测 试 了 几 种 品 牌 的 交 换 机 之 后 ， 发 现 只 有 C i s c o 品 牌 的 交 换 机 有 这 种 行 为 。 到 此 为 止 ， 我 们 认 为 是 路 由 器 的 B U G 。 在 讨 论 解 决 方 案 的 时 候 ， 有 同 事 发 现 丢 包 和 包 的 一 个 H e a d e r 有 关 ， 只 要 这 个 H e a d e r 的 值 不 为 0 ， 就 不 会 发 生 丢 包 。 于 是 大 家 都 很 高 兴 ， 经 过 验 证 ， 确 实 不 会 丢 包 了 。 于 是 认 为 问 题 解 决 了 。 开 始 交 付 网 络 来 测 试 。 测 试 发 现 流 量 稍 大 又 会 丢 包 了 。 中 间 又 经 过 了 很 长 时 间 的 排 查 和 验 证 ， 都 不 对 ， 这 里 就 不 记 录 了 。 最 后 ， 由 于 问 题 可 以 清 晰 地 复 现 ： 用 s c a p y 构 造 一 个 包 给 路 由 器 ， 路 由 宣 告 在 自 己 这 里 ， 确 认 路 由 器 不 会 按 照 宣 告 的 路 由 发 送 回 来 。 也 能 确 认 问 题 就 是 出 在 路 由 器 这 里 了 。 于 是 周 一 我 们 联 系 了 C i s c o 的 T A C ， 提 交 了 问 题 。 下 午 就 得 到 了 回 复 。 我 的 理 解 如 下 。 这 并 不 能 说 是 设 备 的 B U G ， 应 该 说 是 一 个 行 为 。 即 ， 在 路 由 器 视 角 看 来 ， 这 个 包 的 路 由 明 明 在 网 关 这 里 ， 网 关 为 什 么 要 把 这 个 包 发 给 我 呢 ？ 但 是 ， 路 由 器 依 然 会 按 照 路 由 把 包 转 发 给 网 关 ， 但 是 会 额 外 发 送 一 个 I C M P R e d i r e c t 5 包 给 网 关 ， 提 示 它 你 有 更 优 的 路 由 可 以 选 择 ， 不 要 再 发 给 我 了 。 I C M P R e d i r e c t 消 息 ， 在 之 前 的 博 客 中 6 也 讨 论 过 。 但 是 我 们 的 网 关 并 不 会 理 会 路 由 器 发 送 来 的 I C M P 提 示 消 息 ， 因 为 这 个 多 余 的 一 跳 是 设 计 上 的 预 期 行 为 （ 至 少 在 当 前 阶 段 是 的 ， 将 来 可 能 会 优 化 这 里 ） 。 所 以 会 继 续 把 包 往 非 最 优 路 由 ， 即 路 由 器 ， 发 送 。 路 由 器 对 于 收 到 的 每 一 个 包 都 会 转 发 并 且 会 发 送 一 个 I C M P R e d i r e c t 消 息 。 这 个 I C M P R e d i r e c t 消 息 的 成 本 非 常 高 ： 路 由 器 要 从 转 发 的 包 里 面 拿 到 源 I P 地 址 ， 然 后 构 造 一 个 I C M P 包 进 行 发 送 。 这 个 操 作 无 法 在 A S I C 芯 片 上 完 成 ， 需 要 L i n e C a r d 把 包 上 送 到 C P U ， 由 C P U 处 理 这 种 复 杂 的 任 务 。 A S I C 芯 片 能 够 直 接 处 理 设 备 接 口 的 包 ， 高 速 完 成 简 单 的 转 发 操 作 。 有 点 像 G P U ， 能 做 的 事 情 不 多 ， 但 是 能 做 到 的 都 很 快 。 C P U 能 够 完 成 很 多 复 杂 的 任 务 ， 但 是 比 较 慢 。 而 且 ， 网 络 设 备 通 常 由 多 个 A S I C 芯 片 ， 一 个 芯 片 只 负 责 几 个 接 口 ， 从 而 性 能 高 到 能 让 所 有 的 接 口 达 到 线 速 。 （ 在 《 G o o g l e 的 十 年 五 代 网 络 架 构 》 7 一 文 中 讨 论 过 ） 。 但 是 C P U 的 数 量 就 相 对 少 很 多 。 网 络 设 备 为 了 实 现 高 速 转 发 ， 会 将 大 部 分 的 操 作 都 放 在 L i n e C a r d 上 来 完 成 ， 不 必 上 送 到 C P U 。 其 他 一 些 需 要 C P U 来 处 理 的 操 作 ， 比 如 ： 处 理 T T L = 1 的 包 （ 所 以 m t r 来 d e b u g 的 时 候 经 常 看 到 中 间 的 网 络 设 备 丢 包 8 ， 但 实 际 上 不 会 造 成 问 题 ， 因 为 只 会 影 响 T T L = 1 的 包 ， 不 会 影 响 正 常 的 数 据 包 ） ； I P F r a g m e n t a t i o n 9 ； 此 外 ， C P U 最 主 要 的 工 作 就 是 运 行 网 络 设 备 的 操 作 系 统 ， 以 及 处 理 动 态 路 由 协 议 ， 比 如 B G P 和 O S P F 等 等 。 虽 然 我 们 使 用 的 路 由 器 的 C P U 已 经 很 强 大 了 ， 但 是 设 备 不 会 允 许 C P U 花 费 过 多 的 时 间 来 做 I C M P R e d i r e c t 这 种 事 情 。 所 以 N e x u s 7 0 0 0 平 台 设 计 了 C o n t r o l P l a n e   P o l i c i n g   ( C o P P ) 的 f e a t u r e ， 来 保 证 路 由 协 议 ， S S H 这 种 重 要 控 制 面 的 包 能 够 得 到 最 高 的 优 先 级 。 像 I C M P R e d i r e c t 这 种 包 ， 即 使 C P U 空 闲 ， 但 是 如 果 发 送 的 过 多 ， 也 会 被 限 制 。 限 制 的 结 果 就 是 不 仅 I C M P R e d i r e c t 不 会 发 送 ， 连 原 来 的 包 也 不 会 转 发 ， 直 接 D r o p 掉 。 C o P P 是 很 重 要 的 保 护 措 施 ， 不 建 议 关 闭 。 较 好 的 解 决 方 法 更 加 简 单 ， 就 是 一 行 命 令 ， 在 交 换 机 的 i n t e r f a c e 上 执 行 n o i p r e d i r e c t s 就 好 了 ， 即 ， 让 这 个 接 口 不 要 再 生 成 I C M P R e d i r e c t 消 息 ， 这 样 包 就 可 以 直 接 在 L i n e C a r d 完 成 转 发 ， 无 需 C P U 处 理 。 C i s c o 的 工 程 师 推 荐 了 这 篇 文 档 ： U n d e r s t a n d I C M P R e d i r e c t M e s s a g e s 1 0 ， 内 容 很 不 错 。 h t t p s : / / a w s . a m a z o n . c o m / e k s / ↩ ︎ h t t p s : / / s c a p y . n e t / ↩ ︎ 路 由 器 和 交 换 机 的 包 分 析 方 式 ： h t t p s : / / w w w . c i s c o . c o m / c / e n / u s / s u p p o r t / d o c s / s w i t c h e s / c a t a l y s t 6 5 0 0 s e r i e s s w i t c h e s / 1 0 5 7 0 4 1 . h t m l ↩ ︎ 数 据 中 心 网 络 高 可 用 技 术 之 从 服 务 器 到 交 换 机 ： 8 0 2 . 3 a d ↩ ︎ h t t p s : / / e n . w i k i p e d i a . o r g / w i k i / I n t e r n e t _ C o n t r o l _ M e s s a g e _ P r o t o c o l # R e d i r e c t ↩ ︎ 由 一 个 子 网 掩 码 配 置 错 误 所 想 到 的 ↩ ︎ G o o g l e 的 十 年 五 代 网 络 架 构 ↩ ︎ 使 用 m t r 检 查 网 络 问 题 ， 以 及 注 意 事 项 ↩ ︎ 有 关 M T U 和 M S S 的 一 切 ↩ ︎ h t t p s : / / w w w . c i s c o . c o m / c / e n / u s / s u p p o r t / d o c s / i o s n x o s s o f t w a r e / n x o s s o f t w a r e / 2 1 3 8 4 1 u n d e r s t a n d i n g i c m p r e d i r e c t m e s s a g e s . h t m l # t o c h I d – 1 0 5 2 3 1 8 1 8 4 ↩ ︎ C a t e g o r i e s : 网 络 T a g s : A S I C 芯 片 , C i s c o 交 换 机 , C o n t r o l P l a n e P o l i c i n g , C o P P , C P U 瓶 颈 , I C M P R e d i r e c t , I C M P R e d i r e c t 消 息 , n o i p r e d i r e c t s , O v e r l a y 网 络 , S P A N 抓 包 , V X L A N 网 关 , 丢 包 问 题 , 多 层 封 装 , 网 络 排 查 , 路 由 优 化 , 路 由 器 行 为   « O l d e r p o s t s 搜 索 ： 我 的 电 邮 2 0 2 5 年 1 月 一 二 三 四 五 六 日   1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1   « 1 2 月     欢 迎 收 听 捕 蛇 者 说 ： 一 档 关 于 编 程 、 程 序 员 、 P y t h o n 的 播 客 节 目 ! 分 类 B P F ( 2 ) G i t ( 8 ) g o l a n g ( 1 ) J a v a ( 2 5 ) L i n u x ( 2 7 ) l i s p ( 1 ) l u a ( 2 ) P y t h o n ( 7 7 ) S R E ( 1 5 ) V i m ( 2 7 ) W o l f r a m ( 1 ) 前 端 开 发 ( 4 ) 博 客 维 护 ( 1 0 ) 听 歌 有 感 ( 5 ) 图 像 处 理 ( 1 ) 我 的 生 活 ( 3 8 ) 数 据 库 ( 8 ) 新 加 坡 百 景 ( 2 ) 旅 行 和 摄 影 ( 1 3 ) 树 莓 派 ( 4 ) 游 戏 生 涯 ( 6 ) 电 影 有 感 ( 1 0 ) 监 控 系 统 ( 1 0 ) 程 序 开 发 笔 记 ( 1 0 9 ) 网 络 ( 4 6 ) 观 点 与 感 想 ( 2 5 ) 诗 ( 1 ) 读 书 有 感 ( 2 1 ) 黑 客 ( 2 ) 推 荐 关 注 T o B e W i t h Y o u 一 个 搞 前 端 的 人 。 j o y m e 一 只 思 考 的 猫 。 i t m y h o m e 的 专 栏 一 个 喜 欢 G i t 的 人 。 h y c w a l l 一 个 闷 骚 的 人 。 D a v i d G u 一 个 写 L i s p 的 人 。 梦 里 醉 逍 遥 一 个 不 下 线 的 人 。 云 风 一 个 写 代 码 的 人 。 p i g l e i 一 个 打 电 动 的 P y t h o n e r . m r l u a n m a 一 个 疯 狂 的 收 藏 者 。 I B M d e v e l o p e r W o r k s 一 个 公 司 博 客 。 隔 叶 黄 莺 一 个 有 毅 力 的 博 主 。 l a i k e 9 m 一 个 马 竞 俱 乐 部 粉 。 依 云 一 个 火 狐 用 户 。 木 制 r o b o t 一 个 喜 欢 瞎 折 腾 的 人 。 A r m i n R o n a c h e r 一 个 会 R u s t 的 P y t h o n e r 。 Z o o m . Q u i e t 一 个 大 妈 。 W K L K E N B U I L D I N G 一 个 V i m 爱 好 者 。 v i m i i x 一 个 P y t h o n 爱 好 者 。 瞬 光 一 个 女 装 大 佬 。 d a y a 一 个 肥 宅 。 辛 未 羊 的 博 客 一 个 阿 森 纳 球 迷 。 D r e w D e V a u l t 一 个 天 文 黑 客 。 A d a m W e n 一 个 喝 可 乐 工 程 师 。 m a n j u s a k a 一 个 喜 欢 编 程 的 香 港 记 者 。 刘 悦 的 技 术 博 客 一 个 乐 于 助 人 的 敏 捷 开 发 者 。 M u n i a o 一 个 喜 欢 摄 影 的 分 布 式 系 统 爱 好 者 。 F r o s t M i n g 一 个 荒 废 了 摄 影 的 养 蛇 人 。 小 明 明 一 个 小 明 。 l e p t u r e 又 一 个 小 明 。 a n t i r e z 一 个 黑 客 。 G r e g o r y S z o r c 一 个 M e r c u r i a l 。 黄 鸭 一 只 小 黄 鸭 。 N y a n s h e l l 一 个 酿 啤 酒 的 人 。 桃 子 一 个 同 事 。 S i m o n T a t h a m 一 个 自 由 软 件 开 发 者 。 风 云 阁 一 只 大 脚 。 y i h o n g 0 6 1 8 一 个 叫 伊 洪 的 男 人 。 智 慧 锦 囊 一 个 智 慧 锦 囊 。 0 x 0 1 b y t e 一 个 b y t e 。 卢 海 昌 一 个 物 理 学 家 。 L e o n H w a n g 一 个 B P F 大 佬 。 如 果 我 的 博 客 帮 到 了 您 ， 考 虑 请 我 喝 杯 咖 啡 ？ 使 用 R S S 订 阅 本 站 ： F e e d 在 G i t H u b 上 关 注 我 ： l a i x i n t a o   A B l o g S i n c e 2 0 1 3 . 联 系 方 式 留 言 版 申 请 友 链 关 于

站点概括

关于www.kawabangga.com说明：
www.kawabangga.com由网友主动性提交被百万链整理收录的，百万链仅提供www.kawabangga.com的基础信息并免费向大众网友展示，www.kawabangga.com的是IP地址：- 地址：-，www.kawabangga.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.kawabangga.com的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.baiwanlian.cn/links/c193a5ed0961eb76c813.html，复制请保留版权链接！

---