在 Linux 內(nèi)核網(wǎng)絡(luò)開(kāi)開(kāi)發(fā)過(guò)程中，網(wǎng)絡(luò)丟包問(wèn)題是一個(gè)常見(jiàn)的挑戰(zhàn)。傳統(tǒng)的網(wǎng)絡(luò)抓包工具（如 tcpdump）雖然能夠幫助開(kāi)發(fā)者定位問(wèn)題，但其效率較低，且在深度網(wǎng)絡(luò)問(wèn)題定位方面能力有限。隨著 eBPF 技術(shù)的快速發(fā)展，出現(xiàn)了更高級(jí)的問(wèn)題跟蹤能力。字節(jié)跳動(dòng) STE 團(tuán)隊(duì)基于此技術(shù)開(kāi)發(fā)了下一代內(nèi)核網(wǎng)絡(luò)抓包工具：netcap（net capture，內(nèi)部原名：xcap），并正式對(duì)外開(kāi)源，GitHub 地址：https://github.com/bytedance/netcap

與 tcpdump 工具只能作用于內(nèi)核網(wǎng)絡(luò)協(xié)議棧準(zhǔn)備發(fā)包和收包的固定點(diǎn)相比，netcap 可以幾乎跟蹤整個(gè)內(nèi)核網(wǎng)絡(luò)協(xié)議棧（有skb作為參數(shù)的函數(shù)）。字節(jié)跳動(dòng) STE 團(tuán)隊(duì)使用 tcpdump 語(yǔ)法作為過(guò)濾條件，以 skb（socket buffer）為上下文，可以輕松掌握整個(gè)報(bào)文在內(nèi)核網(wǎng)絡(luò)協(xié)議棧的完整蹤跡，從而幫助開(kāi)發(fā)者大大提高內(nèi)核網(wǎng)絡(luò)丟包問(wèn)題的定位效率。

其中 -f 后面的參數(shù)是 kprobe 或者 tracepoint 的具體函數(shù)（默認(rèn)是kprobe），并且需要告訴 netcap，skb 在這個(gè)函數(shù)(本例是 icmp_rcv )的第幾個(gè)參數(shù)（從1開(kāi)始），本例是第1個(gè)。

• -i 后面是指skb的dev參數(shù)對(duì)應(yīng)的網(wǎng)卡，這里要謹(jǐn)慎使用，因?yàn)橛行┖瘮?shù)的 skb 是沒(méi)有設(shè)置 dev 的。
• -e 的參數(shù)是 tcpdump 的過(guò)濾語(yǔ)法。
• -t 的參數(shù)是 tcpdump 的顯示方式，netcap 并沒(méi)有自己顯示數(shù)據(jù)包內(nèi)容，而是借用了 tcpdump 的顯示方式。

例2：查看內(nèi)核對(duì)于 tcp 端口 9000 的報(bào)文的丟包位置

netcap skb -f tracepoint:skb:kfree_skb -e 'tcp port 9000' -S

其中 -f 后面的參數(shù)是 kprobe 或者 tracepoint 的具體函數(shù)，tracepoint 不需要傳遞 skb 是第幾個(gè)參數(shù)。

-S 表示連帶著打印出此調(diào)用的 stack，本例中通過(guò) stack 可以看到是哪里丟包的。

舉個(gè)例子，在機(jī)器上配置一個(gè)丟包的 iptables 規(guī)則把來(lái)訪(fǎng)的 tcp 9000 的包丟掉，如下圖所示：

netcap 通過(guò) kprobe / tracepoint 方式實(shí)現(xiàn)函數(shù)的 hook，通過(guò)函數(shù)參數(shù)獲取 skb 和 sock 關(guān)鍵結(jié)構(gòu)體，拿到網(wǎng)絡(luò)包的數(shù)據(jù)，通過(guò) bpf map 和用戶(hù)態(tài)進(jìn)行數(shù)據(jù)傳遞。

netcap 的 工作原理大體如下：在 eBPF 程序中完成數(shù)據(jù)包的過(guò)濾，找出 tcpdump 語(yǔ)法過(guò)濾的包，然后把這個(gè)包給到 netcap 應(yīng)用程序，netcap 應(yīng)用程序再把這個(gè)包發(fā)去給 tcpdump 顯示，或者直接輸出 pcap 文件。如下圖所示：

1. 如何按 tcpdump 語(yǔ)法過(guò)濾

tcpdump 的過(guò)濾語(yǔ)法是基于 cBPF的，使用開(kāi)源庫(kù)：https://github.com/cloudflare/cbpfc 這里可以把 tcpdump 的過(guò)濾語(yǔ)法轉(zhuǎn)化成一個(gè) C 函數(shù)，這個(gè) C 函數(shù)可以嵌入到 netcap 的 eBPF 的程序中。轉(zhuǎn)成 C 函數(shù)的基本原理如下：先利用 libpcap 庫(kù)把 tcpdump 過(guò)濾語(yǔ)法轉(zhuǎn)成 cBPF 指令碼，然后基于此指令碼轉(zhuǎn)化成 C 語(yǔ)言的函數(shù)。如下圖所示：

2. 如何把數(shù)據(jù)包內(nèi)容用 tcpdump 顯示出來(lái)

netcap 程序啟動(dòng)后，也會(huì)啟動(dòng)一個(gè) tcpdump 的程序，tcpdump 的標(biāo)準(zhǔn)輸入接收 pcap 格式的輸入流，然后以不同的參數(shù)（例如 -e 是顯示 mac 地址）從其標(biāo)準(zhǔn)輸出打印出解析后的格式。如下圖所示：

3. 如何找到數(shù)據(jù)包的內(nèi)容

在內(nèi)核中，是用 skb 來(lái)描述數(shù)據(jù)包的，找到 skb 中所指定的不同 header 的位置，就可以找到整個(gè)數(shù)據(jù)包，skb 的結(jié)構(gòu)大體如下所示：

4. 發(fā)送方向數(shù)據(jù)包不完整，如何過(guò)濾數(shù)據(jù)包

在發(fā)送數(shù)據(jù)包的時(shí)候，例如 __ip_finish_output 函數(shù)，有時(shí)未填充完整的 eth頭、ip 頭、tcp 頭，那么是怎么得到完整的包呢？

netcap 會(huì)盡力根據(jù) skb 的 sock 結(jié)構(gòu)來(lái)推導(dǎo)，還原數(shù)據(jù)包，此時(shí)抓出來(lái)的包有些非關(guān)鍵信息會(huì)與實(shí)際情況不一致（比如 ip 頭的 id 字段）。skb 通過(guò)sock來(lái)推導(dǎo)數(shù)據(jù)包內(nèi)容的邏輯大體如下圖所示：

netcap 可以統(tǒng)計(jì)數(shù)據(jù)包經(jīng)過(guò)多個(gè)點(diǎn)的時(shí)間，然后匯總輸出，從而分析性能，舉個(gè)例子，使用下面的命令：

netcap skb -f tracepoint:net:netif_receive_skb,ip_local_deliver@1,ip_local_deliver_finish@3,icmp_rcv@1 -e 'host 10.227.0.72 and icmp' -i eth0  --gather --gather-output-color cyan

用戶(hù)可以自定義自己的過(guò)濾函數(shù)和輸出函數(shù)，這里舉例如下，

其中擴(kuò)展過(guò)濾文件 skb_user_filter.c 如下：

// Return 0 means it's not need, pls filter out it.static inline int xcap_user_filter(void *ctx, void *pkt, u16 trace_index) {    return 1;}

這個(gè)擴(kuò)展函數(shù)的返回值如果是 0，表示在 tcpdump 語(yǔ)法的過(guò)濾后，再進(jìn)行一次用戶(hù)自定義過(guò)濾，比如可以方便的寫(xiě)幾行腳本，然后按照 skb->mark 來(lái)過(guò)濾。