我需要对大量数据进行tcpdumping – 实际上是从混杂模式中剩下的2个接口中可以看到大量流量.

把它们加起来

>从2个接口以混杂模式记录所有流量
>这些接口未分配IP地址
> pcap文件必须每~1G旋转一次
>存储10 TB文件时,开始截断最旧的文件

我目前在做什么

现在我像这样使用tcpdump：

ifconfig ethX promisc
ifconfig ethX promisc
tcpdump -n -C 1000 -z /data/compress.sh -i any -w /data/livedump/capture.pcap $FILTER

$FILTER包含src / dst过滤器,以便我可以使用-i any.原因是,我有两个接口,我想在一个线程而不是两个线程中运行转储.

compress.sh负责将tar分配给另一个cpu核心,压缩数据,为其提供合理的文件名并将其移动到存档位置.

我不能指定两个接口,因此我选择使用过滤器并从任何接口转储.

现在,我不做任何看家,但我计划监控磁盘,当我剩下100G时,我将开始擦除最旧的文件 – 这应该没问题.

现在;我的问题

我看到丢包了.这是来自已经运行了几个小时的转储,并收集了大约250个pcap文件：

430083369 packets captured
430115470 packets received by filter
32057 packets dropped by kernel  <-- This is my concern

如何避免丢弃这么多数据包？

这些东西我已经尝试或看过了

更改了/ proc / sys / net / core / rmem_max和/ proc / sys / net / core / rmem_default的值确实有帮助 – 实际上它只处理掉了一半丢弃的数据包.

我也看了gulp – gulp的问题是,它在一个进程中不支持多个接口,如果接口没有IP地址,它会生气.不幸的是,在我的案例中,这是一个交易破坏者.

接下来的问题是,当交通流经管道时,我无法进行自动轮换.获取一个巨大的10 TB文件并不是非常有效,我没有一台10TB RAM的机器,我可以运行wireshark,所以这就是了.

你有什么建议吗？也许甚至可以更好地完成我的流量转储.