Linux日志管理


systemd改变了为CentOS Linux管理系统日志记录的方式。 journald 将日志放入各个位置,而不是使用诸如 tailgrep之类的 工具作为排序和过滤日志条目的主要方式,而不是每个守护进程都将日志放入各个位置,因此 journald 已将单一管理点引入分析系统日志。

背后的主要成分 systemd 日志记录是:杂志,jounralctl和journald.conf

journald 是主要的日志记录守护进程,可通过编辑 journald.conf 进行配置,而 journalctl 用于分析记录日志记录的 事件

journald 记录的 事件 包括:内核事件,用户进程和守护进程服务。

设置正确的系统时区

在使用 journalctl 之前,我们需要确保我们的系统时间设置为正确的时间。为此,我们要使用 timedatectl

我们来检查一下当前的系统时间。

[root@centos rdc]# timedatectl status
Local time: Mon 2017-03-20 00:14:49 MDT
Universal time: Mon 2017-03-20 06:14:49 UTC
RTC time: Mon 2017-03-20 06:14:49
Time zone: America/Denver (MDT, -0600)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: yes
Last DST change: DST began at
              Sun 2017-03-12 01:59:59 MST
              Sun 2017-03-12 03:00:00 MDT
Next DST change: DST ends (the clock jumps one hour backwards) at
              Sun 2017-11-05 01:59:59 MDT
              Sun 2017-11-05 01:00:00 MST

[root@centos rdc]#

目前,该系统对当地时区是正确的。如果你的系统没有,我们设置正确的时区。更改设置后,CentOS将自动计算当前时区的时区偏移量,并立即调整系统时钟。

让我们用 timedatectl 列出所有的时区-

[root@centos rdc]# timedatectl list-timezones
Africa/Abidjan
Africa/Accra
Africa/Addis_Ababa
Africa/Algiers
Africa/Asmara
Africa/Bamako
Africa/Bangui
Africa/Banjul
Africa/Bissau

这是来自 timedatectl list-timezones 的争用输出。要查找特定的本地时区,可以使用grep命令 -

[root@centos rdc]# timedatectl list-timezones | grep -i "america/New_York"
America/New_York
[root@centos rdc]#

CentOS使用的标签通常是国家/地区,下划线代替空格(New_York与“纽约”)。

现在我们来设置我们的时区 -

[root@centos rdc]# timedatectl set-timezone "America/New_York"

[root@centos rdc]# date
Mon Mar 20 02:28:44 EDT 2017

[root@centos rdc]#

您的系统时钟应该自动调整时间。

使用journalctl来分析日志

使用 journalctl 时的常用命令行参数

参数 动作
-k 仅列出内核消息
-u 按特定单元列出(httpd,sshd等)
-b 启动标签偏移量
-o 记录输出格式
-p 按日志类型过滤(名称或编号)
-F Fieldname或fieldnamevalue
--utc UTC时间偏移量
--since 按时间表过滤

检查引导日志

首先,我们将在CentOS Linux中检查和配置启动日志。首先你会注意到的是,默认情况下,CentOS不存储在重新启动时持久存在的启动日志记录。

要检查每个重启实例的启动日志,我们可以发出以下命令

[root@centos rdc]# journalctl --list-boots
-4 bca6380a31a2463aa60ba551698455b5 Sun 2017-03-19 22:01:57 MDT—Sun 2017-03-19 22:11:02 MDT
-3 3aaa9b84f9504fa1a68db5b49c0c7208 Sun 2017-03-19 22:11:09 MDT—Sun 2017-03-19 22:15:03 MDT
-2 f80b231272bf48ffb1d2ce9f758c5a5f Sun 2017-03-19 22:15:11 MDT—Sun 2017-03-19 22:54:06 MDT
-1 a071c1eed09d4582a870c13be5984ed6 Sun 2017-03-19 22:54:26 MDT—Mon 2017-03-20 00:48:29 MDT
 0 9b4e6cdb43b14a328b1fa6448bb72a56 Mon 2017-03-20 00:48:38 MDT—Mon 2017-03-20 01:07:36 MDT

[root@centos rdc]#

重新启动系统后,我们可以看到另一个条目。

[root@centos rdc]# journalctl --list-boots
-5 bca6380a31a2463aa60ba551698455b5 Sun 2017-03-19 22:01:57 MDT—Sun 2017-03-19 22:11:02 MDT
-4 3aaa9b84f9504fa1a68db5b49c0c7208 Sun 2017-03-19 22:11:09 MDT—Sun 2017-03-19 22:15:03 MDT
-3 f80b231272bf48ffb1d2ce9f758c5a5f Sun 2017-03-19 22:15:11 MDT—Sun 2017-03-19 22:54:06 MDT
-2 a071c1eed09d4582a870c13be5984ed6 Sun 2017-03-19 22:54:26 MDT—Mon 2017-03-20 00:48:29 MDT
-1 9b4e6cdb43b14a328b1fa6448bb72a56 Mon 2017-03-20 00:48:38 MDT—Mon 2017-03-20 01:09:57 MDT
 0 aa6aaf0f0f0d4fcf924e17849593d972 Mon 2017-03-20 01:10:07 MDT—Mon 2017-03-20 01:12:44 MDT

[root@centos rdc]#

现在,让我们来看看最后一次引导日志记录实例

root@centos rdc]# journalctl -b -5
-- Logs begin at Sun 2017-03-19 22:01:57 MDT, end at Mon 2017-03-20 01:20:27 MDT. --
Mar 19 22:01:57 localhost.localdomain systemd-journal[97]: Runtime journal is using 8.0M
(max allowed 108.4M
Mar 19 22:01:57 localhost.localdomain kernel: Initializing cgroup subsys cpuset
Mar 19 22:01:57 localhost.localdomain kernel: Initializing cgroup subsys cpu
Mar 19 22:01:57 localhost.localdomain kernel: Initializing cgroup subsys cpuacct
Mar 19 22:01:57 localhost.localdomain kernel: Linux version 3.10.0514.6.2.el7.x86_64
(builder@kbuilder.dev.
Mar 19 22:01:57 localhost.localdomain kernel: Command line:
BOOT_IMAGE=/vmlinuz-3.10.0-514.6.2.el7.x86_64 ro
Mar 19 22:01:57 localhost.localdomain kernel: Disabled fast string operations
Mar 19 22:01:57 localhost.localdomain kernel: e820: BIOS-provided physical RAM map:

以上是我们上次启动的精简输出。我们还可以从几小时,几天,几周,几个月甚至几年的时间再引用启动日志。但是,默认情况下,CentOS不存储持久启动日志。要启用持久存储启动日志,我们需要进行一些配置更改

  • 为引导日志创建中央存储点
  • 给予新的日志文件夹适当的权限
  • 配置journald.conf以进行持久性日志记录

为持久引导日志配置引导位置

最初的地方 journald 将要存储持久启动日志是 /var/log/journal 。由于默认情况下不存在,我们来创建它 -

[root@centos rdc]# mkdir /var/log/journal

现在,让我们给目录适当的权限 journald 守护进程访问 -

systemd-tmpfiles --create --prefix /var/log/journal

最后,让我们告诉 journald 它应该存储持久启动日志。在 vim 或者你最喜欢的文本编辑器中,打开 /etc/systemd/jounrald.conf

# See journald.conf(5) for details.  
[Journal]=Storage=peristent

我们关心的是 Storage = 。首先删除注释 ,然后更改为 Storage = persistent ,如上所述。保存并重新启动CentOS系统,并注意运行 journalctl list-boots 时应该有多个条目。

- 像VPS提供商那样不断变化的 机器ID 可能会导致 journald 在存储持久启动日志时失败。对于这种情况有很多解决方法。最好仔细阅读发布到CentOS管理论坛的当前修复内容,而不是遵循那些找到合理VPS解决方案的人的可信建议。

要检查特定的启动日志,我们只需使用 journald --list-boots 使用 -b 开关 启动 偏移量来获取每个偏移量。所以要检查我们要使用的第二个启动日志 -

journalctl -b -2

没有指定启动日志偏移量的 -b 的默认值始终是上次重新启动后的当前启动日志。

按日志类型分析日志

来自 journald的 事件被编号并分为7种不同的类型 -

0 - emerg   :: System is unusable
1 - alert   :: Action must be taken immediatly    
2 - crit    :: Action is advised to be taken immediatly
3 - err     :: Error effecting functionality of application
4 - warning :: Usually means a common issue that can affect security or usilbity
5 - info    :: logged informtation for common operations
6 - debug   :: usually disabled by default to troubleshoot functionality

因此,如果我们想看到所有警告,可以通过 journalctl 发出以下命令-

[root@centos rdc]# journalctl -p 4
-- Logs begin at Sun 2017-03-19 22:01:57 MDT, end at Wed 2017-03-22 22:33:42 MDT. --
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: RSDP 00000000000f6a10 00024
(v02 PTLTD )
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: XSDT 0000000095eea65b 0005C
(v01 INTEL  440BX    06040000 VMW  01
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: FACP 0000000095efee73 000F4
(v04 INTEL  440BX    06040000 PTL  00
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: DSDT 0000000095eec749 1272A
(v01 PTLTD  Custom   06040000 MSFT 03
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: FACS 0000000095efffc0 00040
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: BOOT 0000000095eec721 00028
(v01 PTLTD  $SBFTBL$ 06040000  LTP 00
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: APIC 0000000095eeb8bd 00742
(v01 PTLTD  ? APIC   06040000  LTP 00
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: MCFG 0000000095eeb881 0003C
(v01 PTLTD  $PCITBL$ 06040000  LTP 00
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: SRAT 0000000095eea757 008A8
(v02 VMWARE MEMPLUG  06040000 VMW  00
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: HPET 0000000095eea71f 00038
(v01 VMWARE VMW HPET 06040000 VMW  00
Mar 19 22:01:57 localhost.localdomain kernel: ACPI: WAET 0000000095eea6f7 00028
(v01 VMWARE VMW WAET 06040000 VMW  00
Mar 19 22:01:57 localhost.localdomain kernel: Zone ranges:
Mar 19 22:01:57 localhost.localdomain kernel:   DMA      [mem 0x000010000x00ffffff]
Mar 19 22:01:57 localhost.localdomain kernel:   DMA32    [mem 0x010000000xffffffff]
Mar 19 22:01:57 localhost.localdomain kernel:   Normal   empty
Mar 19 22:01:57 localhost.localdomain kernel: Movable zone start for each node
Mar 19 22:01:57 localhost.localdomain kernel: Early memory node ranges
Mar 19 22:01:57 localhost.localdomain kernel:   node   0: [mem 0x000010000x0009dfff]
Mar 19 22:01:57 localhost.localdomain kernel:   node   0: [mem 0x001000000x95edffff]
Mar 19 22:01:57 localhost.localdomain kernel:   node   0: [mem 0x95f000000x95ffffff]
Mar 19 22:01:57 localhost.localdomain kernel: Built 1 zonelists in Node order,
mobility grouping on.  Total pages: 60
Mar 19 22:01:57 localhost.localdomain kernel: Policy zone: DMA32
Mar 19 22:01:57 localhost.localdomain kernel: ENERGY_PERF_BIAS: Set to
'normal', was 'performance'

以上显示了系统过去4天的所有警告。

使用systemd查看和浏览日志的新方法确实需要很少的练习和研究才能熟悉。但是,使用不同的输出格式并特别注意使所有打包的守护进程日志通用,这是值得拥抱的。 journald 与传统的日志分析方法 相比 具有很大的灵活性和效率。