日志系统设计 on IT 运维小秋

日志系统设计 on IT 运维小秋 /categories/%E6%97%A5%E5%BF%97%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1.html Recent content in 日志系统设计 on IT 运维小秋 Hugo -- gohugo.io zh-cn chenwx716@139.com chenwx716@139.com Fri, 13 Dec 2024 00:00:00 +0800 日志系统设计 /p/logs-system-platform.html Fri, 13 Dec 2024 00:00:00 +0800 chenwx716@139.com /p/logs-system-platform.html <h2 id="前言">前言</h2> <p>就目前来说开源日志系统功能已经非常完善, 除非大企业如有特殊需求否则没必要自研日志系统;</p> <h2 id="日志的作用">日志的作用</h2> <ol> <li>线上问题跟踪</li> <li>场景还原</li> <li>监控调优</li> <li>业务记录</li> </ol> <h2 id="什么时候记录日志">什么时候记录日志</h2> <ol> <li>编程语言提示异常：即语言中的异常模块反馈出来的错误信息</li> <li>业务流程与预期不符</li> <li>系统核心角色，组件关键动作</li> <li>系统初始化时环境的检查</li> <li>有必要才记录日志，频繁过量日志对性能是有损耗的</li> </ol> <h2 id="日志处理流程">日志处理流程</h2> <p>产生->采集->传输->过滤/转换->存储->分析</p> <h2 id="相关开源组件">相关开源组件</h2> <p>采集侧:</p> <ul> <li>filebeat</li> <li>syslog/rsyslog</li> <li>fluentd/fluent-bit</li> <li>logtail</li> <li>plumelog</li> <li>Vector</li> <li>otel Collectors</li> <li>Packetbeat 网络流量数据</li> <li>Winlogbeat Windows 事件日志数据</li> <li>promtail/Alloy</li> </ul> <p>缓冲中间件</p> <ul> <li>kafka</li> </ul> <p>过滤/转换</p> <ul> <li>logstash</li> <li>otel Collectors</li> </ul> <p>存储层</p> <ul> <li>elasticsearch</li> <li>minio</li> <li>loki</li> <li>clickHouse</li> </ul> <p>告警</p> <ul> <li>elasticAlert</li> </ul> <h2 id="采集方式">采集方式</h2> <p>目前云原生主流推荐方式有几种</p> <ol> <li>应用程序不写日志文件, 直接标准输出, 由容器服务捕获转成日志文件, 再由agent采集;</li> <li>应用程序通过内置sdk, 发送到远程日志服务器;</li> <li>应用程序标准输出, 由 otel 自动注入agent进行采集;</li> </ol> <p>日志不落盘: 不用担心日志占用磁盘空间过多, 少一次日志审计, 可用集中处理敏感信息;<br /> 日志落盘: 就需要考虑空间占用, 需要处理轮转和权限, 需要落盘前处理脱敏：</p> <h2 id="标准化日志">标准化日志</h2> <h3 id="日志级别">日志级别</h3> <ul> <li>crit 最高级别错误, 反映系统发生了非常严重的故障, 无法自动恢复到正常态工作, 需要人工介入处理</li> <li>error 严重的错误, 某项业务出现的异常</li> <li>warn 低级别异常日志, 反映系统在业务处理时触发了异常流程; 但系统可恢复到正常态, 下一次业务逻辑还可以正常执行;</li> <li>INFO 主要记录系统关键信息, 旨在保留系统正常工作期间关键运行指标</li> <li>DEBUG 详细的调试信息</li> </ul> <h3 id="日志格式规范">日志格式规范</h3> <p>目前主推结构化日志;</p> <p>标准元数据字段</p> <ul> <li>request_id: 唯一请求id</li> <li>trace_id: 链路跟踪id</li> <li>time: 日志产生时间, 时间戳 /ISO8601/ 毫秒级别, 包含时区</li> <li>level: 日志等级</li> <li>app_id: 应用 id, 用于标示日志来源, 全局唯一</li> <li>instance_id: 实例 id, 用于区分同一应用不同实例, 格式业务方自行设定</li> <li>message: string 正文, 或结构化 json</li> </ul> <p>其它可选字段</p> <ul> <li>业务模块名称</li> <li>版本号</li> <li>函数名称</li> </ul> <h2 id="集中式日志系统设计">集中式日志系统设计</h2> <p>数据流: 采集->传输->过滤/转换->存储->检索/分析</p> <p>业务功能点:</p> <ul> <li>方便搜索, 统计, 异常排查</li> </ul> <p>非业务功能点:</p> <ul> <li>可根据数据规模横向扩展</li> <li>跨数据中心支持</li> <li>数据生命周期支持</li> </ul> <p>设计要点</p> <ol> <li>实时性和非实时性</li> <li>日志格式能否统一</li> <li>采集阶段不能占用业务太多计算资源</li> <li>离线分析需求</li> <li>有优先级控制和流量控制</li> </ol> <p>过滤/转换</p> <ul> <li>补元数据</li> <li>去除无效日志</li> <li>记录重点日志</li> </ul> <p>存储</p> <ul> <li>存储的索引、压缩、和查询</li> <li>体量：分布式存储, 横向扩容</li> <li>速度：内存缓存, 索引</li> <li>生命周期: 冷热数据存放，设定日志清理轮转时间</li> </ul>