标签 elk 下的文章

2023-08-11

linuxea: 日志收集的悄然变化日志收集短期发展史日志的查看和告警是日志收集最核心的两个原因之一，通常99%的日志都是无用的，除非这些日志被用来做数据聚合环比数据分析。而传统的ELK，无论是Logstash还是ES都是非常消耗系统资源的应用，大规模场景中，要即时消费kafka的数据是一件不太容易的事情。观测性我们知道，现在的大多数应用皆是分布式或者微服务。微服务架构是让开发人员能够更快构建和发布，而随着服务进一步扩张，我们越发的不清楚服务运行的状态。而opentelmetry是来解决这种问题手段之一，微服务扩展后自己的服务和服务依赖之间的关系，通过可观察的方式使开发和维护都能够获得对系统的可见性。为了具备这种能力，系统就需要具备观测行。观测性是用来描述对系统所发生情况的理解程度，正常运行还是已经停止，用户察觉是变快还是变慢。如何构建KPI和SLA约定指标，或者说能够接受怎么样的最坏状态。能够回答如上的这些问题，并且能够指出问题。理想情况下在中断服务之前快速响应并且快速解决。而在术语上，观测性分为：事件日志，链路追踪和聚合指标。如果听到这个，让我们想起了最近的开源领域一些状态，或许就明白了，他们在做什么小米夜莺监控Nightingale在2023.7月底发布了V6版，转而构建可观测性平台。需要时刻掌握运行状态，可能是无法避免浪费，云产品提供了昂贵的观测平台服务：阿里云的商用产品arms和腾讯的商用产品介绍到这里，我想今天的主题是从日志发展作为开始，而结束必然是与事件日志(logs)，链路追踪(traces)和聚合指标(metrics)有关。ELK的开始最早的ELK日志收集逻辑如下后来Graylog也成为更多的选择。而随着容器的发展，收集端logstash显然不够轻量，作为收集段fluentd，Fluent-bit用插件的方式比logstash更加轻便。而日志告警除开logstash，就是es插件。但是，他们都有一个同样的问题，假如你只愿意收集某一些日志，而不是所有的日志，无论是Logstash还是fluentd，Fluent-bit都i不会很轻松，你需要配置一些过滤规则或者标签，而整个配置清单至少需要100行上下。而在中间的插曲是阿里开源的 log-point，log-pilot不在对所有的pod收集，你可以通过传入环境变量的方式进行选择，这与早期阿里的平台收集日志是一样但是好景不长，log-pilot突然就停更了，它不在支持新特性和变化。事情在短期内由回到了开源领域的fluentd。而在这个过程中，有一家石墨公司推出了clickvisual，它不在使用es，而是clickhouse，因此在同配置下它的集群性能超过了ES集群并且，clickhouse的数据很容易通过ttl来进行修改删除过期数据。但是clickvisual的产品是自己公司内部使用，而后免费开源出来的，因此它的界面似乎并没有获得广大用户青睐，clickvisual社区比较清淡。但是维护人员很活跃。当然，这并没有完。除了上述这些，log-pilot在停更的2年后，阿里随后推出了新的开源项目ilogtail，但是ilogtail似乎和log-pilot的宿命一样，ilogtail的社区更多时候永远慢一些，无论是补丁还是PR合并，以及ISSUE回复，这让社区旁观的人仍然会认为这依旧是一个 KPI产品。而在ilogtail出现的同时，另一个 loggie-io悄然出现，loggie-io是网易公司的日志收集端， loggie-io与clickvisual一样，都是商业公司内部的产品，而后进行开源公开。而clickvisual和 loggie-io的维护者相对要活跃，因此使用者居多。并且 loggie-io成功了接替了没有log-pilot这些日志的空白。并且 loggie-io提供了更多的使用功能。此时的拓扑如下而在这其中，唯一没有被取代的是logstash, logstash是老牌日志处理中最关键的一环，他几乎包含了所有能够被用到的功能他都有。但是Datadog公司的vector出现后，logstash有了被替代的可能。vector是由rust编写，相比较java 的logstash使用资源更小，vector能够替代logstash的日志收集，中转，过滤，处理。它几乎可以替代logstash.事情到了这里并没有完，VictoriaLogs还没有结束，而github上openobserve通过不到一年的时间收获6K星，它的出现对标了es和kibana，因为它可以同时替代es和kibana。并声称与 Elasticsearch 相比，后者可以将日志存储成本降低约 140 倍。支持日志、指标、跟踪(Opentelemetry)，集群支持S3，警报和查询， SQL 和 PromQL。或许是得益于openobserve的parquet，openobserve声称单机每天可以处理超过 2 TB 的数据。Mac M2的处理速度为约 31 MB/秒，即每分钟处理 1.8 GB，每天处理 2.6 TB。而这种情况在上一次这样的描述的是vm存储TimescaleDB相比。而且openobserve与vm的存储都是无状态的，尽管他们并不相同，但他可以仍然水平扩展，这样一来，这一切就更加明显了。

2023年08月11日
341 阅读
0 评论
0 点赞

2018-08-16

2018年08月16日
4,982 阅读
0 评论
0 点赞

2018-08-08

linuxea:logstash6.3.2与redis+filebeat示例(三) 在之前的一篇中提到使用redis作为转发思路在前面两篇中写的都是elk的安装，这篇叙述在6.3.2中的一些filebeat收集日志和处理的问题，以nginx为例，后面的可能会有，也可能不会有filebeat安装和配置filebeat会将日志发送到reids,在这期间包含几个配置技巧，在配置文件出会有一些说明下载和安装[root@linuxea-VM_Node-113 ~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm -O $PWD/filebeat-6.3.2-x86_64.rpm [root@linuxea-VM_Node_113 ~]# yum localinstall $PWD/filebeat-6.3.2-x86_64.rpm -y启动[root@linuxea-VM_Node-113 /etc/filebeat/modules.d]# systemctl start filebeat.service 查看日志[root@linuxea-VM_Node-113 /etc/filebeat/modules.d]# tail -f /var/log/filebeat/filebeat 2018-08-03T03:13:32.716-0400 INFO pipeline/module.go:81 Beat name: linuxea-VM-Node43_241_158_113.cluster.com 2018-08-03T03:13:32.717-0400 INFO instance/beat.go:315 filebeat start running. 2018-08-03T03:13:32.717-0400 INFO [monitoring] log/log.go:97 Starting metrics logging every 30s 2018-08-03T03:13:32.717-0400 INFO registrar/registrar.go:80 No registry file found under: /var/lib/filebeat/registry. Creating a new registry file. 2018-08-03T03:13:32.745-0400 INFO registrar/registrar.go:117 Loading registrar data from /var/lib/filebeat/registry 2018-08-03T03:13:32.745-0400 INFO registrar/registrar.go:124 States Loaded from registrar: 0 2018-08-03T03:13:32.745-0400 INFO crawler/crawler.go:48 Loading Inputs: 1 2018-08-03T03:13:32.745-0400 INFO crawler/crawler.go:82 Loading and starting Inputs completed. Enabled inputs: 0 2018-08-03T03:13:32.746-0400 INFO cfgfile/reload.go:122 Config reloader started 2018-08-03T03:13:32.746-0400 INFO cfgfile/reload.go:214 Loading of config files completed. 2018-08-03T03:14:02.719-0400 INFO [monitoring] log/log.go:124 Non-zero metrics in the last 30s配置文件在此配中paths下的是写日志的路径，可以使用通配符，但是如果你使用通配符后就意味着目录下的日志写在一个fields的id中，这个id会传到redis中，在传递到logstash中，最终以一个id的形式传递到kibana当然，这里测试用两个来玩，如下filebeat.prospectors: - type: log enabled: true paths: - /data/wwwlogs/1015.log fields: list_id: 113_1015_nginx_access - input_type: log paths: - /data/wwwlogs/1023.log fields: list_id: 113_1023_nginx_access filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 3 output.redis: hosts: ["IP:PORT"] password: "OTdmOWI4ZTM4NTY1M2M4OTZh" db: 2 timeout: 5 key: "%{[fields.list_id]:unknow}"在output中的key: "%{[fields.list_id]:unknow}"意思是如果[fields.list_id]有值就匹配，如果没有就unknow，最终传递给redis中redis安装在我意淫的这套里面，redis用来转发数据的，他可以说集群也可以说单点，取决于数据量的大小按照我以往的骚操作，redis当然要用docker来跑，运行一下命令进行安装curl -Lks4 https://raw.githubusercontent.com/LinuxEA-Mark/docker-alpine-Redis/master/Sentinel/install_redis.sh|bash安装完成在/data/rds下有一个docker-compose.yaml文件，如下：[root@iZ /data/rds]# cat docker-compose.yaml version: '2' services: redis: build: context: https://raw.githubusercontent.com/LinuxEA-Mark/docker-alpine-Redis/master/Sentinel/Dockerfile container_name: redis restart: always network_mode: "host" privileged: true environment: - REQUIREPASSWD=OTdmOWI4ZTM4NTY1M2M4OTZh - MASTERAUTHPAD=OTdmOWI4ZTM4NTY1M2M4OTZh volumes: - /etc/localtime:/etc/localtime:ro - /data/redis-data:/data/redis:Z - /data/logs:/data/logsredis查看写入情况[root@iZ /etc/logstash/conf.d]# redis-cli -h 127.0.0.1 -a OTdmOWI4ZTM4NTY1M2M4OTZh 127.0.0.1:6379> select 2 OK 127.0.0.1:6379[2]> keys * 1) "113_1015_nginx_access" 2) "113_1023_nginx_access" 127.0.0.1:6379[2]> lrange 113_1023_nginx_access 0 -1 1) "{\"@timestamp\":\"2018-08-04T04:36:26.075Z\",\"@metadata\":{\"beat\":\"\",\"type\":\"doc\",\"version\":\"6.3.2\"},\"beat\":{\"name\":\"linuxea-VM-Node43_13.cluster.com\",\"hostname\":\"linuxea-VM-Node43_23.cluster.com\",\"version\":\"6.3.2\"},\"host\":{\"name\":\"linuxea-VM-Node43_23.cluster.com\"},\"offset\":863464,\"message\":\"IP - [\xe\xe9\x9797\xb4:0.005 [200] [200] \xe5\x9b4:[0.005] \\\"IP:51023\\\"\",\"source\":\"/data/wwwlogs/1023.log\",\"fields\":{\"list_id\":\"113_1023_nginx_access\"}}"logstash安装和配置logstash在内网进行安装和配置，用来抓取公网redis的数据，抓到本地后发送es,在到看kibana[root@linuxea-VM-Node117 ~]# curl -Lk https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz|tar xz -C /usr/local && useradd elk && cd /usr/local/ && ln -s logstash-6.3.2 logstash && mkdir /data/logstash/{db,logs} -p && chown -R elk.elk /data/logstash/ /usr/local/logstash-6.3.2 && cd logstash/config/ && mv logstash.yml logstash.yml.bak 配置文件在这个配置文件之前下载ip库，在地图中会用到，稍后配置到配置文件准备工作安装GeoLite2-City[root@linuxea-VM-Node117 ~]# curl -Lk http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz|tar xz -C /usr/local/logstash-6.3.2/config/在之前5.5版本也做过nginx的格式化，直接参考groknginx log_format准备log_format upstream2 '$proxy_add_x_forwarded_for $remote_user [$time_local] "$request" $http_host' '[$body_bytes_sent] $request_body "$http_referer" "$http_user_agent" [$ssl_protocol] [$ssl_cipher]' '[$request_time] [$status] [$upstream_status] [$upstream_response_time] [$upstream_addr]';nginx patterns准备，将日志和patterns可以放在kibana grok检查，也可以在grokdebug试试，不过6.3.2的两个结果并不相同[root@linuxea-VM-Node117 /usr/local/logstash-6.3.2/config]# cat patterns.d/nginx NGUSERNAME [a-zA-Z\.\@\-\+_%]+ NGUSER %{NGUSERNAME} NGINXACCESS %{IP:clent_ip} (?:-|%{USER:ident}) \[%{HTTPDATE:log_date}\] \"%{WORD:http_verb} (?:%{PATH:baseurl}\?%{NOTSPACE:params}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_http_request})\" (%{IPORHOST:url_domain}|%{URIHOST:ur_domain}|-)\[(%{BASE16FLOAT:request_time}|-)\] %{NOTSPACE:request_body} %{QS:referrer_rul} %{GREEDYDATA:User_Agent} \[%{GREEDYDATA:ssl_protocol}\] \[(?:%{GREEDYDATA:ssl_cipher}|-)\]\[%{NUMBER:time_duration}\] \[%{NUMBER:http_status_code}\] \[(%{BASE10NUM:upstream_status}|-)\] \[(%{NUMBER:upstream_response_time}|-)\] \[(%{URIHOST:upstream_addr}|-)\]配置文件如下：在input中的key写的是reids中的key其中在filebeat的 key是"%{[fields.list_id]:unknow}"，这里进行匹配[fields.list_id]，在其中表现的是if [fields][list_id] 如果等于113_1015_nginx_access，匹配成功则进行处理grok部分是nginx的patternsgeoip中的database需要指明，source到clent_ip对useragent也进行处理ooutput中需要填写用户和密码以便于链接到es，当然如果你没有破解或者使用正版，你是不能使用验证的，但是你可以参考x-pack的破解input { redis { host => "47" port => "6379" key => "113_1015_nginx_access" data_type => "list" password => "I4ZTM4NTY1M2M4OTZh" threads => "5" db => "2" } } filter { if [fields][list_id] == "113_1023_nginx_access" { grok { patterns_dir => [ "/usr/local/logstash-6.3.2/config/patterns.d/" ] match => { "message" => "%{NGINXACCESS}" } overwrite => [ "message" ] } geoip { source => "clent_ip" target => "geoip" database => "/usr/local/logstash-6.3.2/config/GeoLite2-City.mmdb" } useragent { source => "User_Agent" target => "userAgent" } urldecode { all_fields => true } mutate { gsub => ["User_Agent","[\"]",""] #将user_agent中的 " 换成空 convert => [ "response","integer" ] convert => [ "body_bytes_sent","integer" ] convert => [ "bytes_sent","integer" ] convert => [ "upstream_response_time","float" ] convert => [ "upstream_status","integer" ] convert => [ "request_time","float" ] convert => [ "port","integer" ] } date { match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ] } } } output { if [fields][list_id] == "113_1023_nginx_access" { elasticsearch { hosts => ["10.10.240.113:9200","10.10.240.114:9200"] index => "logstash-113_1023_nginx_access-%{+YYYY.MM.dd}" user => "elastic" password => "linuxea" } } stdout {codec => rubydebug} }json但是也不是很骚，于是这次加上json，像这样log_format json '{"@timestamp":"$time_iso8601",' '"clent_ip":"$proxy_add_x_forwarded_for",' '"user-agent":"$http_user_agent",' '"host":"$server_name",' '"status":"$status",' '"method":"$request_method",' '"domain":"$host",' '"domain2":"$http_host",' '"url":"$request_uri",' '"url2":"$uri",' '"args":"$args",' '"referer":"$http_referer",' '"ssl-type":"$ssl_protocol",' '"ssl-key":"$ssl_cipher",' '"body_bytes_sent":"$body_bytes_sent",' '"request_length":"$request_length",' '"request_body":"$request_body",' '"responsetime":"$request_time",' '"upstreamname":"$upstream_http_name",' '"upstreamaddr":"$upstream_addr",' '"upstreamresptime":"$upstream_response_time",' '"upstreamstatus":"$upstream_status"}';在nginx.conf中添加后，在主机段进行修改，但是这样一来，你日志的可读性就低了。但是，你的lostash性能会提升，因为logstash不会处理grok，直接将收集的日子转发到es这里需要说明的是，我并没有使用json，是因为他不能将useragent处理好，我并没有找到可行的方式，如果你知道，你可以告诉我但是，你可以这样。比如说使用*.log输入所有到redis，一直到kibana，然后通过kibana来做分组显示启动：nohup sudo -u elk /usr/local/logstash-6.3.2/bin/logstash -f ./conf.d/*.yml >./nohup.out 2>&1 &如果不出意外，你会在kibana中看到以logstash-113_1023_nginx_access-%{+YYYY.MM.dd}的索引

2018年08月08日
3,442 阅读
0 评论
0 点赞

2018-08-08

2018年08月08日
4,930 阅读
0 评论
0 点赞

2018-08-07

2018年08月07日
3,420 阅读
0 评论
0 点赞

2017-09-13

linuxea:ELK-kibana5.5使用高德地图下载IP地址归类查询库下载地址：https://dev.maxmind.com/zh-hans/geoip/geoip2/geolite2-%E5%BC%80%E6%BA%90%E6%95%B0%E6%8D%AE%E5%BA%93/下载国家的那个解压之后得到这么一个文件：[root@linuxea.com-Node49 /etc/logstash]# ll GeoLite2-City.mmdb -rw-r--r-- 1 logstash logstash 58082983 8月 3 08:57 GeoLite2-City.mmdb应用到配置比如nginx访问日志： geoip { source => "clent_ip" target => "geoip" database => "/etc/logstash/GeoLite2-City.mmdb"database指到地图的位置上在kibana5.5中只需要修改配置文件即可修改kibana在配置文件最后加上一句即可tilemap.url: 'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}'

2017年09月13日
6,165 阅读
0 评论
0 点赞

2017-09-11

2017年09月11日
10,982 阅读
5 评论
0 点赞