在系统日志中记录所有 bash 历史
admin 8年前（2018-04-30） 3315浏览
对于 Linux 用户来说用 history 翻看自己敲了哪些命令肯定不陌生。但是 history 有几个问题让它特别不适合在生产环境下使用： 没有时间戳 没有用户 默认 1000 条记录，再老的就找不到了 githu: https://github...
标签：日志
__ratelimit: N callbacks suppressed
admin 9年前（2018-01-29） 3728浏览
Jan 29 15:47:09 topjishu kernel: __ratelimit: 1729 callbacks suppressed Jan 29 15:47:09 topjishu kernel: TCP: time wait bucke...
nginx HTTP 错误码499的含义
admin 9年前（2017-06-22） 621浏览
Web服务器在用着 http://www.nginx.org/，在日志中偶尔会看到有499这个错误。开始没想明白到底是什么意思，在Twitter上提问也没有得到答案。日志如下： 61.135.249.220 – – [02/Oct/2009:10:2...
nginx配置反向代理或跳转出现400问题处理记录
admin 10年前（2017-01-06） 5118浏览
午休完上班后，同事说测试站点访问接口出现400 Bad Request Request Header Or Cookie Too Large提示，心想还好是测试服务器出现问题，影响不大，不过也赶紧上服务器进行测试查看，打开nginx与ugwsi日志与...
supervisord 未生成 core 文件
admin 10年前（2016-08-30） 6933浏览
同事反映一个非常奇怪的现象， supervisor接管应用程序后， 应用程序不能产生core文件。 登上服务器上查看，果然存在这样的现象，test进程崩溃后，仅仅在系统日志中存在报错日志，(指令地址信息 ，文件的装载地址信息）， 但是没有core文件...
python 日志可视化的进阶
admin 11年前（2015-12-17） 1287浏览
代码如下( talk is cheap, show me the money code!) coding=utf-8 f = open(‘www_access_20140823.log’) res = {}for l in f: arr = l.sp...
logstash+kibana3 GeoIP地理位置
admin 11年前（2015-07-03） 25浏览
原日志从logstash输入，根据filter匹配或者修改，通过json输出到elasticsearch，然后到kibana3。所以要显示地理位置，要在logstash里面设置。logstash的jar包默认应该是有GeoIP的包的。下面是配置,pa...
logstash Nginx日志解析
admin 11年前（2015-07-03） 31浏览
OpenCDN中tengine access日志格式 log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body...
nginx日志配置
admin 11年前（2015-03-26） 45浏览
日志对于统计排错来说非常有利的。本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_lo...
mysql同步出错的修正
admin 11年前（2015-03-26） 3636浏览
今天碰到同步出错提示： 引用 140614 14:33:02 [Note] Slave I/O thread killed while reading event 140614 14:33:02 [Note] Slave I/O thread exi...
nginx log以JSON格式记录
admin 12年前（2015-03-26） 51浏览
nginx的日志配置可以参见《nginx日志配置》一文。如果要想以json格式记录nginx日志以便logstash分析，该如何指定日志格式呢？可以按照下面的格式来实现。 定义nginx日志格式： log_format logstash_json '...
connect() failed (111: Connection refused) while connecting to upstream解决
admin 12年前（2015-03-26） 62浏览
有时候nginx运行很正常，但是会发现错误日志中依旧有报错connect() failed (111: Connection refused) while connecting to upstream. 一般情况下我们的upstream都是fastc...
MYSQL的主从复制之旅（2） 关于Binary Log的故事
admin 12年前（2015-03-25） 41浏览
在我的上一篇游记中多次提到一个关键的信息图书馆——Binary Log。很多读者都给我来信询问它的详细介绍。希望通过讲述我认识的binary log，满足大家的好奇心。 我曾经提到过，在准备好迁往slave从库以后，首先需要到master的binar...
集中日志服务器Rsyslog
admin 12年前（2015-03-25） 69浏览
基于主机的管理一般需要收集服务器的日志信息用于及时发现错误，处理故障。 搭建linux下的集中日志服务器的程序一般可以用syslog,rsyslog,syslog-ng,还有scribe和fluentd等。 基本每一种方式都是服务器端和客户端的模式。...
Linux日志messages重定向
admin 12年前（2015-03-24） 47浏览
里面的部分日志重定向呢？ 目的就是想把下面的日志屏蔽掉；（或者把下面的日志重定向到其他文件夹也可以） Nov 27 16:21:41 localhost snmpd[3347]: Connection from UDP: [192.168.0.1]:...
BIND 配置文件(named.conf) logging 的使用
admin 12年前（2015-03-17） 5863浏览
1.明白 channels 和 categories. Channel:说明日志去往哪里，syslog,file,stderr,null. 五种日志等级(critical, error, warning, notice, and info)这五种类似...
Python日志模块 logging
admin 12年前（2015-03-16） 56浏览
1. logging介绍 Python的logging模块提供了通用的日志系统，可以方便第三方模块或者是应用使用。这个模块提供不同的日志级别，并可以采用不同的方式记录日志，比如文件，HTTP GET/POST，SMTP，Socket等，甚至可以自己实...
python 多线程日志切割+日志分析
admin 12年前（2015-03-16） 81浏览
楼主最近刚刚接触python，还是个小菜鸟，没有学习python之前可以说楼主的shell已经算是可以了，但用shell很多东西实现起来还是不可能的事情，例如最明显的一点大日志分析，由于楼主的公司，每天的日志量很大，用shell分析的会非常非常的慢。...
openvpn packet dropped due to output saturation
admin 12年前（2015-03-16） 5577浏览
用 openvpn 组建复杂的网络环境有段时间了，由于总出口都是从一台VPN 发送和接收，有时候会发现不稳定的情况，查看openvpn 日志 发现有时候会发现大量的 packet dropped 日志。很多包都呗 drop 掉了， Sun Jan 4...
MegaCli64.log 文件
admin 12年前（2015-03-16） 38浏览
在每次执行完 MegaCli64 命令后，都会在当前目录 生成一个 MegaCli64.log 日志文件 这个文件是累加，会越来越大， 成功执行后 我们已经获得相关信息，没必要在记录日志， 可以关闭 日志记录 添加 -NoLog 参数即可 MegaC...
nginx 屏蔽IP段以及设置日志格式
admin 12年前（2015-03-16） 47浏览
最近帮朋友放了一个博客在我的128M小内存VPS上，放上去之后发现他的博客老是有人用外挂发垃圾评论，搞的服务器内存一直飙升，没办法只有通过一些手段来搞定这些讨厌的家伙。 由于服务器在德国，所以中间使用了cdn加速。 Nginx本生自带屏蔽IP功能。 ...
Poor Man PHP Profiler
admin 12年前（2015-03-16） 3199浏览
说起 Profiler，老派的 PHP 程序员会选XDebug，新派的 PHP 程序员会选Xhprof，不过我们公司的服务器上都没装，于是我写了这个「Poor Man PHP Profiler」。 既然不用 XDebug 和 Xhprof，我们就要自...
查看 MySQL 慢日志
admin 12年前（2015-03-15） 31浏览
使用 MySQL自带命令 mysqldumpslow 查看 OPTIONS -s ORDER ORDER, 主要有 c, t, l, r 和 ac, at, al, ar, 分别是按照 query次数, 时间, lock的时间和返回的记录数来排序, ...
打开MySQL的慢查询记录
admin 12年前（2015-03-15） 3419浏览
打开MySQL慢查询 MySQL慢查询记录日志对于跟踪PHP+MySQL体系下的MySQL负载调优问题很有用处，比如安装了很多Discuz!插件的用户，这样可以大概排查出那些插件有代码问题。其实启用MySQL的慢查询日志很简单,只需要在MySQL的配...
MySQL慢查询分析mysqldumpslow
admin 12年前（2015-03-15） 2559浏览
一直以来积累了很多对MySQL优化的心得和经验，计划通过写日志的方式一步一步写出来分享给大家。 MySQL优化的第一步应该做的就是排查问题，找出瓶颈，而通常情况下的瓶颈和问题都需要通过观察MySQL的运行情况来进行分析，《查看MySQL运行状况》这篇...
nginx 分割日志
admin 12年前（2014-08-10） 3177浏览
nginx的access.log总是记录很多东西，一两天就变成几十M，如果长时间下去，日志文件会很大很大。所以要分割日志: vim /wp-content/local/nginx/sbin/cut_nginx_log.sh 输入 #!/bin/bas...
MySQL Q&A 解析binlog的两个问题
admin 12年前（2014-04-11） 3176浏览
连续碰到两个同学问类似的问题，必须要记录一下。 问题： 一个作解析binlog应用的同学发现不论用utf8还是gbk来解析binlog都可能会碰到无法解析的语句，因为有些用户会用utf8，有些用gbk。尤其在处理Query类型的SQL语句中的中文字符...
开源日志系统比较
admin 13年前（2014-03-20） 981浏览
1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时...
网站日志实时分析工具 GoAccess
admin 13年前（2014-03-04） 32浏览
GoAccess 是一款开源的网站日志实时分析工具。GoAccess 的工作方式很容易理解，就是读取和解析 Apache/Nginx/Lighttpd 的访问日志文件 access log，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概...
mysql日志通过python发送到rsyslog
admin 13年前（2013-08-19） 5136浏览
之前是用mysql数据库来保存用户的访问日志，现在已经超过2亿了，速度非常慢，还分了三张表，所以要换一种记录日志的方式。现在暂时没有时间做数据挖掘，要做的只是把日志先存起来。Sina介绍了一个不错的方案：直接用linux自带的rsyslog来做。用户...
- 1
- 2