MySQL-可用性指标

查看 DB 连接数

show variables like‘max_connections’, 然后 show global status like‘Threads_connected’max_connections 参数用来设置最大连接（用户）数 , Threads_connected 查看当前打开的连接的数量, 可以用这个两个参数的比值超过阈值进行告警等。

show global status like ‘Threads_running’; #当前连接数

数据库性能

如何计算 QPS 和 TPS

QPS=(Queries2 – Queries1) / (Uptime_since_flush_status2-Uptime_since_flush_status1)

TPS

TPS = ((com_insert2+com_update2+com_delete2)-(com_insert1+com_update1+com_delete1)
/(uptime_since_flush_status2-uptime_since_flush_status1);

查询 1:

查询 2:

performance_schema 介绍

performance_schema是用于监控 MySQL server 在一个较低级别的运行过程中的资源消耗、资源等待等情况

它具有以下特点：

performance_schema 数据库中的表使用 performance_schema 存储引擎。该数据库主要关注数据库运行过程中的性能相关的数据，与 information_schema 不同，information_schema 主要关注 server 运行过程中的元数据信息
performance_schema 通过监视 server 的事件来实现监视 server 内部运行情况，“事件”就是 server 内部活动中所做的任何事情以及对应的时间消耗，利用这些信息来判断 server 中的相关资源消耗在了哪里？一般来说，事件可以是函数调用、操作系统的等待、SQL 语句执行的阶段（如 sql 语句执行过程中的 parsing 或 sorting 阶段）或者整个 SQL 语句与 SQL 语句集合。事件的采集可以方便的提供 server 中的相关存储引擎对磁盘文件、表 I /O、表锁等资源的同步调用信息。
performance_schema 中的事件与写入二进制日志中的事件（描述数据修改的 events）、事件计划调度程序（这是一种存储程序）的事件不同。performance_schema 中的事件记录的是 server 执行某些活动对某些资源的消耗、耗时、这些活动执行的次数等情况。
performance_schema 中的事件只记录在本地 server 的 performance_schema 中，其下的这些表中数据发生变化时不会被写入 binlog 中，也不会通过复制机制被复制到其他 server 中。
当前活跃事件、历史事件和事件摘要相关的表中记录的信息。能提供某个事件的执行次数、使用时长。进而可用于分析某个特定线程、特定对象（如 mutex 或 file）相关联的活动。
PERFORMANCE_SCHEMA 存储引擎使用 server 源代码中的“检测点”来实现事件数据的收集。对于 performance_schema 实现机制本身的代码没有相关的单独线程来检测，这与其他功能（如复制或事件计划程序）不同
收集的事件数据存储在 performance_schema 数据库的表中。这些表可以使用 SELECT 语句查询，也可以使用 SQL 语句更新 performance_schema 数据库中的表记录（如动态修改 performance_schema 的 setup_* 开头的几个配置表，但要注意：配置表的更改会立即生效，这会影响数据收集）
performance_schema 的表中的数据不会持久化存储在磁盘中，而是保存在内存中，一旦服务器重启，这些数据会丢失（包括配置表在内的整个 performance_schema 下的所有数据）
MySQL 支持的所有平台中事件监控功能都可用，但不同平台中用于统计事件时间开销的计时器类型可能会有所差异。

performance_schema 的实现机制

启用 performance_schema 不会导致 server 的行为发生变化。例如，它不会改变线程调度机制，不会导致查询执行计划（如 EXPLAIN）发生变化
启用 performance_schema 之后，server 会持续不间断地监测，开销很小。不会导致 server 不可用
在该实现机制中没有增加新的关键字或语句，解析器不会变化
即使 performance_schema 的监测机制在内部对某事件执行监测失败，也不会影响 server 正常运行
如果在开始收集事件数据时碰到有其他线程正在针对这些事件信息进行查询，那么查询会优先执行事件数据的收集，因为事件数据的收集是一个持续不断的过程，而检索 (查询) 这些事件数据仅仅只是在需要查看的时候才进行检索。也可能某些事件数据永远都不会去检索
需要很容易地添加新的 instruments 监测点
instruments(事件采集项) 代码版本化：如果 instruments 的代码发生了变更，旧的 instruments 代码还可以继续工作。

注意：MySQL sys schema 是一组对象（包括相关的视图、存储过程和函数），可以方便地访问 performance_schema 收集的数据。同时检索的数据可读性也更高(例如：performance_schema 中的时间单位是皮秒，经过 sys schema 查询时会转换为可读的 us,ms,s,min,hour,day 等单位)，sys schem 在 5.7.x 版本默认安装

检查当前数据库版本是否支持

SELECT * FROM INFORMATION_SCHEMA.ENGINES WHERE ENGINE ='PERFORMANCE_SCHEMA';

show engines;

启动 performance_schema

performance_schema 在 5.7.x 及其以上版本中默认启用

在 my.cnf 中进行配置performance_schema = ON，或者命令行设置

查询是否生效

SHOW VARIABLES LIKE 'performance_schema';

通过从 INFORMATION_SCHEMA.tables 表查询有哪些 performance_schema 引擎的表：

SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA ='performance_schema' and engine='performance_schema';

或者直接在 performance_schema 库下使用 show tables 语句来查看有哪些 performance_schema 引擎表：

show tables from performance_schema;

performance_schema 库下的表可以按照监视不同的纬度进行了分组，例如：或按照不同数据库对象进行分组，或按照不同的事件类型进行分组，或在按照事件类型分组之后，再进一步按照帐号、主机、程序、线程、用户等，如下：

performance_scheam 表分类

按照事件类型分组记录性能事件数据的表  

语句事件记录表，这些表记录了语句事件信息，当前语句事件表 events_statements_current、历史语句事件表 events_statements_history 和长语句历史事件表 events_statements_history_long、以及聚合后的摘要表 summary，其中，summary 表还可以根据帐号 (account)，主机(host)，程序(program)，线程(thread)，用户(user) 和全局 (global) 再进行细分)

show tables like 'events_statement%';

等待事件记录表，与语句事件类型的相关记录表类似：

show tables like 'events_wait%';

阶段事件记录表，记录语句执行的阶段事件的表，与语句事件类型的相关记录表类似：

show tables like 'events_stage%';

事务事件记录表，记录事务相关的事件的表，与语句事件类型的相关记录表类似：

show tables like 'events_transaction%';

监视文件系统层调用的表：

show tables like '%file%';

监视内存使用的表：

show tables like '%memory%';

动态对 performance_schema 进行配置的配置表

show tables like '%setup%';

performance_schema 的简单配置与使用

数据库刚刚初始化并启动时，并非所有 instruments(事件采集项，在采集项的配置表中每一项都有一个开关字段，或为 YES，或为 NO)和 consumers(与采集项类似，也有一个对应的事件类型保存表配置项，为 YES 就表示对应的表保存性能数据，为 NO 就表示对应的表不保存性能数据)都启用了，所以默认不会收集所有的事件，可能你需要检测的事件并没有打开，需要进行设置，可以使用如下两个语句打开对应的 instruments 和 consumers（行计数可能会因 MySQL 版本而异)。

-- 打开等待事件的采集器配置项开关，需要修改 setup_instruments 配置表中对应的采集器配置项
UPDATE setup_instruments SET ENABLED = 'YES', TIMED = 'YES'where name like 'wait%';

-- 打开等待事件的保存表配置开关，修改 setup_consumers 配置表中对应的配置项
UPDATE setup_consumers SET ENABLED = 'YES'where name like '%wait%';

常用配置项的参数说明

performance_schema_consumer_events_statements_current=TRUE
是否在 mysql server 启动时就开启 events_statements_current 表的记录功能(该表记录当前的语句事件信息)，启动之后也可以在 setup_consumers 表中使用 UPDATE 语句进行动态更新 setup_consumers 配置表中的 events_statements_current 配置项，默认值为 TRUE

performance_schema_consumer_events_statements_history=TRUE
与 performance_schema_consumer_events_statements_current 选项类似，但该选项是用于配置是否记录语句事件短历史信息，默认为 TRUE

performance_schema_consumer_events_stages_history_long=FALSE
与 performance_schema_consumer_events_statements_current 选项类似，但该选项是用于配置是否记录语句事件长历史信息，默认为 FALSE

除了 statement(语句)事件之外，还支持：wait(等待)事件、state(阶段)事件、transaction(事务)事件，他们与 statement 事件一样都有三个启动项分别进行配置，但这些等待事件默认未启用，如果需要在 MySQL Server 启动时一同启动，则通常需要写进 my.cnf 配置文件中
performance_schema_consumer_global_instrumentation=TRUE
是否在 MySQL Server 启动时就开启全局表（如：mutex_instances、rwlock_instances、cond_instances、file_instances、users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance 等大部分的全局对象计数统计和事件汇总统计信息表）的记录功能，启动之后也可以在 setup_consumers 表中使用 UPDATE 语句进行动态更新全局配置项
默认值为 TRUE

performance_schema_consumer_statements_digest=TRUE
是否在 MySQL Server 启动时就开启 events_statements_summary_by_digest 表的记录功能，启动之后也可以在 setup_consumers 表中使用 UPDATE 语句进行动态更新 digest 配置项
默认值为 TRUE

performance_schema_consumer_thread_instrumentation=TRUE
是否在 MySQL Server 启动时就开启

events_xxx_summary_by_yyy_by_event_name 表的记录功能，启动之后也可以在 setup_consumers 表中使用 UPDATE 语句进行动态更新线程配置项
默认值为 TRUE

performance_schema_instrument[=name]
是否在 MySQL Server 启动时就启用某些采集器，由于 instruments 配置项多达数千个，所以该配置项支持 key-value 模式，还支持 % 号进行通配等，如下:

# [=name]可以指定为具体的 Instruments 名称（但是这样如果有多个需要指定的时候，就需要使用该选项多次），也可以使用通配符，可以指定 instruments 相同的前缀 + 通配符，也可以使用 % 代表所有的 instruments

## 指定开启单个 instruments

--performance-schema-instrument= 'instrument_name=value'

## 使用通配符指定开启多个 instruments

--performance-schema-instrument= 'wait/synch/cond/%=COUNTED'

## 开关所有的 instruments

--performance-schema-instrument= '%=ON'

--performance-schema-instrument= '%=OFF'

注意，这些启动选项要生效的前提是，需要设置 performance_schema=ON。另外，这些启动选项虽然无法使用 show variables 语句查看，但我们可以通过 setup_instruments 和 setup_consumers 表查询这些选项指定的值。

系统变量

show variables like '%performance_schema%';
-- 重要的属性解释
performance_schema=ON
/*
控制 performance_schema 功能的开关，要使用 MySQL 的 performance_schema，需要在 mysqld 启动时启用，以启用事件收集功能
该参数在 5.7.x 之前支持 performance_schema 的版本中默认关闭，5.7.x 版本开始默认开启
注意：如果 mysqld 在初始化 performance_schema 时发现无法分配任何相关的内部缓冲区，则 performance_schema 将自动禁用，并将 performance_schema 设置为 OFF
*/

performance_schema_digests_size=10000
/*
控制 events_statements_summary_by_digest 表中的最大行数。如果产生的语句摘要信息超过此最大值，便无法继续存入该表，此时 performance_schema 会增加状态变量
*/
performance_schema_events_statements_history_long_size=10000
/*
控制 events_statements_history_long 表中的最大行数，该参数控制所有会话在 events_statements_history_long 表中能够存放的总事件记录数，超过这个限制之后，最早的记录将被覆盖
全局变量，只读变量，整型值，5.6.3 版本引入 * 5.6.x 版本中，5.6.5 及其之前的版本默认为 10000，5.6.6 及其之后的版本默认值为 -1，通常情况下，自动计算的值都是 10000 * 5.7.x 版本中，默认值为 -1，通常情况下，自动计算的值都是 10000
*/
performance_schema_events_statements_history_size=10
/*
控制 events_statements_history 表中单个线程（会话）的最大行数，该参数控制单个会话在 events_statements_history 表中能够存放的事件记录数，超过这个限制之后，单个会话最早的记录将被覆盖
全局变量，只读变量，整型值，5.6.3 版本引入 * 5.6.x 版本中，5.6.5 及其之前的版本默认为 10，5.6.6 及其之后的版本默认值为 -1，通常情况下，自动计算的值都是 10 * 5.7.x 版本中，默认值为 -1，通常情况下，自动计算的值都是 10
除了 statement(语句)事件之外，wait(等待)事件、state(阶段)事件、transaction(事务)事件，他们与 statement 事件一样都有三个参数分别进行存储限制配置，有兴趣的同学自行研究，这里不再赘述
*/
performance_schema_max_digest_length=1024
/*
用于控制标准化形式的 SQL 语句文本在存入 performance_schema 时的限制长度，该变量与 max_digest_length 变量相关(max_digest_length 变量含义请自行查阅相关资料)
全局变量，只读变量，默认值 1024 字节，整型值，取值范围 0~1048576
*/
performance_schema_max_sql_text_length=1024
/*
控制存入 events_statements_current，events_statements_history 和 events_statements_history_long 语句事件表中的 SQL_TEXT 列的最大 SQL 长度字节数。超出系统变量 performance_schema_max_sql_text_length 的部分将被丢弃，不会记录，一般情况下不需要调整该参数，除非被截断的部分与其他 SQL 比起来有很大差异
全局变量，只读变量，整型值，默认值为 1024 字节，取值范围为 0~1048576，5.7.6 版本引入
降低系统变量 performance_schema_max_sql_text_length 值可以减少内存使用，但如果汇总的 SQL 中，被截断部分有较大差异，会导致没有办法再对这些有较大差异的 SQL 进行区分。增加该系统变量值会增加内存使用，但对于汇总 SQL 来讲可以更精准地区分不同的部分。*/

重要配置表的相关说明

/*
performance_timers 表中记录了 server 中有哪些可用的事件计时器
字段解释：timer_name: 表示可用计时器名称，CYCLE 是基于 CPU 周期计数器的定时器
    timer_frequency: 表示每秒钟对应的计时器单位的数量,CYCLE 计时器的换算值与 CPU 的频率相关、timer_resolution: 计时器精度值，表示在每个计时器被调用时额外增加的值
    timer_overhead: 表示在使用定时器获取事件时开销的最小周期值
*/
select * from performance_timers;

/*
setup_timers 表中记录当前使用的事件计时器信息
字段解释：name: 计时器类型，对应某个事件类别
    timer_name: 计时器类型名称
*/
select * from setup_timers;

/*
setup_consumers 表中列出了 consumers 可配置列表项
字段解释：NAME：consumers 配置名称
    ENABLED：consumers 是否启用，有效值为 YES 或 NO，此列可以使用 UPDATE 语句修改。*/
select * from setup_consumers;

/*
setup_instruments 表列出了 instruments 列表配置项，即代表了哪些事件支持被收集：字段解释：NAME：instruments 名称，instruments 名称可能具有多个部分并形成层次结构
    ENABLED：instrumetns 是否启用，有效值为 YES 或 NO，此列可以使用 UPDATE 语句修改。如果设置为 NO，则这个 instruments 不会被执行，不会产生任何的事件信息
    TIMED：instruments 是否收集时间信息，有效值为 YES 或 NO，此列可以使用 UPDATE 语句修改，如果设置为 NO，则这个 instruments 不会收集时间信息
*/
SELECT * FROM setup_instruments;

/*
setup_actors 表的初始内容是匹配任何用户和主机，因此对于所有前台线程，默认情况下启用监视和历史事件收集功能
字段解释：HOST：与 grant 语句类似的主机名，一个具体的字符串名字，或使用“%”表示“任何主机”USER：一个具体的字符串名称，或使用“%”表示“任何用户”ROLE：当前未使用，MySQL 8.0 中才启用角色功能
    ENABLED：是否启用与 HOST，USER，ROLE 匹配的前台线程的监控功能，有效值为：YES 或 NO
    HISTORY：是否启用与 HOST，USER，ROLE 匹配的前台线程的历史事件记录功能，有效值为：YES 或 NO
*/
SELECT * FROM setup_actors;

/*
setup_objects 表控制 performance_schema 是否监视特定对象。默认情况下，此表的最大行数为 100 行。字段解释：OBJECT_TYPE：instruments 类型，有效值为：“EVENT”（事件调度器事件）、“FUNCTION”（存储函数）、“PROCEDURE”（存储过程）、“TABLE”（基表）、“TRIGGER”（触发器），TABLE 对象类型的配置会影响表 I / O 事件（wait/io/table/sql/handler instrument）和表锁事件（wait/lock/table/sql/handler instrument）的收集
    OBJECT_SCHEMA：某个监视类型对象涵盖的数据库名称，一个字符串名称，或“%”(表示“任何数据库”)
    OBJECT_NAME：某个监视类型对象涵盖的表名，一个字符串名称，或“%”(表示“任何数据库内的对象”)
    ENABLED：是否开启对某个类型对象的监视功能，有效值为：YES 或 NO。此列可以修改
    TIMED：是否开启对某个类型对象的时间收集功能，有效值为：YES 或 NO，此列可以修改
*/
SELECT * FROM setup_objects;

/*
threads 表对于每个 server 线程生成一行包含线程相关的信息，字段解释：THREAD_ID：线程的唯一标识符（ID）NAME：与 server 中的线程检测代码相关联的名称(注意，这里不是 instruments 名称)
    TYPE：线程类型，有效值为：FOREGROUND、BACKGROUND。分别表示前台线程和后台线程
    PROCESSLIST_ID：对应 INFORMATION_SCHEMA.PROCESSLIST 表中的 ID 列。PROCESSLIST_USER：与前台线程相关联的用户名，对于后台线程为 NULL。PROCESSLIST_HOST：与前台线程关联的客户端的主机名，对于后台线程为 NULL。PROCESSLIST_DB：线程的默认数据库，如果没有，则为 NULL。PROCESSLIST_COMMAND：对于前台线程，该值代表着当前客户端正在执行的 command 类型，如果是 sleep 则表示当前会话处于空闲状态
    PROCESSLIST_TIME：当前线程已处于当前线程状态的持续时间（秒）PROCESSLIST_STATE：表示线程正在做什么事情。PROCESSLIST_INFO：线程正在执行的语句，如果没有执行任何语句，则为 NULL。PARENT_THREAD_ID：如果这个线程是一个子线程（由另一个线程生成），那么该字段显示其父线程 ID
    ROLE：暂未使用
    INSTRUMENTED：线程执行的事件是否被检测。有效值：YES、NO 
    HISTORY：是否记录线程的历史事件。有效值：YES、NO * 
    THREAD_OS_ID：由操作系统层定义的线程或任务标识符（ID）：*/
select * from threads

实践操作

最好加个 limit 限制显示条数

--1、哪类的 SQL 执行最多？SELECT DIGEST_TEXT,COUNT_STAR,FIRST_SEEN,LAST_SEEN FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--2、哪类 SQL 的平均响应时间最多？SELECT DIGEST_TEXT,AVG_TIMER_WAIT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--3、哪类 SQL 排序记录数最多？SELECT DIGEST_TEXT,SUM_SORT_ROWS FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--4、哪类 SQL 扫描记录数最多？SELECT DIGEST_TEXT,SUM_ROWS_EXAMINED FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--5、哪类 SQL 使用临时表最多？SELECT DIGEST_TEXT,SUM_CREATED_TMP_TABLES,SUM_CREATED_TMP_DISK_TABLES FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--6、哪类 SQL 返回结果集最多？SELECT DIGEST_TEXT,SUM_ROWS_SENT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--7、哪个表物理 IO 最多？SELECT file_name,event_name,SUM_NUMBER_OF_BYTES_READ,SUM_NUMBER_OF_BYTES_WRITE FROM file_summary_by_instance ORDER BY SUM_NUMBER_OF_BYTES_READ + SUM_NUMBER_OF_BYTES_WRITE DESC
--8、哪个表逻辑 IO 最多？SELECT object_name,COUNT_READ,COUNT_WRITE,COUNT_FETCH,SUM_TIMER_WAIT FROM table_io_waits_summary_by_table ORDER BY sum_timer_wait DESC
--9、哪个索引访问最多？SELECT OBJECT_NAME,INDEX_NAME,COUNT_FETCH,COUNT_INSERT,COUNT_UPDATE,COUNT_DELETE FROM table_io_waits_summary_by_index_usage ORDER BY SUM_TIMER_WAIT DESC
--10、哪个索引从来没有用过？SELECT OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME FROM table_io_waits_summary_by_index_usage WHERE INDEX_NAME IS NOT NULL AND COUNT_STAR = 0 AND OBJECT_SCHEMA <> 'mysql' ORDER BY OBJECT_SCHEMA,OBJECT_NAME;
--11、哪个等待事件消耗时间最多？SELECT EVENT_NAME,COUNT_STAR,SUM_TIMER_WAIT,AVG_TIMER_WAIT FROM events_waits_summary_global_by_event_name WHERE event_name != 'idle' ORDER BY SUM_TIMER_WAIT DESC
--12-1、剖析某条 SQL 的执行情况，包括 statement 信息，stege 信息，wait 信息
SELECT EVENT_ID,sql_text FROM events_statements_history WHERE sql_text LIKE '%count(*)%';
--12-2、查看每个阶段的时间消耗
SELECT event_id,EVENT_NAME,SOURCE,TIMER_END - TIMER_START FROM events_stages_history_long WHERE NESTING_EVENT_ID = 1553;
--12-3、查看每个阶段的锁等待情况
SELECT event_id,event_name,source,timer_wait,object_name,index_name,operation,nesting_event_id FROM events_waits_history_longWHERE nesting_event_id = 1553;