Nginx

问题：输入IP地址无法访问

检查步骤：

1. 检查服务是否启动（ps -A | grep nginx） 脚下留心：nginx支持php （/php/server/php/sbin/php-fpm）
2. 检查防火墙例外是否添加（vi /etc/sysconfig/iptables service iptables stop）
3. 检查本机输入的网址是否指向linux服务器（在本机DOS窗口输入 ping 网址）

复习

集群技术/冗余技术：多台服务器实现相同的业务

负载均衡：将用户的请求分配给不同的服务处理

动静分离：将静态资源脱离项目/Public目录而是单独服务器存储

现在很多大公司都是通过对象存储存放静态资源

主从复制：一台服务器有增/改/删时候，其它服务器会自动同步数据

读写分离：通过php判断insert/update/delete开头则去主服务器，select则去从服务器

CDN加速：CDN服务器供应商在全国各个城市都有一个机房，用于后期缓存静态资源，网站老板购买了CDN后，其网站用户访问时第一次去源服务器访问并缓存到用户最近的机房，下次直接去最近的机房（节点）访问。

面试：问现在网站打开比较慢你如何优化？

• 获取网站慢SQL语句
• 读写分离、主从复制
• 开启opcode缓存
• 开启CDN加速、开启懒加载、搭建负载均衡
• 等

一、MySQL优化概述

1、基本概念

上一讲说了主从复制、读写分离都是从查询角度优化、但最终必不可免的还是得操作数据库、思考如何从设计数据库角度优化？

2、优化策略

架构：读写分离、主从复制

设计：三范式、存储引擎、字段类型

功能：索引、分区、缓存

二、MySQL表的设计（三范式）

1、概念

为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则（注：这个规则在关系型数据库中称之为三范式）

脚下留心：有些时候一味追求范式减少冗余，反而降低读写效率，这时候可以反三范式，利用空间来换时间。

概况

什么是三范式：就是设计数据库的规则

三范式的好处：减少冗余，加速读写数据

反三范式：不按规则出牌，通过冗余策略以空间换时间

2、确保每列/字段保持原子性（1NF）

1）概念

• 每列字段不可以再分

举例

• 案例：地区表

id（编号） address（地址） ? 不符合因为地区可以拆分成：省市区，一个字段后期可扩展性差

1 北京北京朝阳区

2 上海上海浦东新区

3 江苏泰州海陵区

2、有主键，非主键字段依赖主键（2NF）

1）概念

• 每个表必须有一个主键自增字段
• 一个表只描述一件事

2）举例

• 案例1：用户表

#用户表

id（用户编号） username（用户名） password（密码） 刚不符合因为一个表只描述一件事

#收货地址表

address（收货详细地址） tel（联系人电话） 用户编号

• 案例2：订单表

订单编号 订单总价 订单总数量 所属用户 产品ID 产品名称 产品单价 …

1 20 2 1 1 xxx 10

2 20 2 1 1 xxx 10

订单（主）

订单编号 订单总价 订单总数量 所属用户

订单（从） 产品

ID 订单主表编号 产品ID 产品单价 ………

3、消除传递依赖，非主键字段不能相互依赖（3NF）

1）概念

• 一个表不能包含其他表的非主键字段（一个表只能包含其他表的主键）

2）举例

#文章表

文章编号 文章标题 文章内容 用户ID 用户姓名 （文章表不能包含其他表的非主键字段，所以用户名移除，后期需要获取文章的作者，直接通过多表查询即可）

#用户表

用户ID 用户姓名 用户年龄 …

4、逆范式

1）概念

符合范式设计是为了减少冗余提高读写效率，但有时候我们需要反其道而为之，利用空间来换时间（数据冗余策略），该设计被称之为“逆范式”

2）举例

• 案例1：

【场景】查看文章详情，评论总数

【表】

#文章表

编号 标题 内容 评论总数…

#评论表

编号 所属用户 所属文章 评论内容 ….

正常流：select count(*) from 评论表 where article_id = 文章ID

逆范式：再文章表增加一个字段（评论总数），每次用户评论成功后，给文章表的评论总数字段+1

• 案例2：

收货地址表

编号 姓名 省 市/区 乡镇 详细地址 ….

1 你爸爸 阿富汗 xxx xxx

2 杨文杰

3 娇娇

订单（主表）

订单ID 总价 数量 订单状态 支付状态 收货地址表编号… （不合理，因为后期用户在发货的时候删除或者修改，再找商家麻烦，问题就大了，解决采用冗余策略）

1 1000000000 1 已发货，待收货 已支付 1

订单（从表）

商品ID 商品名称 商品价格 …

订单（收货地址表）

姓名 省 市/区 乡镇 详细地址

︴总结

• 什么是三范式：就是设计表的规则
• 三范式好处：减少冗余，提高读写效率
• 三范式有哪些：

1. 每个字段不可以拆分
2. 每个表必须有主键自增、每个表只描述一件事
3. 一个表不能包含其他表的非主键字段

• 逆范式：反三范式规则、以空间换时间（冗余策略）

︴说明

前期别想太多根据页面显示数据设计表（一般一个显示对应一个字段）

其次常用字段推荐：

1）编号，主键自增

2）创建于，便于后期数据赛选统计

3）更新于，便于后期数据赛选统计

4）是否显示，便于逻辑删除数据

三、存储引擎

1、什么是存储引擎

• 说明：

MySQL中按照一定的数据格式来保存最终的数据，通过存储引擎来指定哪种方式存储方案。

• 常用的存储引擎：innodb 和 myisam
• 查看当前MySQL支持的存储引擎列表：show engines;

2、myisam存储引擎

1）概念

<= 5.5 MySQL默认的存储引擎。

如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且

对事务的完整性要求不是很高；其优势是访问的速度快，擅长与处理高速读与写。

应用场景

对事务完整性要求不高，不涉及钱的表

3）存储方式

• 创建数据库：create database d1;
• 说明：创建数据库会在MySQL的data目录下创建同名文件夹

• 创建myisam表：
• create table t1(id int primary key auto_increment)engine=myisam charset=utf8;

3、innodb存储引擎

1）概念

>=5.5 默认的存储引擎，MySQL推荐使用的存储引擎。

提供事务，行级锁定，外键约束的存储引擎。

事务安全型存储引擎。更加注重数据的完整性和安全性。

2）应用场景

订单、账户、积分等

3）存储方式

• 创建innodb存储引擎数据库：
• create table t2 (id int primary key auto_increment)engine=innodb charset=utf8;

多学一招：

myisam因为结构、索引、数据都存放在数据库文件夹下，所以可以直接复制迁移，而innodb都存在ib_logfile数字文件中，在存储的时候记录了使那个数据的表，所以后期无法迁移。

Archive存储引擎（存档型）

1）说明

该类型只能插入和读取不能修改和删除。

举例

应用场景

网站管理员操作日志

5、Memory存储引擎（内存型）

简单了解，该类型将数据保存在内存（后期通过通过memcache、redis软件代替）

内存存储 > 文件缓存 > 数据库存储

6、MyIsam和InnoDB存储引擎区别（面试笔试）

• 存储结构：myisam三个文件，innodb一个文件
• 锁：myisam表级锁，innodb可表可行级锁
• 事物和外键支持：innodb都支持，myisam都不支持
• CURD操作：

MyISAM：如果执行大量的SELECT，MyISAM是更好的选择。

InnoDB：如果你的数据执行大量的INSERT或UPDATE，出于性能方面的考虑，应该使用InnoDB表。DELETE 从性能上InnoDB更优，但DELETE FROM table时，InnoDB不会重新建立表，而是一行一行的删除，在innodb上如果要清空保存有大量数据的表，最好使用truncate table这个命令。

• 全文检索：MySQL5.6以下innodb不支持（都不支持中文）

列类型的选择

概念

1）“字节”的定义

• 字节（Byte）是一种计量单位，表示数据量多少，它是计算机信息技术用于计量存

储容量的一种计量单位。

1字节（Byte）= 8位（bit）

1KB = 1024Byte（字节）

1MB = 1024KB

1GB = 1024MB

1TB = 1024GB

2）字节和字符的区别

https://zhidao.baidu.com/question/454436588167256525.html

英文：1个字符 = 1个字节

中文：1个字符 = 等于3个字节

MySQL类型字符和字节相关细节

整型 字节

char 范围：字符 括号中的数字：字符

varchar 范围：字节 括号中的数字：字符

1、为什么要学习列类型优化

以前的时候都是直接凭感觉选择字段，这样就造成了两个问题

1）浪费磁盘空间

2）降低读写效率

2、整型

1）说明

︴案例

• 存储人的年龄应该使用哪种数据类型？

答：tinyint（3）

整型括号中的数字仅仅只有增加zerofill属性时才生效，表示插入数据如果不够宽度则补零

误区1：tinyint（1） 不能插入1位以上数字 错

误区2：tinyint（3） 占1个字节

年龄：tinyint（3）

性别：tinyint（1）

声明如果没有明确zerofill属性则两者没有区别，但是为什么年龄写3，性别写1呢？目的：增强代码可读性

• 存储乌龟的年龄应该使用哪种数据类型？（千年王八万年龟）

答：smallint

• 存储一个1500万数据的数据表其主键id应该选择哪种数据类型？

答：int

3、字符串型

1）说明

char 固定字符串类型（0-255个字符）

varchar 可变字符串类型（0-65535个字节） utf8字符：65535/3=21845

char（字符）

varchar（字符） utf8=21845个字符 gbk=32767个字符

字符表示：任意中文、数字、英文组合插入不能超过指定字符即可，如：char（3）表示可以插入任意3个英文、数字、中文组合。

︴案例

• 存储11位手机号码，选择？

答：char(11） 说明：从效率占用空间选择bigint，但是从可扩展性选择char

bigint 8个字节 （int不能4个字节，最大长度10位）

char(11) 代表11个字符，utf8=因为数字11个字节

• 存储md5加密的密码，选择？

答：char（32） 因为php的md5加密32位

http://www.cmd5.com/ 在线破解

• 存储标题或姓名，选择？

答：varchar（45）

标题推荐80有利于seo优化（seo优化指：在百度输入你的名字可以找到你）

http://seo.chinaz.com/?q=www.itcast.cn

• 存储描述信息（不超过250个汉字），选择？

答：varchar(200）

• 存储文章内容，选择？

答：text

时间类型

• 在实际工作中推荐使用int类型

原因1：空间（int占4 datetime占8个字节）

原因2：格式（2013年11月、2013/11/11、2013-11-4、【刚刚 1分钟前 一年前】）

多说两句

1. 任然有部分小公司使用datetime类型
2. int类型最大存储时间2038年

5、枚举类型与集合类型

在实际应用中，如果程序中有单选或多选情况，不建议使用varchar类型，而建议使用枚举类型或集合类型 或 用整型代替。

enum: 枚举单选 enum(‘男’, ‘女’, ‘保密’)

set: 集合多选 set(‘语文’, ‘英语’, ‘物理’)

说明：实际工作中推荐使用int

原因：因为enum是mysql独有的，可扩展想不强（不能迁移）

性别：tinyint（1） 性别:1-男,2-女

场景：查询user表所有男生

以前：select * from user where sex = 1;

框架：D(‘user’)->where(‘sex = 1’)->select();

优化：

步骤1：在模型中定义常量

const SEX_MAN = 1；

const SEX_WOMEN = 2;

步骤2：查询

D(‘user’)->where(‘sex = ‘.USER::SEX_MAN)->select();

<?php

//订单类

class Order

{

const STATE_WAIT_TO_PAY = 1; // 待支付

const STATE_PAID_SUCCESS = 2; // 已支付（成功）

const STATE_PAID_TIMEOUT = 5; // 已支付（超时）

const STATE_PAID_CANCEL = 8; // 已付款（但在通知到来前取消）

const STATE_TIMEOUT = 7; // 超时未支付

const STATE_CANCELED = 6; // 已取消

const STATE_REFUNDED = 9; // 已退款

}

state：1-xxx,2-xxxx,3-xxx

select * from Order where state = 2 需要打开数据库看

select * from Order where state = Order::STATE_WAIT_TO_PAY 增强代码可读性

6、数值型（小数）

• decimal、float、double都是小数，decimal相对后两个更精确但是占用空间
• 未涉及到资金小数可以用浮点型（float或double） 优先用float
• 涉及资金用decimal（注：decimal小数位一般2位如果没有小数会用0自动补充）
• decimal（10, 2）

7、IP类型数据的存储

• ip选择整型

XXX.XXX.XXX.XXX char（15字符串 15字节）

ip2long

long2ip int 4字节

五、慢查询日志（查询需要优化的SQL语句）

1、作用

思考：新人加入，项目中编写SQL语句可能存在问题，问如何检查

解决：通过慢查询日志（在MySQL中修改配置文件，从而可以记录查询找过指定是按的SQL语句）

2、测试SQL语句

#创建表

create table php_slow_log2 (

name varchar(300),

name2 varchar(300)

)engine=innodb charset=utf8;

#插入数据

insert into php_slow_log2 values

(‘zzzzzz’,’zzzzzz’),

(‘zzzzzz’,’zzzzzz’),

(‘zzzzzz’,’zzzzzz’),

(‘zzzzzz’,’zzzzzz’);

#Mysql蠕虫复制

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

insert into php_slow_log2(name,name2) select name,name2 from php_slow_log2;

3、实际操作

1） 使用如下指令查看慢查询日志是否开启

2） 手工开启慢查询日志

3） 设置查询的临界时间（查询超过指定时间后纪录）

4） 使用查询语句（超时）

︴总结

步骤1：开启慢查询日志

set global slow_query_log = 1;

查看是否开启：show variables like ‘slow_query%’;

步骤2：设置时间

set global long_query_time = 2; #注：2秒

查看时间：show variables like ‘%query_time’;

步骤3：关闭当前DOS窗口重新登录执行慢SQL语句，查看文件是否记录即可

六、数据库设计中的索引

1、什么是索引

索引相当于书目录，加快访问速度

2、现实生活中的索引

3、索引的好处

• 好处：加快访问速度
• 坏处：

1. 索引占用磁盘空间
2. 索引会影响SQL语句执行速度，因为增加/修改都需要更新索引

索引可以加快查询效率，但是也不能滥用索引，否则适得其反

4、四种索引形式

普通索引（index） – 仅仅为了加快查询速度

唯一索引（unique） – 保证数据唯一性

主键索引（primary key） – 既保证数据唯一不能为null

全文检索（fulltext） – 提取指定字段的关键字，添加索引

组合索引 – 同时给两个字段设置相同的索引

5、建表时创建索引

#【需求】

编号 – 主键索引

姓名 – 唯一索引

密码 – 普通索引

a和b – 复合/组合索引

info – 全文索引

#【创建索引表】

create table stu1(

id int unsigned auto_increment,

uname varchar(30) not null comment ‘用户名’,

pwd char(32) not null comment ‘密码’,

a varchar(30) not null,

b varchar(30) not null,

info text,

？？？？？

)engine=myisam charset=utf8;

#【查看索引表】

create table stu1(

id int unsigned auto_increment,

uname varchar(30) not null comment ‘用户名’,

pwd char(32) not null comment ‘密码’,

a varchar(30) not null,

b varchar(30) not null,

info text,

primary key(id),

unique (uname),

index (pwd),

index (a,b),

fulltext (info)

)engine=myisam charset=utf8;

修改表的结构增加索引 和 删除索引

1）需求

create table user2 (

id int unsigned ,

uname varchar(30) not null comment ‘姓名’,

pwd char(32) not null comment ‘密码’,

a varchar(10) not null comment ‘a’,

b varchar(10) not null comment ‘b’,

info text

)engine=MyISAM charset=utf8;

2）语法

• 修改表添加索引：alter table 表名 add 索引类型 索引名(待添加索引字段)
• 删除表指定索引：drop index 索引名 on 表名

索引名字推荐使用字段名+索引名

3）SQL语句

#【需求】

编号 – 主键索引

姓名 – 唯一索引

密码 – 普通索引

a和b – 复合/组合索引

info – 全文索引

#【创建索引】

alter table user2 add primary key id(id);

alter table user2 add unique uname(uname);

alter table user2 add index pwd(pwd);

alter table user2 add index a_b(a,b);

alter table user2 add fulltext info(info);

#【删除索引】

7、创建索引原则

用于频繁搜索的列

用于排序的字段

做条件查询的列

给字段数据尽量不重复的字段添加索引，如：编号

七、千万级数据量根据索引优化查询速度

八、MySQL中的执行计划

SQL

#创建数据库

create database php666;

#选择数据库

use php666;

#创建表

create table stu (

id int unsigned primary key auto_increment comment ‘编号’,

name varchar(10) not null comment ‘姓名’,

sex char(2) not null default ‘男’ comment ‘性别’,

age tinyint(3) not null default 0 comment ‘年龄’,

money decimal(10,2) not null default 0 comment ‘资金’,

address varchar(200) default ” comment ‘地址’

)engine=myisam charset=utf8;

#学生数据插入

insert into stu

values

(null,’小泽’,’男’,18,30.56,’北京’),

(null,’苍苍’,’男’,40,80,’日本’),

(null,’小白’,’男’,30,10,’哈尔滨’),

(null,’小黑’,’男’,18,76,’黑龙江’),

(null,’小弟弟’,’女’,18,76,’北京’),

(null,’老陆’,’女’,88,44,’上海’),

(null,’校长’,’男’,100,20,’上海’);

#分数表

create table score (

stu_id int unsigned comment ‘关联学生表ID’,

id int unsigned primary key auto_increment comment ‘分数表ID’,

math int unsigned not null comment ‘数学’,

chinese int unsigned not null comment ‘语文’,

english int unsigned not null comment ‘英语’

)engine=myisam charset=utf8;

#分数数据插入

insert into score

values

(1,null,80,58,99),

(2,null,11,99,29),

(3,null,32,53,89),

(4,null,99,28,99),

(5,null,77,68,19),

(6,null,33,18,29);

1、什么是MySQL中执行计划

就是通过explain关键词分析SQL语句

2、explain语法

使用：直接explain后面写SQL语句

语法：explain SQL语句 \G

说明：\G后面不需要加分号

3、使用explain执行计划分析

1）说明

select_type – 查询类型

table – 表名

type – 连接所使用的类型

possible_keys – 可能使用的索引

key – 实际使用索引

key_len – 索引长度

rows – 可能需要检索的行数

2）分析，查询类型（select_type）

#情况1：simple

#情况2：subquery

#情况3：derived

#情况4：union

3）分析，表名（table）

#情况1：实际表名

#情况2：表别名

#情况3：derived （from型子查询）

#情况4：null

4）分析，额外项（extra）

index: 是指用到了索引覆盖,效率非常高

using where 是指光靠索引定位不了,还得where判断一下

extra 中出现以下 2 项意味着 MYSQL 根本不能使用索引,效率会受到重大影响。应尽可能对此进行优化

using temporary

表示 MySQL 在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by。

using filesort

表示 MySQL 会对结果使用一个外部索引排序,而不是从表里按索引次序读到相关内容。可能在内存或者磁盘上进行排序。MySQL 中无法利用索引完成的排序操作称为“文件排序”

5）分析，连接所使用的类型（type）【重要的项分析】

• 这一列的常见值有：const、all、range、system、index

最好的是 system ， 一般在表中只有一行记录的或者查询系统表的时候出现。

其次就是 const， 一般在使用主键索引的时候会出现。

其其次range， 一般在做范围查询的时候会使用 id < 100。

index， 代表可以使用索引做一些优化，一般在查询表的总行数的时候出现。

all， 一般使用不上索引的时候出现。

ref， 意思是指 通过索引列,可以直接引用到某些数据行

eq_ref， 意思是指 通过索引列,可以直接引用某1行数据

• 场景

#情况1：system

#情况2：const

#情况3：range

#情况4：all

4、索引的使用原则（哪些常见情况不能用索引?）

说明

• like查询（“%”和“_”开头）索引失效 （sphinx网站中全站检索）
• or运算都要具有索引否则索引失效
• where条件字符串必须加引号
• 组合索引字段单独使用，左边生效，右边失效（左原则）

验证

• like查询（“%”和“_”开头）索引失效 （sphinx网站中全站检索）

• or运算都要具有索引否则索引失效

• where条件字符串必须加引号

• 组合索引字段单独使用，左边生效，右边失效（左原则）

总结

MySQL如何优化？

架构：读写分离、主从复制

设计：三范式、逆范式、存储引擎的选择、字段类型

功能：索引、缓存、分区

——————————

什么是三范式：就是设计表的规则

三范式好处：减少冗余，提高读写效率

三范式有哪些：

1）每个字段不可以拆分

2）每个表必须有主键自增、每个表只描述一件事

3）一个表不能包含其他表的非主键字段

逆范式：反三范式规则、以空间换时间（冗余策略）

多学一招：强烈推荐一个表有哪些基本字段（id、created_at、updated_at、display:1-显示,2-隐藏）

————————————–

存储引擎：myisam 、 innodb 、 archive 、 memory

myisam和innodb区别

存储结构：myisam三个文件，innodb一个文件

锁：myisam表级锁，innodb可表可行级锁

事物和外键支持：innodb都支持，myisam都不支持

CURD操作：

MyISAM：如果执行大量的SELECT，MyISAM是更好的选择。

InnoDB：如果你的数据执行大量的INSERT或UPDATE，出于性能方面的考虑，应该使用InnoDB表。DELETE 从性能上InnoDB更优，但DELETE FROM table时，InnoDB不会重新建立表，而是一行一行的删除，在innodb上如果要清空保存有大量数据的表，最好使用truncate table这个命令。

全文检索：MySQL5.6以下innodb不支持（都不支持中文）

——————————————–

什么是索引：相当于书的目录，加快访问速度

索引的好处：加快访问速度

瑕疵：占用磁盘空间，影响读写速度，因为需要更新索引

创建索引：alter table 表名 add 索引类型 索引名（字段名）;

删除索引：drop index 索引名 on 表名

——————————————-

普通索引（index） – 仅仅为了加快查询速度

唯一索引（unique） – 保证数据唯一性

主键索引（primary key） – 既保证数据唯一不能为null

全文检索（fulltext） – 提取指定字段的关键字，添加索引

组合索引 – 同时给两个字段设置相同的索引

——————————————-

什么是MySQL中的执行计划：通过explain关键字分析SQL语句

索引使用规则

like查询（“%”和“_”开头）索引失效 （sphinx网站中全站检索）

or运算都要具有索引否则索引失效

where条件字符串必须加引号

组合索引字段单独使用，左边生效，右边失效（左原则）

索引通俗来讲就相当于书的目录，当我们根据条件查询的时候，没有索引，便需要全表扫描，数据量少还可以，一旦数据量超过百万甚至千万，一条查询sql执行往往需要几十秒甚至更多，5秒以上就已经让人难以忍受了。

提升查询速度的方向一是提升硬件(内存、cpu、硬盘)，二是在软件上优化（加索引、优化sql；优化sql不在本文阐述范围之内）。能在软件上解决的，就不在硬件上解决，毕竟硬件提升代码昂贵，性价比太低。代价小且行之有效的解决方法就是合理的加索引。索引使用得当，能使查询速度提升上万倍，效果惊人。

索 引类型

MySQL的索引有5种

主键索引、普通索引、唯一索引、全文索引、组合索引（多列索引）

—————————————————————————————

普通索引（index） – 仅仅只是为了提高查询的速度。

唯一索引（unique index） – 防止数据出现重复

主键索引（primary key） – 引保证数据的唯一性,而且不能为NULL

全文索引（fulltext key） – 从字段中提取的特别关键词

组合索引（多列索引） – 创建在多列上的索引

说明：唯一索引和全文索引用的很少，我们主要关注主键索引、普通索引和组合索引。

索引的语法

查看某张表的索引：show index from 表名；

创建普通索引：alter table 表名 add index 索引名 (加索引的列)

创建组合索引：alter table 表名 add index 索引名 (加索引的列1,加索引的列2)

删除某张表的索引：drop index 索引名 on 表名;

性能测试

1）测试环境： 联想ThinkPad

2）创建数据表

create database php0611 charset = utf8;

use php0611;

CREATE TABLE `test` (

`id` bigint(20) PRIMARY key not null AUTO_INCREMENT,

`username` varchar(11) DEFAULT NULL,

`gender` varchar(2) DEFAULT NULL,

`password` varchar(100) DEFAULT NULL

) ENGINE=MyISAM DEFAULT CHARSET=utf8;

3）使用存储过程插入1千万条数据

存储引擎使用MyISAM是因为此引擎没有事务，插入速度极快，方便我们快速插入千万条测试数据，等我们插完数据，再把存储类型修改为InnoDB。

delimiter $$

create procedure myproc()

begin

declare num int;

set num=1;

while num <= 10000000 do

insert into test(username,gender,password) values(num,’保密’,PASSWORD(num));

set num=num+1;

end while;

end $$

delimiter ;

# 说明：上述代码可优化insert检查循环次数 原理：values(),(),(); 更高效

由于使用的MyISAM引擎，插入1千万条数据，仅耗时246秒，若是InnoDB引擎，插入100万条数据就要花费数小时了。注：如需要使用innodb存储引擎，可通过命令：alter table test engine=InnoDB;此命令执行时间大约耗时5分钟，耐心等待。

4）执行存储过程

call myproc();

5）测试结果1：没加索引

6）给username添加普通索引

7）测试结果2：加索引

复习

• 什么是三范式： 就是设计数据库的规则
• 三范式好处：减少冗余，加快读写效率
• 三范式有哪些：

1. 每个字段不可以再分
2. 一个表必须有主键、一个表只描述一件事
3. 一个表不能包含其他表的非主键字段（一个表只能包含其他表的主键）

• 逆范式：以空间换时间

MyIsam和InnoDB存储引擎区别

• 存储结构：myisam三个文件、innodb2个文件
• 事物和外键支持：myisam都不支持，innodb都支持
• CURD操作：

myisam读快

innodb增、改快（注：如果需要删除整个表数据，直接用TRUNCATE语句删）

• 全文检索：mysql5.6+版本innodb和myisam都支持（都不支持中文）
• 锁：myisam支持表锁，innodb支持行和表锁

字段类型选择：略（重要）

#索引种类

普通索引（index） – 仅仅为加速

唯一索引（unique） – 保证唯一性

主键索引（primary key） – 既保证唯一性又不能为null

全文索引（fulltext） – 提取指定字段的内容增加索引

组合索引 – 给两个字段同时设置索引

#建表创建索引

create table 表名(

index（字段名）,

unique（字段名），

primary key （字段名），

fulltext （字段名），

index（字段名1，字段名2）

);

#修改表创建索引

创建索引：alter table 表名 add 索引类型 索引名（字段名）

删除索引：drop index 索引名 on 表名

慢查询日志作用：记录慢SQL语句

如何开启：

show variables like ‘slow_query%’;

show variables like ‘%query_time’;

如何分析慢SQL语句：explain 待分析的SQL语句 \G

︴场景：并发

1、概念

场景：在实际工作中会出现负库存

原因：并发

并发：好比同时有n多人超市结账

负库存案例代码

1）SQL语句

create database shop;

use shop;

— —————————-

— Table structure for `goods`

— —————————-

DROP TABLE IF EXISTS `goods`;

CREATE TABLE `goods` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`num` int(11) NOT NULL DEFAULT ‘0’,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

— —————————-

— Records of goods

— —————————-

INSERT INTO `goods` VALUES (‘1’, ‘100’);

2）代码

// 语法：ab -n 1000 -c 100 http://localhost/test/test.php

// 说明：n – 请求总数 , c – 并且

//http://localhost/test/test.php

$conn = @mysql_connect(‘127.0.0.1′,’root’,’root’);

mysql_query(‘set names utf8’);

mysql_query(‘use shop’);

// $fp = fopen(‘lock.txt’, ‘w’);

// flock($fp, LOCK_EX);

mysql_query(‘lock table goods write;’);

$sql = “select num from goods where id = 1”;

$res = mysql_query($sql);

$tmp = mysql_fetch_assoc($res);

$num = $tmp[‘num’];

if ($num) {

//减库存

$sql=”update goods set num=num-1 where id = 1″;

mysql_query($sql);

}

// flock($fp, LOCK_UN);

mysql_query(‘unlock table;’);

echo ‘ok’;

die;

解决

MySQL锁（强烈不推荐）

<?php

// 语法：ab -n 1000 -c 100 http://localhost/test/test.php

// 说明：n – 请求总数 , c – 并且

//http://localhost/test/test.php

$conn = @mysql_connect(‘127.0.0.1′,’root’,’root’);

mysql_query(‘set names utf8’);

mysql_query(‘use shop’);

// mysql_query(‘lock table goods write’);//开启排它锁

$sql = “select num from goods where id = 1”;

$res = mysql_query($sql);

$tmp = mysql_fetch_assoc($res);

$num = $tmp[‘num’];

if ($num) {

//减库存

$sql=”update goods set num=num-1 where id = 1″;

mysql_query($sql);

// mysql_query(‘unlock table’);//释放锁

}

echo ‘ok’;

die;

2）文件锁（不推荐）

<?php

// 语法：ab -n 1000 -c 100 http://localhost/test/test.php

// 说明：n – 请求总数 , c – 并且

//http://localhost/test/test.php

$conn = @mysql_connect(‘127.0.0.1′,’root’,’root’);

mysql_query(‘set names utf8’);

mysql_query(‘use shop’);

// mysql_query(‘lock table goods write’);//开启排它锁

$fp = fopen(‘lock.txt’, ‘a+’);

flock($fp, LOCK_EX);

$sql = “select num from goods where id = 1”;

$res = mysql_query($sql);

$tmp = mysql_fetch_assoc($res);

$num = $tmp[‘num’];

if ($num) {

//减库存

$sql=”update goods set num=num-1 where id = 1″;

$rs = mysql_query($sql);

// mysql_query(‘unlock table’);//释放锁

flock(LOCK_UN);

}

echo ‘ok’;

die;

3）消息队列（推荐）

︴扩展：MySQL中锁机制【★★★】

概念

在MySQL数据库中MyISAM存储引擎采用的是表级锁，InnoDB存储引擎采用的是行级锁、也支表行级锁。（ps. 锁分两种模式，分别为：共享锁和排他锁）

共享读锁/共享锁（lock table 表名read;） 其他用户：读-可以，写-堵塞

独占写锁/排他锁（lock table 表名 write;） 其他用户：读-堵塞，写-堵塞

释放锁：unlock table

2、练习

1）表锁的演示

• MyISAM表锁

create table lock_t1 (

id int primary key auto_increment,

name varchar(30) not null

)engine=myisam charset=utf8;

#session1，开启共享锁

lock table lock_t1 read;

#session1，读（可以）

#session1，写（不可以，报错）

#session2，读（可以）

#session2，写（堵塞）

unlock table;

#session1，开启排他锁

lock table lock_t1 write;

#session1，读（可以）

#session1，写（可以）

#session2，读（堵塞）

#session2，写（堵塞）

unlock table;

• InnoDB表锁

create table lock_t2 (

id int primary key auto_increment,

name varchar(30) not null

)engine=innodb charset=utf8;

#session1，开启共享锁

lock table lock_t2 read;

#session1，读（可以）

#session1，写（不可以，报错）

#session2，读（可以）

#session2，写（堵塞）

unlock table;

#session1，开启排他锁

lock table lock_t2 write;

#session1，读（可以）

#session1，写（可以）

#session2，读（堵塞）

#session2，写（堵塞）

unlock table;

• 验证：MyISAM存储引擎默认是表级锁

上一讲我们插入了1千万数据不适用主键索引查询需要3~4min，问A窗口查询过程中B窗口修改等待还是直接执行？

分析：因为myisam是表锁，所以写堵塞

回答：堵塞

2）行锁的演示

create table t2 (

id int primary key auto_increment,

name varchar(30) not null

)engine=innodb charset=utf8;

insert into t2 value (null, ‘aaa’);

insert into t2 value (null, ‘aaa’);

begin;

update t2 set name = ‘bb’ where id = 1;

update t2 set name = ‘ccc’ where id = 1;

3、锁的特点

• 表级锁代表（MyISAM）：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁

冲突的概率最高，并发度最低（堵塞频率高）。

开销小：相对行级锁加锁资源较少

锁定颗粒度大：指锁的级别，最小的行级锁，最大的表锁

锁冲突高：因为针对整个表加锁，除非没有其他人操作否则冲突概率大

• 行级锁（InnoDB）：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突概

率最低，并发度也最高（堵塞频率低）。

死锁：指开启事物不提交导致

︴扩展：PHP中的文件锁机制【★★★】

1、说明

文件锁机制一般在单独操作文件时看不到效果，需要多人同时操作（并发）

2、文件锁的用途（举例）

若一个人在写入一个文件，另外一个人同时也打个了这个文件进行写入文件。

这情况下，很难明确谁的操作为准。因此，这个时候我们引入锁机制。若用户A在写入或者读取这个文件的时候，将文件加上共享锁。我可以读，其他人也可以读。但是，其他人不可以写。我使用独占锁/排它锁。这个文件归我了，你们都别动，除非我将文件锁进行释放。

A共享锁 B：读-可以，写-不行（堵塞）

A排它锁 B：读-不行（堵塞），写-不行（堵塞）

语法

• 语法：flock（资源，锁类型）
• 锁类型

LOCK_SH 取得共享锁定（读取的程序）

LOCK_EX 取得独占锁/排它锁定（写入的程序）

LOCK_UN 释放锁定（无论共享或独占）

LOCK_NB 当被锁定时，不阻塞，而是提示锁定。

r 读 ，指针文件头

r+ 读写，指针文件头（文件必须先存在）

w 写 ，清空数据，文件不存在自动创建

w+ 读写，清空数据，文件不存在自动创建

a 写 ，追加数据，文件不存在自动创建

a+ 读写，追加数据，文件不存在自动创建

脚下留心：加锁必须释放

浏览器机制：当前用户同一浏览器请求同一个文件，堵塞，所以使用两个文件测试

• 案例

a.php

<?php

header(‘content-type:text/html;charset=utf-8’);

/**

r 只读，并且光标行首

r+ 读写（注：文件必须存在）

w 写 （清空数据，文件不存在自动创建）

w+ 读写（清空数据，文件不存在自动创建）

a 写 （追加数据，文件不存在自动创建）

a+ 读写（追加数据，文件不存在自动创建）

*/

$fp = fopen(‘./a.txt’, ‘a+’);

/**

LOCK_SH 获取读锁（共享锁）

LOCK_EX 获取写锁（排他锁）

LOCK_UN 释放锁

LOCK_NB 当被锁定时，不阻塞，而是提示锁定。

*/

if (flock($fp, LOCK_EX)) {

echo fread($fp, 20);

sleep(15);

echo fread($fp, 20);

flock($fp, LOCK_UN);

}

b.php

<?php

$fp = fopen(‘./a.txt’, ‘a+’);

/**

LOCK_SH 获取读锁（共享锁）

LOCK_EX 获取写锁（排他锁）

LOCK_UN 释放所

LOCK_NB 当被锁定时，不阻塞，而是提示锁定。

*/

if (flock($fp, LOCK_EX | LOCK_NB)) {

echo 11;die;

// echo fread($fp, 20);

$rs = fwrite($fp, 9);

var_dump($rs);

flock($fp, LOCK_UN);

}

应用场景

秒杀项目，不推荐 -> 可用 php + redis 消息队列代替

第三方支付通知文件锁案例

一、前缀索引

1、什么是前缀索引

1）概念

前缀索引：指一个字段的内容，只需前面n个字符就可以具备唯一标识，将其创建为索引，最终形成“前缀索引”。

前缀索引好处：索引很长的字符列，它会使索引变大而且变慢，前缀索引能很好地减少索引的大小及提高速度。

举例

name

啊增

小泽

玛丽

苍苍

姚姚

发现：以前需要把整个name字段看完，才能找到数据，现在因为姓名第一个字符【啊、小…】具备唯一性所以我们只要第一个字符就可以快速查找。

2、制作前缀索引

1）创建数据

create table qianzhui (

id int primary key auto_increment comment ‘编号’,

name varchar(30) not null comment ‘姓名’

)engine=myisam charset=utf8;

insert into qianzhui values (null, ‘张三’);

insert into qianzhui values (null, ‘王八三’);

insert into qianzhui values (null, ‘小三’);

insert into qianzhui values (null, ‘大三’);

2）创建前缀索引

语法：alter table 表名 add index 索引名(字段名(字符个数))

alter table qianzhui add index qianzhui(name(1));

3）验证

二、全文索引（了解）

1、什么是全文索引

试想在1M大小的文件中搜索一个词，可能需要几秒，在100M的文件中可能需要几十秒，如果在更大的文件中搜索那么就需要更大的系统开销，这样的开销是不现实的。

全文索引：提取指定字段里面的内容添加索引

目的：加速like语句查询速度（注：mysql全文索引不支持中文） sphinx

2、具体操作

1）创建测试数据

#创建文章表

create table articles2 (

id int unsigned primary key auto_increment comment ‘编号’,

title varchar(80) not null comment ‘标题’,

content text not null comment ‘内容’

)engine=myisam charset=utf8;

#插入文章数据（禁中文，不支持）

insert into articles2

(title,content)

value

(‘MySQL Tutorial’,’DBMS stands for DataBase …’),

(‘How To Use MySQL Well’,’After you went through a …’),

(‘Optimizing MySQL’,’In this tutorial we will show …’),

(‘1001 MySQL Tricks’,’1. Never run mysqld as root. 2. …’),

(‘MySQL vs. YourSQL’,’In the following database comparison …’),

(‘MySQL Security’,’When configured properly, MySQL …’);

添加全文所引

alter table articles2 add fulltext title(title);

使用全文索引

• 语法：select * from 表名where match(字段) against(‘内容’ IN BOOLEAN MODE);
• 参数：
• 如果添加全文索引是多个字段，如：fulltext（title，content）则查询语句字段处格

式：match（字段1，字段2）

• 如果需要检索多个关键字，则内容处：‘内容1,内容2’

三、limit分页优化（百万至千万级快速分页）

1、概念

当数据单表数据超过一定量后分页查询特别慢

分析

思路

1、从业务角度优化（百度、谷歌分页限制）

2、使用索引查询（where 条件 limit 数字） 索引+缓存（策略：功能+分页作为缓存唯一标识）

1. 索引使用

发现：where通过主键赛选非常快，但是增加多个条件又慢了

解决：添加组合索引

五、查询缓存（了解）

1、概念

MySQL第一次执行后保存缓存数据，第二次直接从缓存中读取。

相关SQL语句

查看SQL缓存参数：show variables like ‘query_cache%’;

开启SQL缓存：set global query_cache_type = 1

关闭SQL缓存：set global query_cache_type = 0

设置缓存空间：set global query_cache_size = 1024*1024*64 #单位/M

固定SQL语句声明不适用缓存：select sql_no_cache * from 表名

开启缓存

步骤1：测试数据库

步骤2：开启缓存

set global query_cache_type = 1;

步骤3：设置缓存空间

步骤4：测试

4、不使用缓存

说明

发现：该功能了解即可，这是从MySQL层面缓存不推荐使用，因为及时缓存了PHP操作MySQL还是有额外开销

解决：后期通过php直接操作内存缓存（内存缓存 > 文件缓存 > 数据库）

六、分表技术（重点）

1、水平分表

1）说明

当一个表很大时我们创建索引后，查询速度还是很慢, 把一个巨大的表安装某个

标准分割成小表，这样可以提供查询的速度.

2）原理

2、垂直分表

• 目的：减少字段长度，加快查询速度。
• 表中存在多个字段：常用字段和非常用字段
• 例如：学生表可以分成，分为基础表和额外表，两张表中记录为1:1的关系。

原表

id name pwd age sex 籍贯 政治面貌 ……

垂直分割表

基础信息表（student_base）

id name age pwd

额外信息表（student_extra）

id 籍贯 政治面貌

3、为什么需要MySQL分表/分区

假设一个数据表中存储1亿条记录，我们检索数据就必须检索1亿条记录，但

是这样是非常耗时的，因为MySQL本质还是以文件形式存储的，所以其读取

都要涉及到服务器的I/O开销，这就是MySQL的性能瓶颈。遇到这种情况，我

们就可以使用分表程序，把1亿条记录的数据表分割成10份：每一份只需要存

储1000万条数据，这样其数据的检索也会变得更加高效！

分区算法

1）MySQL四种分区算法介绍

• 求余（主键字段）：
• key 利用某个字段的值，进行求余，完成分区
• hash 利用某个整型表达式的值，完成分区
• 条件：
• list 值在指定列表内的分区
• range 值在某个范围内的分区

2）分区语法

说明：在创建表都得时候进行分区，后期也可以增加和删除分区

语法：

create table 表名(

)engine=存储引擎 charset=编号

partition by 分区算法（字段） 分区选项；

key分区

#创建数据库p1

create database p1;

#选择数据库

use p1;

#创建表

create table articles(

id int unsigned primary key auto_increment,

title varchar(50) not null,

content text

) engine = myisam charset = utf8

partition by key(id) partitions 10;

#根据key算法，创建10个分区（注：就相当于创建了10个表）

insert into articles values (null,’aaa’,’bb’);

flush table articles;

多学一招：flush table 表名; 刷新表清除缓存

4）hash 分区

#创建数据库p2

create database p2;

#选择数据库

use p2;

#创建表

create table articles(

id int unsigned primary key auto_increment,

title varchar(50) not null,

content text

) engine = myisam charset = utf8

partition by hash (id) partitions 4;

insert into articles values (null,’aaa’,’bb’);

flush table articles;

5）list分区

#创建数据库p3

create database p3;

#选择数据库

use p3;

#创建表

create table articles(

id int unsigned auto_increment,

title varchar(50) not null,

content text,

cid int unsigned,

primary key (id,cid)

) engine = myisam charset = utf8

partition by list(cid) (

partition c1 values in (1,3),

partition c2 values in (2,4),

partition c3 values in (5,6,7)

);

#创建3个分区，当插入cid=1或者3进c1， 当插入cid=2或4进c2分区

insert into articles values (null,’aaa’,’bb’, 1);

flush table articles;

5）range分区

#创建一个数据库

create database p4;

#选择数据库

use p4;

#创建数据表并实现range分区

create table user(

id int not null auto_increment,

name varchar(40) not null,

birthday date not null default ‘0000-00-00’,

primary key(id,birthday)

) engine = myisam default charset = utf8

partition by range(year(birthday)) (

partition 70hou values less than (1980),

partition 80hou values less than (1990),

partition 90hou values less than (2000),

partition 00hou values less than (2010)

);

insert into user values (null,’a’,’1970-01-01′);

insert into user values (null,’b’,’1980-01-01′);

insert into user values (null,’c’,’1990-01-01′);

# 有问题不符合条件

insert into user values (null,’d’,’2011-01-01′);

5、分区管理

1、概念

• 取余管理：增加分区-无影响，删除分区-无影响
• 条件管理：增加分区-无影响，删除分区-数据丢失

取余管理（key，hash）

增加分区数量：alter table 表名 add partition partitions 增加分区的数量

减少分区数量：alter table 表名 coalesce partition 减少分区的数量

3、条件管理（list，range）

删除分区：alter table 表名 drop partition 10hou;

添加分区

alter table tp_user add partition(

partition 10hou values less than (maxvalue)

);

alter table tp_goods add partition(

partition c4 values in (8,9,10)

);

一、读写分离（主从复制）

1、什么是主从复制、读写分离

• 主从复制：指定一台MySQL服务器专门写入数据，其他毫秒级自动复制（同步）
• 读写分离：在主服务器增/改/删，从服务器查询

2、实现原理

二、bin-log日志

什么是bin-log日志

binlog是以二进制存储的日志，直接打开无法查看，可以通过SQL查看，里面存储的是增、改、删SQL语句，后期可以通过binlog日志里面的SQL语句实现主从复制、或者灾难恢复。

开启binlog日志

步骤1：vi /etc/my.cnf

步骤2：重启即可 + 验证

2、查看logbin日志里面的内容

• 列表（show master logs）
• 清空（reset master）
• 刷新（flush logs） 生成一个新编号的binlog日志文件
• 查看指定日志（show binlog events in ‘mysql-bin.000002’）

三、具体的配置步骤

1、配置主服务器

• 步骤1：开启bin日志；
• 步骤2：设置一个server-id 该值必须唯一不能和从服务器相同；

• 步骤3：重启服务器
• 步骤4：授权用户可以从从服务器登陆

语法：create user ‘username’@’host’ IDENTIFIED BY ‘password’;

语法：grant 权限列表 on 数据库名.表名 to ‘用户民’@’IP地址’ identified by 密码

create user ‘laolu’@’%’ IDENTIFIED BY ‘admin888’;

grant all on *.* to ‘laolu’@’%’ identified by ‘admin888’;

FLUSH PRIVILEGES;

查看可登陆用户：select Host,user,password from mysql.user;

• 步骤5：添加3306防火墙例外

service iptables stop

配置从服务器

• 步骤1：设置一个server-id 该值必须唯一不能和从服务器相同；
• 步骤2：重启服务器

• 步骤3：change master 语句指定同步位置

1. 切换到主服务器，查询相关信息，通过SQL语句【show master status;】

2）切换到所有从服务器执行下属命令

change master to

master_host=’192.168.21.136‘,master_user=’laolu’,master_password=’admin888′,master_log_file=’mysql-bin.000005‘,master_log_pos=120;

• 步骤4：启动主动同步

• 步骤5：验证是否成功即可

3、测试

三、TP框架里实现读写分离

MySQL管理命令

【mysql配置文件】

/etc/my.cnf

【开启mysql服务】

/php/server/mysql/bin/mysqld_safe –user=mysql &

【关闭mysql服务】

ps -A | grep mysql # 查看mysql进程

kill -9 进程PID 进程PID # 结束进程 关闭mysql服务

【登陆MySQL数据库】

/php/server/mysql/bin/mysql -uroot -p

一、了解Sphinx

1、为什么要用Sphinx

原因1：因为MySQL不支持中文全文索引、like语句查询满

原因2：sphinx支持中文分词（我 喜欢 php）

2、什么是Sphinx

由俄罗斯人开发的一个基于SQL的、高性能的全文检索软件，用于替代MySQL全文检索。

3、Sphinx的特性

1）特性

高速的建立索引（峰值性能达10M/s）

高性能的搜索（在2-4G的文本数据上，平均每次检索时间小于0.1秒）

可处理海量数据

2）优势

Sphinx单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速

度为0.x秒（毫秒级）。

Sphinx创建索引的速度为：创建100万条记录的索引只需 3～4分钟，创建1000

万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。

创建索引必须关闭服务

4、Sphinx使用流程

• 步骤1：sphinx去mysql中提取指定字段的关键词出现频率和位置按照词库的顺序归纳
• 步骤2：php根据用户搜索的关键词去sphinx中匹配，获取对应的数据id（编号）
• 步骤3：php根据检索的id去MySQL中查询具体数据

二、安装Sphinx

1、概念

1）什么是Coreseek

Coreseek 是一款中文全文检索/搜索软件，基于Sphinx研发并独立发布，专攻

中文搜索和信息处理领域，适用于行业/垂直搜索、论坛/站内搜索、数据库

搜索、文档/文献检索、信息检索、数据挖掘等应用场景。

简单概括：中文版的sphinx

2）Coreseek和sphinx的关系？

sphinx默认只支持英文和俄文，但是它提供了一种方式可以支持任意一种语言，但是需要自己写相关语言语言词库。

Coreseek是在sphinx的基本上添加了中文词库的二次开发。

简单概括：

sphinx不支持中文，但是开发作者提供了接口，coreseek就基于整个接口开发的。

3）下载地址

Sphinx官网：http://www.sphinxsearch.com/

coreseek官网：http://www.coreseek.com/ （版本：Coreseek 3.2.14）

2、安装Coreseek

■ 安装包（绿色版）目录文件介绍

• bin\indexer.exe 创建索引文件
• bin\searchd.exe 服务端（后期php操作服务器必须启动）
• bin\search.exe 客户端（学习时测试使用，注DOS窗口测试编码gbk）
• ext\csft_mysql.conf 配置文件（声明索引和索引来源）

1）安装

安装目录不能有空格特殊符号或中文

配置Sphinx（重要）

• 步骤1：将etc/csft_mysql.conf复制并更名为sphinx.conf
• 步骤2：打开shpinx.conf修改内容如下

#数据源：数据来源定义（数据库信息、数据源SQL语句）

source music

{

#下面是sql数据库特有的端口，用户名，密码，数据库名等。

type = mysql

sql_host = localhost

sql_user = root

sql_pass =

sql_db = test

sql_port = 3306

sql_query_pre = SET NAMES utf8

#sql_query属性：取出要创建索引的数据

#要求1：SELECT的第一个字段必须是主键、

#要求2：第一个字段的名字（别名）必须是id

#要求3：其他的字段就是要创建索引的字段

#需 求：为歌曲表中的title和content字段创建索引

sql_query = SELECT id, title, author, content FROM music

#命令行查询时，设置正确的字符集

sql_query_info_pre = SET NAMES utf8

#命令行查询时，从数据库读取原始数据信息

sql_query_info = SELECT * FROM music WHERE id=$id

}

#索引的定义（索引文件存放的位置，索引文件的名字）

#每个index对应一个数据源，用来定义这个数据源生成的索引文件的信息

index music

{

#该索引对应哪个数据源

source = music

#索引文件存放的目录和名字（存到E:/sphinx/var/data/目录下，索引文件的名字是music）

path = E:/sphinx/var/data/music

docinfo = extern

mlock = 0

morphology = none

min_word_len = 1

html_strip = 0

#词库文件所在的目录

charset_dictpath = E:/sphinx/etc/

#字符集编码类型，可以为：（sbcs,utf-8,zh_cn.utf-8,zh_ch.gbk,zh_ch.big5）

charset_type = zh_cn.utf-8

}

#全局index定义

indexer

{

#建立索引的时候，索引内存限制

mem_limit = 128M

}

#searchd服务定义

searchd

{

listen = 9312

read_timeout = 5

max_children = 30

max_matches = 1000

seamless_rotate = 0

preopen_indexes = 0

unlink_old = 1

# 进程id文件

pid_file = E:/sphinx/var/log/searchd_mysql.pid

# 系统日志存放的位置

log = E:/sphinx/var/log/searchd_mysql.log

# 查询日志存放的位置

query_log = E:/sphinx/var/log/query_mysql.log

}

配置好sphinx.conf，必须建立对应的数据库，当建立索引的时候去要去数据库读取数据并创建索引文件

总结：

1、source 唯一索引名称{} 定义数据源，可以定义多个，每一个数据源对应一个index

a)修改数据库信息

b)修改待带创建索引SQL

2、index 唯一索引名称{} 定义索引，每个索引对应一个数据源

a) 索引文件的名字

b) 索引文件存放的位置

3、indexer{} 只能有一个 （作用：建索引时使用的内存量）

4、searchd{} 只能有一个，sphinx服务器进程

a) 系统日志存放的位置

b) 查询日志存放的位置

3）创建索引

语法：indexer -c 配置文件 索引名称 （注：全部索引–all）

4）在DOS界面对索引进行测试

语法：search -c 配置文件 内容

因为是在DOS窗口测试所以切记更改编码为gbk

三、使用PHP API操作 Sphinx

1、创建Sphinx服务

创建服务：searchd -c 配置文件 –install

删除服务：SC DELETE 服务名

启动服务：net start 服务名

关闭服务：net stop 服务名

2、初体验（PHP操作Sphinx）

<?php

header(‘content-type:text/html;charset=utf-8’);

/**

* 复制sphinx的接口文件到使用目录中

* 步骤1：引入接口文件

* 步骤2：创建服务对象 （new SphinxClient）

* 步骤3：创建服务,语法：setServer（服务器ip地址，端口）

* 步骤4：设置查询条数，语法：setLimits（起始位置，每页显示条数）

* 步骤5：查询，语法：query（关键词，索引名）

*/

//1.引入接口文件

require ‘./sphinxapi.php’;

//2.创建sphinx对象

$sp = new SphinxClient;

//3.设置服务

$sp->setServer(‘localhost’, 9312);

//4.设置分页

$sp->setLimits(0, 10);

//5.去索引中查询

$data = $sp->query(‘冬天’, ‘music’);

echo ‘<pre>’;

print_r($data);die;

源码原因：配置是gbk

解决：修改配置文件为utf8

步骤：

1. 修改编码

2.关闭服务

3.创建索引

4.开启服务

3、匹配模式

1）语法

• 语法：$对象->setMatchMode（参数）
• 参数
• SPH_MATCH_ALL 匹配所有词（默认）
• SPH_MATCH_ANY 匹配一个词
• SPH_MATCH_PHRASE 匹配整一个词
• SPH_MATCH_BOOLEAN 将查询看作一个布尔表达式
• SPH_MATCH_EXTENDED 查询看做一个sphinx的表达式

2）模式举例说明

举例：我喜欢PHP

分词：我 喜欢 PHP

测试数据

国外资深记者:我喜欢Vista的11大理由_国外最牛的PHP开源建站平台

为什么现在业界那么多人喜欢黑 PHP 且乐此不疲? – 知乎用户的我回答…

我叫XXXX

世界上最好的语言是PHP吗

PHP是世界上最好的语言

我喜欢PHP，你知道吗

匹配所有词（SPH_MATCH_ALL）

• 说明：【我】、【喜欢】、【PHP】必须都存在，顺序不限
• 结果：

国外资深记者:我喜欢Vista的11大理由_国外最牛的PHP开源建站平台

为什么现在业界那么多人喜欢黑 PHP 且乐此不疲? – 知乎用户的我回答…

我叫XXXX

世界上最好的语言是PHP吗

PHP是世界上最好的语言

我喜欢PHP，你知道吗

匹配一个词（SPH_MATCH_ANY）

• 说明：【我】、【喜欢】、【PHP】只要存在一个就可以
• 结果：

国外资深记者:我喜欢Vista的11大理由_国外最牛的PHP开源建站平台

为什么现在业界那么多人喜欢黑 PHP 且乐此不疲? – 知乎用户的我回答…

我叫XXXX

世界上最好的语言是PHP吗

PHP是世界上最好的语言

我喜欢PHP，你知道吗

脚下留心

匹配整个词（SPH_MATCH_PHRASE）

• 说明：【我】、【喜欢】、【PHP】必须都存在，存储不能变
• 结果：

国外资深记者:我喜欢Vista的11大理由_国外最牛的PHP开源建站平台

为什么现在业界那么多人喜欢黑 PHP 且乐此不疲? – 知乎用户的我回答…

我叫XXXX

世界上最好的语言是PHP吗

PHP是世界上最好的语言

我喜欢PHP，你知道吗

将查询看作一个布尔表达式（SPH_MATCH_BOOLEAN）

• 说明：就是通过运算查询
• 举例：

$rs = $sc->query(‘冬天 !寒冷’, ‘music’);

内容中有冬天，但是没有寒冷的

$rs = $sc->query(‘冬天 | 冷’, ‘music’);

内容中有冬天或者冷

$rs = $sc->query(‘冬天 & 冷’, ‘music’);

内容中有冬天并且有冷

• 结果：（PHP | JAVA PHP & 喜欢）

查询看做一个sphinx的表达式（SPH_MATCH_EXTENDED）

• 说明：可以限制字段里面的查询内容
• 举例：@title 内容 @author 内容 @content 内容

小总结

[概念]

—————–

[安装并通过PHP操作]

步骤1：将sphix解压到指定目录中（因为绿色版所以就安装好了）

步骤2：创建配置文件，然后通过【indexer -c 配置文件 索引名】指定建立索引文件

步骤3：创建sphinx的服务，通过该服务PHP可以操作【searchd -c 配置文件 –install】并且启动服务【net start searchd】

步骤4：复制【sphinxapi.php】然后通过PHP引入操作sphinx

——————————–

[PHP操作步骤]

1、引入sphinxapi.php

2、通过$sc = new SphinxClient创建对象

3、设置服务$sc->setServer（服务器地址，9312）

4、设置条数$sc->setLimits（起始位置，查询条数）

5、查询 $sc->query(关键词，索引);

四、将sphinx的结果转化为具体的信息

1、思路分析

步骤1：通过sphinx的indexer创建索引

步骤2：通过php操作sphinx获取数据id

步骤3：通过php根据数据id去MySQL中查询数据信息

查询

<?php

header(‘content-type:text/html;charset=utf-8’);

/**

* 复制sphinx的接口文件到使用目录中

* 步骤1：引入接口文件

* 步骤2：创建服务对象 （new SphinxClient）

* 步骤3：创建服务,语法：setServer（服务器ip地址，端口）

* 步骤4：设置查询条数，语法：setLimits（起始位置，每页显示条数）

* 步骤5：查询，语法：query（关键词，索引名）

*/

//1.引入接口文件

require ‘./sphinxapi.php’;

//2.创建sphinx对象

$sp = new SphinxClient;

//3.设置服务

$sp->setServer(‘localhost’, 9312);

//4.设置分页

$sp->setLimits(0, 10);

//5.匹配模式

// $sp->SetMatchMode(SPH_MATCH_BOOLEAN);

//6.去索引中查询

$data = $sp->query(‘冬天’, ‘music’);

//7.获取数据ID

$ids = implode(‘,’, array_keys($data[‘matches’]));

//8.去数据库查询数据

$pdo = new PDO(‘mysql:dbname=test’, ‘root’, ‘root’);

$pdostatment = $pdo->query(“select * from music where id in (“.$ids.”)”);

$data = $pdostatment->fetchAll(PDO::FETCH_ASSOC);

// echo ‘<pre>’;

// print_r($data);

foreach ($data as $v) {

echo $v[‘id’] . $v[‘title’] . $v[‘author’] . ‘<br />’;

}

︴多学一招：高亮显示搜索的关键词

<?php

header(‘content-type:text/html;charset=utf-8’);

/**

* 复制sphinx的接口文件到使用目录中

* 步骤1：引入接口文件

* 步骤2：创建服务对象 （new SphinxClient）

* 步骤3：创建服务,语法：setServer（服务器ip地址，端口）

* 步骤4：设置查询条数，语法：setLimits（起始位置，每页显示条数）

* 步骤5：查询，语法：query（关键词，索引名）

*/

//1.引入接口文件

require ‘./sphinxapi.php’;

//2.创建sphinx对象

$sp = new SphinxClient;

//3.设置服务

$sp->setServer(‘localhost’, 9312);

//4.设置分页

$sp->setLimits(0, 10);

//5.匹配模式

// $sp->SetMatchMode(SPH_MATCH_BOOLEAN);

//6.去索引中查询

$data = $sp->query(‘冬天’, ‘music’);

//7.获取数据ID

$ids = implode(‘,’, array_keys($data[‘matches’]));

//8.去数据库查询数据

$pdo = new PDO(‘mysql:dbname=test’, ‘root’, ‘root’);

$pdostatment = $pdo->query(“select * from music where id in (“.$ids.”)”);

$data = $pdostatment->fetchAll(PDO::FETCH_ASSOC);

// echo ‘<pre>’;

// print_r($data);

foreach ($data as $v) {

//自定义方法

$title = str_replace(‘冬天’, ‘<font color=red>冬天</font>’, $v[‘title’]);

$author = str_replace(‘冬天’, ‘<font color=red>冬天</font>’, $v[‘author’]);

$content = str_replace(‘冬天’, ‘<font color=red>冬天</font>’, $v[‘content’]);

echo $v[‘id’] .’___’. $title .’___’. $author . ‘<hr />’;

echo $content . ‘<hr />’;

//【官方语法】

// $row = $sc->buildExcerpts(要添加提示效果的一维数组,索引名,关键词,array(

// ‘before_match’ => ‘<font color=”red”>’,

// ‘after_match’ => ‘</font>’

// ));

//将$v里面的冬天前面追加before_match，后面追加after_match，最后返回索引数组

// $row = $sp->buildExcerpts($v, ‘music’ , ‘冬天’,array(

// ‘before_match’ => ‘<font color=”red”>’,

// ‘after_match’ => ‘</font>’

// ));

// echo $row[0] .’___’. $row[1] .’___’. $row[2] . ‘<hr />’;

// echo $row[3] . ‘<hr />’;

}

增量索引（Sphinx索引更新）

1、什么是增量索引

答：就是更新sphinx索引文件

为什么要学习增量索引

答：因为数据库每天数据都在变化，所以需要在原索引的基础上继续增加索引

使用indexer.exe生成增量索引 （语法） –merge 主索引名 新索引名 –rotate

创建索引语法：indexer -c 配置文件 索引名

合并索引语法：indexer -c 配置文件 –merge 主索引名 新索引名 –rotate

具体操作

1）创建数据库（用于记录哪些数据已经被创建索引）

# 数据库SQL语句

create table sphinx

(

max_id int unsigned not null default 0

)

2）主索引的数据源初始化数据，加标记当前已更新记录最大ID

# sql_query属性：取出要创建索引的数据

sql_query = SELECT id, title, content FROM music

# 建完索引这后　，把最后一条记录的id存到sphinx表中

# 在主查询（sql_query）之后执行的ＳＱＬ

sql_query_post = INSERT INTO sphinx SELECT MAX(id) FROM music

3）修改配置文件（增加新索引）

• 步骤1：将etc/csft_mysql.conf复制并更名为sphinx.conf （注：已经有了就无需操作）
• 步骤2：打开shpinx.conf修改内容如下

# 数据源

source music_add

{

# 下面是sql数据库特有的端口，用户名，密码，数据库名等。

type = mysql

sql_host = localhost

sql_user = root

sql_pass = root

sql_db = music

sql_port = 3306

sql_query_pre = SET NAMES utf8

# (SELECT MAX(max_id) FROM sphinx) 目的，规避以及建立的索引数据

sql_query = SELECT id, title, author,content FROM music WHERE id > (SELECT MAX(max_id) FROM sphinx)

# 建完索引这后　，把最后一条记录的id存到sphinx表中

# 在主查询（sql_query）之后执行的ＳＱＬ

sql_query_post = UPDATE sphinx SET max_id = (SELECT MAX(id) FROM music)

}

# 数据索引

index music_add

{

# 对应的source数据来源名称

source = music_add

path = E:/sphinx/var/data/music_add

docinfo = extern

mlock = 0

morphology = none

min_word_len = 1

html_strip = 0

# 词库文件所在的目录

charset_dictpath = E:/sphinx/etc/

charset_type = zh_cn.utf-8

}

4）增量的索引文件合并到主索引文件上去，并标记当前已更新记录最大ID

步骤1：停止服务 -> music创建主索引 -> 开启服务

步骤2：给新数据创建索引（注：不需要开启服务）

步骤3：将新数据和老数据合并（注：不需要开启服务）

5）新增测试数据（注：新增数据后需要重复如下步骤【创建新索引、合并老索引】）

6）测试

总结，实现增量索引的步骤

• 步骤1：创建数据库，用来记录已经创建索引的数据

# 数据库SQL语句

create table sphinx

(

max_id int unsigned not null default 0

)

• 步骤2：修改etc\sphinx.conf文件

步骤2.1 修改music索引的数据源，增加下属代码，用户当music第一次执行后记录已经创建索引数据的最大id

# 建完索引这后　，把最后一条记录的id存到sphinx表中

# 在主查询（sql_query）之后执行的ＳＱＬ

sql_query_post = INSERT INTO sphinx SELECT MAX(id) FROM music

步骤2.2 新增music_add索引和数据源

# 数据源

source music_add

{

# 下面是sql数据库特有的端口，用户名，密码，数据库名等。

type = mysql

sql_host = localhost

sql_user = root

sql_pass = root

sql_db = test

sql_port = 3306

sql_query_pre = SET NAMES utf8

# (SELECT MAX(max_id) FROM sphinx) 目的，规避以及建立的索引数据

sql_query = SELECT id, title, author,content FROM music WHERE id > (SELECT MAX(max_id) FROM sphinx)

# 建完索引这后　，把最后一条记录的id存到sphinx表中

# 在主查询（sql_query）之后执行的ＳＱＬ

sql_query_post = UPDATE sphinx SET max_id = (SELECT MAX(id) FROM music)

}

# 数据索引

index music_add

{

# 对应的source数据来源名称

source = music_add

path = E:/sphinx/var/data/music_add

docinfo = extern

mlock = 0

morphology = none

min_word_len = 1

html_strip = 0

# 词库文件所在的目录

charset_dictpath = E:/sphinx/etc/

charset_type = zh_cn.utf-8

}

• 步骤3：

步骤3.1 停止服务- > 先执行主索引【music】 -> 开启服务

步骤3.2 再执行新增索引【music_add】 （注：无需关闭服务）

步骤3.3 将【music_add】索引和【music】索引合并 （注：无需关闭服务）

• 步骤4：测试

后期统一搞点新数据重复下属步骤

步骤3.2 再执行新增索引【music_add】

步骤3.3 将【music_add】索引和【music】索引合并

︴扩展：Windows与Linux系统中的定时任务

步骤1：新建xxx.bat文件将创建新增索引的DOS命令放进去

net stop searchd

e:\sp\bin\indexer -c e:\sp\etc\sphinx.conf music_add

e:\sp\bin\indexer -c e:\sp\etc\sphinx.conf –merge music music_add –rotate

net start searchd

步骤2：把这个xxx.bat文件添加到windows系统上的“计划任务”让系统定时执行这个文件中的两个任务。