1.
# Redis 1.解压，配环境变量 2.win上设置自启动 redis-server --service-install D: edis edis.windows.conf --loglevel verbose 3.启动redis redis-server E: edis edis-latest edis.windows.conf 4.进入数据库，另起一个cmd框 redis-cli -h 127.0.0.1 -p 6379 5.在 redis.windows.conf 中解注 “requirepass foobared” 将foobared改为密码；注：不能有空格 6.重开始登陆 redis-cli -h 127.0.0.1 -p 6379 -a 123456 --- ## 1.非关系型数据库 Nosql(not noly sql)不是典型数据库 / Key-Values存储系统 - momgoDB 的优势：支持多种查询和支持创建索引 - Redis 速度极快，价格高；持久化和热备时候消耗大量带宽和运力 → 5种数据类型的几种常用方法，默认不支持查询，可以在键上设置 注：memcached 是sql中继器，不算Nosql redis的字符类型 1.string 2.hash 3.lsit 4.set --- 十大算法 快速排序、 多进程多线程 --- 购物车 以前是session，现在是redis 功能： 商品展示 购物车操作 添加删除商品 结算 ... --- ## scrapy ### 1.解释scrapy的工作流程 ### 2.scrapy的优势 scrapy自带多进程，能执行整站采集，自动调度器 ### 3.多主机爬虫架构 待整理：... 一个起始spider(共享主队列) 一个主机多个从机 分布式进程 ### 在scrapy中使用redis，，去重 “指纹”：当前对象的唯一标示 redis每次执行前检查指纹是否存在，再进行添加任务 ### 分布式防止终端 ### 如何实现架构？ scrapy自带框架 ## scrapy-redis 的分布式实现 master 主机 slave 副机 可移植性好 ##