爬虫分享
npm install -g cnpm --registry=http://registry.npm.taobao.org npm install --registry=http://registry.npm.taobao.org
不是讲代码,理解思想最重要
1、nodejs 是服务端的js
1). 安装 https://nodejs.org/
2). 检验安装
3). api文档 https://nodejs.org/api/
4). npm nodejs的包管理工具 (具有非常多优秀的模块) https://www.npmjs.com/
2、模块优点
1).灵活架构,焦点分离
2).方便模块间组合、分解
3).方便单个模块功能调试、升级
4).多人协作互不干扰
3、如何引入和输出模块 #request.js #test_module.js
4、介绍 request 模块 和 cheerio 模块 和 async 模块 基础和使用 #1 #9-11 #2-5
1). request https://www.npmjs.com/package/request
底层实现: 使用了 http 这个模块
2). cheerio https://www.npmjs.com/package/cheerio
2). async https://www.npmjs.com/package/cheerio
异步任务串行执行
5、介绍 mysql 的使用 https://www.npmjs.com/package/mysql #6
6、介绍 cronJob #定时执行任务# https://www.npmjs.com/package/cron #7
7、child_process #子进程# #8
8、完整demo