北理工Python网络爬虫与信息提取

【课程内容】



0 网络爬虫之前奏



全课程内容导学

Python语言开发工具选择



1 网络爬虫之规则



第一周内容导学

HTTP协议及Requests库方法

Requests库主要方法解析

Requests库的get()方法

Requests库的安装

Robots协议

Robots协议的遵守方式

单元小结

实例1：京东商品页面的爬取

实例2：亚马逊商品页面的爬取

实例3：百度360搜索关键词提交

实例4：网络图片的爬取和存储

实例5：IP地址归属地的自动查询

爬取网页的通用代码框架

网络爬虫引发的问题



2 网络爬虫之提取



Beautiful Soup库的基本元素

Beautiful Soup库的安装

“中国大学排名定向爬虫”实例介绍

“中国大学排名定向爬虫”实例优化

“中国大学排名定向爬虫”实例编写

三种信息标记形式的比较

信息提取的一般方法

信息标记的三种形式

单元小结

基于bs4库的HTML内容查找方法

基于bs4库的HTML内容遍历方法

基于bs4库的HTML格式化和编码

第二周内容导学



3 网络爬虫之实战



Re库的match对象

Re库的基本使用

Re库的贪婪匹配和最小匹配

“淘宝商品信息定向爬虫”实例介绍

“淘宝商品信息定向爬虫”实例编写

“股票数据定向爬虫”实例介绍

“股票数据定向爬虫”实例优化

“股票数据定向爬虫”实例编写

单元小结

正则表达式的概念

正则表达式的语法

第三周内容导学



4 网络爬虫之未完待续



requests库和Scarpy爬虫的比较

Scrapy爬虫框架介绍

Scrapy爬虫框架解析

Scrapy爬虫的基本使用

Scrapy爬虫的常用命令

Scrapy爬虫的第一个实例

yield关键字的使用

“股票数据Scrapy爬虫”实例介绍

“股票数据Scrapy爬虫”实例编写

“股票数据定向Scrapy爬虫”实例优化

单元小结

第四周内容导学

网络爬虫课程回顾和总结

网络爬虫课程的未完待续