欢迎加入QQ讨论群258996829
麦子学院 头像
苹果6袋
6
麦子学院

Python爬虫的原理是什么?

发布时间:2018-04-10 17:48  回复:0  查看:2705   最后回复:2018-04-10 17:48  

本文和大家分享的主要是python爬虫的基本原理相关内容,希望对初python爬虫的童鞋有所帮助,一起来看看吧。

  1. 什么是爬虫

  请求网站并 提取 数据的 自动化 程序。

  2. 爬虫基本流程

  .发起请求

  通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。

  .获取响应

  如果服务器能正常响应,会得到一个ResponseResponse的内容便是所要获取的页面内容,类型可能有HTMLJson字符串,二进制数据(如图片视频)等类型。

  .解析内容

  得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能是二进制数据,可以做保存或者进一步处理。

  .保存数据

  保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。

  3. 什么是RequestResponse

Python爬虫的原理是什么?

 4. Request中包含什么

  . 请求方式

  主要有GETPOST两种类型,另外还有HEADPUTDELETEOPTIONS等。

  1. GET:请求的参数全都包含在请求的网址中。直接输入链接即可访问。

  2. POST:与GET不同,请求的信息封装了,包含在Formdata中。需要构造表单,然后点击提交。

  . 请求URl

  URL全称统一资源定位符,入一个网页文档、一张图片、一个视频等都可以用URL唯一来确定。

  . 请求头Headers

  包含请求时的头部文件,包含了很重要配置信息,如User_AgentHostCookies等信息。

  . 请求体

  请求时额外携带的数据,如表单提交时的表单数据。一般GET请求无需请求体,POST请求则需要请求体。

  5. Response中包含什么

  . 响应状态 status_code

  有多种响应状态,如200代表成功、301跳转、404找不到页面、502服务器错误。

  . 响应头 headers

  如内容类型、内容长度、服务器信息、设置Cookie等等。键值对的形式。

  . 响应体

  最主要的部分,包含了请求资源的内容,如网页HTML,图片二进制数据等。

  6. 能抓怎样的数据

  . 网页文本

  如HTML文档、Json格式文本等。

  . 图片

  获取到的是二进制文件、保存为图片格式。

  python //example 保存了一个图片 import requests response = requests.get('https://www.baidu.com/img/baidu_jgylogo3.gif') print(response.content) with open('C:/Users/Administrator/Desktop/1.gif', 'wb') as f: f.write(response.content)

  . 视频

  同为二进制文件,保存为视频格式即可。

  . 其它

  7. 怎样进行网页的解析

  . 解析方式

  1. 直接处理

  2. Json解析(Ajax

  3. 正则表达式

  4. BeautifulSoap

  5. PyQuery

  6. XPath

  . 为什么抓到的和浏览器看到的不一样

  因为抓到的结果里面有很多js文件,里面包含的网页中内容的请求。浏览器则是把所有js加载完毕后才显示出来的。

  8. 怎样解决JavaScript渲染的问题

  . 分析Ajax请求

  . Selenium/WebDriver (模拟渲染)

  . Splash(同上)

  . PyV8Ghost.py

  9. 怎样保存数据

  . 文本

  纯文本、JsonXml

  . 关系型数据库

  如MySQLOracleSQL Server等具有结构化表结构形式存储。

  . 非关系型数据库

  如MongoDBRedisKey_Value形式存储。

  . 二进制文件

  如图片、视频、音频等等直接保存成 特定格式 即可。

 

您还未登录,请先登录

热门帖子

最新帖子