logo头像

小玉的技术博客

Python高级编程之爬虫Scrapy框架安装配置

Mac下安装Scrapy框架刚刚试了下可以,可以简化为下面三个步骤一、删除Mac自带的Pythonsudo rm -rf /usr/bin/python二、homebrew安装最新的Pythonbrew install python创...

Python 高级教程之爬虫urllib库高级使用

1.设置Headers有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性。 首先,打开我们的浏览器,调试浏览器F12,我用的是Chr...

Python爬虫实战之爬取糗事百科段子

确定URL并抓取页面代码首先我们确定好页面的URL是 http://www.qiushibaike.com/hot/page/1,其中最后一个数字1代表页数,我们可以传入不同的值来获得某一页的段子内容。 我们初步构建如下的代码来打印页...

Python高级编程之正则表达式

Python Re模块Python 自带了re模块,它提供了对正则表达式的支持。主要用到的方法列举如下12345678910#返回pattern对象re.compile(string[,flag]) #以下为匹配所用函数re.mat...

Scrapy入门教程

创建一个scrapy项目在开始爬取之前,您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中,运行下列命令:1scrapy startproject scrapyProject 该命令将会创建包含下列内容的 scrapy...

Python 基础教程之文件I/O

打印到屏幕最简单的输出方法是用print语句,你可以给它传递零个或多个用逗号隔开的表达式。此函数把你传递的表达式转换成一个字符串表达式,并将结果写到标准输出如下:1234#!/usr/bin/python# -*- coding: U...

Python 基础教程之基础语法

python交互式编程交互式编程不需要创建脚本文件,是通过 Python 解释器的交互模式进来编写代码mac上你只需要在命令行中输入 Python 命令即可启动交互式编程,提示窗口如下:http://okjl482qy.bkt.clo...

Python 基础教程之模块

下例是个简单的模块 support.py:123def print_func( par ): print "Hello : ", par return import 语句模块的引入模块定义好后,我们可以使用 import 语句...

python中range()函数的用法及数组的操作

1range(1,6) #代表从1到6(不包含6) [1, 2, 3, 4, 5]1range(1,6,2) #代表从1到6,间隔2(不包含6) [1, 3, 5]1range(6) #代表从0到6(不包含6) 数组的操作12arra...