分类标签归档:Python

Python爬取读者并制作成PDF


学了下beautifulsoup后,做个个网络爬虫,爬取读者杂志并用reportlab制作成pdf..

crawler.py

复制代码 代码如下:

!/usr/bin/env python

coding=utf-8

"""
Author: Anemone
Filename: getmain.py
Last modified: 2015-02-19 16:47
E-mail: anemone@82flex.com
"""
import urllib2
from bs4 import BeautifulSoup
import re
import sys
reload(sys)
sys.set...

阅读全文...

在Python中实现贪婪排名算法的教程


在较早的一遍文章中,我曾经提到过我已经写了一个属于自己的排序算法,并且认为需要通过一些代码来重新回顾一下这个排序算法。

对于我所完成的工作,我核实并且保证微处理器的安全。对非常复杂的CPU进行测试的一个方法就是创建该芯片的另一个模型,其可以用来产生在CPU上运行的伪随机指令流。这所谓的ISG(指令流产生器)能够在很短的时间内创建几千(甚至几百万)个这样的测试,通过某种方式,使其可以巧妙地给出一些对将在CPU上执行的指令流的控制或操纵。

现在对这些指令流进行模拟,可以通过每一个测试实例花费的时间获取到CPU的那一部分被使用了(这叫做被覆盖)的信息,并且ISG所产生的的过个测试可能会覆盖CP...

阅读全文...

python基础入门详解(文件输入 输出 内建类型 字典操作使用方法)


一、变量和表达式

复制代码 代码如下:

1 + 1
2
print 'hello world'
hello world
x = 1
y = 2
x + y
3

Python是强类型语言,无法根据上下文自动解析转换成合适的类型。 Python是一种动态语言,在程序运行过程中,同一个变量名在运行的不同阶段可以代表不同形式的值(整型,浮点,列表,元组),变量名只是各种数据及对象的引用。C语言中的变量名是用来存放结果的内存片段。

1、在Python中是通过对象的引用而不是值来赋值给变量的。

2、赋值操作符主要是"=",同时也可使用增量赋值,如 x+=1。但是没有自增、自减操作符。

3、在C...

阅读全文...

Python自定义scrapy中间模块避免重复采集的方法


本文实例讲述了Python自定义scrapy中间模块避免重复采集的方法。分享给大家供大家参考。具体如下:

from scrapy import log
from scrapy.http import Request
from scrapy.item import BaseItem
from scrapy.utils.request import request_fingerprint
from myproject.items import MyItem
class IgnoreVisitedItems(object):
  """Middleware to ignore re-visit...

阅读全文...

python通过post提交数据的方法


本文实例讲述了python通过post提交数据的方法。分享给大家供大家参考。具体实现方法如下:

# -*- coding: cp936 -*-
import urllib2
import urllib
def postHttp(name=None,tel=None,address=None,
       price=None,num=None,paytype=None,
       posttype=None,other=None):
  url="http://www.xxx.com/dog.php"
  #定义要提交的数据
  postdata=dict(name=name,te...

阅读全文...

python使用cStringIO实现临时内存文件访问的方法


本文实例讲述了python使用cStringIO实现临时内存文件访问的方法。分享给大家供大家参考。具体分析如下:

如果希望从网络读取文件进行处理,但是又不希望保存文件到硬盘,可以使用cStringIO模块进行处理

res = urllib2.urlopen(pic,timeout=10)
f = cStringIO.StringIO(res.read())

f 是一个文件对象,
它和:f = open('c:/1.jpg','rw') 打开的文件一样
可以向操作本地文件一样对内存文件进行读写

希望本文所述对大家的Python程序设计有所帮助。

阅读全文...

Python语言的12个基础知识点小结


python编程中常用的12种基础知识总结:正则表达式替换,遍历目录方法,列表按列排序、去重,字典排序,字典、列表、字符串互转,时间对象操作,命令行参数解析(getopt),print 格式化输出,进制转换,Python调用系统命令或者脚本,Python 读写文件。

1、正则表达式替换

目标: 将字符串line中的 overview.gif 替换成其他字符串

复制代码 代码如下:

line = '<IMG ALIGN="middle" SRC=\'#\'" />'
mo=re.compile(r'(?<=SRC=)"([\w+\.]+)"',re.I)

mo.sub(r...

阅读全文...

python操作ie登陆土豆网的方法


本文实例讲述了python操作ie登陆土豆网的方法。分享给大家供大家参考。具体如下:

这里利用ie操作登陆土豆网,很简单,仅做一下记录,以备后用。

# -*- coding: utf-8 -*-
import win32com.client  
import time  
ie6=win32com.client.Dispatch("InternetExplorer.Application")  
ie6.Navigate("http://login.tudou.com/login.do?noreg=ok")  
ie6.Visible=0 
while ie6.Busy:  
 time...

阅读全文...

Python深入学习之装饰器


装饰器(decorator)是一种高级Python语法。装饰器可以对一个函数、方法或者类进行加工。在Python中,我们有多种方法对函数和类进行加工,比如在Python闭包中,我们见到函数对象作为某一个函数的返回结果。相对于其它方式,装饰器语法简单,代码可读性高。因此,装饰器在Python项目中有广泛的应用。

装饰器最早在Python 2.5中出现,它最初被用于加工函数和方法这样的可调用对象(callable object,这样的对象定义有call方法)。在Python 2.6以及之后的Python版本中,装饰器被进一步用于加工类。

装饰函数和方法

我们先定义两个简单的数学函数,一个用来...

阅读全文...