在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8
在爬取网站内容的时候，最常遇到的问题是：网站对IP有限制，会有防抓取功能，最好的办法就是IP轮换抓取（加代理）下面来说一下Scrapy如何配
出自群里的提问，试了几次就实现了，现在分享出来。#coding=utf-8import res = 'hi新手oh'.decode('utf-8') #举个栗子是字符串s，为了...
import timeprint time.time()输出的结果是：1279578704.6725271但是这样是一连串的数字不是我们想要的结果，我们可以利用time模块的格式...
更新内容修复 auth.models get_href 错误修改 ORM save() 处理，它将保存manytomany数据向 save() 中添加 changed, saved 和 s...
闲着没事尝试抓一下京东的数据，需要使用到的库有：BeautifulSoup，urllib2，在Python2下测试通过fromcreepyimportCrawlerfromBeautifulSou
首先弄明白几个概念：Documents 、terms and posting在信息检索(IR)中，我们企图要获取的项称之“document”，每一个document是被一个te
os.sep 可以取代操作系统特定的路径分割符os.linesep 字符串给出当前平台使用的行终止符。例如，Windows使用'\r\n'，Linux使...
题目前提是一定存在这样两个数解法一就不写了...一般想不到吧一开始想到的是解法二最后的用hash表（其实是想到创建一个跟target一样大的数...
问题的提出上一节的例子中，每个线程互相独立，相互之间没有任何关系。现在假设这样一个例子：有一个全局的计数num，每个线程获取这个全局...
