Dirty Job: PDF文本提取

发表于 2011/05/25 由 Xiao Nan

一个同学说他们以后要读研有这样一个需求, 在上交所搜集上市公司的各种报告, PDF格式, 手工搜集提取整理数据要做几个月. 然后给我华丽丽的演示了一个他们找人写的工具, 自动搜集PDF并且提取数据写入表格, 解开那jar看了一下用到了Apache的PDFBox, 我想这也太dirty了吧, 真忍不了 ... 上交所那货至少不是还提供了一个XBLR接口么 ... 今天又说花了几天时间开了n台机器终于跑完了, 本人表示默默路过 ...

好吧, 为了无限可能的dirty job, 几个十分无奈的PDF文本提取的选择(排除需要OCR这货的情况):

Linux下poppler-utils中的pdftotext.

^?View Code BASH

$ for f in *.pdf
> do
>   pdftotext "$f"
> done

测试了一下, 速度不错, 对中文支持很好. 在R中直接调用也非常方便.

第二个选择, stackoverflow上推荐的PDF Miner, CJK支持什么的, 安装起来稍微有点麻烦, 支持竖排文档, 支持密码访问, 支持提取TOC信息, 纯python, 速度慢.

^?View Code BASH

$ pdf2txt.py -P password -c gb2312 -o foo.txt foo.pdf

第三个选择, python recipes中提到的pyPdf方案.

^?View Code PYTHON

import pyPdf
 
def getPDFContent(path):
    content = ""
    # 读入文件
    pdf = pyPdf.PdfFileReader(file(path, "rb"))
    # 循环所有页
    for i in range(0, pdf.getNumPages()):
        # 提取文本
        content += pdf.getPage(i).extractText() + "\n"
    # 处理空格
    content = " ".join(content.replace(u"\xa0", " ").strip().split())
    return content
 
print getPDFContent("test.pdf").encode("ascii", "ignore")

更底层的lib倒是有一堆可以选择, 仁者见仁了.

湘西调研散谈之五（7月17日）（累死也要坚持更新！）

发表于 2009/07/17 由 Xiao Nan

7.17

疯了 ..今天桔花园村之行以后，下午又去了瑶头村 ..原因很简单，桔花园村处于城乡接合部，城市化进程中，耕地基本被征用殆尽 ..加上外来人口超过原住民3倍以上，所以没法进行我们准备好的，以农业问题为主的问卷 ..当然，在桔花园村村长的热情介绍下，我们对一些在次世代农村建设中比较尖锐的矛盾和问题有了更深的认识。是时候让我们做一些实事了，不知道这样一种状况还能维持多久。严重点说，邓玉娇案就是先例。

下午的瑶头村，抬眼望去，好像四面环山，不得不承认，湘西的景色还是可以的。稻田在特定的光线和角度下会呈现莉莉周的效果。但是和前两三个村类似，缺乏官方指导和扶持，双方的互不信任，似乎也成为了当地发展的短板。尽管有所谓的特色养殖业，大棚西瓜，支柱的运输业，我们看到的是贫富差距在加大，我们能做的却很少很少。只能以村长在中午最热的时候款待的两个半熟的西瓜结束无奈。说点别的吧，这两天辛苦之余，吃的还不错，虽然极不规律 ..这要感谢我们的梅立兴同学 ..haha

预告一下明天据说要去县里的xx工厂 ..

（本文最初发表于xiaonei.com）

湘西调研散谈之四（7.15-7.16）（浅白版，欢迎指正）

发表于 2009/07/17 由 Xiao Nan

7.15－7.16

有童鞋提出，前两三篇太难懂，估计手机发上来，排版不好，是有一部分原因的，所以这次我要加以改进，以乡食言卖者。高第和竹坳，每天走一个村，算是半个过客。16号下午返程的时候不禁和芬姐感叹这样的调研是不是太堕落了，除了每天走走田垄爬爬山坡晒晒太阳黑了点以外，似乎衣食住行比学校的状态都好，坐车也很方便，可能是现在的交通好多了，也可能是我们还没有去接触那些最贫困的村庄（去的都是xx级示范村）-_-!! ，总之这点和以前的想象很不一样。高第没什么好说的，一笔带过。

竹坳的村长倒是个有故事的人。这是我中午偷懒先跑回集结点和他老人家闲聊时所知的。年轻时服兵役，还到过哈尔滨，绥芬河，贵阳，三亚 ...对国家的政策和形势有些独特的见解和独立的判断。这是一个很实在的人，他甚至很有信心的预言，5-10年内，农村耕地至少撂荒50%以上 ..不是危言耸听，据我们两三天的观察，现在村里老弱妇孺居多，年轻人不怎么会，也不怎么想从事农耕。不过，据说领导上已经开始在这方面想办法了。

另外一个问题，这两天，提醒了我不要从门缝里看人，不被注意的角落里也是卧虎藏龙啊。高第村，巧遇96级校友，已经是有1000亩可耕种土地的低调人士；竹坳，年入百万者，不乏其人。这告诉我们一个极其朴素的道理：在哪个城市，在哪个国家，甚至在哪个星球，只是一个形式，金庸写过的独孤求败，一柄顽铁，无人可敌。重要的是，我们是否真正拥有，把事情做好的实力或者潜质。今天暂时写到这里，新的一天任重而道远，预告一下，下个村子叫做桔花园，名字好听吧。

（本文最初发表于xiaonei.com）

R2S

江湖一散人

分类目录归档：聚类失效

Dirty Job: PDF文本提取