R连接数据库有几套方案, 其实基本上就是DBI/ODBC/JDBC. 不过话说ODBC和JDBC神马的真是弱爆了. JDBC方案中那个鬼魂一般的依赖rJava, 真的是很难安装. 其实也有一种可能是AUR上的JDK打包得不好, 没能hold住R CMD javareconf的标准. 前些日子安装RWeka时专门研究过rJava的安装脚本, 卡在编译简单JNI程序这句一直不成功, 手动修改各种配置文件无果, 于是果断放弃 ...

吐槽完毕, 顺便拉回正题. 话说这PostgreSQL是伯克利出品, 基于以自己名字命名的协议发布(霸气又外露了), 有着众多优良特性. 其实我总想把这名字读成Post·GRE·SQL, 不难译为"旧GRE的结构化查询语言", 只是, 您这名字让新泽西乡下那儿一心一意革新GRE考试的大爷们情何以堪哪 ... 当然, 最后结果都是万把个英文单词乱入. 同时, 我们选择的RPostgreSQL包是GSoC 08'项目, 有R社区Dirk Eddelbuettel等众牛参与, 正牌DBI系.

另外, Bioconductor项目的用户也贡献了同为DBI系的RdbiPgSQL/pgUtils包. 酌情使用.

# For Arch Linux
# 安装PostgreSQL Server
$ sudo pacman -S postgresql
# 启动daemon
$ sudo /etc/rc.d/postgresql start
# 创建用户
$ sudo createuser -s -U postgres
# psql是个好工具
$ psql -l
# 创建数据库
$ createdb newdatabase
# 导入pg_dump文件
$ psql -d newdatabase -U postgres -f dump.sql

导入数据的速度还可以, 700多M的pg_dump文件导进去只消几分钟, 空间占用也涨到了2G+. PostgreSQL的使用问题在Arch Wiki上有详细说明. 日常管理方面, 力荐一个自由的, 同样遵守PostgreSQL协议的跨平台GUI工具pgAdmin:

sudo pacman -S pgadmin3

R部分非常容易:

require(RPostgreSQL)
# 读入driver
drv = dbDriver("PostgreSQL")
# 填写连接信息
con = dbConnect(drv, dbname = "数据库名",
user = "用户名", password = "密码", port = 5432)
# 查询语句
rs = dbSendQuery(con, statement = "SQL语句")
# 收割结果
df = fetch(rs, n = -1)
# 其实可以直接执行查询返回结果
dbGetQuery(con, "SQL语句")
# 断开连接
dbDisconnect(con)
# 释放资源
dbUnloadDriver(drv)

写数据时, 可能会遇到数据类型字符编码等等RP问题. 更多细节还是关注一下文档吧, 话说牛人们往往都是懒得写vignette的. 只有函数reference manual可读的用户你是真真的伤不起啊.

Theoretically speaking, once the proper plugin is done, your app could then be deployed under any web servers such as apache/lighthttpd/nginx, etc. Another significant advantage of Rook is, it's friendly for debugging. As Rook takes Rhttpd as the default server, you could preview your app on-the-fly, without any complicated deploying process.

Here's a test app, which implements the creative binary file visualization method described in the VizSec and Virol papers [2] and [3]. We choose to visualize the CVE-2011-0611 samples, which were retrieved from [4]. By using the Rook::File application simultaneously, we could serve static (png) files.

Load required pkgs:

1
2
3

require(Rook)
require(digest)
require(kohonen)

Write a Rook app:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

newapp = function(env) {
    req = Rook::Request$new(env)
    res = Rook::Response$new()
    res$write('Choose a Binary file to Train:\n')
    res$write('<form method="POST" enctype="multipart/form-data">\n')
    res$write('<input type="file" name="data">\n')
    res$write('xdim:\n')
    res$write('<form method="POST">\n')
    res$write('<input type="text" name="xdim" value="12">\n')
    res$write('ydim:\n')
    res$write('<form method="POST">\n')
    res$write('<input type="text" name="ydim" value="25">\n')
    res$write('ncolors:\n')
    res$write('<form method="POST">\n')
    res$write('<input type="text" name="ncolors" value="8">\n')
    res$write('<input type="submit" name="Go!">\n</form>\n<br>')
 
    myNormalize = function (target) {
    return((target - min(target))/(max(target) - min(target)))
    }
 
    if (!is.null(req$POST())) {
    data = req$POST()[["data"]]
    hash = digest(data$tempfile, algo = "md5", file = TRUE)
    destFile = file(data$tempfile, "rb")
    k = floor((file.info(data$tempfile)$size/16)) - 2
    doneFile = readBin(con = destFile, what = "raw", n = 2 * 8 * k)
    close(destFile)
    tmpFile0 = rbind(doneFile[seq(1, (2 * 8 * k) - 1, 2)], doneFile[seq(2, (2 * 8 * k), 2)])
    tmpFile1 = paste(tmpFile0[1, ], tmpFile0[2, ], sep = "")
    initMat = matrix(strtoi(tmpFile1, 16L), ncol = 8, byrow = TRUE)
    normMat = myNormalize(initMat)
    trainedSOM = kohonen::som(normMat, grid = somgrid(xdim = req$POST()[["xdim"]], ydim = req$POST()[["ydim"]], "hexagonal"))
    png(paste("/tmp/", hash, ".png", sep = ""))
    plot(trainedSOM, type = "dist.neighbours", palette.name = rainbow, ncolors = as.numeric(req$POST()[["ncolors"]]), main = "")
    dev.off()
    res$write(paste("<img src='", s$full_url("pic"), "/", hash, ".png'", " />", sep = ""))
    }
    res$finish()
}

Initialize/Run the app:

1
2
3
4
5

s = Rhttpd$new()
s$add(app = newapp, name = "visbin")
s$add(app = File$new("/tmp"), name = "pic")
s$start()
s$browse("visbin")

Firstly the app hashes the uploaded files then trains SOM models. As the training result differs each time, we may train more times to get the better one.

We use the U-Matrix to visualize the Self-Organizing Maps, The U-Matrix value of a particular unit is the average distance between the unit and its closest neighbors, then color was used to represent the value. Actually, the number of the color palette is critical, too much or too little may interfere the detection of potential cluster patterns.

There exists much more methods for dimensional reduction and visualization with R packages, you may refer to the R News (R Journal) paper [5].

It clearly shows that a cluster pattern appears in the lower right corner. It's reasonable to suspect the file was injected with some data that shouldn't be there.

The paper says it got bad results when visualizing macro viruses (embedded in Microsoft Office files). Actually, the CVE-2011-0611 sample are doc/xls files, but they are not macro viruses. They're hosts injected with harmful Adobe swf files. From this point of view, they're just like the infected executable files. So theory still applies.

A detail is, after uploading, the data$tempfile has a different MD5 with the original file, it gains extra hex 0D 0A (seems a new line) in the end. I don't quite understand how this happens. As we had deleted the last two lines of the file to form a proper matrix, the training data is not identical with the binary sample. Nothing influences for this case.

In summary, Rook connects the 3000+ available R package and web application development, just 40 lines of code were used to achieve a not-so-simple goal, it's really amazing.

References

[1] Rook - a web server interface for R.
[2] Visualizing Windows Executable Viruses Using Self-Organizing Maps, VizSec, 2004.
[3] Non-signature Based Virus Detection, Journal in Computer Virology, 2:163–186, 2006.
[4] Contagio Malware Dump. Apr. 8 CVE-2011-0611 Flash Player Zero day - SWF in DOC/ XLS - Disentangling Industrial Policy.
[5] Dimensional Reduction for Data Mapping, R News, Vol. 3/3, 2003.

1 XPath

花十分钟学习XPath语法.
熟练后可使用Firebug等调试工具直接提取. 此外, 要特别注意XML命名空间问题. (感谢yixuan提醒)

2 Douban API

花n分钟阅读"豆瓣API参考手册".
用户的评论、收藏、广播、豆邮等交互功能往往需要先进行OAuth认证, 建议阅读RFC5849以充分理解OAuth协议. 这块目前也有ROAuth包可以实现, 不过与读数据没什么关系, 此略.

3 Code

读取豆瓣电影/音乐/读书条目的API基本通用, 仅有部分字段细节的区别. 读数据时要注意缺失值和异常值的处理. 由于编码问题, 中文需要使用iconv()函数进行转码. 这里以读取一部电影的三个典型字段为例.

《僵尸肖恩》, IMDB编号tt0365748.

require(XML)
url = "http://api.douban.com/movie/subject/imdb/tt0365748"
movieItemInfo = xmlTreeParse(url, useInternal = TRUE)

名称:
iconv(xmlValue(getNodeSet(doc = movieItemInfo,
path = "//db:attribute[@name='title']",
namespaces = c("db" = "http://www.douban.com/xmlns/"))[[1]]),
from = 'UTF-8', to = '')
# [1] "Shaun of the Dead"

主演:
iconv(sapply(getNodeSet(doc = movieItemInfo,
path = "//db:attribute[@name='cast']",
namespaces = c("db" = "http://www.douban.com/xmlns/")), xmlValue),
from = 'UTF-8', to = '')
# [1] "西蒙·佩吉" "尼克·弗罗斯特" "比尔·奈伊"
# [4] "凯特·阿什菲尔德" "彼得·塞拉菲诺威茨" "迪兰·莫兰"
# [7] "露茜·戴维斯" "尼古拉·坎宁安" "基尔·米尔斯"
# [10] "马特·杰恩斯" "加文·弗格森" "霍顿·朱庇特"
# [13] "蒂姆·巴格雷" "阿尔温德·多希" "拉菲·斯波"
# [16] "索奈尔·达卓"

标签名:
iconv(xpathApply(movieItemInfo,
path = "//db:tag", xmlGetAttr, "name",
namespaces = c("db" = "http://www.douban.com/xmlns/")),
from = 'UTF-8', to = '')
# [1] "黑色幽默" "英国" "喜剧" "僵尸" "英国电影" "cult"
# [7] "SimonPegg" "恐怖"

以上, 我们针对XML文档中不同形式的结构, 组合使用了xmlValue(), getNodeSet(), xpathApply(), xmlGetAttr(), sapply()几个函数. 这些, 基本就是XML包和豆瓣API的初阶. 要实现POST数据等等进阶功能, 不妨深入研读XML包的冗长文档.

“颐和园在我家北面，假如没有北这个方向的话，我就只好向南走，越过南极和北极，行程四万余公里到达那里。”

——《革命时期的爱情》

1 剖析与Profiling

这里的"剖析"对应的单词是"profiling", 中文似乎没有词语能精准地表达出原词的内涵, 与"shell"的情况有点类似, 所以就不去刻意翻译了. 由于没有学过软件工程, 不吝先贴一段wiki上profiling的定义[1]:

In software engineering, program profiling, software profiling or simply profiling, a form of dynamic program analysis (as opposed to static code analysis), is the investigation of a program's behavior using information gathered as the program executes. The usual purpose of this analysis is to determine which sections of a program to optimize - to increase its overall speed, decrease its memory requirement or sometimes both.

要提高R程序的运行速度, 不仅仅需要剽悍的机器(单核高频, 多核并行, GPU)和高效的代码(向量化, 混合编程), 寻找程序中的性能瓶颈并进行有针对的优化也是很重要的, "找到北这个方向", 就是profiling的意义所在.

R中其实自带了几个最简单的profiling工具, 我们或多或少都接触过:

• base::system.time() —— 简陋的计时秒表
• utils::Rprof() —— 对CPU的简易profile工具
• utils::Rprofmem() —— 对内存的简易profile工具

关于这些函数的使用, 可以参看Ross Ihaka的说明[2]. 与此同时, CRAN上profr(Hadley Wickham)和proftools(Luke Tierney)两个微型包均提供了可视化Rprof()函数输出结果的能力. 但是, 这类简单的profiling只将程序拆解了到了单个R运算的层次, 没有提供更深一层, 即profiling compiled code的功能. R原生支持这个特性, 但需要在编译时对默认选项进行简单的修改[4].

2 安装Google Perftools

翻看Dirk Eddelbuettel牛在useR2010上的RhpcTutorial[3], 其中提到了Google员工开发的Google Perftools可以profiling compiled code. 试了一下, 感觉是个不错的工具, 配合kcachegrind, 还可以将结果可视化.

测试环境: Arch Linux x86_64

AUR上已有一位大人在维护google-perftools(源代码安装):

sudo yaourt -S google-perftools

Fedora:

sudo yum install google-perftools

Ubuntu:

sudo apt-get install google-perftools

不过Ubuntu/Fedora仓库中的二进制包可能比较陈旧了, 无妨直接自行编译最新版本:

svn checkout http://google-perftools.googlecode.com/svn/trunk/

在Arch x86_64下, google-perftools的默认安装路径为

/usr/bin

库文件libprofiler.so位于

/usr/lib

Google Perftools工具集中除了名为pprof的CPU profiler以外, 还提供了堆内存泄漏检测/使用情况统计等工具. 这里我们只关注pprof就可以了: 它通过CPU中断采样的方式统计每个函数被采样的次数, 占总采样次数的百分比, 调用的子函数的被采样次数等等(可以说"剖析"在此处还是比较恰当的). 最后通过这些信息寻找程序的(CPU)性能瓶颈.

3 使用Google Perftools

要和R一起使用, pprof有两种可行的运行方式, 第一种比较硬朗: 在编译选项中直接加入对libprofiler.so的引用, R在运行时就会自动加载libprofiler库:

wget http://cran.r-project.org/src/base/R-2/R-2.13.1.tar.gz
tar -xf R-2.13.1.tar.gz
cd R-2.13.1
 
export MAIN_CFLAGS="-pg"
export MAIN_FFLAGS="-pg"
export MAIN_LDFLAGS="-pg"
export LDFLAGS="-lprofiler"
# 也可显式指定路径:
# export LDFLAGS="-L/usr/lib -lprofiler"
./configure --enable-R-shlib

参数 -pg 打开R的profiling支持, 设定LDFLAGS用以连接libprofiler库.

configure完成:

R is now configured for x86_64-unknown-linux-gnu

  Source directory:          .
  Installation directory:    /usr/local

  C compiler:                gcc -std=gnu99  -g -O2
  Fortran 77 compiler:       gfortran  -g -O2

  C++ compiler:              g++  -g -O2
  Fortran 90/95 compiler:    gfortran -g -O2
  Obj-C compiler:	      

  Interfaces supported:      X11
  External libraries:        readline, ICU, lzma
  Additional capabilities:   PNG, JPEG, TIFF, NLS, cairo
  Options enabled:           shared R library, shared BLAS, R profiling, Java

  Recommended packages:      yes

结果无误, 开始编译安装:

make && sudo make install

这样, 连接了libprofiler.so的R编译成功.

第二种使用pprof的方式则相对委婉: 使用时动态预加载库文件就可以了, Dirk大人的RhpcTutorial中已经给出说明, 此略.

选取《Wringting R Extension》 3.2节中给出的一个例子进行测试:

#!/usr/local/lib64/R/bin/Rscript
suppressMessages(library(MASS))
suppressMessages(library(boot))
storm.fm <- nls(Time ~ b*Viscosity/(Wt - c), stormer, 
                start = c(b=29.401, c=2.2183))
st <- cbind(stormer, fit=fitted(storm.fm))
storm.bf <- function(rs, i) {
    st$Time <-  st$fit + rs[i]
    tmp <- nls(Time ~ (b * Viscosity)/(Wt - c), st, start = coef(storm.fm))
    tmp$m$getAllPars()
}
rs <- scale(resid(storm.fm), scale = FALSE)
storm.boot <- boot(rs, storm.bf, R = 500)

将profiling结果记录到文件:

chmod 755 profiling.R
CPUPROFILE=rprof.out ./profiling.R

这里在写R文件时用了一点点技巧, 使得它能够支持类Unix系统的Shebang特性而直接执行, 参考[7], [8].

执行完毕后, 我们即可使用pprof来分析输出的结果文件(一个二进制文件！)了. pprof可以将此文件解析成你想要的各种可读的形式. 其参数如下:

pprof --option [ --focus=< regexp > ] [ --ignore=< regexp > ]
                      [--line or addresses or functions] 可执行文件路径 结果文件路径

方括号为可选项目, < regexp >为正则表达式.

具体的选项分为几组. 其中输出格式的基本可选项为:

text, callgrind, gv, evince, web, symbols, dot, ps, pdf, svg, gif, raw, list=< regexp >, disasm=< regexp >.

text 表示字符统计输出形式, 其它均对应各自的图形格式;
list=< regexp > 表示输出匹配正则表达式的函数的源代码;
diasm=< regexp > 表示输出匹配正则表达式的函数的反汇编代码.

其他比较重要的参数:

--focus=< regexp > 表示只统计函数名匹配正则表达式的函数的采样;
--ignore=< regexp > 表示不统计函数名匹配正则表达式的函数的采样;
[--line or addresses or functions] 表示生成的统计是基于代码行, 指令地址还是函数的, 默认是函数.

这里仅输出文字型结果:

pprof --cum --text /usr/local/lib64/R/bin/Rscript rprof.out | less

结果中的前15位:

Total: 254 samples
       2   0.8%   0.8%      213  83.9% Rf_applyClosure
      24   9.4%  10.2%      213  83.9% Rf_eval
       0   0.0%  10.2%      213  83.9% do_begin
       0   0.0%  10.2%      212  83.5% do_set
       0   0.0%  10.2%      206  81.1% do_internal
       0   0.0%  10.2%      148  58.3% do_lapply
       7   2.8%  13.0%      123  48.4% Rf_evalList
       0   0.0%  13.0%      107  42.1% Rf_ReplIteration
       0   0.0%  13.0%      104  40.9% R_ReplConsole
       0   0.0%  13.0%      102  40.2% Rf_usemethod
       0   0.0%  13.0%      100  39.4% run_Rmainloop
       0   0.0%  13.0%       96  37.8% main
       0   0.0%  13.0%       92  36.2% __libc_start_main
       0   0.0%  13.0%       85  33.5% do_usemethod
       1   0.4%  13.4%       85  33.5% forcePromise

输出结果中, 每行对应着一个函数的统计:

• 第1, 2列是该函数的本地采样(不包括被该函数调用的函数中的采样次数)次数和比例;
• 第3列是该函数本地采样次数占当前所有已统计函数的采样次数之和的比例;
• 第4, 5列是该函数的累计采样次数(包括其调用的函数中的采样次数)和比例.

如果你的系统中安装了gnu-gv或evince, 即可直接即刻显示一幅无码清晰大图(ps/pdf):

pprof --gv /usr/local/lib64/R/bin/Rscript rprof.out
pprof --evince /usr/local/lib64/R/bin/Rscript rprof.out

其他几个比较常用的选项可能是

生成PDF:

pprof --pdf /usr/local/lib64/R/bin/Rscript rprof.out > rprof.pdf

生成SVG:

pprof --svg /usr/local/lib64/R/bin/Rscript rprof.out > rprof.svg

生成GraphViz所支持的dot格式:

pprof --dot /usr/local/lib64/R/bin/Rscript rprof.out > rprof.dot

当然, 要想读懂图中的内容, 从而针对某些部分进行优化, 还需要对R的底层比较熟悉才行: 最起码要了解涉及到的C函数的具体功能.

4 配合kcachegrind可视化profile结果

pprof可将输出转化为强大的Valgrind工具集中的组件Callgrind可采用的格式, 配合KCachegrind这个图形前端, 即可对结果进行简单的可视化, 能够交互哦亲:

# For Arch Linux
# sudo pacman -S kdesdk-kcachegrind
pprof --callgrind /usr/local/lib64/R/bin/Rscript rprof.out > rprof.callgrind
kcachegrind rprof.callgrind

其实看上去KCachegrid就是做了一个最普通的树可视化, 所以理论上我们其实可以用角度各异的无数种手段展示profiling结果: 就是画一棵树嘛. 不过KCachegrind中可以与图形交互, 进一步的分析很方便, 大家可以自己进一步体验.

5 其他工具(sprof和oprofile)

Writing R Extensions[6]提到另外两个可供Linuxer选择的工具: sprof和oprofile, 我没有实验, 感兴趣的同学不妨实践一下.

6 参考

[1] Wikipedia - Profiling (computer programming).
[2] Ross Ihaka. Writing Efficient Programs in R (and Beyond).
[3] Dirk Eddelbuettel. Introduction to High-Performance Computing with R. pp. 29-35
[4] R Installation and Administration. Version 2.13.0 (2011-04-13) Appendix B.1, B.7.
[5] 冯文龙. 使用google-perftools剖析程序性能瓶颈.
[6] Writing R Extensions. Version 2.13.0 (2011-04-13) pp. 69-71.
[7] Wikipedia - Shebang.
[8] shebang line not working in R script.

灌水王潮

我一直幻想着有朝一日R能够同时拥有简单的语法和C的效率, 直到今天认真看了一下Rcpp, 不懂PROTECT UNPROTECT的孩子终于伤得起了 ... 不得不承认这发了JSS的软件包还是有一定独到之处的: 谁叫人家是SCI呢, 哈哈哈哈哈哈哈. 好吧自行吐槽其实我out了 ... 关于Rcpp, 不周山上早有此文.

Rcpp的作者在文档里说在Revolution R下没测试过可能需要修改. 我用icpc替代g++倒是能编译成功, 除了中间闪过几个warning.

安装之前先建立符号链接

sudo ln -s /opt/intel/composerxe-2011.3.174/bin/ia32/icpc /bin/icpc

否则会找不到icpc.

1 Rcpp + inline

如果不是写正式的包, Rcpp + inline让一切浮云都浮云了. 最简单的例子, 来自 [1]:

require(Rcpp)
require(inline)
 
src = '
Rcpp::NumericVector xa(a);
Rcpp::NumericVector xb(b);
int n_xa = xa.size();
int n_xb = xb.size();
 
Rcpp::NumericVector xab(n_xa + n_xb - 1);
 
for (int i = 0; i < n_xa; i++)
  for (int j = 0; j < n_xb; j++)
    xab[i + j] += xa[i] * xb[j];
 
return xab;
'
 
fun = cxxfunction(
       signature(a = "numeric", b = "numeric"), 
       src, plugin = "Rcpp")
 
fun(1:3, 1:4)
# [1] 1 4 10 16 17 12

以上在Intel系编译器出来的R/Rcpp下通过.

2 Rcpp + RcppArmadillo + inline

这Armadillo是又一个线性代数库.

话说之前我一直以为这词是穿山甲的意思, 因为有个经典壳就叫Armadillo, 然后我就被Inception了. 今天一查这词的真正意思是"犰狳" ...

Armadillo在网站上说自己支持MKL和ACML. 但是用icpc编译的时候蹦了n+10086个warning, 编到最后竟然就

Error in dyn.load(file, DLLpath = DLLpath, ...) :
无法载入共享目标对象‘/home/jimmy/R/i686-pc-linux-gnu-library/2.13/RcppArmadillo/libs/RcppArmadillo.so’：:
/home/jimmy/R/i686-pc-linux-gnu-library/2.13/RcppArmadillo/libs/RcppArmadillo.so: undefined symbol: _ZN4arma12arma_version5patchE

了! 编译都通不过的孩子, 你就伤得起么 ... 《编程序的小女孩》有云:

她刚把头伸出去，想看的仔细一些，程序crash了，大显示器不见了。她坐在那儿，眼前的破显示器上一行刺眼的segment fault。

此处太过曲折, 篇幅所限略去不表. 依然是最简单的例子, 来自 [2]:

require(Rcpp)
require(RcppArmadillo)
require(inline)
 
src = '
arma::colvec x = Rcpp::as<arma::colvec> (x_);
arma::mat Y = Rcpp::as<arma::mat> (Y_ );
arma::colvec z = Rcpp::as<arma::colvec> (z_);
double result = arma::as_scalar(arma::trans(x) * arma::inv(Y) * z);
return Rcpp::wrap(result);
'
 
fx = cxxfunction(
      signature(x_ = "numeric", Y_ = "matrix", z_ = "numeric"),
      src, plugin = "RcppArmadillo")
 
fx(1:4, diag(4), 1:4)
# [1] 30

3 无题

给自己翻了个Rcpp-quickref [3], 没加颜色. 原文档里的高亮风格就不吐槽了, 同一段code snippet中serif mono各种混用难道很酷么 ...

Rcpp-quickref-cn.pdf

感觉作者挺不小心的, 括号前后的空格写得相当随意, 也许是多人共同蹂躏文档的结果 ... 有时间要研究一下RcppGSL.

4 Ref

[1] Rcpp: Seanless R and C++ Integration
[2] Frequently Asked Questions about Rcpp
[3] Rcpp Quick Reference Guide

5 无题又见无题

某天我突然冒出来一个十分惊悚的想法, 那就是去读物理, 而且方向必须是理论物理 ... 然后就被这白日梦吓醒了 ... 要知道我在大学里唯一学过一个学期的物理, 内容是刚体机械波热力学什么的, 去上过的课绝对没超过一半, 而且最后成绩是C ... 这 ... 难道是Crysis2 OST听多了么 ... 还是万有引力之虹看多了 ...

给我一万支秃笔, 让我仿黄鲁直, 削长枪大戟。
给我十千斗浊酒, 让我学李太白, 灭沧海横流。

• Ubuntu 11.04 32-bit
• R 32-bit 2.13.0
• Intel Composer XE 2011.3.174(含icc/ifort/MKL)

MKL(Intel Math Kernel Library), 号称"provides extremely well-tuned BLAS and LAPACK implementations that deliver significant performance leadership over alternative math libraries". 在特定的计算情境下会带来一定的性能提升. 记得哪里看到过Revolution R和MATLAB就有用到MKL. 这里尝试用Intel提供的C和Fortran编译器结合其MKL库编译R, 以期尽量发挥现有硬件的性能. Intel的Composer XE中自带了MKL, 而且icc/ifort基本是傻瓜化安装, 这里不再赘述.

2 编译过程

假设icc/ifort/MKL安装在默认的 /opt/intel/composerxe-2011.3.174/ 目录下.

通常我们会这样简单编译安装:

wget http://ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2.13.0.tar.gz
tar -xf R-2.13.0.tar.gz
cd R-2.13.0
./configure
make
sudo make install

这次具体指定一下参数就好了.

卸载原有的R:

sudo apt-get remove r-base
sudo apt-get autoremove

设以下为foo.sh

source /opt/intel/composerxe-2011.3.174/bin/iccvars.sh ia32
source /opt/intel/composerxe-2011.3.174/bin/ifortvars.sh ia32
source /opt/intel/composerxe-2011.3.174/mkl/bin/mklvars.sh ia32

export CC=icc
export CFLAGS="-g -O2 -wd188 -ip -std=c99"
export F77=ifort
export FFLAGS="-g -O3"
export CXX=icpc
export CXXFLAGS="-g -O3"
export FC=ifort
export FCFLAGS="-g -O3"
export ICC_LIBS=/opt/intel/composerxe-2011.3.174/compiler/lib/ia32
export IFC_LIBS=/opt/intel/composerxe-2011.3.174/compiler/lib/ia32
export SHLIB_CXXLD=icpc
export SHLIB_CXXLDFLAGS=-shared

MKL_LIB_PATH=/opt/intel/composerxe-2011.3.174/mkl/lib/ia32
export LD_LIBRARY_PATH=$MKL_LIB_PATH

OMP_NUM_THREADS=2

export LDFLAGS="-L${MKL_LIB_PATH},-Bdirect,--hash-style=both,-Wl,-O1 -L$ICC_LIBS -L$IFC_LIBS -L/usr/local/lib"

export SHLIB_LDFLAGS="-lpthread"
export MAIN_LDFLAGS="-lpthread"

MKL="-L${MKL_LIB_PATH} -lmkl_blas95 -lmkl_lapack95  -Wl,--start-group -lmkl_intel -lmkl_intel_thread -lmkl_core -Wl,--end-group -openmp -lpthread"

source一下foo.sh:

source foo.sh

下载解压和configure:

wget http://ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2.13.0.tar.gz
tar -xf R-2.13.0.tar.gz
cd R-2.13.0
./configure --enable-R-shlib --with-blas="$MKL"  --with-lapack

最后的configure结果大概会是这样的:

R is now configured for i686-pc-linux-gnu

Source directory:          .
Installation directory:    /usr/local

C compiler:                icc  -g -O2 -wd188 -ip -std=c99
Fortran 77 compiler:       ifort  -g -O3

C++ compiler:              icpc  -g -O3
Fortran 90/95 compiler:    ifort -g -O3
Obj-C compiler:

Interfaces supported:      X11
External libraries:        readline, BLAS(generic), LAPACK(in blas)
Additional capabilities:   PNG, JPEG, NLS, cairo
Options enabled:           shared R library, R profiling, Java

Recommended packages:      yes

然后

make
make check
sudo make install

Bingo.

三点说明:

1. make到中间出现找不到/usr/include/asm/errno.h的情况. 加一个符号链接, 解决:
   sudo ln -s /usr/include/asm-generic /usr/include/asm
2. 参考网站[1]给出的中CFLAGS等4处带有参数 -mieee-fp , make时过不去. 在此去掉此参数以后, make通过, 后果未知.
3. make install时提示
   

   icc -I. -I../../src/include -I../../src/include  -I/usr/local/include -DHAVE_CONFIG_H   -openmp -fpic  -g -O2 -wd188 -ip -std=c99 -DR_HOME='"/usr/local/lib/R"' -o Rscript \
   ./Rscript.c
   /bin/bash: icc: 未找到命令
   make[2]: *** [install-Rscript] 错误 127

   建立符号链接, 解决:
   sudo ln -s /opt/intel/composerxe-2011.3.174/bin/ia32/icc /bin/icc

3 性能测试

根据 AT&T Research R Benchmark 提供的 R-benchmark-25.R 和 bench.R 做了简单的性能测试, 测试主要涵盖了常用的矩阵计算.

3.1 默认安装的测试结果

= R-benchmark-25.R =

R Benchmark 2.5
===============
Number of times each test is run__________________________:  3

I. Matrix calculation
---------------------
Creation, transp., deformation of a 2500x2500 matrix (sec):  1.11666666666666
2400x2400 normal distributed random matrix ^1000____ (sec):  1.86866666666666
Sorting of 7,000,000 random values__________________ (sec):  1.323
2800x2800 cross-product matrix (b = a' * a)_________ (sec):  23.1193333333333
Linear regr. over a 3000x3000 matrix (c = a \ b')___ (sec):  18.635
--------------------------------------------
Trimmed geom. mean (2 extremes eliminated):  3.58487232845403

II. Matrix functions
--------------------
FFT over 2,400,000 random values____________________ (sec):  1.50533333333333
Eigenvalues of a 640x640 random matrix______________ (sec):  3.05366666666669
Determinant of a 2500x2500 random matrix____________ (sec):  12.1626666666667
Cholesky decomposition of a 3000x3000 matrix________ (sec):  11.2026666666667
Inverse of a 1600x1600 random matrix________________ (sec):  9.61066666666667
--------------------------------------------
Trimmed geom. mean (2 extremes eliminated):  6.90185004025158

III. Programmation
------------------
3,500,000 Fibonacci numbers calculation (vector calc)(sec):  1.67933333333336
Creation of a 3000x3000 Hilbert matrix (matrix calc) (sec):  1.09566666666666
Grand common divisors of 400,000 pairs (recursion)__ (sec):  1.77066666666667
Creation of a 500x500 Toeplitz matrix (loops)_______ (sec):  2.82166666666666
Escoufier's method on a 45x45 matrix (mixed)________ (sec):  1.90700000000004
--------------------------------------------
Trimmed geom. mean (2 extremes eliminated):  1.78323318573098

Total time for all 15 tests_________________________ (sec):  92.8720000000001
Overall mean (sum of I, II and III trimmed means/3)_ (sec):  3.53358695795615
--- End of test ---

= bench.R =

[1] "hilbert n=500"
用户  系统  流逝
0.604 0.016 0.657
用户  系统  流逝
0.492 0.040 0.531
用户  系统  流逝
0.508 0.024 0.533
[1] "hilbert n=1000"
用户  系统  流逝
3.480 0.140 3.624
用户  系统  流逝
2.768 0.108 2.879
用户  系统  流逝
2.904 0.128 3.037
[1] "sort n=6"
用户  系统  流逝
0.536 0.036 0.568
用户  系统  流逝
0.548 0.020 0.569
用户  系统  流逝
0.544 0.024 0.568
[1] "sort n=7"
用户  系统  流逝
6.921 0.232 7.161
用户  系统  流逝
6.840 0.184 7.034
用户  系统  流逝
6.989 0.184 7.212
[1] "loess n=3"
用户  系统  流逝
0.084 0.000 0.188
用户  系统  流逝
0.080 0.000 0.081
用户 系统 流逝
0.08 0.00 0.08
用户  系统  流逝
0.080 0.000 0.079
用户  系统  流逝
0.080 0.000 0.081
[1] "loess n=4"
用户  系统  流逝
7.120 0.004 7.125
用户  系统  流逝
7.113 0.000 7.119
用户  系统  流逝
7.100 0.000 7.109
用户  系统  流逝
7.109 0.000 7.116
用户  系统  流逝
7.112 0.000 7.119

3.2 icc+ifort+MKL编译的测试结果

= R-benchmark-25.R =

R Benchmark 2.5
===============
Number of times each test is run__________________________:  3

I. Matrix calculation
---------------------
Creation, transp., deformation of a 2500x2500 matrix (sec):  1.00633333333333
2400x2400 normal distributed random matrix ^1000____ (sec):  1.07333333333333
Sorting of 7,000,000 random values__________________ (sec):  1.22766666666667
2800x2800 cross-product matrix (b = a' * a)_________ (sec):  2.14133333333334
Linear regr. over a 3000x3000 matrix (c = a \ b')___ (sec):  1.248
--------------------------------------------
Trimmed geom. mean (2 extremes eliminated):  1.180347511679

II. Matrix functions
--------------------
FFT over 2,400,000 random values____________________ (sec):  1.34566666666667
Eigenvalues of a 640x640 random matrix______________ (sec):  1.496
Determinant of a 2500x2500 random matrix____________ (sec):  1.53566666666667
Cholesky decomposition of a 3000x3000 matrix________ (sec):  1.47066666666667
Inverse of a 1600x1600 random matrix________________ (sec):  1.59333333333333
--------------------------------------------
Trimmed geom. mean (2 extremes eliminated):  1.50054007982371

III. Programmation
------------------
3,500,000 Fibonacci numbers calculation (vector calc)(sec):  1.42833333333333
Creation of a 3000x3000 Hilbert matrix (matrix calc) (sec):  1.348
Grand common divisors of 400,000 pairs (recursion)__ (sec):  1.77033333333334
Creation of a 500x500 Toeplitz matrix (loops)_______ (sec):  2.34466666666667
Escoufier's method on a 45x45 matrix (mixed)________ (sec):  1.211
--------------------------------------------
Trimmed geom. mean (2 extremes eliminated):  1.5049595832868

Total time for all 15 tests_________________________ (sec):  22.2403333333333
Overall mean (sum of I, II and III trimmed means/3)_ (sec):  1.38652416123196
--- End of test ---

= bench.R =

[1] "hilbert n=500"
用户  系统  流逝
0.280 0.032 0.289
用户  系统  流逝
0.292 0.032 0.169
用户  系统  流逝
0.296 0.036 0.169
[1] "hilbert n=1000"
用户  系统  流逝
1.440 0.140 0.971
用户  系统  流逝
1.356 0.124 0.842
用户  系统  流逝
1.276 0.140 0.834
[1] "sort n=6"
用户  系统  流逝
0.408 0.024 0.461
用户  系统  流逝
0.416 0.016 0.431
用户  系统  流逝
0.408 0.024 0.430
[1] "sort n=7"
用户  系统  流逝
5.512 0.216 5.740
用户  系统  流逝
5.437 0.260 5.704
用户  系统  流逝
5.504 0.192 5.703
[1] "loess n=3"
用户  系统  流逝
0.060 0.000 0.128
用户  系统  流逝
0.052 0.000 0.051
用户  系统  流逝
0.052 0.000 0.051
用户  系统  流逝
0.048 0.000 0.051
用户  系统  流逝
0.052 0.000 0.050
[1] "loess n=4"
用户  系统  流逝
8.897 0.016 4.560
用户  系统  流逝
9.184 0.004 4.607
用户  系统  流逝
9.141 0.008 4.585
用户  系统  流逝
9.204 0.008 4.621
用户  系统  流逝
9.209 0.004 4.619

针对 R-benchmark-25.R 的15项测试结果绘制barchart一张. 在部分情况下, Intel编译器和数学库的组合反较默认编译慢, 绝大部分项目icc/ifort/MKL都较默认编译有一定的性能提升, 在5个项目上远远超出默认库的性能(系MKL所致).

4 主要参考

1. Building R-2.8.0 with Intel Compiler Suite 11.0 (icc 11, ifort 11, MKL 10)

2. Compiling 64-bit R 2.10.1 with MKL in Linux: The rationale for compiling R using the Intel Math Kernel Library

3. 《R Installation and Administration Guide》 Appendix A.3.1.4

4. Intel MKL参数选择工具

5 结语

自行编译需谨慎, 本人又属linux菜鸟, 不能保证以上设定都是正确和最优的, 且GNU和Intel两家的货混用, 很有可能出问题. 如果因为追求一点速度导致计算结果有误, 都懂的.

6 已知问题

q("no")以后无响应, 需要强制退出.

Chromium是Google Chrome开发版的名称, 这东西每天发布20来个更新版本是正常现象. 故有"好事者"写了名为Nightly Chrome Updater的Chrome扩展, 更有甚者, 制作了专用GUI工具来检查和下载更新 ... 不过 .. 用R中的基础函数写一段脚本来做这个简单工作是再好不过了. 想想每次开R时加载一段脚本自动更新Chromium, 有益身心健康 ...

trunkURL = 
"http://build.chromium.org/f/chromium/snapshots/chromium-rel-xp/"
tmpDir = getwd()
appDir = gsub('Application Data', 
	'Local Settings/Application Data/Chromium/Application/', 
	Sys.getenv("APPDATA"))
rmDir = list.files(path = appDir, pattern = "\b\d")
download.file(paste(trunkURL, "LATEST", sep = ''), 
		paste(tmpDir, "/LATEST", sep = ''), 
		quiet = TRUE)
versionNum = readLines(
		paste(tmpDir, "/LATEST", sep = ''), 
		warn = FALSE)
unlink(paste(tmpDir, "/LATEST", sep = ''))
download.file(
		paste(trunkURL, versionNum, 
		"/mini_installer.exe", sep = ''), 
		paste(tmpDir, "/mini_installer.exe", sep = ''), 
		mode = "wb")
shell.exec(paste(tmpDir, 
		"/mini_installer.exe", sep = ''))
Sys.sleep(30)
try(unlink(paste(appDir, rmDir, 
		sep = ''), recursive = TRUE))
try(unlink(paste(tmpDir, 
		"/mini_installer.exe", sep = '')))

这个mini_installer.exe事实上是一个自解压静默安装程序, 用7-Zip可以打开瞧瞧. 但它不会清理原有程序所在目录, 所以清理临时文件和原有程序目录的任务正好就交由脚本完成了. R中的DLL.version()函数要是支持提取DLL中指定字段的信息就好了, 因为Chromium的版本信息是写在chrome.dll中的, 那样就可以先比较当前版本号再判断是否有必要更新了, 残念 ......

写完了发现毫无技术含量, 而且是简单到令人发指的程度了 ... 当然, 我们可以经过深思熟虑往里加if并包装成函数 ... 改改还可以跨平台, 不过我只会在Win下用, 因为Debian什么的用apt三两句就搞定, 而其他*nix-like系统写shell脚本最简单.

再做个GUI程序就理想了.

OAuth以降, 第三方client需要在授权时接触明文密码的问题解决了. Twitter在今年8月开始强制推行OAuth授权方式. 对此, R中的twitteR包作者Jeff Gentry却在最新的文档中叫苦不迭:

The old Twitter authentication mechanism is being removed in August 2010 in favor of OAuth. As of this writing there is not an OAuth solution for R, so unless someone (or myself) writes such a beast you will not be able to access any authenticated aspects of Twitter. Many functions that you might be familiar with using will no longer work properly, if at all. These have been set to be defunct.
Also not that it is not simply a matter of having an OAuth interface, but also that Twitter's usage of OAuth is very tied to having stable applications as opposed to scripts being written. There are currently various potential workarounds for this that I'm looking into.

看来自从授权方式改为OAuth之后, 大部分写好的功能都极其华丽丽的失效了. 我没有读过OAuth规范, 不过个人认为, 实现OAuth的一个难点在于需要用户在浏览器中进行一步通过授权的操作. 而其他的token生成, 取回token之类的, 对于开发者都是些简单问题而已. Stack Overflow上就曾经有人问在R中怎么进行OAuth授权的问题, 有人说不妨尝试用Quick and Dirty的方式, 其实, 这个答案也很Quick and Dirty啊.

从这个角度出发, 就我的感觉, 从技术上讲, client开发大概可以分为以下3种情况:

1. Web开发, 如php. 客户端本身就是在浏览器里干活, 很容易实现, 且可以借鉴现成代码;
2. 编译型语言的桌面开发, 如C. 可以通过在客户端内调用浏览器组件实现认证, 对用户很友好, 且有现成的lib, 实现较容易;
3. 脚本语言的桌面开发, 如Python和R. 除非写很suck的GUI client, 否则基本不可能在客户端内调用浏览器. 这时就可以分出两种处理方式:
   • 打开(或让用户手动打开)浏览器, 然后授权获取token, 让用户手动粘贴过来, 整个过称很怪异, 很不友好;
   • 祭出神器cURL(libcurl)处理.

这里忽略情况1和情况2, 专注于情况3. 情况3的第一种处理方式非常不友好, 但是这也是一些现有示例的处理方式, 如Python. -_-!! 而第二种处理方式的技术难度非常高, 因为天知道那个授权页面是不是用了一些cURL容易处理的方式写成的, 比如授权页面里包含了一些ajax或是其他的什么东西, 完全依赖于开放API的网站有没有考虑到这一点了. 当然, 这是我的个人看法, 这些问题对于大牛也许都不是问题吧. 当然, 如果能使用第二种处理方式, 是再好不过了, 简直完全不亚于情况2. 不过我想没有真正的最终用户去用这种纯命令行的client, 基本都是开发人员用. 以上那些所谓的友好不友好的标准, 也都是针对会用哪一种client做事的用户群而言的, 莫要细究.

回到开始的TwitteR话题. 一位日本人在最近写了一些关于在R中怎么进行OAuth授权的东西, 当然, 仅仅是针对Twitter的. 他的Slides在这里可以看到. 相关的R代码在GitHub上. 由于我没有研究过这个网站的API, 所以不知道他最后实现的是不是我所谓的第2种方式, 单纯从代码上看起来还是比较像的. 希望Jeff看到这些能够有动力把包里的大部分函数更新一下 ...

同时也期待Duncan Temple Lang这些牛人们早日给R做一个标准的OAuth包吧.

这里是我制作的《R-Forge User's Manual》中文版本, 只有短短几页, 简单看过之后即可上手.

文档来源:
http://r-forge.r-project.org/scm/viewvc.php/doc/Manual/?root=site&pathrev=147

编译说明:
为了使用效果更加稳健的中文字体, 我改造了源文件, 使用XeLaTeX编译. 当然, 你还得有相应的字体.

关于译文:
我不熟悉SVN, 所以可能有些名词译得不对, 希望看出的同学不吝指出, 我会立即修正, 先行谢过.

Download:
[Manual, PDF, 279KB]
[Source, Gzip, 13KB]