这是Springer Statistics and Computing丛书中《Graphics of Large Datasets: Visualizing a Million》一书的第11章. 内容是对InfoVis 2005会议竞赛单元所提供数据集的可视化和分析. 作者之一的Martin Theus也是R的交互式图形包iPlots和R的Java GUI前端JGR的作者.

单独将这章提出来的原因是, 一般相关书籍和资料比较偏重理论, 例证比较零散, 不够系统, 往往缺乏对现实数据集完整的分析. 这样贴近现实而详尽的材料相对难得.

半年前做了一部分, 这两天放假又整理了一下就放上来了. 图形提取自原书电子版, 在内容和版式上尽力保持了原书风貌.

值得一提的是, 竞赛结果中位列1st的两队之一是来自IAState的Heike Hofmann, Hadley Wickham, Dianne Cook, Junjie Sun, Christian Röttger, 而本书的三位作者之一是Heike Hofmann. 本书也是本章的两位作者所在队位居2nd.

PDF, 3.3 MB

我们首先绘制图1, 点的半径大小代表震级的高低. 点的半径越大, 震级越高. (数据附文后)

图1 震级的大小

然后绘制图2, 点的透明度高低代表震源的深度, 点的透明度越靠近完全不透明 (完全不透明的红色为#FF0000FF), 表示震源深度越浅.

图2 震源的深度

事实上, 三张图的区别极小, 区别就在于绘图参数中bg和cex两个参数的不同.

图3 震级的大小及震源的深度

值得注意的是, 我发现, 使用透明度区分颜色(震源深度)而不是使用纯粹的渐变色(如黄色到红色)区分颜色的一个特点是, 点在叠加的部分会显示得更“深”更“亮”, 在颜色上的体现也就是更加的不透明. 如果你的显示器性能足够强悍, 对比度足够高, 那么可能相对分辨得比较清楚(虽然硬件因素在这个特例中不是很重要, 但这个特性的确是与硬件有一定关系的). 如果效果不是特别明显, 你仍然可以尝试调整一下显示器和眼睛的角度: 将(笔记本的)显示器放得非常平(几乎与视线平行). 你会发现, 其他点都已经变得与底色区别不大的时候, 图3正中偏左下部分(即青海玉树地区)以及一些有叠加的地区呈现一种更深的黑色. 而且, 这种性质与有叠加区域所在的图中位置, 即人们具体视角的关系很小, 不信你可以把图3上下部分互换一下. 至于叠加会产生这种效果的深层次原因, 我想应该是对应着一个光学上的某种简单原理(应该早有人提出了), 但是具体的原理如何表达, 我不得而知, 不过我猜想应该是透明度(alpha)有一种可以累加的性质吧.

当然, 这种不同透明度的叠加几乎没有什么意义, 因为两次不同地震的震源深度数据相加是没有什么意义的. 最多能够给人们一个大致的印象, 那就是哪里的地震发生比较频繁. 当然, 如果你愿意的话, 也可以理解成, 同一个地方发生了那么多次地震, 以破坏力累计, 相当于震源深度越来越浅了.

抛开叠加的因素, 以颜色的透明度区分单独看起来还有点意义, 那就是震源深度浅(透明度较低), 破坏性强的地震将更吸引眼球, 换个最贴切的词就是更Significant一些.

我们说, 如果有这样一个数据集, 满足: 1. 能够稍微让点在空间上散开一些, 至少让我们可以较好地区分开不同的点; 2. 透明度不同的颜色序列的间隔再大一些, 也就是不同透明度之间的区别更明显一些, 那么使用这种透明度的渐变我觉得可能还是有点意思的.

我的另外一个观点是, 从根本上讲, 很遗憾, 虽然不能算是严重的误导, 但这种点的大小和颜色的区别并不能够让我们产生完全理性的认识, 而最多只能算是一种示意和参考. 也就是说, 这种表示方法本身就是有问题的. 我们知道, 震级的表示是取了对数的, 也就是说, 震级每增长一级, 释放的能量将增长超过一个数量级, 约为上一级释放能量的30多倍. 图中并没有一个量能够完美地体现这一点, 让人更无奈的是, 我觉得人们对点的半径大小和面积的感知可能还存在着敏感与不敏感的问题等等. 由于我实在是不懂可视化, 就不再继续痴人说梦了.

附

点击下载文中使用的数据

附1. 数据说明

数据条目: 354

时间跨度: 2010年3月23日-4月23日

经纬度范围: 31°-39°N, 94°-103°E

震源深度单位: Km

震级度量: 面波震级Ms

数据来源: 国家地震数据共享中心

为了可以直接执行下面的R命令, 解压后, 将data.csv放入R的工作目录. 这个目录在Windows环境下一般是:

X:Documents and SettingsYour User NameMy Documents

附2. 绘图过程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# Required Packages:
# sp/rgdal/RgoogleMaps
# Data Proc.
markerdata <- read.csv("data.csv")
boundingbox <- qbbox(lon = markerdata[, "lon"], lat = markerdata[,
    "lat"])
EQMap <- GetMap.bbox(boundingbox$lonR, boundingbox$latR,
    destfile = "EQ.png", maptype = "satellite", zoom = 6)
dep <- as.vector(markerdata$dep)
# Plot begin
# Radius = Ms
result1 <- PlotOnStaticMap(EQMap, lon = markerdata$lon,
    lat = markerdata$lat, pch = 21, bg = "red", cex = markerdata$ms,
    col = "black", verbose = 0)
Sys.sleep(3)
# Color = Depth
result2 <- PlotOnStaticMap(EQMap, lon = markerdata$lon,
    lat = markerdata$lat, pch = 21, bg = dep, cex = 1, col = "black",
    verbose = 0)
Sys.sleep(3)
# Fig 1/2 Hybrid
result3 <- PlotOnStaticMap(EQMap, lon = markerdata$lon,
    lat = markerdata$lat, pch = 21, bg = dep, cex = markerdata$ms,
    col = "black", verbose = 0)
# End

附3. 颜色透明度使用的简要说明

观察数据得震源最大深度25km, 最小深度1km. 生成一个长度为25的向量, 最小值15, 最大值255. 以此向量作为rgb()函数的参数alpha(透明度), R=255, G=0, B=0.

在R中生成上述颜色:

1
2

alpha <- seq(15, 255, 10)
x <- rgb(255, 0, 0, alpha, maxColorValue=255)

向量x中存储了25种颜色的16进制表示(每个元素大致是"#FF00000F"这样的形式). 我们得到的25种颜色如图4所示.

图4 alpha值不同的25种红色

这里提一句, 点的缩放参数cex直接使用了Ms震级数据, 在其他图中为了看得更清楚或许需要做一个线性变换, 我觉得在这张图里直接用震级数据作为参数cex就差不多了.

我不懂数据框和向量操作, 所以直接将生成的颜色向量换入了上面的数据, 你可以通过代码实现. 最后解释一下标题, 其实标题本身是没有什么意义的, 《小径分岔的花园》是博尔赫斯的一个短篇, 代表了我的R绘图零基础在昨天做图时的蜿蜒曲折和无语之极 ..

图1 2010年2月青海地区地震分布

图2 2010年3月青海地区地震分布

图3 2010年4月青海地区地震分布

童鞋们对比一下2、3月份与4月的分布概况图, 不难辨识出青海省玉树藏族自治州的位置. 4月的数据截至22日, 图中所示的经纬度范围约为: 31°-39°N, 94°-103°E. 灾难无情, 愿那些已在天堂的人们安息.

我一向很崇拜那些做可视化的人们, 至少那么多复杂的图形控制参数是难倒我了. 吾生性迟钝, 只能隐约感觉到, 可视化方法在过去, 现在和未来探索某些尚未发现深层次规律问题时, 都是一个极其重要的方法.

最近有一种说法是, 京津地区将在某某天发生破坏性地震, 据说还是某些位神人日观天象偶然看到了一种特殊的云而得出的结论, 和人教社的初中语文课文中所谓的“看云识天气”颇有几分相似. 我们暂且不说这种说法的来源有多不靠谱, 首先, 且看这种说法的一个重要论据是, 有xx次国内外的破坏性地震之前, 天空中都出现了特殊形状的云. 但是, 这样的论据显然是文不对题的. 实际上, 正确的论据应该指出, 在多少出现了这种云的情况下发生了破坏性地震. 以贝叶斯的观点看, 这两个概率没有确定的关系, 也无法相互替代. 其次, 在我看来, 这种提法在统计中最多只能算是一种假设，即使经过严格的检验, 也不能断定其成立. 而且, 这个假设描述非常模糊, 以致几乎无法加以有效的检验. 再次, 有些人说, 出现了某种云, 导致发生了地震, 实际上是提出了一个因果模型: 出现某某云 → 发生地震. 对初等的数理统计知识有所了解以后, 我们就会知道, 用统计方法建立一个因果模型是一件多么困难的事情, 何况是这种要数据没有, 样本量更小到可以忽略的情况. 我的概率论学得不好, 数理统计也还没入门, 多说无益, 就不再斗胆细究了. 不过, 我所知道的一个情况是, “预言”这件事情其实有点像押宝, 言中了算运气好, 就算没言中, 也只是被人逐渐淡忘而已. 但从道德角度讲, 对于一些缺乏独立思考能力和精神的人来说, 这大抵可以算得上是一种伤害. 关于这类问题一个有趣的例子, 可以参考[3]中对青少年问题的探讨.

扩展阅读

[1] 从实例看RgoogleMaps包的使用

[2] 《最近一周中国及周边版图地震情况》之卫星地图版与动画实现

[3] 王小波. 摆脱童稚状态. 读书, 1993, 6.

        ——P. Erdos

即日启程, 在接下来几天没有网络的日子里, 我深信亲情能够温暖人心. 临行前突然又想写点东西. 标题的前半句出自《圣经》, 后半句与本文有点关系, 似乎还是王小帅一部电影的英文名. 中间还少了一环, 这环就是数学. 大神P.Erdos[1] 不太相信上帝, 但他相信世界上有一本超穷的“天书”(The Book), 那里包含了所有数学定理最简洁、最漂亮、最优雅的证明. 他对一个证明的最高赞誉就是:

It is from The Book!

按照God→Math→Love的逻辑, 爱亦应有自己的数学表述. 有了数学表述自然要可视化一下. 笛卡尔心形线令人心碎的爱情故事不知其真实程度, 不过确实够浪漫的. 不过这隐函数都学完了还画心形线就太out了, 今天咱也浪漫一把, 画个隐函数方程生成的三维心. 不知此图能否有幸入选The Book的图形部分?

图1: MATLAB生成三维心形

原始方程:

自己画一个?

1
2
3
4
5

[x,y,z]=meshgrid(linspace(-3,3,120));
f=(x.^2+(9*y.^2)./4+z.^2-1).^3-((9*y.^2).*(z.^3))./80-(x.^2).*(z.^3);
p=patch(isosurface(x,y,z,f,0));
set(p, 'FaceColor', 'r', 'EdgeColor', 'n');
daspect([1 1 1]);view(3);camlight('right');lighting phong

[1] P.Erdos (1913-1996), 当代最伟大的数学家之一, 他一生中同485位合作者发表了1475篇数学论文. Erdos的研究领域主要是数论和组合数学, 但他的论文中涵盖的学科有逼近论、初等几何、集合论、概率论、数理逻辑、格与序代数结构、线性代数、群论、拓扑群、多项式、测度论、单复变函数、差分方程与函数方程、数列、Fourier分析、泛函分析、一般拓扑、代数拓扑、统计、数值分析、计算机科学、信息论等等. 美国数学学会(AMS)的《数学评论》杂志曾把数学划分为约六十个分支, Erdos的论文涉及了约40%.

斯人已逝, 思想长存.

2010年春节前

雪夜哈尔滨

RgoogleMaps是SenseNetworks公司的Markus Loecher于2009年5月开始编写的一个R包. 此包的用途是把已有坐标数据作为一个个点自动打到从Google Maps上抓取的卫星地图上，好处是省去了人工计算抓取图片的参数和手动抓取、手动调整、打点的麻烦. 换句话说，现在我们只要在R中准备好经纬度数据再调用几个简单的函数就能画出一张 ( 至少从表面上看 ) 比较漂亮的图了 ( 其实也没这么简单 ).

话说敝人有去GIS选修课上睡过几次，奈何所学未有涉及地理专业，叙述方面难免缺失，只要大家能看懂就好了. 

准备工作

下载安装或读入以下R包：

sp

RgoogleMaps

rgdal （若需生成PNG格式图片）

ReadImages（若需生成JPEG格式图片，还要安装 libjpeg）

接着，前往以下网址申请一个Google Maps的API key. 至于API是什么，我想就不用解释了，不知道的童鞋可以去Google上百度一下.

http://code.google.com/apis/maps/signup.html

图1: Google Maps API 申请页面

阅毕许可协议，勾选 I have read and agree with the terms and conditions 即可获得一个Google Maps的API key. 将此API key（一长串的数字字母符号混合物）写入一个文本文档，保存为：

X:Documents and Settings你的用户名My Documents/API.key.txt

然后，将格式各异的原始数据处理为一个你我会读取的格式. 这里以我国地震监测部门四川台网所测定的2008年全年32640次地震震源的经纬度数据为例. 经过删减和规范，我们得到了一个体积与pattern俱佳的CSV文件，设其为data.csv.  点此下载

此包工作流程大致描述如下：

获得经纬度数据
↓

通过计算确定抓取图片所需参数

↓

访问Google服务器抓取和生成图片

↓

根据经纬度数据在图片上打点并输出

开工

markerdata<-read.csv("data.csv")

# 读取数据赋给对象markerdata. markerdata的作用有二：辅助确定抓取图片的参数；作为所打点的坐标.

boundingbox <- qbbox(lon = markerdata[,"longitudes"],

lat = markerdata[,"latitudes"])

# 通过对给出的经纬度数据进行简单的数学运算，确定要抓取图片的边界及中心经纬度数值，赋给对象boundingbox. 感兴趣的同学可以在R中直接输入qbbox看下作者的算法.

EQMap <- GetMap.bbox(boundingbox$lonR,
boundingbox$latR, destfile = "2008_SiChuan_EQs.png",
maptype="satellite", zoom=6)

# 显示出抓取图片的URI之后，即开始从Google的服务器上下载图片. 受Google的卫星图片数据本身的限制，图片的最大也是默认大小为640x640. 要是有某种高级卫星的数据就 …哈哈 .. 值得一提的是，如何设置缩放级别即参数zoom的值是一个值得斟酌的问题，zoom值太小时是大全景，打点时点都聚在一起看不清，zoom值太大了图像拉的太近待会打点时又无法打全.

图2: 抓取的原始图片

# p.s. 我做到这步总是有一个 Warning：

# In readGDAL(destfile, silent = TRUE) : GeoTransform values not available.

# 不过倒是能够正常完成抓取，不知何故，在此求高人解答.

result <- PlotOnStaticMap(EQMap,

lon=markerdata$longitudes, lat=markerdata$latitudes,

pch=20, cex = .1, col='red', verbose=0)

# 在已经读好的图片上打点. 其余的参数大家可以根据文档和自己的需要进行挖掘，如生成灰度图等. 参数verbose如果不为0，就会在绘图后给出若干行文字信息. 文档里清一色地解释为”level of verbosity”, 不知其具体意思，同求高人解答.

图3: 最终结果图

附：作者给出的示例

Coso地区位于美国的南加州，是美国第二大的地热发电厂所在地. geomapdata包中的cosomap.RData文件包含了该地地热区的断层等地质情况信息. 为了方便大家练手，此数据亦可在我这里下载.

首先，用R读入cosomap.RData. 接下来:

bb<-qbbox(lon=cosomap$POINTS$lon-360,

lat=cosomap$POINTS$lat)

# 注意这里需要对不满足Google Maps规定格式的原始经度数据进行简单换算.

MyMap<-GetMap.bbox(bb$lonR, bb$latR,

destfile = "Coso.png", maptype="satellite",zoom=11)

# 抓取图片，缩放级别为11，类型为默认的卫星地图. 除此之外，还有mobile, terrain, hybrid等地图类型.

tmp<-PlotOnStaticMap(MyMap,

lon=cosomap$POINTS$lon-360,lat=cosomap$POINTS$lat,

pch=20,cex = .5,col='red', verbose=0)

# 在图片上打点.

图4: Coso地区的断层分布

参考文献及网站

[1] Plotting on Google Static Maps in R
[2] Overlays on Google map tiles in R
[3] R for beginners 中文版
[4] 最近一周中国及周边版图地震情况
[5] 中国国家地震科学数据共享中心