Bo Zhang's Homepage
..The universe is unfolding as it should..

2018-6-28

DALiuGE使用之初体验

归档于: 天文空间科学, 天文软件 @ 2:55 pm

DALiuGE是近些年来由澳大利亚的国际射电天文学研究中心牵头、针对平方千米阵第一期工程的数据体量开发的天文数据处理执行框架程序,用于数据驱动的图形化流程管理,又专门照顾了大数据时代主要由数据体量(而非运算操作本身)导致的瓶颈。近来在PHISCC 2018会议期间与参与过DALiuGE开发团队学者有所交流,回来之后就小试了一水,虽说现在对软件深层的思想还是相当的一知半解。

说来DALiuGE的名称也颇有些意思。所谓Liu,实际上就是汉字“流”的拼音而已——华人在其开发团队中占据了很大的比例。按照官方的说明,这个名字的发音应该是Da-Lieu-Gee,不过周边一票同事一直都以“大流哥”称呼之,狂汗不已……

对“流”字的官方解释如上图所示。“川”代表并行化,毕竟DALiuGE是为了解决海量数据处理问题而生的。“云”代表数据岛,“氵”代表则“滴(Drop)”化的设计思路——DALiuGE的根本思想是数据处理逻辑流程与代码实现的分离,而为此设计的图形化模型将流程中的每一个节点都视作一滴,滴可以又分为数据滴和应用滴(某项特定任务)两类。作为比较,在传统的流程图中,数据的地位只是连线而已。

其实本人的专业并非计算机相关,滴化概念看起来实在有些抽象。据同行称若非体量巨大的数据集,也实在显示不出DALiuGE的优势所在。不过由于其逻辑流程与代码实现分离,使用者其实只需关注算法的内在逻辑即可。

安装过程并不麻烦,首先保证系统中要配备有装Anaconda(当前推荐3.6版)和pip。按照官方说明,后一种软件还需要首先通过安全下载的方式获取下载脚本get-pip.py

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

然后运行get-pip.py,获取pip。pip安装完成之后,只需执行下述命令即可进行DALiuGE的安装:

pip install –process-dependency-links daliuge

这个命令会自动检验软件相关性,然后按照提示解决问题。本人的计算机还要补装一个似乎叫做MessagePack的东西:

pip install msgpack

然后再执行一遍DALiuGE的安装命令就一切OK了:

pip install –process-dependency-links daliuge

不过刚刚完成安装的DALiuGE只是一个框架,数据处理本身的程序还需要从外界导入。来自澳大利亚联邦工业与科学研究组织(CSIRO)的合作者曾经开发过一套HI数据处理原型,姑且拿来一用。这套程序自带DALiuGE驱动脚本start_lg_editor.sh,执行之,然后打开网页浏览器,在地址栏输入localhost:8084,就可以看到DALiuGE的交互式界面了:

这张初始流程图的每一个节点都是一“滴”的体现,可见其中既有操作本身(如RFI flagging),又有数据(如RFI flagged)。对流程图的修改可以直接在浏览器窗口中拖动各个节点和连线,至于下图就是胡乱规划的结果,至于它的背后能代表怎样一个过程,本人也不知道都自己做了些什么嗯……

规划好流程图并保存,点击页面最上方的“Translate”,即可将流程转化为可执行代码:

接下来……接下来本人就不清楚了……CSIRO规划的数据格式跟实际情况有较大区别,所以无法用观测结果试刀。而且现在原型程序中的代码都相当简单,必然不是最终形态。据合作者称,他们未来将计划用CASA完成各个流程的运算。所以,所以这是本人要去学习CASA基本使用的节奏了吗?

No Comments

No comments yet.

RSS feed for comments on this post.

Sorry, the comment form is closed at this time.

首页 | 天文 | 科学 | 摄影 | 模型 | CV | 版权声明 | 联系站长
京ICP备05002854号-2 Powered by WordPress Version 2.0.6
Licensed under Creative Commons Licenses

porno izle