随着数字化数据馆藏的不断增长,数据管理面临着新的挑战。宇宙图片、仿真“虚拟地震”等数字化数据不断产生,其所需要的存储空间甚至是国会图书馆所有馆藏图书数字化后的几倍。
SDSC(San Diego Supercomputer Center)是世界上著名的数据技术公司,它推出了开源iRODS(the open-source Integrated Rule-Oriented Data System)0.5版数据管理系统,这是一种分布式的数据管理系统。iRODS数据网格系统融合了近10年来 SDSC资源保存代理(Storage Resource Broker ,SRB)在数据网格、数字图书馆、永久保存和实时数据系统中应用的经验,并有所超越。
“数据管理并不是一个单一的任务,而是一系列复杂的、相互关联的任务。iRODS可以为用户完成整个数据管理过程。”
通过iRODS,科研人员可以从实时传感器网络中摘取数字化数据,可以有效地管理这些数据,并从中抽取出描述信息,可以与合作者之间安全的共享这些数据,可以将其发布在数字图书馆中,并最终长期保存这些数据。