KNAW

Research

Cracking a Scientific Database

Pagina-navigatie:


Update content


Title Cracking a Scientific Database
Period 08 / 2006 - 12 / 2009
Status Completed
Research number OND1339110
Data Supplier NWO

Abstract

Database management systemen zijn slecht toegerust voor de ondersteuning van peta-byte databases en complexe gespreide query verwerking. De Pinwheel project richt zich het verdiepen van wetenschappelijke en technologische kennis op de volgende deelterreinen: -Cracking de database, het continue opdelen van de database in brokken om lokale wetenschappelijke verwerking te verbeteren. Parellel hieraan worden te kleine brokken weer samengevoegd en wijzigingen verspreid over de gebruikersgemeenschap. -Cracking de queries, het opdelen in een aantal afhankelijke stappen om betere sturing te geven aan het datamining process en wetenschappelijke data exploratie. Het project is georganiseerd rond een experimentatie platform waarop twee wetenschappelijke astronomische databases worden geinstalleerd: de Sloan Digital SkyServer (USA) en Astro-Wise (Neth). De eerste is een veelgebruikte database catalogus applicatie, de ander een nieuw prototype database workflow applicatie gebaseerd op Python scripts en Grid-gebaseerde dataverwerking. Het platform wordt gerealiseerd met ons open-source database systeem MonetDB, wat ook de context biedt voor verspreiding van de software. Scientific data management challenges the capabilities offered by database systems, both in terms to deal with peta-byte data volumes and to facilitate scalable and complex query interaction in a distributed setting. The Pinwheel project aims to push the science and technology envelope in the following areas: - Cracking a database continuously into portions to improve local derivation of new scientific data. The complementary action is to fuse portions in a timely manner to facilitate information sharing within a science community. - Cracking the query tasks into a sequence of (interdependent) sub-queries to steer scientific data mining algorithms and to interactively explore science data. The sub-queries are controlled by user interest, anticipated results, and the resource costs. The project intends to reach its goals studying an experimentation platform based on two mature scientific databases taken from Astronomy: the Sloan Digitial SkyServer (USA) and Astro-Wise (Neth). The former is a widely used database catalog application. The latter a novel prototype database workflow application based on Python scripts and Grid-based data refinement. The platform is realized with our open-source system MonetDB, which provides the context to disseminate software results.

Related organisations

Related people

Project leader Prof.dr. M.L. Kersten

Go to page top
Go back to contents
Go back to site navigation