Data Avenue

Mi a Data Avenue?

A Data Avenue egy olyan tároló menedzsment szolgáltatás, amely lehetővé teszi a különböző típusú tárolási források (beleértve S3, sftp, GridFTP, iRODS, SRM szerverek) elérését egy egységes felület segítségével. A rendelkezésre álló REST API lehetővé teszi az összes tipikus tárolási műveletet, mint például mappák/bucketek készítése, fájlok/mappák átnevezése vagy törlése, fájlok feltöltése/letöltése, fájlok/mappák másolása vagy áthelyezése a különböző tárolási erőforrások között, akár egyszerűen a "curl" parancs használatával a parancssorból. A DataAvenue automatikusan lefordítja a felhasználók REST parancsát a megfelelő tárolási protokollokra, és kezeli a hosszú távú adatátvitelt a háttérben. Ebben a bemutatóban létrehozunk egy klasztert, amely két csomóponttípust tartalmaz. A DataAvenue csomóponton a DataAvenue alkalmazás fog futni, és egy előre meghatározott számú tárolási csomóponton (storage node) pedig egy S3 tároló fog futni, hogy képesek legyünk kipróbálni a DataAvenue fájlátviteli szoftvert, mint például bucketek létrehozását, a fájlok letöltését vagy másolását. Ceph és Docker komponenseket használtunk fel a klaszter felépítésére.

További információkért látogasson el a Data Avenue hivatalos weboldalára: https://data-avenue.eu/

Publikációk:

• Hajnal A., Nagy E., Kacsuk P. and Marton I.: Data Migration for Large Scientifc Datasets in Clouds, Azerbaijan Journal of High Performance Computing, Vol 1, Issue 1, pp. 66-86, (2018)
• Hajnal Á, Márton I, Farkas Z, Kacsuk P: Remote storage management in science gateways via data bridging, CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE 27:(16) pp. 4398-4411. (2015)
• Hajnal, A., Farkas, Z., and Kacsuk, P.  Data Avenue: Remote Storage Resource Management in WS-PGRADE/gUSE, 6th IEEE International Workshop on Science Gateways (IWSG), pp. 1–5, 2014
• Hajnal Á, Farkas Z, Kacsuk P, Pintér T: Remote Storage Resource Management in WS-PGRADE/gUSE. In: Kacsuk P (szerk.)Science Gateways for Distributed Computing Infrastructures: Development Framework and Exploitation by Scientific User Communities. 301 p. Cham (Németország): Springer, 2014. pp. 69-81. (ISBN:978-3-319-11267-1)