Big Data feldolgozás teljesítményének vizsgálata hibrid felhőkörnyezetben: fájlformátumok és sávszélesség hatása

Abstract

A tanulmány azt vizsgálja, hogyan befolyásolja a fájlformátum-választás (CSV, Parquet, ORC) a lekérdezések teljesítményét hibrid felhőkörnyezetben, ahol az adatok hagyományos adatközpontban kerülnek tárolásra, a feldolgozás pedig felhőben történik. A TPC-DS benchmark alapján méréseink azt mutatják, hogy az oszlopalapú formátumok több mint 88%-kal csökkentik a végrehajtási időt, és akár 96%-kal az adatátvitelt a CSV-hez képest. Az eredmények rámutatnak arra, hogy a fájlformátum-választás nemcsak a tárolási hatékonyságot, hanem a hálózati terhelést is érdemben befolyásolja, különösen elosztott, hibrid környezetekben.

This study examines how file format selection (CSV, Parquet, ORC) impacts query performance in a hybrid cloud environment where data remains on-premise while processing occurs in the cloud. Based on TPC-DS benchmarks, our measurements show that columnar formats reduce execution time by over 88% and data transfer by up to 96% compared to CSV. The results indicate that file format selection significantly impacts not only storage efficiency but also network load, especially in distributed hybrid environments.