Google BigQuery, hızlı SQL sorguları ve çok büyük veri kümelerinin etkileşimli analizini sunan bulut tabanlı bir kurumsal veri ambarıdır. BigQuery, Google’ın Dremel teknolojisi üzerine tasarlanmış ve salt okunur verileri işlemek için oluşturulmuştur.
Google Analytics raporlarına ek olarak BigQuery büyük verilerin sorgulanması, işlenmesi, yüklenmesi, dışa aktarılması ve veri görselleştirilmesini mümkün kılar.
Platform, çok daha hızlı veri taramaya olanak tanıyan sütunsal bir depolamanın yanı sıra, sonuçları sorgulamayı ve bir araya getirmeyi önemli ölçüde daha kolay ve verimli hale getiren bir ağaç mimarisi modelini kullanır. Ek olarak BigQuery sunucusuzdur ve hızlı dağıtım döngüsü ve isteğe bağlı fiyatlandırması sayesinde yüksek düzeyde ölçeklenebilir olacak şekilde tasarlanmıştır.
BigQuery’deki veriler kullanımda değilken veya aktarılırken otomatik olarak şifrelenir.
Google BigQuery Veri Ambarı Mimarisi
BigQuery, Dremel teknolojisini temel alır. Dremel, Google’da yaklaşık 10 yıldır kullanılan bir araçtır.
Dremel: Yuvaları, ihtiyaç duyulduğunda dinamik olarak sorgulara paylaştırır ve aynı anda sorgulayan birden çok kullanıcı arasında dağıtır. Tek bir kullanıcı, sorgularını çalıştırmak için binlerce yuvaya sahip olabilir. Sorgularınızın hızlı çalışmasını sağlamak için çok sayıda donanımdan fazlası gerekir. BigQuery istekleri, Dremel sorgu motoruyla desteklenir.
Colossus: BigQuery, Google’ın en yeni nesil dağıtılmış dosya sistemi Colossus’a güveniyor. Her Google veri merkezinin kendi Colossus kümesi vardır ve her bir Colossus kümesi, her BigQuery kullanıcısına aynı anda binlerce özel disk vermek için yeterli diske sahiptir. Colossus ayrıca çoğaltma, kurtarma (diskler çöktüğünde) ve dağıtılmış yönetimi de işler.
Jupiter Ağı: BigQuery’nin depolama ve hesaplamayı ayırmasına olanak tanıyan dahili veri merkezi ağıdır.
Google BigQuery Kurulum
Platformun genişletilmiş veri yetenekleri sayesinde – büyük sorgu petabayt ölçeğinde analitiği yönetmek için oluşturulmuştur – aynı zamanda farklı kaynaklardan daha fazla veri toplayabileceği ve daha hızlı organize edebileceği anlamına gelir.
Ayrıca, BigQuery’nin makine öğrenimi yeteneklerini mevcut veri kümeleri ve yapılarıyla birleştirmek, depolama tasarımını iyileştirebilir, sorgulama ve veri taramayı kolaylaştırabilir ve hatta gereksiz yapıları ortadan kaldırarak ve depolamayı bireysel kuruluşun kullanım modellerine göre optimize ederek maliyetleri düşürebilir.
BigQuery, Google Cloud Platform’un bir parçasıdır ve diğer GCP hizmetleri ve araçlarıyla entegre olur. BigQuery; Cloud Storage, Cloud SQL ilişkisel veri tabanı hizmeti, Cloud Bigtable NoSQL veri tabanı, Google Drive ve Google’ın dağıtılmış veri tabanı Spanner dahil olmak üzere diğer GCP ürünlerinde depolanan verileri işleyebilir.
Depolama alanının boyutu veya sorgunuzu işlemek için ne kadar RAM gerektiği veya sunucunuzdaki işlemci sayısı hakkında endişelenmenize gerek yok. Sistem, sorgularınızı çalıştırmak için otomatik olarak ölçeklenir ve tamamlandığında kapanır. Google, üzerinde pratik yapabilmeniz için örnek veri tabanları yayınlar.
BigQuery veri kaynağı kurulum ekranında, proje kimliği ve JSON anahtar dosyası her zaman gereklidir. Google ile yeni bir hizmet hesabı oluşturduğunuzda bir anahtar dosyası alabilirsiniz.
BigQuery 2.0 ve sonraki sürümler eski SQL sözdizimini veya standart SQL sözdizimini destekler. Redash her ikisini de destekler, ancak standart SQL varsayılandır. Bu tercih, ‘standart SQL kullan’ kutusunu açıp kapatarak veri kaynağı düzeyinde geçerlidir. Buradaki seçiminiz sorgu metninizle birlikte BigQuery’ye aktarılır. Sorgularınızdan bazıları eski SQL ve diğerleri standart SQL kullanıyorsa, iki veri kaynağı oluşturabilirsiniz.
Şuna benzer bir iş bulunamadı hatası alırsanız: Not found: Job <project_id>:<job_id> işleme konumunuzun doğru olup olmadığını kontrol edin.
İlk olarak, Google Cloud Konsolunuzu kurun ve oturum açın. Bir proje seçin veya oluşturun, yan menünüzden BigQuery’ye gidin ve yeni bir veri kümesi oluşturun. Bir veri kümesi, yüklemek istediğiniz veri tablolarınız için bir ‘klasör’ işlevi görür.
IAM ve yönetici menüsünün altında, verilerinizi yönetmek ve BigQuery’yi Holistics’e bağlamak için bir JSON anahtarı oluşturmak üzere BigQuery erişimine sahip yeni bir hizmet hesabı oluşturun.
Bu JSON dosyasını daha sonrası için kaydedin. Bu hesaba BigQuery Yönetici izinleri gibi yeterli BigQuery rolü ayrıcalıkları vermeyi unutmayın.
BigQuery’yi daha sonra bağlamak için JSON dosyanızı yeni hizmet hesabınızdan kaydedin.
Şimdi, Holistics’e yeni bir veri kaynağı eklemek için, açılır menüden BigQuery’yi seçin, Google konsolunuzdan Google proje kimliği değerinizi kopyalayın, JSON anahtarını yapıştırın, ardından BigQuery veri kaynağınızı test edin ve kaydedin.
BigQuery veri ambarınız artık bağlı ve hazır!
Artık analizleriniz için verileri BigQuery’e taşımaya başlayabilirsiniz.
