云技術(shù)對(duì)現(xiàn)代企業(yè)來(lái)說(shuō)變得比以往任何時(shí)候都更加重要。94%的企業(yè)投資于云基礎(chǔ)設(shè)施，因?yàn)樗峁┑暮锰帯?br />
據(jù)估計(jì)，使用云的公司中有87%依賴于混合云環(huán)境。但是，一些公司使用其他云解決方案，這也需要討論。
如今，大多數(shù)公司的云生態(tài)系統(tǒng)包括基礎(chǔ)設(shè)施、合規(guī)性、安全性和其他方面。這些基礎(chǔ)架構(gòu)可以位于混合云或多云中。此外，多云系統(tǒng)根據(jù)組織需求從不同供應(yīng)商處采購(gòu)云基礎(chǔ)設(shè)施。
混合云戰(zhàn)略有很多好處，但也應(yīng)該討論多云基礎(chǔ)架構(gòu)的好處。多云基礎(chǔ)架構(gòu)意味著當(dāng)您從不同供應(yīng)商處獲得技術(shù)時(shí)，這些供應(yīng)商可以是私有的，也可以是公共的。混合云系統(tǒng)是結(jié)合不同云類型的云部署模型，同時(shí)使用本地硬件解決方案和公共云。
您可以安全地使用ApacheKafka集群，使用各種云服務(wù)（如Amazon的S3等）將數(shù)據(jù)從本地硬件解決方案無(wú)縫移動(dòng)到數(shù)據(jù)湖。但請(qǐng)記住一件事，您必須在云集群中復(fù)制主題，或者您必須開發(fā)一個(gè)自定義連接器來(lái)從云讀取和復(fù)制到應(yīng)用程
不同ApacheKafka架構(gòu)的五個(gè)主要比較
1.Kafka和ETL處理
可能將ApacheKafka用于高性能數(shù)據(jù)管道、流式傳輸各種分析數(shù)據(jù)或使用Kafka運(yùn)行公司關(guān)鍵資產(chǎn)，但您是否知道您也可以使用Kafka集群在多個(gè)系統(tǒng)之間移動(dòng)數(shù)據(jù).
這是因?yàn)槟ǔ?huì)看到Kafka生產(chǎn)者發(fā)布數(shù)據(jù)或?qū)⑵渫扑偷終afka主題，以便應(yīng)用程序可以使用數(shù)據(jù)。但是Kafka消費(fèi)者通常是定制的應(yīng)用程序，它們將數(shù)據(jù)饋送到目標(biāo)應(yīng)用程序中。因此，您可以使用您的云提供商的工具，這些工具可以讓您創(chuàng)建將提取和轉(zhuǎn)換數(shù)據(jù)的作業(yè)，同時(shí)還為您提供加載ETL數(shù)據(jù)的優(yōu)勢(shì)。
Amazon的AWSGlue就是這樣一種工具，它允許使用來(lái)自ApacheKafka的數(shù)據(jù)和Amazon管理的ApacheKafka(MSK)流。它將使您能夠快速轉(zhuǎn)換數(shù)據(jù)結(jié)果并將其加載到AmazonS3數(shù)據(jù)湖或JDBC數(shù)據(jù)存儲(chǔ)中。
2.架構(gòu)設(shè)計(jì)
在大多數(shù)系統(tǒng)案例中，第一步通常是構(gòu)建一個(gè)響應(yīng)迅速且可管理的ApacheKafka架構(gòu)，以便用戶可以快速查看這些數(shù)據(jù)。例如-如果您應(yīng)該處理和記錄具有許多關(guān)鍵數(shù)據(jù)集的文件，例如員工保險(xiǎn)單表格。然后，您可以使用各種云工具來(lái)提取數(shù)據(jù)以進(jìn)行進(jìn)一步處理。
您還可以配置AWSGlue等基于云的工具，以連接您的本地云硬件并建立安全連接。三步ETL框架作業(yè)應(yīng)該可以解決問(wèn)題。如果您不確定這些步驟，那么它們是：步驟1：創(chuàng)建工具與本地ApacheKafka數(shù)據(jù)存儲(chǔ)源的連接。步驟2：創(chuàng)建數(shù)據(jù)目錄表。第3步：創(chuàng)建ETL作業(yè)并將該數(shù)據(jù)保存到數(shù)據(jù)湖。
3.連接
使用預(yù)定義的Kafka連接，您可以使用AWS膠水等各種云工具在數(shù)據(jù)目錄中創(chuàng)建安全的安全套接字層(SSL)連接。此外，您應(yīng)該知道這些連接始終需要自簽名SSL證書。
此外，您可以采取多個(gè)步驟從信息中獲得更多價(jià)值。例如，您可以使用QuickSight等各種商業(yè)智能工具將數(shù)據(jù)嵌入到內(nèi)部Kafka儀表板中。然后另一個(gè)團(tuán)隊(duì)成員可以使用事件驅(qū)動(dòng)架構(gòu)來(lái)通知管理員并執(zhí)行各種下游操作。盡管在處理特定數(shù)據(jù)類型時(shí)都應(yīng)該這樣做，但這里的可能性是無(wú)窮無(wú)盡的。
4.安全組
當(dāng)您需要像AWSGlue這樣的云工具在其組件之間來(lái)回通信時(shí)，您需要為所有傳輸控制協(xié)議(TCP)端口指定一個(gè)具有自引用入站規(guī)則的安全組。它將使您能夠?qū)?shù)據(jù)源限制在同一個(gè)安全組；從本質(zhì)上講，它們都可以為所有流量預(yù)先配置一個(gè)自引用入站規(guī)則。然后，您需要設(shè)置ApacheKafka主題，引用這個(gè)新創(chuàng)建的連接，并使用模式檢測(cè)功能。
5.數(shù)據(jù)處理
完成ApacheKafka連接并創(chuàng)建作業(yè)后，您可以格式化源數(shù)據(jù)，稍后您將需要這些數(shù)據(jù)。您還可以使用各種轉(zhuǎn)換工具來(lái)處理您的數(shù)據(jù)庫(kù)。對(duì)于此數(shù)據(jù)處理，請(qǐng)借助您之前創(chuàng)建的ETL腳本，遵循上述三個(gè)步驟。
結(jié)論
ApacheKafka是一種開源數(shù)據(jù)處理軟件，在不同的應(yīng)用程序中有多種用途。使用上述指南確定適合您的存儲(chǔ)類型。?
