開(kāi)源平臺(tái)Grafana是世界上最受歡迎的儀表板工具之一-它目前擁有超過(guò)55萬(wàn)活躍安裝和全球數(shù)百萬(wàn)用戶。我們與Grafana實(shí)驗(yàn)室產(chǎn)品副總裁Tom Wilkie進(jìn)行了交談，Grafana宣布了其可觀察性平臺(tái)7.0版的全面上市。Grafana 7.0旨在簡(jiǎn)化自定義插件的開(kāi)發(fā)，并使您更輕松地可視化數(shù)據(jù)。

JAXenter：Grafana是一個(gè)可觀察性平臺(tái)，您能否簡(jiǎn)要介紹一下這意味著什么以及它如何工作？

Tom Wilkie：許多人會(huì)將可觀察性平臺(tái)視為一種端到端解決方案，該解決方案將收集，存儲(chǔ)和可視化全部集中在一個(gè)地方。借助Grafana，我們專注于可視化組件。我認(rèn)為使我們與眾不同的是專注。大多數(shù)其他供應(yīng)商會(huì)將其可視化工具綁定到其數(shù)據(jù)庫(kù)。我認(rèn)為我們的方法與眾不同，因?yàn)槲覀円呀?jīng)構(gòu)建了其中最好的可視化工具之一，并且它不與任何一個(gè)數(shù)據(jù)庫(kù)綁定。我們有60多種可以與Grafana對(duì)話的數(shù)據(jù)源，它們都被視為平等的公民。

但重要的是要了解我們?yōu)槭裁催@樣做。過(guò)去，IT運(yùn)營(yíng)機(jī)構(gòu)等由日志聚合巨頭所主導(dǎo)，對(duì)吧？我們現(xiàn)在認(rèn)為可觀察性的問(wèn)題通過(guò)發(fā)出一些日志，將它們存儲(chǔ)在中央位置并進(jìn)行查詢得以解決。人們開(kāi)始尋找更多的機(jī)會(huì)來(lái)提高開(kāi)發(fā)人員的生產(chǎn)力和經(jīng)驗(yàn)，并且通常用更少的人做更多的事情。隨著云原生架構(gòu)和微服務(wù)的興起，我們看到了這一點(diǎn)，隨著這些趨勢(shì)，我們看到了數(shù)據(jù)，可觀察性數(shù)據(jù)的爆炸式增長(zhǎng)，因此需要新的技術(shù)。

度量和監(jiān)視一直很流行，但主要是從資源方面考慮的。您通常會(huì)使用指標(biāo)來(lái)查看CPU和內(nèi)存消耗等?，F(xiàn)在，我認(rèn)為在最近幾年中，我們看到的是更多地使用應(yīng)用程序或白盒指標(biāo)。在這里我們可以窺視應(yīng)用程序以查看請(qǐng)求速率，延遲和隊(duì)列長(zhǎng)度，如果我們將應(yīng)用程序視為黑匣子，以前可能會(huì)隱藏所有各種信息。因此，現(xiàn)在我們有了兩件事：日志和指標(biāo)。它們對(duì)于不同的事情都是有用的，并且現(xiàn)在有一大批供應(yīng)商要么兩者都做，要么它們將專注于一個(gè)而不是另一個(gè)。我認(rèn)為您可能會(huì)發(fā)現(xiàn)沒(méi)有一個(gè)供應(yīng)商，沒(méi)有一個(gè)項(xiàng)目或系統(tǒng)，這對(duì)兩者都是最好的。

微服務(wù)在分布式架構(gòu)，使用Kubernetes進(jìn)行動(dòng)態(tài)調(diào)度等方面變得更加流行，突然之間您也需要進(jìn)行跟蹤。如果您打算在微服務(wù)架構(gòu)中執(zhí)行任何類型的性能工作，則分布式跟蹤是必不可少的技術(shù)?，F(xiàn)在，我們有三件事，但仍然沒(méi)有一家廠商擅長(zhǎng)這三件事。我認(rèn)為這就是Grafana和我們建立可觀察性平臺(tái)的原因如此流行的原因：這是因?yàn)槲覀兪俏ㄒ粫?huì)說(shuō)“將數(shù)據(jù)保留在原處”的人。用戶，您可以選擇最適合您的工具組合，并且可以通過(guò)選擇Graphite和Splunk或通過(guò)選擇ElasticSearch，Prometheus和Zipkin來(lái)表達(dá)您的意見(jiàn)。您可以構(gòu)建該組合，在Grafana中將其組合在一起，并獲得所需的東西。

您可以擁有一個(gè)可以與之對(duì)話的單一窗格，并且可以在Grafana中構(gòu)建事件響應(yīng)和調(diào)試流，以幫助您了解減少恢復(fù)平均所需的時(shí)間，并通常幫助開(kāi)發(fā)人員度過(guò)美好的一天日常經(jīng)驗(yàn)。我認(rèn)為這就是為什么“ Grafana是可觀察性平臺(tái)”這一短語(yǔ)可能出乎意料的原因，但是Grafana是將您的可觀察性方法整合在一起的“膠水”，它使用戶能夠擁有自己的可觀察性策略并針對(duì)適合的情況做出自己的選擇。他們。

JAXenter：從此繼續(xù)，開(kāi)發(fā)人員會(huì)興奮地嘗試在Grafana 7.0中使用哪些功能？

Tom Wilkie：我們與Grafana進(jìn)行年度發(fā)布。我們現(xiàn)在要發(fā)布7.0，并且其中還有一年的工作量，因此很難快速討論，但是我們通常會(huì)選擇用戶可能會(huì)發(fā)現(xiàn)有趣的三件事。

首先，格拉法納（Grafana）作為一個(gè)項(xiàng)目所達(dá)到的規(guī)模對(duì)我們來(lái)說(shuō)有些驚人。我們跟蹤的活躍安裝量超過(guò)500,000。從6.0開(kāi)始，我們已經(jīng)有360位貢獻(xiàn)者加入了Grafana。這是一個(gè)開(kāi)源項(xiàng)目。與其他任何發(fā)行版相比，我們?cè)?到7之間解決了更多的拉取請(qǐng)求和問(wèn)題。我認(rèn)為大約有18,000次提交。這是迄今為止最大的版本。但是，我們確實(shí)選擇了三個(gè)功能。首先是完成我們剛才談到的可觀察性愿景，并開(kāi)始將跟蹤引入Grafana，并構(gòu)建一些早期的工作流程，使您能夠從指標(biāo)到日志再到跟蹤，所有這些都在一個(gè)用戶體驗(yàn)內(nèi)完成。

我們要引起人們注意的第二件事是我們構(gòu)建的CloudWatch日志數(shù)據(jù)源，因此您可以將更多數(shù)據(jù)源引入Grafana。它是與Amazon一起構(gòu)建的，并且將會(huì)非常流行。很多用戶都要求這樣做。我們還增強(qiáng)了您可以從其他數(shù)據(jù)源獲得的體驗(yàn)。許多人試圖通過(guò)使用最低的公分母并僅公開(kāi)所有對(duì)象之間的共同特征來(lái)統(tǒng)一單個(gè)UI中的許多不同數(shù)據(jù)源。在Grafana中，我們做了幾乎完全相反的事情：數(shù)據(jù)源擁有Grafana UI的一部分，并真正表達(dá)了使它們與眾不同的原因，并公開(kāi)了其所有不同的功能和全部功能。

確實(shí)，我們?cè)贕rafana中所做的唯一統(tǒng)一是在數(shù)據(jù)方面。當(dāng)您運(yùn)行該查詢時(shí)，在針對(duì)特定數(shù)據(jù)源的自定義UI中構(gòu)建該查詢時(shí)，該查詢的結(jié)果將被標(biāo)準(zhǔn)化為Grafana格式，然后可以將其可視化。我們?yōu)閿?shù)據(jù)源如何擁有一些UI并展示其特殊之處而感到自豪。例如，Prometheus數(shù)據(jù)源具有一個(gè)Prometheus查詢編輯器，該編輯器具有豐富的語(yǔ)法突出顯示和上下文相關(guān)的制表符補(bǔ)全以及所有這些功能。而如果您轉(zhuǎn)到Graphite UI，則“查詢生成器”看起來(lái)會(huì)非常不同，并且是一系列下拉列表，使您可以將查詢組合在一起。

我們?cè)?.0中將其擴(kuò)展到了Grafana的其他區(qū)域。我們引入了一個(gè)從側(cè)面彈出的Inspect抽屜，您可以在其中查看幕后情況。您可以查看將什么查詢發(fā)送到數(shù)據(jù)源，可以查看花費(fèi)了多長(zhǎng)時(shí)間，返回了什么原始數(shù)據(jù)–有關(guān)查詢的各種指標(biāo)和元數(shù)據(jù)。但是數(shù)據(jù)源也可以擁有該Inspect抽屜的一部分。數(shù)據(jù)源可以注入到其自己的選項(xiàng)卡中，例如，可以說(shuō)“我是Metrictank數(shù)據(jù)源，然后單擊以下匯總和預(yù)匯總以執(zhí)行此查詢的一部分?！?或者我是Cortex數(shù)據(jù)源或Loki數(shù)據(jù)源，實(shí)際上您的查詢命中了這些緩存的記錄，并以這種特定方式進(jìn)行了并行化和分片。甚至在將來(lái)，這不是我們現(xiàn)在無(wú)法做的，但是可以擴(kuò)展數(shù)據(jù)源以顯示SQL查詢計(jì)劃以及類似的東西。因此功能強(qiáng)大。

我們要強(qiáng)調(diào)的第三件事是統(tǒng)一的數(shù)據(jù)管道。建立查詢并執(zhí)行查詢后，該數(shù)據(jù)源現(xiàn)在將輸出新的統(tǒng)一數(shù)據(jù)幀格式。這一點(diǎn)非常重要，因?yàn)檫@種新格式不僅性能非常好-我們使用Apache Arrow-而且還啟用了許多功能：它使我們能夠統(tǒng)一很多數(shù)據(jù)處理和轉(zhuǎn)換，而以前只能用于單個(gè)數(shù)據(jù)源。再例如，Prometheus數(shù)據(jù)源曾經(jīng)能夠轉(zhuǎn)置操作并以表格格式使用Prometheus數(shù)據(jù)-其他數(shù)據(jù)源則沒(méi)有。現(xiàn)在，這是轉(zhuǎn)換管道的一部分，這意味著您可以將其應(yīng)用于任何數(shù)據(jù)源。

用戶只需真正學(xué)會(huì)一次如何處理來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)即可。它確實(shí)可以平衡不同數(shù)據(jù)源之間的競(jìng)爭(zhēng)環(huán)境。用戶多年來(lái)一直要求的另一個(gè)示例是，能夠?qū)牟煌瑪?shù)據(jù)源返回的數(shù)據(jù)進(jìn)行數(shù)學(xué)運(yùn)算的功能。您可能在Prometheus中監(jiān)視了資源使用情況，但是您的應(yīng)用程序級(jí)別指標(biāo)可能來(lái)自appD?，F(xiàn)在，在Grafana中，您可以采用這兩者，并獲得容量規(guī)劃指標(biāo)（例如每個(gè)請(qǐng)求的CPU周期），例如，這可以幫助您預(yù)測(cè)CPU消耗隨時(shí)間的增長(zhǎng)情況。

第三，在統(tǒng)一數(shù)據(jù)管道上，我們現(xiàn)在有了這種新的Apache Arrow格式對(duì)外部插件的支持。這將使我們能夠構(gòu)建不必存在于Grafana后端或Grafana前端中的數(shù)據(jù)源。它們可以存在于單獨(dú)的流程中，因此可以用不同的語(yǔ)言實(shí)現(xiàn)，而不必使用Go或Java或JavaScript編寫(xiě)。因此，例如，您可以用Java寫(xiě)一個(gè)，然后訪問(wèn)整個(gè)JDBC插件生態(tài)系統(tǒng)，或者用C＃寫(xiě)一個(gè)，或者用您喜歡的任何一種語(yǔ)言寫(xiě)一個(gè)，然后訪問(wèn)僅在該版本中可用的現(xiàn)有集成。語(yǔ)言。我認(rèn)為這將使開(kāi)發(fā)人員在Grafana上進(jìn)行構(gòu)建和擴(kuò)展以及將其數(shù)據(jù)導(dǎo)入其中變得更加容易。

就像我提到的那樣，現(xiàn)在，我們有60多個(gè)一流的插件，它們要么內(nèi)置在Grafana Enterprise的核心中，要么內(nèi)置于我們。但是，社區(qū)中可能還有約100個(gè)其他數(shù)據(jù)源。我完全希望7.0能夠看到數(shù)據(jù)源和集成的爆炸性增長(zhǎng)，因?yàn)樗兊酶菀?，更可靠且性能更高?/span>

JAXenter：您認(rèn)為7.0中的杰出功能是什么？您認(rèn)為它會(huì)被記住什么？

Tom Wilkie：我的意思是，我非常有偏見(jiàn)，因?yàn)槲規(guī)椭苿?dòng)了跟蹤功能的發(fā)展。所以對(duì)我來(lái)說(shuō)就是這樣。我認(rèn)為，如果您要問(wèn)Torkel?degaard（Grafana的創(chuàng)建者），那將是數(shù)據(jù)管道，這將是真正的變革，因?yàn)橥蝗恢g，我們不僅使它變得更容易，而且還建立了一個(gè)非?？煽康钠脚_(tái)。將來(lái)做一些令人興奮的事情的框架。例如，以前（其中某些事情聽(tīng)起來(lái)有些微不足道），Grafana中的每個(gè)面板處理數(shù)據(jù)的方式幾乎都是不同的。

例如，某些面板支持導(dǎo)出到CSV，而有些則不支持，但是使用此統(tǒng)一的數(shù)據(jù)管道，我們不僅可以跨系列對(duì)任何面板和任何數(shù)據(jù)源進(jìn)行轉(zhuǎn)置，連接和數(shù)學(xué)運(yùn)算，而且現(xiàn)在可以導(dǎo)出來(lái)自任何面板的CSV。這對(duì)于Grafana的成長(zhǎng)和項(xiàng)目的靈活性至關(guān)重要。我不知道它的去向，但令人興奮，因?yàn)殚_(kāi)發(fā)人員將能夠用以前很難做到的事情來(lái)做各種瘋狂的事情！

JAXenter：大概這將使其余業(yè)務(wù)可以訪問(wèn)它嗎？CSV導(dǎo)出容易嗎？

Tom Wilkie：格拉法納實(shí)驗(yàn)室（Grafana Labs）的口頭禪是：“別擋住數(shù)據(jù)”。如果您想將數(shù)據(jù)導(dǎo)出到電子表格中并在其中進(jìn)行處理并使用它來(lái)做自己喜歡的事情，那么那絕對(duì)是您應(yīng)該可以使用Grafana并現(xiàn)在就可以做的事情。

但是反面也是如此。我們認(rèn)為Grafana應(yīng)該能夠輕松連接任何東西。因此，我們有一個(gè)基于此新插件平臺(tái)和新的統(tǒng)一數(shù)據(jù)管道構(gòu)建的Google Sheets數(shù)據(jù)源?，F(xiàn)在，我們不僅可以導(dǎo)出CSV，而且可以在Google表格中輕松處理它，現(xiàn)在還可以將數(shù)據(jù)帶回Grafana，這很酷。您可以將其與來(lái)自監(jiān)視系統(tǒng)等的實(shí)時(shí)數(shù)據(jù)結(jié)合起來(lái)。我認(rèn)為，如果回頭看6.0，我會(huì)說(shuō)“探索”功能是最重要的，但是當(dāng)我們回頭看7.0時(shí)，它肯定是該數(shù)據(jù)管道的基礎(chǔ)。

JAXenter：您已經(jīng)稍微講了一下，但是跟蹤功能帶來(lái)了什么？有什么好處？

Tom Wilkie：傳統(tǒng)上，跟蹤是可觀察性的第三大支柱，而Grafana 7.0是第一個(gè)支持跟蹤數(shù)據(jù)源的支柱。我們已經(jīng)在Grafana中建立了對(duì)Zipkin和Jaeger的支持。它是一個(gè)插件接口，因此我們非常希望將來(lái)能夠增加對(duì)其他跟蹤供應(yīng)商和項(xiàng)目的支持。

我們實(shí)際上一直專注于7.0的一個(gè)非常簡(jiǎn)單的用例，這是事件響應(yīng)之一。直到最近，我仍然在半夜被傳呼。那只是偶爾。我們的軟件非?？煽俊５桥紶栁視?huì)被傳呼，不得不醒來(lái)并經(jīng)歷這個(gè)事件響應(yīng)工作流程?？赡苁蔷瘓?bào)將我推送到了帶有注釋的儀表板中。通常，您必須介入該儀表板。這是我們?cè)?.0中通過(guò)“資源管理器”視圖啟用的，并且我們構(gòu)建了這種出色的體系結(jié)構(gòu)，可用于深入研究面板并探索數(shù)據(jù)。使用Loki，我們建立了在指標(biāo)和記錄體驗(yàn)之間進(jìn)行切換的功能，因此現(xiàn)在突然進(jìn)入面板，您開(kāi)始擺弄數(shù)據(jù)，并專注于這種情況下的錯(cuò)誤以及您所關(guān)注的時(shí)間范圍有興趣。在6.0中，您可以自動(dòng)切換到日志并查找這些指標(biāo)背后的日志，并真正進(jìn)行這種關(guān)聯(lián)。在7.0中，您現(xiàn)在還可以執(zhí)行一個(gè)額外的步驟來(lái)跟蹤。

盡管針對(duì)跟蹤和Grafana尚處于起步階段，但這種專注于這種用例的經(jīng)驗(yàn)和這種經(jīng)驗(yàn)增加了很多價(jià)值。大約一個(gè)月前，此功能已合并，我們?cè)趦?nèi)部已經(jīng)使用了很多功能，它的功能非常有用，尤其是當(dāng)您因?yàn)轫?yè)面速度太慢而被分頁(yè)時(shí)。這可以幫助您確定為什么速度慢，哪些位速度慢。如果這些轉(zhuǎn)換中的每個(gè)轉(zhuǎn)換都復(fù)制和粘貼查詢并在您的頭部中進(jìn)行轉(zhuǎn)換并在不同用戶界面之間復(fù)制標(biāo)識(shí)符，則它可以幫助您比以前更快地到達(dá)目的地。就個(gè)人而言，我對(duì)此感到很興奮。對(duì)我來(lái)說(shuō)，這是最大的交易，這只是冰山一角。這是在指標(biāo)，日志和跟蹤之間進(jìn)行轉(zhuǎn)換的一種工作流程。我認(rèn)為我們已經(jīng)在進(jìn)行另外兩三個(gè)工作，

JAXenter：您認(rèn)為Grafana與眾不同之處是什么？

Tom Wilkie：大多數(shù)競(jìng)爭(zhēng)對(duì)手都是通過(guò)向您出售數(shù)據(jù)庫(kù)來(lái)賺錢的，我認(rèn)為讓我們與眾不同的是我們沒(méi)有。我們?cè)趦?nèi)部使用這種“大帳篷文化”來(lái)生活，在這里我們所有的數(shù)據(jù)源都得到同等對(duì)待。正如您在Grafana 7中使用該跟蹤所看到的那樣，我們將不會(huì)僅使用一個(gè)數(shù)據(jù)源啟動(dòng)；而是使用一個(gè)數(shù)據(jù)源來(lái)啟動(dòng)。我們將不只是與Jaeger一起推出。我們與Jaeger和Zipkin一起推出了。當(dāng)我們啟動(dòng)Loki時(shí)，我們將Elastic視為Explore中的一流集成，而生活是Grafana體驗(yàn)的關(guān)鍵。

我認(rèn)為，如果我們開(kāi)始選擇收藏夾并將某些數(shù)據(jù)源比其他數(shù)據(jù)源更好，那么這個(gè)由用戶擁有自己的可觀察性策略的可組合可觀察性平臺(tái)的全部信息將開(kāi)始崩潰?？吹剿嬖谟诠局姓媸翘衿媪?。這不是我們剛剛與媒體談?wù)摰脑掝}，也不是我們只在外部發(fā)表的話題。我們一直在內(nèi)部對(duì)此進(jìn)行爭(zhēng)論。我們希望過(guò)上更簡(jiǎn)單的生活，我們只需要關(guān)注少數(shù)幾個(gè)數(shù)據(jù)源，但這不是用戶想要的，也不是讓Grafana與眾不同的原因。我們一直在自我檢查，并確保我們兌現(xiàn)我們已經(jīng)做出的“大帳篷”承諾。

JAXenter：在過(guò)去的幾年中，可觀察性似乎已經(jīng)成為討論的熱門話題，每個(gè)人似乎都在提供可觀察性。您認(rèn)為它來(lái)自哪里？是云原生技術(shù)的增長(zhǎng)嗎？

Tom Wilkie：是的，我認(rèn)為這是最大的推動(dòng)力。我們想弄清楚如何提高我們的開(kāi)發(fā)人員的生產(chǎn)力。做生意吧？我們?nèi)绾斡酶俚娜俗龈嗟氖虑?？以前，您曾?jīng)必須構(gòu)建自己的操作系統(tǒng)，然后構(gòu)建越來(lái)越多的抽象。現(xiàn)在，軟件工程更像是將預(yù)構(gòu)建的軟件包組合在一起。我認(rèn)為，工程師提高生產(chǎn)力的驅(qū)動(dòng)力導(dǎo)致了體系結(jié)構(gòu)的選擇，這導(dǎo)致了這種復(fù)雜性的激增。

突然之間，了解系統(tǒng)的行為并非易事。好吧，可觀察性有點(diǎn)流行。但是我認(rèn)為這就是我的意思：可觀察性是理解復(fù)雜系統(tǒng)行為的能力。因此，可觀察性工具應(yīng)該始終是幫助開(kāi)發(fā)人員快速，輕松地了解正在發(fā)生的事情。并希望也很愉快。我們?cè)贕rafana Labs上對(duì)此進(jìn)行了很多強(qiáng)調(diào)。我們使用這些工具，并且希望使用易于使用的工具，但也能給您帶來(lái)“驚喜”。這就是為什么Grafana團(tuán)隊(duì)花了很多精力使Grafana變得美麗。我們希望這是一件令人愉快的事情。

是的，所以我認(rèn)為可觀察性主要是由開(kāi)發(fā)人員的生產(chǎn)率爭(zhēng)論所驅(qū)動(dòng)。云原生也受到相同愿望的驅(qū)動(dòng)。我們希望構(gòu)建我們的應(yīng)用程序體系結(jié)構(gòu)，以使開(kāi)發(fā)人員能夠更快地進(jìn)行迭代，并通過(guò)諸如連續(xù)部署之類的技術(shù)，使反饋周期從用戶反饋到產(chǎn)品更改，從數(shù)年到數(shù)月至數(shù)天到數(shù)小時(shí)不等。

有了所有那些快速移動(dòng)的零件以及所有不斷迭代的內(nèi)容，您需要好的工具來(lái)了解發(fā)生了什么以及何時(shí)發(fā)生了崩潰。我對(duì)這樣的事實(shí)感到高興，那就是，重點(diǎn)已經(jīng)從第一次的正確變成了“好吧，如果確實(shí)失敗了，讓我們確保我們可以盡快解決它”。我喜歡這一點(diǎn)，因?yàn)樗刮夷軌蜻M(jìn)行更多的實(shí)驗(yàn)；它使我能夠嘗試新事物。您可能已經(jīng)看到Google的有關(guān)高績(jī)效團(tuán)隊(duì)的研究是可以冒險(xiǎn)并且可以接受的，是錯(cuò)誤的嗎？我認(rèn)為可觀察性解決方案幾乎是同一回事：冒險(xiǎn)是可以接受的，因?yàn)槟雷约簱碛邪踩墓ぞ呔W(wǎng)，可讓您找出問(wèn)題所在并快速修復(fù)。