about云開發

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

掃一掃,訪問微社區

分享 Kafka如何優化JVM GC
s060403072 2019-7-29 21:49
Kafka如何優化JVM GC
1、Kafka的客戶端緩沖機制 首先,先得給大家明確一個事情,那就是在客戶端發送消息給kafka服務器的時候,一定是有一個內存緩沖機制的。 也就是說,消息會先寫入一個內存緩沖中,然后直到多條消息組成了一個Batch,才會一次網絡通信把Batch發送過去。 整個過程如下圖所示: 2、內存緩沖造成的頻繁GC ...
45 次閱讀|0 個評論
分享 Hbase圖片如何解決小文件問題
pig2 2019-7-12 16:50
提問: 群主您好:業務場景就是把實時拍的的圖片發在一個地方,用spark實時用模型做分揀出正常的和異常的,每個圖片幾M的小文件,存在hdfs會造成小文件特多,要好的解決方案嗎 如果說只是小文件,其實解決方案還是挺多的,比如Hadoop Archive,Sequence file,CombineFileInputFormat等都可以解決。但是這里 ...
98 次閱讀|0 個評論
分享 Spark Streaming中復雜的多流Join方案的一個實現
阿飛 2019-7-7 11:52
Spark Streaming中復雜的多流Join方案的一個實現
問題:多個不同流根據一定規則join的問題(例如:網約車中訂單發單流與接單流join問題) 問題 描述:多個不同流根據一定規則join的問題(例如:網約車中訂單發單流與接單流join問題) 特點: 不同流需要join的數據時間跨度較長(例如:發單與接單時間跨度最長一周之久) 數據源格式不定 (例如:binlog數據和業務 ...
102 次閱讀|0 個評論
分享 Spark Streaming三種Join方式實踐
阿飛 2019-7-7 11:50
Spark Streaming三種Join方式實踐
多數據源Join思路 多數據源Join大致有以下三種思路: 數據源端Join,如Android/IOS客戶端在上報用戶行為數據時就獲取并帶上用戶基礎信息。 計算引擎上Join,如用Spark Streaming、Flink做Join。 結果端Join,如用HBase/ES做Join,Join鍵做Rowkey/_id,各字段分別寫入列簇、列或field。 三種思路各有優劣 ...
101 次閱讀|0 個評論
分享 ORC存儲格式介紹
pig2 2019-7-6 10:47
ORC存儲格式介紹
orc歷史 ORC的全稱是(Optimized Row Columnar),ORC文件格式是一種Hadoop生態圈中的列式存儲格式,它的產生早在2013年初,最初產生自Apache Hive,用于降低Hadoop數據存儲空間和加速Hive查詢速度。 orc結構–----hdfs上的物理視圖 orc結構----邏輯視圖 orc存儲結構解析 orc文件有如下結構快:block ...
98 次閱讀|0 個評論
分享 Hive UDF,UDAF,UDTF如何系統了解及使用
pig2 2019-7-6 09:12
Hive UDF,UDAF,UDTF這個知識點并不大,所以一篇文章足夠了,如果想系統的學習,我們弄明白下面四個問題足夠了: 一、它是什么? 二、為何產生? 三、它的作用? 四、如何使用 ———————————————— 這里我們回答前三個問題: 一、它是什么? 1、UDF函數:用戶定義函數 2、UDAF函數:用戶定義聚集 ...
106 次閱讀|0 個評論
分享 不解壓jar包,修改并替換jar包的文件
Aningorg 2019-7-5 21:12
如果要替換的文件在jar包的二級及以下目錄下,則需要以下步驟: (1)使用jar tvf jar名稱 | grep 目標文件名 查詢出目標文件在war包中的目錄 (2)使用jar xvf jar名稱 目標文件名(copy上面查出的全路徑) 將目標文件及所在war包中的目錄解壓到當前路徑 (3)修改目標文件的內容,或者將要新的目標文件替換掉 ...
98 次閱讀|0 個評論
分享 hdfs修改了副本數,為什么數據所占的空間不變
bioger_hit 2019-7-5 14:59
將HDFS副本數由3減為1.重啟集群無效。該參數是clinet端有效,既對新寫入的數據設置1個副本。 已存在的數據副本還是3個 執行命令將某目錄下數據副本改為1 hadoop dfs -setrep -w 1 -R /user 執行 hdfs balancer 均衡集群數據
97 次閱讀|0 個評論
分享 Cloudera 安裝manager service遇到問題
阿飛 2019-7-4 11:07
Cloudera 安裝manager service遇到問題
user cannot run ddl statements on the specified database attmpt to create and drop a table failed 原因: 原因:在mysql5.7中使用了 GTID模式,引入了GTID參數,如下所示 gtid_mode = ON enforce_gtid_consistency = ON enforce_gtid_consistency 強制GTID一致性, 啟用后以下命令無法 ...
97 次閱讀|0 個評論
分享 Flink因為jdk版本造成的錯誤
s060403072 2019-7-4 09:23
caused by java.lang.illegalstateexception:buffer pool is destoryed 我們從網上下載源碼,但是不能運行,出現上面錯誤,是因為jdk的小版本造成的。 比如你使用jdk1.8某個版本,最好嘗試另外小版本。 以上內容總結之About云微信群:喜歡討論技術可以加微信w3aboutyun,拉入技術討論群 ...
110 次閱讀|0 個評論
關閉

推薦上一條 /3 下一條

QQ|小黑屋|about云開發-學問論壇|社區 ( 京ICP備12023829號 )

GMT+8, 2019-8-18 17:46 , Processed in 1.140625 second(s), 13 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2018 Comsenz Inc.Designed by u179

返回頂部
排球比赛场地