HBase集群搭建(一)

1.準備三臺機器centos7安裝步驟略(可以看我的虛擬機安裝centos7文章)2.配置免秘鑰訪問略(可以看我的免秘鑰配置文章)3.JKD安裝1.8略4.下載HBasehttps://hbase.apache.org/downloads.html5.安裝tar-zxvfhbase-2.2.5-bin.tar.gzmvhbase-2.2.5/opt/hbas…

JuiceFS 即將發佈 1.0 並調整開源許可

開源一周年JuiceFS開始於2017年,是一款雲原生分佈式文件系統,旨在幫助企業解決多雲、跨雲、混合雲環境下所面臨的諸多挑戰:數據安全和保護、大數據架構升級、海量小文件訪問、Kubernetes標準存儲等。JuiceFS完全兼容POSIX、HDFS、S3訪問協議,並提供KubernetesCSI驅動,在全球公有雲上均有全托管服務。為瞭更好的打造讓開發者愛不…

柳小蔥的2021年度總結

😷大傢好,歡迎來到柳小蔥的博客,今天這一篇,我們不講別的,就講講博主的2021年度總結!2021年所做的事情:1.學習方向2.個人生活3.實習經歷4.未來方向5.2021值得紀念的事情1.學習方向2021年初,學校的課程已經很少瞭,心裡總是想著實習,3月份來學校後,上劉老師的課,給我們普及瞭hive的課程,從此之後,我就踏上瞭大數據的道路,我…

hive metastore配置kerberos認證

hive從3.0.0開始提供hivemetastore單獨服務作為像presto、flink、spark等組件的元數據中心。但是默認情況下hivemetastore在啟動之後是不需要進行認證就可以訪問的。所以本文基於大數據組件中流行的kerberos認證方式,對hivemetastore進行認證配置。如果您還不瞭解如何單獨啟用hivemetastore服務,…

什麼是大數據?

什麼是大數據?前言壹、背景貳、定義叁、意義肆、應用場景/領域伍、市場分析陸、挑戰及未來趨勢6.1大數據分析的挑戰在哪裡?6.2大數據分析的未來趨勢是什麼?柒、常用工具軟件7.1ApacheHadoop7.2其它工具前言大數據將會是未來石油。壹、背景當今乃至未來時代,數據量將會逐步增長,數據類型也變得多種多樣(結構化、半結構化、非結構化),多樣且巨大的數據給處…

Hadoop分佈式搭建(一)

Hadoop分佈式搭建(一)1.Hadoop官網下載3.1.2網址http://hadoop.apache.org/https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/2.準備三臺機器(本教程使用的虛擬機)centos7安裝教程可以看我的這篇https://redis.blog.csdn.ne…

Hadoop分佈式搭建

Hadoop分佈式搭建(一)1.Hadoop官網下載3.1.2網址http://hadoop.apache.org/https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/2.準備三臺機器(本教程使用的虛擬機)centos7安裝教程可以看我的這篇https://redis.blog.csdn.ne…

SQLDeveloper連接Hive使用說明

一、目的本文檔主要目的是:指導數據分析師怎麼通過工具來訪問Hive上的數倉和表,進而進行數據的查看和分析。二、說明本文檔以windows操作系統64位為例以前一直用idea進行連接Hive就不多贅述瞭,本次是換成瞭Oracle公司的SQLDeveloper工具,也挺好用的三、操作步驟1.環境準備1)安裝jdk8參見:https://jingyan.baidu…

HBase開發: Java API 管理表

第1關:JavaAPI獲取表的列表本關任務:列出HBase中所有表的名字,輸出表是否存在,表是否可用。packagestep1;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.*;importorg.apache.hadoop.hbase.*…

搭建Hadoop集群(超詳細版)

用三臺雲服務器搭建hadoop完全分佈式集群硬件準備集群配置集群規劃Hadoop、Zookeeper、Java、CentOS版本基礎環境配置關閉防火墻修改主機名主機映射時間同步查看主機時間選擇時區時間同步協議NTP定時任務crontab配置ssh免密安裝jdk創建安裝目錄和軟件包存放目錄修改環境變量:查看java版本,確認安裝成功:Zookeeper安裝安裝…

Centos7上搭建hadoop2.6.5詳細圖文教程

版本VM15ProCentos7Hadoop2.6.5FinalShell3.9.2.2步驟1.安裝虛擬機、Centos,配置網絡環境創建虛擬機;配置網絡;配置操作系統;進入GUI界面配置;配置靜態網絡並驗證網絡連通性;使用FinalShell連接Centos詳細步驟:VMWare上搭建Centos7並配置網絡用FinalShell連接(詳細圖文教程)2.創…

centos7編譯安裝hive

一、安裝數據庫1、解壓安裝包tarzxfmysql-5.6.39-linux-glibc2.12-x86_64.tar.gz-C/data/2、修改文件目錄名稱mv/data/mysql-5.6.39-linux-glibc2.12-x86_64/mysql3、創建數據目錄mkdirsqldatauseradd-M-s/sbin/nologinmysql##…

大數據面試題——hadoop(hdfs、mapreduce、yarn)

文章目錄Hadoophadoop的常用配置文件有哪些啟動hadoop集群會分別啟動哪些進程,各自的作用簡述java序列化和hadoop自帶序列化機制及其區別請說下HDFS的組織架構請說下HDFS讀寫流程HDFS寫流程HDFS讀流程NameNode在啟動的時候會做哪些操作Hadoop的HA的瞭解(HighAvailability高可用,HA)1.AvatarN…

hive使用報錯整理

報錯Error:CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://node1:10000:Failedtoopennewsession:java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.se…

HDFS核心組件

介紹HDFS核心組件–NameNode、SecondaryNameNode、DataNodeNameNode維護著HDFS中全部數據的元數據,包括所存儲的文件和目錄的元數據。這些元數據主要包括文件創建/修改時間戳、訪問控制列表、塊的副本信息以及文件當前狀態。控制著對數據的所有操作。在HDFS上的所有操作,都需要首先通過NameNode,然後再傳遞到Hadoo…

Hadoop——第一部份 Hadoop入門——一、Hadoop概述

第一部份Hadoop入門一、Hadoop概述介紹發行版本特點組成大數據技術生態體系1.1Hadoop概念Hadoop是Apache基金會開發的分佈式系統基礎架構主要解決海量數據存儲和分析計算廣義Hadoop指Hadoop生太圈1.2Hadoop發行版Apache原始開源版Cloudera商業版CDHHortonworks商業版HDP兩傢公司合並後的商業版CD…

Hadoop偽分佈集群搭建(Hadoop)

Hadoop偽分佈集群搭建1.安裝vmwareworkstation軟件(版本15或16,12也可),配置centos7鏡像文件。需註意如下:(1)centos安裝後無法打開,一般是虛擬化的問題,在bios界面將其打開。網上有千篇一律的說法,結合自身電腦進行嘗試。(2)安裝centos7推薦安裝桌面版,“軟件選擇”——“GNOME桌面”,操作較為直觀,可以清…

Hadoop分佈式集群的安裝(圖解)

全局統籌前言安裝前的檢查開始安裝虛擬機Linux的網絡配置步驟虛擬機內部設置進入虛擬機安裝其他東西克隆虛擬機開始搭建分佈式集群集群配置啟動集群jps查看進程常見問題前言這裡的筆記僅供參考使用,你可以從買來一臺新的電腦就可以開始照著安裝。我目前在虛擬機裡面僅僅安裝jdk和Hadoop,作為我們集群最基礎需要的東西,有需要學習其他的東西的小夥伴可以等待我的後續更…