התקנת כוורת אפאצ'י באובונטו

בבלוג זה נלמד על התקנת Apache Hive על אובונטו ומושגים סביב Hadoop Hive, Hive sql, Hive database, Hive server & Hive התקנה.

Apache Hive היא אחת המסגרות החשובות ביותר במערכת האקולוגית של Hadoop, מה שהופך אותה לקריטית מאוד עבור . בבלוג זה נלמד על התקנת Apache Hive והתקנת Hive באובונטו.

מהי Apache Hive?

כוורת אפאצ'י הינה תשתית מחסן נתונים המאפשרת שאילתות וניהול מערכי נתונים גדולים השוכנים במערכת אחסון מבוזרת. הוא בנוי על גבי Hadoop ופותח על ידי פייסבוק. כוורת מספק דרך לשאילתת נתונים באמצעות שפת שאילתות דמוית SQL הנקראת HiveQL (שפת שאילתת כוורת).





באופן פנימי, מתרגם מהדר HiveQL הצהרות לתוך MapReduce משרות, שאז מוגשות ל מסגרת Hadoop לביצוע.

ההבדל בין כוורת ל- SQL:

כוורת נראה דומה מאוד כמו מסד נתונים מסורתי עם SQL גִישָׁה. עם זאת, בגלל כוורת מבוסס על Hadoop ו MapReduce פעולות, ישנם מספר הבדלים מרכזיים:



כמו Hadoop מיועד לסריקות עוקבות ארוכות ו כוורת מבוסס על Hadoop , היית מצפה שלשאילתות יהיה חביון גבוה מאוד. זה אומר ש כוורת לא יתאים לאפליקציות שזקוקות לזמני תגובה מהירים מאוד, כפי שניתן לצפות במסד נתונים RDBMS מסורתי.

סוף סוף, כוורת הוא מבוסס קריאה ולכן אינו מתאים לעיבוד עסקאות הכרוך בדרך כלל באחוז גבוה של פעולות כתיבה.

כיצד להתקין PHP

התקנת כוורת באובונטו:

אנא עקוב אחר השלבים הבאים להתקנה כוורת אפאצ'י באובונטו:



שלב 1: הורד זפת כוורת.

פקודה: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

שלב 2: חלץ את זֶפֶת קוֹבֶץ.

פקודה: זפת -xzf apache-hive-2.1.0-bin.tar.gz

פקודה: ls

להפיץ קובץ כוורת - התקנת כוורת - אדוריקה

שלב 3: ערוך את '.Bashrc' קובץ לעדכון משתני הסביבה עבור המשתמש.

פקודה: sudo gedit .bashrc

הוסף את הדברים הבאים בסוף הקובץ:

# הגדר את HIVE_HOME

ייצא HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
ייצא PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin

כמו כן, וודא כי נתיב Hadoop מוגדר גם כן.

הפעל מתחת לפקודה כדי לגרום לשינויים לעבוד באותו מסוף.

פקודה: מקור .bashrc

שלב 4: בדוק גרסת כוורת.

ההבדל בין שף לתשומת לב

שלב 5: לִיצוֹר כוורת ספריות בפנים HDFS . הספריה 'מַחסָן' הוא המיקום לאחסון הטבלה או הנתונים הקשורים לכוורת.

פקודה:

  • hdfs dfs -mkdir -p / user / hive / warehouse
  • hdfs dfs -mkdir / tmp

שלב 6: הגדר הרשאות קריאה / כתיבה לטבלה.

פקודה:

בפקודה זו אנו נותנים אישור כתיבה לקבוצה:

  • hdfs dfs -chmod g + w / user / hive / warehouse
  • hdfs dfs -chmod g + w / tmp

שלב 7: מַעֲרֶכֶת Hadoop דרך פנימה ח ive-env.sh

פקודה: cd apache-hive-2.1.0-bin /

פקודה: gedit conf / hive-env.sh

הגדר את הפרמטרים כפי שמוצג בתצלום המצב שלמטה.

שלב 8: לַעֲרוֹך hive-site.xml

פקודה: gedit conf / hive-site.xml

javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC connect string for metastore JDBC. כדי להשתמש ב- SSL להצפנת / אימות החיבור, ספק דגל SSL ספציפי למסד נתונים בכתובת ה- URL של החיבור. לדוגמא, jdbc: postgresql: // myhost / db? Ssl = true עבור מסד הנתונים postgres. מיקום hive.metastore.warehouse.dir / user / hive / מחסן של מסד נתונים המוגדר כברירת מחדל עבור המחסן hive.metastore.uris URI Thrift עבור הגרורה המרוחקת. משמש לקוח metastore להתחברות למטאסטור מרוחק. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver שם מחלקה של מנהל התקן עבור מטסטור JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManager כיתת מפעל המיישמת את jdo התמדה

שלב 9: כברירת מחדל, כוורת משתמשת דרבי מאגר מידע. אתחל את מסד הנתונים של דרבי.

פקודה: bin / schematool -initSchema -dbType דרבי

שלב 10 :לְהַשִׁיק כוורת.

פקודה: כוורת

שלב 11 :הפעל מספר שאילתות במעטפת הכוורת.

פקודה: הצגת מאגרי מידע

פקודה: צור עובד טבלה (מחרוזת מזהה, מחרוזת שם, מחרוזת מחלקה) שורת פורמט שדות שהופרדו על ידי '' מאוחסן כקובץ טקסט

פקודה: שולחנות ראווה

שלב 12: ליציאה מ כוורת:

פקודה: יְצִיאָה

למה כדאי ללמוד פיתון

עכשיו כשסיימתם את התקנת הכוורת, הצעד הבא קדימה הוא לנסות פקודות של כוורת על מעטפת הכוורת. מכאן, הבלוג הבא שלנו ' פקודות כוורת מובילות עם דוגמאות ב- HQL ”יעזור לך לשלוט בפקודות הכוורת.

פוסטים קשורים:

כיצד להריץ סקריפטים של כוורת?

כוורות פקודות

מבוא לכוורת אפאצ'י