Thuật ngữ Big Data được thực hiện cho những bộ tập tài liệu to con bao gồm khối lượng bự, vận tốc cao và nhiều các loại dữ liệu sẽ tăng thêm từng ngày. Sử dụng những hệ thống làm chủ tài liệu truyền thống cuội nguồn, khôn cùng khó khăn để xử lý Big data. Do kia, Quỹ ứng dụng Apabịt (Apache Software Foundation) sẽ ra mắt một framework thương hiệu là Hadoop để xử lý các thách thức cai quản và giải pháp xử lý Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là một trong những framework open-source để tàng trữ với giải pháp xử lý Big data trong môi trường phân tán. Nó đựng nhị mô-đun, một là MapReduce cùng một mô-đun khác là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS).

MapReduce: Đây là mô hình xây dựng tuy vậy tuy vậy nhằm xử lý một lượng phệ dữ liệu tất cả cấu trúc, phân phối cấu tạo với ko cấu tạo trên các nhiều béo của Hartware thương mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là một phần của framework Hadoop, được thực hiện nhằm lưu trữ cùng giải pháp xử lý những bộ dữ liệu. Nó hỗ trợ một khối hệ thống tập tin Chịu lỗi nhằm điều khiển xe trên Hartware tmùi hương mại.

Hệ sinh thái xanh Hadoop cất những sub-project (tool) khác biệt nlỗi Sqoop, Pig và Hive sầu được sử dụng nhằm trợ giúp những mô-đun Hadoop.

Sqoop: Nó được áp dụng nhằm nhập và xuất dữ liệu cho và đi thân HDFS và RDBMS.Pig: Đây là 1 căn nguyên ngôn ngữ thủ tục được thực hiện nhằm cách tân và phát triển tập lệnh cho các hoạt động vui chơi của MapReduce.

Xem thêm: Genital Wart Là Gì - Nghĩa Của Từ Wart Là Gì

Hive: Đây là một trong nền tảng được áp dụng để cải tiến và phát triển những tập lệnh nhiều loại SQL nhằm thực hiện các hoạt động MapReduce.

Chú ý: Có vô số cách không giống nhau để tiến hành những vận động MapReduce:

Cách tiếp cận truyền thống cuội nguồn áp dụng công tác Java MapReduce mang đến dữ liệu gồm kết cấu, phân phối cấu trúc và không cấu trúc.Cách tiếp cận cần sử dụng câu lệnh cho MapReduce nhằm xử trí dữ liệu tất cả cấu tạo cùng buôn bán kết cấu bởi Pig.Ngôn ngữ truy hỏi vấn Hive (HiveQL hoặc HQL) mang lại MapReduce để cách xử trí tài liệu bao gồm cấu trúc bởi Hive.Hive sầu là gì?

Hive là một lý lẽ cơ sở hạ tầng kho tài liệu nhằm cách xử lý dữ liệu có cấu tạo trong Hadoop. Nó nằm trên đỉnh Hadoop để bắt tắt Dữ liệu to với góp truy vấn cùng so sánh dễ dãi.

Ban đầu Hive sầu được cải tiến và phát triển do Facebook, sau đó Quỹ Phần mượt Apađậy đã đưa cùng cách tân và phát triển nó thành một nguồn msống bên dưới thương hiệu Apache Hive sầu. Nó được thực hiện vày các công ty khác nhau. Ví dụ: Amazon thực hiện nó vào Amazon Elastic MapReduce.

Hive sầu chưa hẳn là:Một CSDL quan tiền hệMột kiến thiết nhằm cách xử trí thanh toán Online (OnLine Transaction Processing - OLTP)Một ngữ điệu cho các tróc nã vấn thời hạn thực với update cấp cho hàngđặc trưng của HiveNó lưu trữ lược trang bị vào các đại lý tài liệu với xử trí dữ liệu vào HDFS.Nó có phong cách thiết kế mang đến OLAP.Nó cung cấp ngữ điệu vẻ bên ngoài SQL nhằm truy hỏi vấn được Gọi là Hivequốc lộ hoặc HQL.Nó là thân quen, mau lẹ, có chức năng không ngừng mở rộng.Kiến trúc của Hive

Sơ vật dụng tiếp sau đây miêu tả kiến trúc của Hive:

*
Sơ vật yếu tố này cất các đơn vị khác nhau.

User Interface: Hive sầu là 1 phần mềm cơ sở hạ tầng kho tài liệu có thể làm ra shop giữa người dùng với HDFS. Các đồ họa người tiêu dùng nhưng mà Hive cung cấp là Hive Web UI, Hive command line và Hive HD Insight (Trong sever Windows).Meta Store: Hive sầu lựa chọn những sever đại lý dữ liệu tương ứng để tàng trữ lược trang bị hoặc metadata của những bảng, đại lý dữ liệu, những cột trong một bảng, các nhiều loại dữ liệu của bọn chúng với ánh xạ HDFS.Hivequốc lộ Process Engine: HiveQL giống như nhỏng SQL nhằm truy tìm vấn thông báo lược thứ bên trên Metastore. Đây là 1 Một trong những thay thế sửa chữa của phương thức truyền thống lịch sử mang đến lịch trình MapReduce. Txuất xắc vị viết lịch trình MapReduce bằng Java, bạn có thể viết một truy hỏi vấn đến công việc MapReduce cùng cách xử lý nó.Execution Engine: Phần phối hợp của lao lý xử trí Hivequốc lộ cùng MapReduce là Công thay tiến hành Hive sầu (Hive Execution Engine). Công cầm cố xúc tiến xử lý tầm nã vấn và tạo nên hiệu quả y hệt như hiệu quả MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là những chuyên môn tàng trữ tài liệu để tàng trữ tài liệu vào khối hệ thống tệp.Cách thao tác của Hive

Sơ đồ dùng sau diễn tả quy trình làm việc thân Hive sầu với Hadoop.

*

Cách Hive sầu liên can với framework Hadoop:

Thực thi query: Giao diện Hive nlỗi Commvà line hoặc Giao diện người dùng web gửi truy vấn vấn cho Trình tinh chỉnh và điều khiển (ngẫu nhiên trình tinh chỉnh cơ sở dữ liệu nào như JDBC, ODBC, v.v.) nhằm thực hiện.Nhận kế hoạch: Trình tinh chỉnh và điều khiển có sự giúp sức của trình biên dịch truy tìm vấn nhằm phân tích cú pháp truy hỏi vấn để kiểm tra cú pháp với planer truy vấn hoặc từng trải của truy vấn vấn.Nhận metadata: Trình biên dịch gửi yên cầu metadata mang đến Metastore (ngẫu nhiên cơ sở dữ liệu nào).Gửi metadata: Metastore gửi metadata nlỗi một bình luận mang lại trình biên dịch.Gửi kế hoạch: Trình biên dịch đánh giá những hiểu biết với gửi lại chiến lược đến trình tinh chỉnh. Đến trên đây, bài toán so sánh cú pháp và biên dịch một truy vấn vấn vẫn hoàn chỉnh.Kế hoạch thực hiện: Trình tinh chỉnh và điều khiển gửi planer triển khai mang lại cách thức triển khai.Thực xây cất việc: Trong nội cỗ, quy trình thực hiện công việc là một trong những quá trình MapReduce. Công nuốm thực thi gửi công việc mang lại JobTracker, vào node Name cùng nó gán công việc này mang lại TaskTracker, trong node Data. Tại phía trên, truy nã vấn xúc tiến các bước MapReduce.Hoạt động metadata: Trong Lúc thực hiện, hình thức tiến hành rất có thể triển khai những vận động metadata cùng với Metastore.Lấy kết quả: Công vậy xúc tiến dấn kết quả từ những node Data.Gửi kết quả: Công ráng thực hiện gửi các giá trị công dụng đó cho trình điều khiển và tinh chỉnh.Gửi kết quả: Trình điều khiển gửi hiệu quả mang đến Giao diện Hive sầu.
Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *