Hadoop là một dự án Apache mã nguồn mở cho phép tạo các ứng dụng xử lý song song trên các tập dữ liệu lớn, được phân phối trên các nodes được kết nối mạng. Nó bao gồm Hadoop Distributed File System [HDFS™] xử lý khả năng mở rộng và dự phòng dữ liệu giữa các nodes và Hadoop YARN, một khuôn khổ để lập lịch thực hiện các tác vụ xử lý dữ liệu trên tất cả các nodes.
Kiến trúc hadoop cluster
Kiến trúc Hadoop Cluster gồm 2 loại node chính:
- Master node: lưu giữ thông tin về hệ thống file phân tán, tương đương với bảng inode của ext3, ngoài ra còn có nhiệm vụ lên kế hoạch phân bổ tài nguyên. Trong guide này, node master có 2 nhiệm vụ chính:
- Name node: quản lý hệ thống file phân tán, nắm thông tin block dữ liệu nào nằm ở đâu trong cluster.
- ResourceManager: quản lý các job của YARN và quản lý các job được xếp lịch chạy trên các node slave.
- Worker nodes: lưu dữ liệu thực và cung cấp sức mạnh phần cứng để chạy các job, trong lab này là node1 và node2:
- Datanode: quản lý các block dữ liệu về mặt vật lý.
- Nodemanager: quản lý thực hiện các task trên node.
Cài đặt hadoop cluster:
Chuẩn bị:
Với bài hướng dẫn này sẽ được tiến hành cài đặt trên 3 VPS OS Ubuntu 20 LTS hoặc 3 Server OS Ubuntu 20 LTS với IP lần lượt là :
- 10.124.11.53
- 10.124.11.16
- 10.124.11.23
Trong đó VPS có IP 10.124.11.53 sẽ đóng vai trò là master trong cụm cluster.
Phần môi trường cần cài đặt trên 3 máy: java jdk 1.8 trở lên. Nếu như các node chúng ta chưa có cài đặt java jdk chúng ta có thể thực thi lệnh sau:
apt-get update && apt-get upgrade
usermod -g hadoopgroup hadoop
Tiến hành chuyển sang user hadoop:
su - hadoop
Tạo keypair xác thực cho user hadoop
Master node sẽ sử dụng giao thức ssh để kết nối tới các node khác và quản lý cluster. Thực hiện: Log in vào node-master với user hadoop , tạo 1 ssh-key gán cho user hadoop. Sau đó thử ssh bằng user hadoop vào từng node 1, nếu như hỏi password tức là đã thành công:
ssh-keygen -b 4096
Tải xuống và giải nén Hadoop Binaries
Đăng nhập vào node-master với user hadoop, download bộ cài hadoop từ trang chủ:
wget //apache.cs.utah.edu/hadoop/common/current/hadoop-3.3.1.tar.gz
Giải nén
tar -xvf hadoop-3.3.1.tar.gz
Đổi tên thư mục giải nén thành hadoop cho dễ quản lý
mv hadoop-3.3.1 hadoop
Cấu hình một số biến môi trường
Chúng ta tiền hành thêm một số biến môi trường bằng cách thêm vào file “.profile” bằng cách thêm dòng sau:
PATH=/home/hadoop/hadoop/bin:/home/hadoop/hadoop/sbin:$PATH
Thêm Hadoop vào PATH của chúng ta cho shell. Thực hiện chỉnh sửa file “.bashrc” và thêm các dòng sau:
export HADOOP_HOME=/home/hadoop/hadoop
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
Cấu hình Master Node
Thiết lập JAVA_HOME
Tìm vị trí cài đặt java, mặc định ở /usr/java/java-8-openjdk-amd64 Có thể tìm bằng cách:
`apt-get update && apt-get upgrade`0
Chỉnh sửa file “~/hadoop/etc/hadoop/hadoop-env.sh” và thay thế dòng này:
export JAVA_HOME=${JAVA_HOME}
sang dòng sau:
`apt-get update && apt-get upgrade`1
Đặt đường dẫn Namenode
Trên mỗi node đều cần thiết đặt file core-site.xml tại “~/hadoop/etc/hadoop/core-site.xml” là thư mục chứa file cấu hình của hệ thống hdfs. Cập nhật tệp “~/hadoop/etc/hadoop/core-site.xml” của chúng ta để đặt vị trí NameNode thành node-master trên cổng 9000:
`apt-get update && apt-get upgrade`2
Đặt đường dẫn cho HDFS
Chỉnh sửa file hdfs-site.conf để giống với cấu hình sau:
`apt-get update && apt-get upgrade`3
Lưu ý: Thuộc tính cuối cùng, dfs.replication cho biết số lần dữ liệu được sao chép trong cluster. Chúng có thể đặt 2 để có tất cả dữ liệu được nhân đôi trên hai node. Không nhập giá trị cao hơn số node thực tế.
Thiết lập Yarn làm Job Scheduler
Chỉnh sửa tệp mapred-site.xml, đặt YARN làm khung mặc định cho các hoạt động MapReduce:
`apt-get update && apt-get upgrade`4
Cấu hình YARN
Chỉnh sửa fiber-site.xml, chứa các tùy chọn cấu hình cho YARN. Trong trường giá trị cho fiber.resourcemanager.hostname, hãy thay thế bằng địa chỉ IP public của node-master:
`apt-get update && apt-get upgrade`5
Cấu hình Workers
Các Workers file được sử dụng bởi các tập lệnh khởi động để bắt đầu các daemon cần thiết trên tất cả các node. Chỉnh sửa “~/hadoop/etc/hadoop/worker” để bao gồm cả hai nút:
`apt-get update && apt-get upgrade`6 `apt-get update && apt-get upgrade`7
Cấu hình phân bổ RAM
Việc phân bổ ram có thể làm để những node có ram thấp có thể chạy được. Các giá trị mặc định được thiết kế cho các máy 8GB ram trở lên. Dưới đây là những tuỳ chỉnh cho những node 2GB Ram.