Tweet
Facebook
Copy Link
Mô tả công việc
Tham gia phát triển và triển khai các dịch vụ sử dụng các công nghệ Big Data: Hadoop ecosystem, Kafka, Spark, Airflow, …
- Nghiên cứu, xây dựng, tối ưu các Job ETL có khả năng mở rộng linh hoạt với độ tin cậy cao, phục vụ cho việc khai thác/ingest, tổng hợp các loại dữ liệu từ nhiều nguồn khác nhau;
- Quy hoạch, thiết kế các công cụ nền tảng, công cụ giám sát, cảnh báo KPI chất lượng số liệu… để tự động giám sát hiện trạng của hệ thống, chất lượng dữ liệu giúp đưa ra các cảnh báo kịp cho team
- Nghiên cứu và quy hoạch các công cụ khai thác, phân tích số liệu (Big Data OLAP, Notebook …)
Yêu cầu công việc
Tốt nghiệp ĐH loại Khá trở lên chuyên ngành: Khoa học dữ liệu, Khoa học máy tính, CNTT, Toán học ứng dụng, hoặc chuyên ngành khác liên quan;
- Thành thạo các ngôn ngữ truy vấn CSDL như SQL và NoSQL .
- Kiến thức về lập trình lưu trữ, xử lý dữ liệu phân tán, xử lý dữ liệu lớn (Hadoop, Spark, ElasticSearch, Kafka, …)
- Kiến thức về xây dựng, tối ưu luồng xử lý dữ liệu (batch processing, stream procesing, …);
- Kỹ năng sử dụng ngôn ngữ lập trình (Java, Python, Scala, …);
- Có chứng chỉ quốc tế về Data Enginner (AWS, CCA, CCP, IBM Certified Data Engineer, Google Professional Data Engineer …) là một lợi thế
- Tư duy tốt, có khả năng nghiên cứu, đánh giá và cập nhật công nghệ mới.
Quyền lợi được hưởng
- Thời gian làm việc: 8 - 17h từ thứ 2 - thứ 6
- Mức lương cạnh tranh
- Mua bảo hiểm VBI
Mọi người cũng đã tìm kiếm
Công việc của Data Engineer là gì?
Data Engineer hay kỹ sư chuyên về dữ liệu là nhân viên IT làm các công việc như phân tích nguồn dữ liệu, tích hợp thông tin giữa các hệ thống nhất với nhau, chuyển đổi và đồng bộ các dữ liệu trên nhiều hệ thống riêng biệt.
Mô tả công việc của Data engineer
Công việc chuyên môn của một Data Engineer bao gồm những nhiệm vụ sau:
Thu thập và xử lý dữ liệu
- Xác định các nguồn dữ liệu cần thiết và phát triển quy trình thu thập dữ liệu từ các nguồn đó.
- Tiền xử lý dữ liệu, bao gồm làm sạch, chuyển đổi định dạng và xử lý lỗi.
- Xây dựng các quy trình ETL (Extract, Transform, Load) để trích xuất, biến đổi và tải dữ liệu vào hệ thống.
Thiết kế và xây dựng cơ sở hạ tầng dữ liệu
- Thiết kế cơ sở dữ liệu phù hợp với yêu cầu và mô hình dữ liệu của tổ chức.
- Xây dựng hệ thống lưu trữ dữ liệu, bao gồm cơ sở dữ liệu quan hệ, cơ sở dữ liệu phi quan hệ, hệ thống lưu trữ phân tán, hệ thống lưu trữ đám mây, v.v.
- Quản lý quyền truy cập và bảo mật dữ liệu trong cơ sở hạ tầng.
Phát triển công cụ và quy trình xử lý dữ liệu
- Xây dựng và duy trì các công cụ và ứng dụng xử lý dữ liệu, bao gồm viết mã, script và sử dụng các công cụ phân tích dữ liệu.
- Tối ưu hóa hiệu suất và khả năng mở rộng của hệ thống xử lý dữ liệu.
- Xây dựng quy trình tự động hóa để giảm thiểu sự can thiệp thủ công và tối đa hóa hiệu suất làm việc.
Quản lý và giám sát dữ liệu
- Theo dõi, giám sát và đánh giá hiệu suất của hệ thống xử lý dữ liệu.
- Đảm bảo tính nhất quán, đồng bộ và đúng giờ của dữ liệu.
- Đảm bảo bảo mật và tuân thủ quy định liên quan đến dữ liệu.
Data Engineer có mức lương bao nhiêu?
Lương cơ bản
Lương bổ sung
228 - 387 triệu
/nămLộ trình sự nghiệp Data Engineer
Tìm hiểu cách trở thành Data Engineer, bạn cần có những kỹ năng và trình độ học vấn nào để thành công cũng như đạt được mức lương mong đợi ở mỗi bước trên con đường sự nghiệp của bạn.
Số năm kinh nghiệm
Điều kiện và Lộ trình trở thành một Data Engineer?
Yêu cầu tuyển dụng của Data Engineer
- Kiến thức về cơ sở dữ liệu: Data Engineerng của hệ quản trị cơ sở dữ liệu (DBMS).
- Lập trình: Data Engineers cần có kiến thức về lập trình, đặc biệt là trong ngôn ngữ Python, Java, hoặc Scala. Lập trình là cần thiết để xây dựng các quy trình xử lý dữ liệu tự động.
- Kỹ năng xử lý dữ liệu: Khả năng xử lý và biến đổi dữ liệu là quan trọng. Data Engineers cần hiểu về các công cụ và framework xử lý dữ liệu như Apache Spark, Apache Flink, hoặc Apache Kafka.
- Các ngôn ngữ truy vấn dữ liệu: Data Engineers cần nắm vững các ngôn ngữ truy vấn dữ liệu như SQL để truy vấn và trích xuất dữ liệu từ cơ sở dữ liệu.
- Kiến thức về lưu trữ dữ liệu: Data Engineers cần hiểu về cách lưu trữ dữ liệu hiệu quả, bao gồm kiến thức về hệ thống tệp và cơ sở dữ liệu phân tán.
- Kỹ năng làm việc với các công cụ ETL: Data Engineers thường sử dụng các công cụ ETL (Extract, Transform, Load) để xử lý dữ liệu. Họ cần biết cách sử dụng các công cụ như Apache NiFi, Talend, hoặc Apache Airflow.
- Kỹ năng làm việc với dữ liệu thời gian thực: Nếu làm việc với dữ liệu thời gian thực, Data Engineers cần hiểu về các công nghệ như Apache Kafka và Apache Flink.
- Kiến thức về bảo mật dữ liệu: Bảo mật dữ liệu là một yêu cầu quan trọng. Data Engineers cần hiểu về các biện pháp bảo mật và kiến thức về quyền truy cập dữ liệu.
- Kỹ năng làm việc trong nhóm: Data Engineers thường làm việc trong môi trường đa nhóm, vì vậy kỹ năng làm việc nhóm và giao tiếp là quan trọng.
- Sự hứng thú và tinh thần học hỏi: Lĩnh vực dữ liệu liên tục thay đổi, vì vậy Data Engineers cần có tinh thần học hỏi và sẵn sàng nắm bắt các công nghệ mới và phương pháp tiên tiến.
- Kinh nghiệm trước đó: Kinh nghiệm là một yếu tố quan trọng. Có kinh nghiệm trong việc xây dựng hệ thống dữ liệu hoặc tham gia vào các dự án liên quan đến dữ liệu là một lợi thế.
- Tư duy logic và phân tích: Data Engineers cần có khả năng phân tích vấn đề và tư duy logic để xây dựng các quy trình xử lý dữ liệu hiệu quả.
Lộ trình thăng tiến của Data Engineer
Mức lương trung bình của Data Engineer khá đang dạng và phụ thuộc vào trình độ cũng như kinh nghiệm thực tế của mỗi người.
- Lập trinh viên: 9.000.000 - 14.000.000 VNĐ (1 tháng)
- Intern Linux: 15.000.000 - 25.000.000 VNĐ (1 tháng)
Lộ trình thăng tiến cho Data Engineer có thể thay đổi tùy thuộc vào tổ chức và ngành công nghiệp. Tuy nhiên, dưới đây là một lộ trình thường được áp dụng:
Intern Data Engineer
Khi mới bắt đầu làm quen với công việc này, bạn cần tập trung vào học tập và xây dựng kiến thức cơ bản về cơ sở dữ liệu, xử lý dữ liệu, và các công nghệ liên quan. Nên tham gia vào các dự án nhỏ và học hỏi từ các Data Engineer có kinh nghiệm.
Junior Data Engineer
Sau khi có những kinh nghiệm nhất định, bạn có thể tham gia đảm nhận công việc xử lý và quản lý dữ liệu trong một dự án cụ thể. Phát triển thêm kỹ năng về ETL (Extract, Transform, Load), quản lý cơ sở dữ liệu và công cụ xử lý dữ liệu.
Senior Data Engineer
Sau nhiều năm kinh nghiệm và có trong tay kiến thức làm nghề vững chắc, bạn hoàn toàn có thể đảm nhận vai trò lãnh đạo và quản lý dự án. Ở cấp độ này, bạn sẽ là người lên thiết kế và triển khai các hệ thống xử lý dữ liệu phức tạp. Tham gia vào việc định hướng và đưa ra giải pháp cho các vấn đề kỹ thuật và kiến trúc dữ liệu.
Data Engineering Manager
Đây là vị trí cấp quản lý mà bất cứ ai đều mong muốn đạt được trong lộ trình thăng tiến của mình. Với vai trò của Manager, bạn cần quản lý và chỉ đạo các nhóm Data Engineer. Định hướng chiến lược và phát triển của đội ngũ Data Engineer trong tổ chức. Đồng thời, là người đại diện bộ phận tương tác với các bên liên quan, bao gồm quản lý cấp cao, nhóm phân tích dữ liệu và nhóm kỹ thuật khác.
Data Architect hoặc Data Engineering Director
Các doanh nghiệp có phòng phân tích dữ liệu quy mô lớn sẽ có thể có thêm vị trí Data Engineer Director - người chịu trách nhiệm và quyền cao nhất trong bộ phận này. Ngoài ra, bạn có thể định hướng bản thân trở thành một chuyên gia trong lĩnh vực này với vai trò là một kiến trúc sư về dữ liệu - Data Architect.