A. JOB PURPOSE:
• The Data Engineer is responsible for orchestrating data transformations and integrations using Microsoft Azure services to develop a comprehensive Data Lake.
• This role emphasizes advanced data engineering practices, including the utilization of Databricks and Azure Synapse Link, to support our operations across Vietnam, Cambodia, Indonesia, Myanmar, and other business units in Asia and other regions.
• This role enables advanced data analytics, reporting, and dashboard functionalities.
B. ACCOUNTABILITIES:
1. System Development and Maintenance:
• Design, develop, and maintain Azure Cloud data lakes, data warehouses, and both SQL and NoSQL databases.
• Implement and manage batch processing, streaming, and integration solutions using Databricks and Azure Synapse Link for data ingestion from various applications to data repositories.
• Optimize SQL queries and Databricks notebooks to reduce processing times across data lakes, data warehouses, and cloud data cubes.
• Automate data pipeline processes using Azure Data Factory, ensuring secure source data access and efficient data policy management.
• Collaborate with data visualization specialists, analysts, and IT teams to support backend data solutions that meet business reporting needs.
2. Performance and Quality Assurance:
• Ensure system stability and performance without impacting user experiences.
• Monitor databases and data processing activities to meet specific business scenarios.
• Ensure data accuracy and availability for ongoing data analytics projects.
• Manage and optimize costs related to data storage and processing services through efficient resource management and a pay-as-you-go approach.
• Maintain comprehensive documentation for data architecture, ingestion, processing, and operations.
• Manage source data access securely.
• Configure data access authentication and authorization.
• Manage and enforce data policies and procedure standard.
• Collaborate with Data Visualization and Analyst specialist, Data champion and IT team to ensure about data back-end can support building dashboard as business requested.
C. RESULTS:
• Ensure current systems can work smoothly and do not impact to performance.
• Data architect from design to real life operation.
• Ensure data availability and accuracy for further data analytics project.
• Optimize the cost of use for data storage and data processing services (impact to the amount of payment) on monthly basis by pay-as-you-go approach.
• Data catalogue documentation.
• Scripting and documentation for data ingestion, data processing, data serving.
• Data architect and operation can be extended to acquire other data in other BU, other division, new business...
• Data available timely and in good quality.
• Updated authorization matrix in quarterly basis.Yêu Cầu Công Việc
QUALIFICATIONS:
• Bachelor's or Engineering degree in IT, Data Science
• Related field.MS Azure Data Engineer (MS Certified) is preferred
EXPERIENCES:
• Minimum 3 to 5 years experience in successfully role of Data Engineer
• Minimum 1 years experience in AI Generative
• Azure Synapse Link hands on eperience is an advantage
COMPETENCIES:
• Very strong in SQL-PL SQL-Spark SQL.
• Interaction with No SQL Databases
• Interaction with Event Hub, IoT Hub Databases
• Files Processing XML, CSV, Excel, Jason, etc. formats
• Structured and Non-Structured Data processing
• Data ETL Capabilities.
• Knowledge of Distributed Big Data Processing
• Data Warehouse and Data Lake Implementation experience in past.
• Interaction with REST APIs, Web Services.
• Proficiency in data programming languages such as Python, R, Java, C#, and tools like Jupyter, VS Studio Code.
LANGUAGES:
• Proficiency in English
OTHER REQUIREMENTS:
• Customer-focused with excellent verbal and written communication skills
• Ability to collaborate with globally diverse teams and work flexibly
• Strong analytical thinking and problem-solving skills
• A team player with a willingness to learn and adapt in a fast-paced environmentLaptop
Chế độ bảo hiểm
Du Lịch
Phụ cấp
Đồng phục
Chế độ thưởng
Chăm sóc sức khỏe
Đào tạo
Tăng lương
Công tác phí
Phụ cấp thâm niên
Nghỉ phép năm
CÔNG TY TNHH DE HEUS trực thuộc tập đoàn De Heus, chuyên sản xuất thức ăn chăn nuôi chất lượng cao cho gia súc, gia cầm và thủy sản, hiện có 9 nhà máy và hệ thống các kho trung chuyển hoạt động trên khắp cả nước.
Với 9 nhà máy tại Việt Nam, De Heus đang khẳng định thương hiệu của mình và hiện tại De Heus đang nằm trong top 3 các công ty sản xuất thức ăn lớn nhất tại đây. Sự kiện De Heus đạt 1 Triệu Tấn tổng sản lượng tiêu thụ TACN trong năm 2016, đánh dấu cột mốc phát triển vượt bậc của De Heus Việt Nam, cũng như khẳng định chất lượng và sự tín nhiệm của thị trường đối với một thương hiệu TACN chỉ mới có mặt tại thị trường Việt Nam từ năm 2009.
Chính sách bảo hiểm
- Được hưởng bảo hiểm sức khỏe (Bảo hiểm Generali care 24/24)
- Được đóng BHXH, BHYT, BH thất nghiệp theo quy định của nhà nước.
Các hoạt động ngoại khóa
- Ngày hội gia đình
- Du lịch hàng năm
- Year End Party
- Team Building
Lịch sử thành lập
- Năm 2008, Thành lập Công ty TNHH De Heus; Mua lại nhà máy ở Bình Dương và Hải Phòng
- Năm 2009, Lần đầu tiên tung ra sản phẩm tại thị trường Việt Nam
- Năm 2010, Khởi công xây dựng nhà máy thức ăn gia súc tại Đồng Nai
- Năm 2011, Tham gia thị trường thức ăn Thủy sản VN; Mở rộng nhà máy Vĩnh Long
- Năm 2011, Xuất khẩu sp sang Campuchia; Nâng công suất lên 100.000 tấn/năm
- Năm 2012, Khánh thành Nhà máy mới đầu tiên tại Đồng Nai
- Năm 2013, Khánh thành giai đoạn II nhà máy Thức Ăn Thủy Sản VL
- Năm 2013, Xuất khẩu sản phẩm sang thị trường Philippines và Myanmar
- Năm 2015, Khánh thành nhà máy tại Bình Định và Vĩnh Phúc; Khởi công nhà máy ở Myanmar
- Năm 2016, Khánh thành Nhà máy De Heus Myanmar
Mission
Tiếp tục duy trì De Heus là tập đoàn gia đình trong lĩnh vực dinh dưỡng động vật và đóng góp nhiều hơn vào việc sản xuất và chăn nuôi bền vững. De Heus hỗ trợ người chăn nuôi phát triển bằng cách liên tục cải tiến công nghệ và hiệu quả thức ăn chăn nuôi, minh bạch và hợp tác trong toàn bộ chuỗi sản xuất thực phẩm.
Mọi người cũng đã tìm kiếm
Công việc của Data Engineer là gì?
Data Engineer hay kỹ sư chuyên về dữ liệu là nhân viên IT làm các công việc như phân tích nguồn dữ liệu, tích hợp thông tin giữa các hệ thống nhất với nhau, chuyển đổi và đồng bộ các dữ liệu trên nhiều hệ thống riêng biệt.
Mô tả công việc của Data engineer
Công việc chuyên môn của một Data Engineer bao gồm những nhiệm vụ sau:
Thu thập và xử lý dữ liệu
- Xác định các nguồn dữ liệu cần thiết và phát triển quy trình thu thập dữ liệu từ các nguồn đó.
- Tiền xử lý dữ liệu, bao gồm làm sạch, chuyển đổi định dạng và xử lý lỗi.
- Xây dựng các quy trình ETL (Extract, Transform, Load) để trích xuất, biến đổi và tải dữ liệu vào hệ thống.
Thiết kế và xây dựng cơ sở hạ tầng dữ liệu
- Thiết kế cơ sở dữ liệu phù hợp với yêu cầu và mô hình dữ liệu của tổ chức.
- Xây dựng hệ thống lưu trữ dữ liệu, bao gồm cơ sở dữ liệu quan hệ, cơ sở dữ liệu phi quan hệ, hệ thống lưu trữ phân tán, hệ thống lưu trữ đám mây, v.v.
- Quản lý quyền truy cập và bảo mật dữ liệu trong cơ sở hạ tầng.
Phát triển công cụ và quy trình xử lý dữ liệu
- Xây dựng và duy trì các công cụ và ứng dụng xử lý dữ liệu, bao gồm viết mã, script và sử dụng các công cụ phân tích dữ liệu.
- Tối ưu hóa hiệu suất và khả năng mở rộng của hệ thống xử lý dữ liệu.
- Xây dựng quy trình tự động hóa để giảm thiểu sự can thiệp thủ công và tối đa hóa hiệu suất làm việc.
Quản lý và giám sát dữ liệu
- Theo dõi, giám sát và đánh giá hiệu suất của hệ thống xử lý dữ liệu.
- Đảm bảo tính nhất quán, đồng bộ và đúng giờ của dữ liệu.
- Đảm bảo bảo mật và tuân thủ quy định liên quan đến dữ liệu.
Data Engineer có mức lương bao nhiêu?
Lương cơ bản
Lương bổ sung
228 - 387 triệu
/nămLộ trình sự nghiệp Data Engineer
Tìm hiểu cách trở thành Data Engineer, bạn cần có những kỹ năng và trình độ học vấn nào để thành công cũng như đạt được mức lương mong đợi ở mỗi bước trên con đường sự nghiệp của bạn.
Số năm kinh nghiệm
Điều kiện và Lộ trình trở thành một Data Engineer?
Yêu cầu tuyển dụng của Data Engineer
- Kiến thức về cơ sở dữ liệu: Data Engineerng của hệ quản trị cơ sở dữ liệu (DBMS).
- Lập trình: Data Engineers cần có kiến thức về lập trình, đặc biệt là trong ngôn ngữ Python, Java, hoặc Scala. Lập trình là cần thiết để xây dựng các quy trình xử lý dữ liệu tự động.
- Kỹ năng xử lý dữ liệu: Khả năng xử lý và biến đổi dữ liệu là quan trọng. Data Engineers cần hiểu về các công cụ và framework xử lý dữ liệu như Apache Spark, Apache Flink, hoặc Apache Kafka.
- Các ngôn ngữ truy vấn dữ liệu: Data Engineers cần nắm vững các ngôn ngữ truy vấn dữ liệu như SQL để truy vấn và trích xuất dữ liệu từ cơ sở dữ liệu.
- Kiến thức về lưu trữ dữ liệu: Data Engineers cần hiểu về cách lưu trữ dữ liệu hiệu quả, bao gồm kiến thức về hệ thống tệp và cơ sở dữ liệu phân tán.
- Kỹ năng làm việc với các công cụ ETL: Data Engineers thường sử dụng các công cụ ETL (Extract, Transform, Load) để xử lý dữ liệu. Họ cần biết cách sử dụng các công cụ như Apache NiFi, Talend, hoặc Apache Airflow.
- Kỹ năng làm việc với dữ liệu thời gian thực: Nếu làm việc với dữ liệu thời gian thực, Data Engineers cần hiểu về các công nghệ như Apache Kafka và Apache Flink.
- Kiến thức về bảo mật dữ liệu: Bảo mật dữ liệu là một yêu cầu quan trọng. Data Engineers cần hiểu về các biện pháp bảo mật và kiến thức về quyền truy cập dữ liệu.
- Kỹ năng làm việc trong nhóm: Data Engineers thường làm việc trong môi trường đa nhóm, vì vậy kỹ năng làm việc nhóm và giao tiếp là quan trọng.
- Sự hứng thú và tinh thần học hỏi: Lĩnh vực dữ liệu liên tục thay đổi, vì vậy Data Engineers cần có tinh thần học hỏi và sẵn sàng nắm bắt các công nghệ mới và phương pháp tiên tiến.
- Kinh nghiệm trước đó: Kinh nghiệm là một yếu tố quan trọng. Có kinh nghiệm trong việc xây dựng hệ thống dữ liệu hoặc tham gia vào các dự án liên quan đến dữ liệu là một lợi thế.
- Tư duy logic và phân tích: Data Engineers cần có khả năng phân tích vấn đề và tư duy logic để xây dựng các quy trình xử lý dữ liệu hiệu quả.
Lộ trình thăng tiến của Data Engineer
Mức lương trung bình của Data Engineer khá đang dạng và phụ thuộc vào trình độ cũng như kinh nghiệm thực tế của mỗi người.
- Lập trinh viên: 9.000.000 - 14.000.000 VNĐ (1 tháng)
- Intern Linux: 15.000.000 - 25.000.000 VNĐ (1 tháng)
Lộ trình thăng tiến cho Data Engineer có thể thay đổi tùy thuộc vào tổ chức và ngành công nghiệp. Tuy nhiên, dưới đây là một lộ trình thường được áp dụng:
Intern Data Engineer
Khi mới bắt đầu làm quen với công việc này, bạn cần tập trung vào học tập và xây dựng kiến thức cơ bản về cơ sở dữ liệu, xử lý dữ liệu, và các công nghệ liên quan. Nên tham gia vào các dự án nhỏ và học hỏi từ các Data Engineer có kinh nghiệm.
Junior Data Engineer
Sau khi có những kinh nghiệm nhất định, bạn có thể tham gia đảm nhận công việc xử lý và quản lý dữ liệu trong một dự án cụ thể. Phát triển thêm kỹ năng về ETL (Extract, Transform, Load), quản lý cơ sở dữ liệu và công cụ xử lý dữ liệu.
Senior Data Engineer
Sau nhiều năm kinh nghiệm và có trong tay kiến thức làm nghề vững chắc, bạn hoàn toàn có thể đảm nhận vai trò lãnh đạo và quản lý dự án. Ở cấp độ này, bạn sẽ là người lên thiết kế và triển khai các hệ thống xử lý dữ liệu phức tạp. Tham gia vào việc định hướng và đưa ra giải pháp cho các vấn đề kỹ thuật và kiến trúc dữ liệu.
Data Engineering Manager
Đây là vị trí cấp quản lý mà bất cứ ai đều mong muốn đạt được trong lộ trình thăng tiến của mình. Với vai trò của Manager, bạn cần quản lý và chỉ đạo các nhóm Data Engineer. Định hướng chiến lược và phát triển của đội ngũ Data Engineer trong tổ chức. Đồng thời, là người đại diện bộ phận tương tác với các bên liên quan, bao gồm quản lý cấp cao, nhóm phân tích dữ liệu và nhóm kỹ thuật khác.
Data Architect hoặc Data Engineering Director
Các doanh nghiệp có phòng phân tích dữ liệu quy mô lớn sẽ có thể có thêm vị trí Data Engineer Director - người chịu trách nhiệm và quyền cao nhất trong bộ phận này. Ngoài ra, bạn có thể định hướng bản thân trở thành một chuyên gia trong lĩnh vực này với vai trò là một kiến trúc sư về dữ liệu - Data Architect.