Tweet
Facebook
Copy Link
Mô tả công việc
- Data Pipeline Development :
• Design, build, and maintain scalable data pipelines and ETL processes to support various business needs
• Develop and optimize data architecture and data models to ensure efficient data storage and retrieval
- Data Management :
• Ensure data integrity, accuracy, and consistency across multiple data sources
• Implement data quality checks and monitoring solutions to detect and resolve data issues
- Collaboration :
• Work closely with data scientists, analysts, and other stakeholders to understand data requirements and deliver solutions
• Collaborate with cross-functional teams to integrate data from various sources into the data warehouse
- Performance Optimization :
• Optimize database performance, including query tuning and indexing
• Implement best practices for data management, data security, and compliance
- Technical Leadership :
• Mentor and guide junior data engineers, providing technical direction and support
• Stay updated with the latest industry trends and technologies to continuously improve the data engineering practices
- Documentation and Reporting:
• Create and maintain comprehensive documentation for data pipelines, processes, and data models
• Develop reports and dashboards to provide insights and support decision-making
Yêu cầu công việc
- Bachelor's or master's degree in computer science, Engineering, or a related field
- 5+ years of experience in data engineering or a similar role
- Proficiency in programming languages such as Python, Java, or Scala
- Strong experience with SQL and database management systems (e.g., MySQL, PostgreSQL, Oracle).
- Hands-on experience with big data technologies (e.g., Hadoop, Spark, Kafka)
- Experience with cloud platforms (e.g., AWS, Azure, Google Cloud) and their data services
- Familiarity with ETL tools (e.g., Informatica, Talend, Apache Nifi) and data integration frameworks
- Knowledge of data warehousing concepts and technologies (e.g., Snowflake, Redshift, BigQuery)
- Strong problem-solving skills and the ability to work independently and in a team environment
- English good
Quyền lợi được hưởng
- Probation salary is 100% of the official salary
- 13th-month salary and performance review twice a year
- Bonus for special occasions each year (Labor Day, National Day, Solar New Year, Lunar New Year)
- Project bonus
- Employee’s professional certification and training allowances subject to company regulations
- BIC Care Health Insurance
- Annual Health Assessment
- Social, health and unemployment insurance following government policy
- Enjoy company summer trips and other team building activities held monthly and quarterly
- Professional, creative and dynamic working environment
- Work five days per week with flexible check-in time
Công ty WACONTRE là công ty IT Nhật Bản thành lập vào năm 2010 tại Việt Nam. Hiện nay, WACONTRE chủ yếu thực hiện các nghiệp vụ như hỗ trợ dịch vụ phát triển Offshore, Co-Labo với các công ty Nhật Bản, phương tiện truyền thông ở Việt Nam, chuyên tư vấn thành lập công ty ở Việt Nam.
Chính sách bảo hiểm
- Được hưởng các chế độ bảo hiểm : BHYT, BHXH, BHTN
- Hưởng quyền lợi bảo hiểm 24/7
Các hoạt động ngoại khóa
- Du lịch hàng năm
- Team building theo quý
- Các hoạt động vui chơi, giải trí, ca hát thường xuyên
- Thể thao: Đá bóng, bóng chuyền,..
Lịch sử thành lập
- Công ty được thành lập năm 2010
Mission
- Chúng tôi mong muốn trở thành một nền tảng phát huy tối đa tiềm năng của tất cả mọi người tham gia vào công ty và dịch vụ của chúng tôi thông qua phát triển nguồn nhân lực, đồng thời nâng cao kiến thức chuyên môn của chúng tôi trong lĩnh vực CNTT x Nhân sự.
- Là một công ty Nhật Bản được thành lập tại Việt Nam, chúng tôi mong muốn phát triển như một tổ chức và đóng góp cho xã hội bằng cách tận hưởng sự đa dạng và tích hợp thành công sự đa dạng đó để tiếp tục tạo ra nguồn nhân lực và dịch vụ độc đáo.
Mọi người cũng đã tìm kiếm
Công việc của Data Engineer là gì?
Data Engineer hay kỹ sư chuyên về dữ liệu là nhân viên IT làm các công việc như phân tích nguồn dữ liệu, tích hợp thông tin giữa các hệ thống nhất với nhau, chuyển đổi và đồng bộ các dữ liệu trên nhiều hệ thống riêng biệt.
Mô tả công việc của Data engineer
Công việc chuyên môn của một Data Engineer bao gồm những nhiệm vụ sau:
Thu thập và xử lý dữ liệu
- Xác định các nguồn dữ liệu cần thiết và phát triển quy trình thu thập dữ liệu từ các nguồn đó.
- Tiền xử lý dữ liệu, bao gồm làm sạch, chuyển đổi định dạng và xử lý lỗi.
- Xây dựng các quy trình ETL (Extract, Transform, Load) để trích xuất, biến đổi và tải dữ liệu vào hệ thống.
Thiết kế và xây dựng cơ sở hạ tầng dữ liệu
- Thiết kế cơ sở dữ liệu phù hợp với yêu cầu và mô hình dữ liệu của tổ chức.
- Xây dựng hệ thống lưu trữ dữ liệu, bao gồm cơ sở dữ liệu quan hệ, cơ sở dữ liệu phi quan hệ, hệ thống lưu trữ phân tán, hệ thống lưu trữ đám mây, v.v.
- Quản lý quyền truy cập và bảo mật dữ liệu trong cơ sở hạ tầng.
Phát triển công cụ và quy trình xử lý dữ liệu
- Xây dựng và duy trì các công cụ và ứng dụng xử lý dữ liệu, bao gồm viết mã, script và sử dụng các công cụ phân tích dữ liệu.
- Tối ưu hóa hiệu suất và khả năng mở rộng của hệ thống xử lý dữ liệu.
- Xây dựng quy trình tự động hóa để giảm thiểu sự can thiệp thủ công và tối đa hóa hiệu suất làm việc.
Quản lý và giám sát dữ liệu
- Theo dõi, giám sát và đánh giá hiệu suất của hệ thống xử lý dữ liệu.
- Đảm bảo tính nhất quán, đồng bộ và đúng giờ của dữ liệu.
- Đảm bảo bảo mật và tuân thủ quy định liên quan đến dữ liệu.
Data Engineer có mức lương bao nhiêu?
Lương cơ bản
Lương bổ sung
228 - 387 triệu
/nămLộ trình sự nghiệp Data Engineer
Tìm hiểu cách trở thành Data Engineer, bạn cần có những kỹ năng và trình độ học vấn nào để thành công cũng như đạt được mức lương mong đợi ở mỗi bước trên con đường sự nghiệp của bạn.
Số năm kinh nghiệm
Điều kiện và Lộ trình trở thành một Data Engineer?
Yêu cầu tuyển dụng của Data Engineer
- Kiến thức về cơ sở dữ liệu: Data Engineerng của hệ quản trị cơ sở dữ liệu (DBMS).
- Lập trình: Data Engineers cần có kiến thức về lập trình, đặc biệt là trong ngôn ngữ Python, Java, hoặc Scala. Lập trình là cần thiết để xây dựng các quy trình xử lý dữ liệu tự động.
- Kỹ năng xử lý dữ liệu: Khả năng xử lý và biến đổi dữ liệu là quan trọng. Data Engineers cần hiểu về các công cụ và framework xử lý dữ liệu như Apache Spark, Apache Flink, hoặc Apache Kafka.
- Các ngôn ngữ truy vấn dữ liệu: Data Engineers cần nắm vững các ngôn ngữ truy vấn dữ liệu như SQL để truy vấn và trích xuất dữ liệu từ cơ sở dữ liệu.
- Kiến thức về lưu trữ dữ liệu: Data Engineers cần hiểu về cách lưu trữ dữ liệu hiệu quả, bao gồm kiến thức về hệ thống tệp và cơ sở dữ liệu phân tán.
- Kỹ năng làm việc với các công cụ ETL: Data Engineers thường sử dụng các công cụ ETL (Extract, Transform, Load) để xử lý dữ liệu. Họ cần biết cách sử dụng các công cụ như Apache NiFi, Talend, hoặc Apache Airflow.
- Kỹ năng làm việc với dữ liệu thời gian thực: Nếu làm việc với dữ liệu thời gian thực, Data Engineers cần hiểu về các công nghệ như Apache Kafka và Apache Flink.
- Kiến thức về bảo mật dữ liệu: Bảo mật dữ liệu là một yêu cầu quan trọng. Data Engineers cần hiểu về các biện pháp bảo mật và kiến thức về quyền truy cập dữ liệu.
- Kỹ năng làm việc trong nhóm: Data Engineers thường làm việc trong môi trường đa nhóm, vì vậy kỹ năng làm việc nhóm và giao tiếp là quan trọng.
- Sự hứng thú và tinh thần học hỏi: Lĩnh vực dữ liệu liên tục thay đổi, vì vậy Data Engineers cần có tinh thần học hỏi và sẵn sàng nắm bắt các công nghệ mới và phương pháp tiên tiến.
- Kinh nghiệm trước đó: Kinh nghiệm là một yếu tố quan trọng. Có kinh nghiệm trong việc xây dựng hệ thống dữ liệu hoặc tham gia vào các dự án liên quan đến dữ liệu là một lợi thế.
- Tư duy logic và phân tích: Data Engineers cần có khả năng phân tích vấn đề và tư duy logic để xây dựng các quy trình xử lý dữ liệu hiệu quả.
Lộ trình thăng tiến của Data Engineer
Mức lương trung bình của Data Engineer khá đang dạng và phụ thuộc vào trình độ cũng như kinh nghiệm thực tế của mỗi người.
- Lập trinh viên: 9.000.000 - 14.000.000 VNĐ (1 tháng)
- Intern Linux: 15.000.000 - 25.000.000 VNĐ (1 tháng)
Lộ trình thăng tiến cho Data Engineer có thể thay đổi tùy thuộc vào tổ chức và ngành công nghiệp. Tuy nhiên, dưới đây là một lộ trình thường được áp dụng:
Intern Data Engineer
Khi mới bắt đầu làm quen với công việc này, bạn cần tập trung vào học tập và xây dựng kiến thức cơ bản về cơ sở dữ liệu, xử lý dữ liệu, và các công nghệ liên quan. Nên tham gia vào các dự án nhỏ và học hỏi từ các Data Engineer có kinh nghiệm.
Junior Data Engineer
Sau khi có những kinh nghiệm nhất định, bạn có thể tham gia đảm nhận công việc xử lý và quản lý dữ liệu trong một dự án cụ thể. Phát triển thêm kỹ năng về ETL (Extract, Transform, Load), quản lý cơ sở dữ liệu và công cụ xử lý dữ liệu.
Senior Data Engineer
Sau nhiều năm kinh nghiệm và có trong tay kiến thức làm nghề vững chắc, bạn hoàn toàn có thể đảm nhận vai trò lãnh đạo và quản lý dự án. Ở cấp độ này, bạn sẽ là người lên thiết kế và triển khai các hệ thống xử lý dữ liệu phức tạp. Tham gia vào việc định hướng và đưa ra giải pháp cho các vấn đề kỹ thuật và kiến trúc dữ liệu.
Data Engineering Manager
Đây là vị trí cấp quản lý mà bất cứ ai đều mong muốn đạt được trong lộ trình thăng tiến của mình. Với vai trò của Manager, bạn cần quản lý và chỉ đạo các nhóm Data Engineer. Định hướng chiến lược và phát triển của đội ngũ Data Engineer trong tổ chức. Đồng thời, là người đại diện bộ phận tương tác với các bên liên quan, bao gồm quản lý cấp cao, nhóm phân tích dữ liệu và nhóm kỹ thuật khác.
Data Architect hoặc Data Engineering Director
Các doanh nghiệp có phòng phân tích dữ liệu quy mô lớn sẽ có thể có thêm vị trí Data Engineer Director - người chịu trách nhiệm và quyền cao nhất trong bộ phận này. Ngoài ra, bạn có thể định hướng bản thân trở thành một chuyên gia trong lĩnh vực này với vai trò là một kiến trúc sư về dữ liệu - Data Architect.