C

Data Engineer

CÔNG TY TNHH GIẢI PHÁP BRAIN TECH

Phường Đức Nhuận, Thành phố Hồ Chí Minh; Hồ Chí Minh
Chưa công bố2 years, 5 yearsĐăng hôm nayNguồn: TopDev
Ứng tuyển trên TopDev

Tổng quan công việc

Job Detail

Responsibilities:Data Cleaning Clean and preprocess data to ensure accuracy and consistency. Data Visualization Create visual representations of data to communicate findings effectively. Data Governance Implement policies for data management and usage to ensure compliance. Data Warehousing Design and maintain data warehouses for structured data storage. Data Pipeline Development Build and optimize data pipelines for efficiency.

Requirements:Experience with data warehousing solutions (e.g., Amazon Redshift, Google BigQuery, Snowflake). Familiarity with big data frameworks (e.g., Hadoop, Apache Spark, Kafka) for processing large datasets. Understanding of data governance practices and compliance

requirements:(e.g., GDPR, HIPAA). Experience with data visualization tools (e.g., Tableau, Power BI, or Matplotlib) to create insightful reports and dashboards. Recruitment Progress Round 1 HR Interview Round 2 CV screenning Round 3 Technical Interview Round 4 Final Interview Bachelor in Computer Science SALARY Negotiable Benefit competitive, based on experience leadership roles, learning new technologies Travel, company trip, business trip, exchange program support Chăm sóc sức khỏe Other

benefits:Thu thập, thiết kế quy trình ETL, làm giàu (data enrichment), chuẩn hóa và tổng hợp dữ liệu từ nhiều nguồn khác nhau để xây dựng profile chi tiết. Phân tích các tệp dữ liệu thô, thực hiện các kỹ thuật làm sạch dữ liệu (data cleaning) để loại bỏ thông tin rác và đối chiếu chéo để đảm bảo tính xác thực của thông tin đầu vào. Sử dụng các công cụ nguồn mở (OSINT) để kiểm tra và đánh giá profile đã được xây dựng. Phối hợp với bộ phận kỹ thuật để tự động hóa các quy trình trích xuất, phân loại và lưu trữ dữ liệu định kỳ.

Kỹ năng chính

SQLPythonPower BIdata engineerdockerkubernetesetlkafkatableauleadershiprecruitmentdata visualizationdata cleaningbigquerysnowflakehtml

Yêu cầu

Yêu cầu bắt buộc: Tốt nghiệp Đại học chuyên ngành Công nghệ thông tin, Toán tin, Khoa học dữ liệu hoặc lĩnh vực liên quan. Tối thiểu 2 năm kinh nghiệm ở vị trí Data Engineer hoặc các vai trò tương tự. Thành thạo các cú pháp tìm kiếm nâng cao trên các công cụ tìm kiếm và sử dụng thành thạo các nền tảng OSINT phổ biến. Thành thạo ít nhất một ngôn ngữ lập trình, ưu tiên Scala, Python, và có kiến thức vững chắc về SQL để truy vấn và thao tác dữ liệu phức tạp. Có kinh nghiệm thực tế trong việc xây dựng và vận hành các pipeline ETL/ELT. Hiểu biết về các công nghệ Big Data như Apache Spark, Apache Flink là một lợi thế lớn. Sự cẩn thận, tỉ mỉ và nhạy bén khi đối diện với những khối lượng thông tin lớn, nhiều điểm mù và phức tạp. Khả năng duy trì sự tập trung cao độ và chịu được áp lực khi phải hoàn thành công việc trong thời gian ngắn

Yêu cầu:ưu tiên (Điểm cộng): Có kinh nghiệm với các công cụ điều phối pipeline như Apache Nifi. Hiểu biết về các hệ thống dữ liệu streaming như Kafka Kinh nghiệm với containerization (Docker, Kubernetes). Khả năng đọc hiểu tài liệu kỹ thuật bằng tiếng Anh tốt

Quyền lợi

Competitive, based on experience Leadership roles, learning new technologies Travel, company trip, business trip, exchange program support Healthcare Other

benefits:

Thông tin bổ sung

Tín hiệu vai trò

Kỹ sư

Học vấn/chứng chỉ

Đại học

Ngôn ngữ

Tiếng Anh