데이터 과학을 배우지 않고도 성공적인 빅 데이터 아키텍트가 될 수 있습니까? 빅 데이터 아키텍트와 데이터 과학자의 차이점은 무엇입니까?


대답 1:

여러 A2A에 감사드립니다! :)

이것은이 문제에 관한 개인적인 경험에 대한 나의 손입니다.

Miniclip에는 데이터 과학 팀과 데이터 엔지니어링 팀이 있습니다. 데이터 엔지니어링 팀은 모든 빅 데이터를 처리합니다. 작업을 통해 데이터 과학 팀이 할 수는 있지만 더 나쁘고 느리게 할 것입니다 ... 우리는 그것을 원하지 않습니다! :)

데이터 엔지니어링 팀은 데이터 과학 팀이 진행하는 방식에 따라 도메인 지식 관련 정보를 제공 할 필요가 없습니다. 그러나 그들은 상당히 많은 머신 러닝을 알고 있으며 대규모 자동화 데이터 프로젝트에서 우리는 함께 일합니다.

제 생각에는 데이터 과학없이 회사가 데이터 과학자에 의존한다는 도메인 / 알고리즘 지식없이 빅 데이터 아키텍트 / 엔지니어가 될 수 있습니다. 그러나 손에 든다면 훨씬 우수한 데이터 엔지니어가 될 것입니다.


대답 2:

Marcin에 동의하십시오. 데이터 과학자는 빅 데이터 아키텍트가 빅 데이터 인프라를 활용할 수 있습니다. 빅 데이터 아키텍트가 알아야 할 주요 고려 사항 중 일부는 다음과 같습니다.이 중 데이터 분석 / 과학이 일부입니다 (아래 3 참조).

1) 데이터 수집-배치 및 스트리밍

2) 데이터 스토리지-분산 스토리지, NoSQL

3) 처리 및 분석 **-일괄 처리, 스트림 처리, 분석. 여기서 빅 데이터 아키텍트는 최소한 비즈니스 유스 케이스 및 데이터 과학자의 선호도에 따라 빅 데이터 인프라에이를 추천하고 포함 할 수있는 사용 가능한 분석 도구 / API에 대해 알고 있어야합니다. 데이터 과학자를 가능하게하는 도구에서 고려해야 할 요소 중 몇 가지는 알고리즘 유형, 모국어 지원, 빅 데이터 환경과의 연결, 데이터 구문 분석 기능, 데이터 프로파일 링 등이 될 수 있습니다.

4) 소비-배치 또는 스트림 소비

5) 빅 데이터 분산 환경의 다양한 구성 요소에 대한 하드웨어 요구

6) 빅 데이터 환경의 운영 요구


대답 3:

Marcin에 동의하십시오. 데이터 과학자는 빅 데이터 아키텍트가 빅 데이터 인프라를 활용할 수 있습니다. 빅 데이터 아키텍트가 알아야 할 주요 고려 사항 중 일부는 다음과 같습니다.이 중 데이터 분석 / 과학이 일부입니다 (아래 3 참조).

1) 데이터 수집-배치 및 스트리밍

2) 데이터 스토리지-분산 스토리지, NoSQL

3) 처리 및 분석 **-일괄 처리, 스트림 처리, 분석. 여기서 빅 데이터 아키텍트는 최소한 비즈니스 유스 케이스 및 데이터 과학자의 선호도에 따라 빅 데이터 인프라에이를 추천하고 포함 할 수있는 사용 가능한 분석 도구 / API에 대해 알고 있어야합니다. 데이터 과학자를 가능하게하는 도구에서 고려해야 할 요소 중 몇 가지는 알고리즘 유형, 모국어 지원, 빅 데이터 환경과의 연결, 데이터 구문 분석 기능, 데이터 프로파일 링 등이 될 수 있습니다.

4) 소비-배치 또는 스트림 소비

5) 빅 데이터 분산 환경의 다양한 구성 요소에 대한 하드웨어 요구

6) 빅 데이터 환경의 운영 요구