본문 바로가기

전체 글

 (43)
[인사이트] 영화 후기: 타다(TADA) 대한민국 스타트업의 초상 타다금지법에 얽힌 스타트업 타다(TADA)를 다룬 다큐멘터리 영화를 보고 느낀 점을 메모합니다. 타다금지법에 관한 영화였다. 마지막 상영일에 가까워져서야 상영소식을 접하고 보고왔다. 정말정말 어려운 비즈니스 영역이다. 법적인 부분의 갈등 요소가 있는 사업영역에서 성공하는 것은 정말 어려운 일이라는 점을 다시 한번 느꼈다. 타다의 구성원들을 보면 다들 동기부여가 정말 잘되어있다. 어느 누구도 어떤 회사에 가도 1인분 이상을 거뜬히 할만한 능력자들이라는 생각이 들었다. 한편으로는 어떻게 저런 인원으로 팀을 충원이 가능했을지 궁금하기도 했다. 영화 내용 중 과거 성공방정식에 얽메이지 않아야 한다고 했으나 과연 타다는 과거 성공 방정식에서 자유로웠는지는 생각거리다. 영화는 타다의 시선으로 흐른다. 반대편인 택시..
[글또] 스칼라와 친해지기 (개념/설치/문법) Java에서 갈라져 나온 언어인 스칼라를 정리해보자 1. 소개 - 스위스 로잔 연방 공과대학교(EPFL)의 마틴 오더스키(Martin Odersky)가 개발했다. - 자바의 제너릭 설계에도 참여했던 마틴 오더스키가 설계 도중 창안 - 그렇기 때문에 자연스럽게 스칼라도 Java 계열의 언어이며 JVM위에서 동작하도록 고안되었다. - Scalable language를 줄여서 Scala가 되었다고 한다. - 초기 학습곡선이 꽤 높다고 한다. (무엇이 다른 언어에 비해 초기학습곡선을 높게 만든걸까?) - 미국에서 2018년부터 현재까지 프로그래머 연봉 1위의 언어라고 한다. - 아마 빅데이터 엔지니어링 관련하여 Spark과 호환이 가장 좋은 언어이기 때문이지 않을까 생각중. - 빅데이터 엔지니어 연봉 = 스칼라..
[글또] Spark 정리하기(2/2) - Dataframe, Dataset 스파크의 데이터구조 개념중 Dataframe과 Dataset에 대하여 정리합니다. Dataframe 기존의 RDD한계 때문에.. 메모리나 디스크에 저장공간이 충분하지 않을 경우 동작하지 않음 구조화 데이터와 비구조화 된 데이터를 함께 저장하여 효율성 감소 직렬화(JAVA)와 Garbage Collection을 사용하여 메모리 오버헤드 증가 별도 최적화 엔진 별도로 존재하지 않음 > 최적화 작업이 필요 .. Spark 진영에서는 1.3v 부터 Dataframe 개념을 도입 Schema RDD라고 불리기도 함 기본적으로 Structured Data 구조로 이루어지게 된다. 행과 열이 존재하며 그렇기 때문에 SparkSQL등을 통해 SQL 질의를 처리할 수 있게 된다. (1.3v 이후로 가장 큰 장점) GC(..

티스토리툴바