1. Quiz: HDFS Is there a problem? > https://youtu.be/6F8-cCUbRU8 Network failure Disk failure on DN(datanode) Not all DN used Block sizes differ Disk failure on NN(namenode) 2. Quiz: Data Redundancy Any problem now?(when NN failure) Data inaccessible > when network failure on NN Data lost forever > when disk failure on NN No problem 3. NameNode Standby The active namenode works before, but the standby can be configured to take over if the active one fails.

Continue reading

1. Quiz: Dimensions of Big Data Which of the following are Part of the 3 dimensions of Big Data? Volume Cost Importance Velocity Source Variety Security Virality 2. Quiz: Volume Volume of Big Data refers to: Importance of Data Size of data Speed of data generation The differnet data sources 3. Quiz: Hadoop Ecosystem Check all that are true: Hadoop provides an efficient way of storing data via HDFS Hadoop has a visualization framework called ‘Giraffe’ You can analyze large datasets using a high-level language called ‘Pig’ ‘Hive’ offers a SQL-like language on top of MapReduce The tools in Hadoop’s ecosystem are all proprietary, commercial tools 4.

Continue reading

1. Introduction You can read more about Big Data in Wikipedia which is also a company that generates and processes huge amounts of data itself. MapReduce and Apache Hadoop are the technologies we will be talking about more in this course. 2. Data Sources According to IBM: “Every day, 2.5 billion gigabytes of high-velocity data are created in a variety of forms, such as social media posts, information gathered in sensors and medical devices, videos and transaction records”

Continue reading

github page는 무엇인가? https://pages.github.com/ 는 깃허브에서 다이렉트로 호스팅해주는 서비스이다. 무료이다. 단 깃허브 계정 하나에 한 페이지만 만들 수 있다. 개발자들은 주로 포트폴리오나 cv, 또는 개인 블로그로 사용하고있다. 내 블로그인 sanghun.xyz도 깃허브 리포지터리를 이용한 페이지이다. 도메인은 aws에서 구매해 연결했다. 참조 나는 codecademy의 deploy-a-website를 따라해서 만들었다. 쉽고 친절한 수업이라 따라만 해도 쉽게 웹사이트를 배포할 수 있다. 물론 배포까지만! 그 다음은 개인의 웹개발 역량에 달려있다. 나는 괜찮아보이는 공개 theme를 가져다 썼다. 아래의 방법은 codecademy의 수업을 요약한 것이다.

Continue reading

안녕하세요. 지난글에서 지갑을 무사히 설치했다면 이번글에선 지갑을 백업하는법을 알아보겠습니다. 지갑을 무사히 설치하였더라도, 만일의 사태는 발생할 수 있습니다. 지갑이 설치된 컴퓨터가 파손된다면 어떻게 할건가요? 이럴때를 대비해 지갑을 백업해둬야만 합니다. 관리부주의로 가상화폐의 소유권을 잃어버릴수도 있습니다. 이 글을 읽으시는 분들도 반드시 백업파일을 만들어두시길 바랍니다. 백업방법 1 - 간단하게 파일 -> 지갑 백업을 통해 백업 파일을 만들 수 있습니다. - 원하는 경로에 원하는 이름으로 백업 파일을 만들수 있습니다. - 이름은 원하는대로 설정 가능하지만 일반적으로는 wallet으로 하는걸 추천드립니다.

Continue reading

Author's picture

Sanghun Kang

COOL

Data Engineer&Analyst

South Korea