Data Engineering6 True/False Positive/Negative ์ ๋ฆฌ ์ธ๊ณต์ง๋ฅ๊ฐ๋ก ๋ค์ ๋ ๋ฐ๋ก ์ดํดํ๋ ๊ฐ๋ ์ธ๋ฐ ์ด๋ฒ์ ์กธ์ํ๋ฉด์ ๋ค์ ์ฐพ์๋ณด๋ ์ ์ง ์ดํด๊ฐ ์ ๋์๋... ๋น ๋ฐ์ดํฐ ์์ ๋ฃ๋ค๊ฐ ๋ ๋์๋๋ฐ ๋คํํ ์ดํด๋์ ์ ๋ฆฌํด๋๋ค. True Positive False Positive True Negative False Negative ๋ค ๊ฐ๋ ์ ์ค์ ๊ฐ๊ณผ ์์ธก๊ฐ์ ๋ฐ๋ผ ๊ณ์ฐํ๋ฉฐ, ๋ค์์๋ถํฐ ํด์ํ๋ค. Positive์ Negative๋ ์์ธก๊ฐ์ด ๊ธฐ์ค ๋ ์ด๋ธ๊ณผ ๊ฐ์์ง (์์ธก๊ฐ == ๊ธฐ์ค๊ฐ?) ์ฌ๋ถ์ ๋ฐ๋ผ ๊ฒฐ์ ๋๊ณ True์ False๋ ๊ทธ๋์ ๊ทธ ์์ธก์ด ๋ง์๋์ง (์์ธก๊ฐ == ์ค์ ๊ฐ?) ์ฌ๋ถ์ ๋ฐ๋ผ ๊ฒฐ์ ๋๋ค. ๊ฐ๋ น 0๊ณผ 1 ๋ ๊ฐ์ง์ ๋ ์ด๋ธ์ ๋ํ์ฌ ๋ถ๋ฅํ๋ ๋ฌธ์ ๋ฅผ ํ์๊ณ , ๋ ์ด๋ธ 0์ ๋ํ์ฌ TP, FP, TN, FN์ ๊ณ์ฐํ๋ค๊ณ ํ์. True Positive๋ ์์ธก.. 2020. 5. 7. Spark/Hadoop ์ด์ฉํ CentOS VM ์ธํ ํ๊ธฐ CentOS์์ Spark์ Hadoop์ ์ด์ฉํด ๋น ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๋ ์ค์ต์ ํ๊ธฐ ์ํด์... VM์ ์ธํ ํ๋ ๋ฐฉ๋ฒ์ ๋ํด์ ์ ๋ฆฌํ๋ค. ๋์๋ณด๋ฉด ๋ณ ๊ฑฐ ์๋๋ฐ ํ๋ฃป๋ฐค์ ์๊ณ ๋์์ผ ์๊ฒ ๋์๋ค. ๋ฏธ๋ฆฌ ๊ฒฐ๋ก ๋ถํฐ ๋งํ์๋ฉด.. RAM=4GB, Disk=20GB์ด์, Cores=8๋ก VM์ ์ธํ ํ์. (Cores๋ Multi-threading ์ด์ฉํ ๊ฒฝ์ฐ) VMWare ์ฌ์ค Window์์ ์ค์ต์ ์งํํด๋ ๋๋๋ฐ, Linux ๊ธฐ๋ฐ์ผ๋ก ํด๋ณด๋๊ฒ ๋ซ์ง ์์๊น ์ถ์ด์ VM์ CentOS๋ฅผ ์ฌ๋ฆฌ๊ธฐ๋ก ํ๋ค. (CentOS๋ ์ฒ์ ์จ๋ณด๋ ๊ฑฐ๊ธฐ๋ ํ๊ณ ..) ์ต์ํ VirtualBox๋ฅผ ์ฌ์ฉํ๋ ค๊ณ ํ๋๋ฐ.. ์ด์ํ๊ฒ (๋ช ๋ฌ ์ ๋ถํฐ?) VM์ด ์์์ด ์ ๋๊ณ ์ค๋ฅ๊ฐ ์์ด์ ๊ฒฐ๊ตญ ํฌ๊ธฐํ๋ค. ๋ฐ์ํ ์ค๋ฅ๋ ์ฌ๊ธฐ์ ๋ ์ค๋ฅ๋ ๊ฐ์.. 2020. 4. 16. ์ด์ 1 2 ๋ค์