๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

๋ถ„๋ฅ˜ ์ „์ฒด๋ณด๊ธฐ74

๋ธ”๋กœ๊ทธ ๊ณต๊ฐ„ ๊ณ ๋ฏผ (๋„ค์ด๋ฒ„, ํ‹ฐ์Šคํ† ๋ฆฌ, ๋ธŒ๋Ÿฐ์น˜, ๋ฏธ๋””์—„, ๋ฒจ๋กœ๊ทธ, ๋…ธ์…˜, ๊นƒํ—™) ๋‚˜์˜ ์ƒ๊ฐ๊ณผ ์„ฑ์žฅ์„ ๊ธฐ๋กํ•  ๊ณต๊ฐ„์ด ํ•„์š”ํ•ด์š”์ฆ˜ ์ด๋ ฅ์„œ๋ฅผ ์ž‘์„ฑํ•˜๊ณ  ์žˆ๋‹ค. ๋” ๊ตฌ์ฒด์ ์œผ๋กœ๋Š” ๋‚ด๊ฐ€ ํ•˜๊ณ  ์‹ถ์€ ์ผ๊ณผ ๋‚ด๊ฐ€ ํ•ด์˜จ ์ผ์— ๋Œ€ํ•ด ๊ณ ๋ฏผํ•˜๊ณ  ์žˆ๋‹ค. ์ด๋ ฅ์„œ๋ฅผ ์ ๋‹ค๋ณด๋‹ˆ ๊ธฐ๋ก ์ฐจ์›์—์„œ๋“  (๊ณผ๊ฑฐ์— ํ•œ ์ผ๊ณผ ์ƒ๊ฐ์ด ๊ธฐ์–ต๋‚˜์ง€ ์•Š๋Š”๋‹ค) ์ปค๋ฆฌ์–ด ์–ดํ•„ ์ฐจ์›์—์„œ๋“  (์ด๋ ฅ์„œ์— ๊ฑด๊ฑด์ด ๋งํฌํ•  ์ˆ˜ ์žˆ๋Š” ๊ธ€์ด ์žˆ์—ˆ์œผ๋ฉด ์ข‹๊ฒ ๋‹ค) ๋ธ”๋กœ๊ทธ ๊ณต๊ฐ„์ด ์žˆ์œผ๋ฉด ์ข‹๊ฒ ๋‹ค๋Š” ์ƒ๊ฐ์ด ๋“ค์—ˆ๋‹ค. ๊ณ ๋ฏผ๋œ ๊ฒƒ์€ ์ผ์ƒ๊ณผ ์—ฐ์•  ๋“ฑ ์‚ฌ์ , ๊ฐ์„ฑ์ , ๊ฐœ์„ฑ์ ์ธ ๊ธ€์„ ์“ธ ๊ณณ๊ณผ ์ปค๋ฆฌ์–ด์™€ ๊ฐœ๋ฐœ ๊ด€๋ จ ์ „๋ฌธ์ ์ธ ๊ธ€์„ ์“ธ ๊ณณ์„ ๋ถ„๋ฆฌํ•  ๊ฒƒ์ธ๊ฐ€? ์˜€๋‹ค. ๊ฒฐ๋ก ์ ์œผ๋กœ๋Š” ๋ถ„๋ฆฌํ•˜๋Š” ๊ฒƒ์ด ๋‚˜์•„๋ณด์ธ๋‹ค. 1) ๊ฐ๊ฐ์˜ ๋ชฉ์ ์— ๋งž๋Š” ํ”Œ๋žซํผ์ด ์žˆ๋‹ค๋Š” ๊ฒƒ๊ณผ 2) ๋ณธ์บ์™€ ๋ถ€์บ๋งˆ๋ƒฅ ์ข…ํ•ฉ์ ์ธ ๋‚˜๋ผ๋Š” ์ธ๊ฐ„๊ณผ ์ผํ•˜๋Š” ๋‚˜๋ผ๋Š” ์ธ๊ฐ„์„ ๊ตฌ๋ถ„ํ•˜๋Š” ๊ฒƒ์ด ์ข‹๊ฒ ๋‹ค๋Š” ์ด์œ ๋‹ค. ์ปค๋ฆฌ์–ด์™€ ๊ฐœ๋ฐœ ๋ธ”๋กœ๊ทธ ๊ณต๊ฐ„์ปค๋ฆฌ์–ด ๊ด€๋ จ ๊ณ ๋ฏผ/์ƒ.. 2023. 5. 7.
2023 ์›”์„ธ ์†Œ๋“๊ณต์ œ ์‹ ์ฒญ 1. ๊ฐ„์†Œํ™” ์ž๋ฃŒ - ์›”์„ธ์•ก์— ์—…๋ฐ์ดํŠธ ๋˜์–ด์žˆ๋Š”์ง€ ํ™•์ธ 2. ์—…๋ฐ์ดํŠธ ๋˜์–ด์žˆ์ง€ ์•Š๋‹ค๋ฉด ํ™ˆํƒ์Šค์—์„œ ๋ณ„๋„๋กœ ์‹ ์ฒญ - ํ•„์š” ์ •๋ณด: ์ž„๋Œ€์ธ ์ฃผ๋ฏผ๋“ฑ๋ก๋ฒˆํ˜ธ, ์ฃผ์†Œ์ง€, ์›”์„ธ ์ง€๊ธ‰์ผ (๋งค๋‹ฌ X์ผ), ๊ณ„์•ฝ ๊ธฐ๊ฐ„, ์›”์„ธ์•ก - ์ฒจ๋ถ€ ์„œ๋ฅ˜: (๋”ฐ๋กœ ์•ˆ๋‚ด๋Š” ์—†์œผ๋‚˜ 2๋ฒˆ์งธ ๋งํฌ ๋‚ด์šฉ์„ ์ฐธ๊ณ ํ•˜์—ฌ) ์›”์„ธ ์ด์ฒดํ™•์ธ์ฆ๊ณผ ์ž„๋Œ€์ฐจ๊ณ„์•ฝ์„œ . ์ด์ฒดํ™•์ธ์ฆ์€ ๊ฐ ์€ํ–‰ ์ธํ„ฐ๋„ท ๋ฑ…ํ‚น ์‚ฌ์ดํŠธ์—์„œ ๋ฐœ๊ธ‰ ๊ฐ€๋Šฅ . ์นด์นด์˜คํŽ˜์ด ์ด์ฒด์˜ ๊ฒฝ์šฐ ์†ก๊ธˆ ๋‚ด์—ญ ํ™”๋ฉด ์šฐ์ธก ์ƒ๋‹จ์— '์†ก๊ธˆํ™•์ธ์ฆ' ํด๋ฆญํ•˜์—ฌ ๋ฐœ๊ธ‰ ๊ฐ€๋Šฅํ•˜๋‚˜, PDF๋ฅผ ๋ฉ”์ผ๋กœ ์ „์†ก ๋ฐ›์œผ๋ฉด ์•”ํ˜ธํ™” ๋˜์–ด์žˆ์Œ.. => PDF๋กœ ์ธ์‡„ํ•˜๊ธฐ ํ•˜์—ฌ ์•”ํ˜ธํ™” ํ•ด์ œํ•˜๊ธฐ . ์—ฌ๋Ÿฌ ์€ํ–‰ ํ˜น์€ ๊ณ„์ขŒ๋กœ ์ด์ฒดํ•ด์„œ.. ํ•œPDF (๋˜๋Š” ์•ŒPDF) ๋กœ PDF ๋ณ‘ํ•ฉํ•จ https://blog.naver.com/hayth0121/22297477005.. 2023. 1. 19.
์ฒซ ๋ฒˆ์งธ ๊ฐœ๋ฐœ์ž ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€ ์ž…๋‹ˆ๋‹ค. 2022. 3. 27.
DQN Q-network diverges Q-network๋Š” ์ข‹์€ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด์ง€๋งŒ, ๊ทธ๋‹ค์ง€ ๊ฒฐ๊ณผ๊ฐ€ ์ข‹์ง€ ์•Š๋‹ค. (์ˆ˜๋ ดํ•˜์ง€ ์•Š์Œ) Google Deepmind์—์„œ ๊ทธ๋ฅผ ๊ณ ์ณ ๋งŒ๋“ค์–ด ๋‚ธ ๊ฒƒ์ด DQN์ด๋‹ค. 2 Problems ๊ธฐ์กด Q-network๊ฐ€ ์ข‹์€ ์„ฑ๊ณผ๋ฅผ ๋‚ผ ์ˆ˜ ์—†๋˜ ์ด์œ ๋Š” ๋‹ค์Œ์˜ ๋‘ ๊ฐ€์ง€์ด๋‹ค. 1) Correlation between samples - action์„ ์ทจํ•˜๋ฉด์„œ environment๊ฐ€ ์กฐ๊ธˆ์”ฉ ๋ฐ”๋€Œ๊ธฐ ๋•Œ๋ฌธ์— ์œ ์‚ฌํ•จ = sample๋“ค์ด ๋น„์Šทํ•จ (์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์žˆ์Œ) - ์ „์ฒด์  ๊ฒฝํ–ฅ์„ฑ์„ ๋ณด์—ฌ์ค„ ์ˆ˜ ์žˆ๋Š” data๋“ค์ด ์•„๋‹ˆ๋ผ ์œ ์‚ฌํ•œ (๋ถ™์–ด์žˆ๋Š”) data๋“ค๋กœ ํ•™์Šต์„ ์‹œํ‚ค๋ฉด ์ œ๋Œ€๋กœ ํ•™์Šต๋˜์ง€ ์•Š์Œ 2) Non-stationary targets - ์ฆ‰, "target์ด ์›€์ง์ž„" - pred๊ฐ’์„ target๊ฐ’์— ๊ฐ€๊นŒ์ด.. 2022. 3. 12.