Variable Scope 공부

읽은 자료: https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/how_tos/variable_scope/

주요 함수

- tf.get_variable(<name>, <shape>, <initializer>): 입력된 이름의 변수를 생성하거나 반환

- tf.variable_scope(<scope_name>): tf.get_variable()에 전달된 이름의 네임스페이스를 관리 (with와 함께 쓰임)

- tf.get_variable_scope(): 현재 variable scope를 반환

 

tf.get_variable()

- tf.Variable()처럼 직접 값을 전달하지 않고 Initializer를 사용

tf.constant_initializer(value): 제공된 값으로 모든 것을 초기화
tf.random_uniform_initializer(a, b): [a, b]를 균일하게 초기화
tf.random_normal_initializer(mean, stddev): 주어진 mean과 stddev로 정규분포에서 초기화

 

- variable scope의 reuse여부에 따라 1) 변수를 생성하거나 2) 변수를 반환함

1) tf.get_variable_scope().reuse == False 일 때
- 변수의 이름은 '현재 variable scope 이름 + 제공된 name' 으로 정해지며, 이런 이름을 가진 변수가 있는지 확인함
- 그런 변수가 존재한다면 Raise ValueError
- 그런 변수가 없다면 변수를 생성

2) tf.get_variable_scope().reuse == True 일 때
- 변수의 이름은 '현재 variable scope 이름 + 제공된 name' 으로 정해지며, 이런 이름을 가진 변수가 있는지 확인함
- 그런 변수가 존재한다면 해당 변수를 ㄹ반환
- 그런 변수가 없다면 Raise ValueError

 

tf.variable_scope()

- tf.get_variable_scope().reuse_variables()를 호출해 현재 variable scope의 reuse 플래그를 True로 설정할 수 있음 (reuse 플래그는 해당 variable scope의 변수들의 재사용(공유) 여부를 나타냄)

- 그러나 reuse 플래그를 False로 설정할 수는 없음

이유: 
이유는 모델을 생성하는 함수를 구성하는 것을 허용하기 위해서입니다. 이전처럼my_image_filter(inputs) 함수를 작성한다고 상상해보십시오. 변수 범위에서 reuse=True와 함께 함수를 호출하는 누군가는 모든 내부 변수가 재사용 될 것으로 예상합니다. 함수 내부에서 reuse=False를 강제로 허용하면 이 계약이 깨지게 되고, 이런 방법으로 파라미터를 공유하는 것을 어렵게 만듭니다.

 

- 상위 variable scope의 reuse 플래그가 True이면 하위 variable scope의 reuse 플래그도 True가 됨 (sub-scope로 reuse가 상속된다고 생각할 수 있음)

- reuse 플래그가 True인 variable scope를 종료하여 reuse 플래그가 False인 variable scope로 나갈 수 있음

with tf.variable_Scope("root"):
    assert tf.get_variable_scope().reuse == False
    
    with tf.variable_scope("foo"):
        assert tf.get_variable_scope().reuse == False
    
    with tf.variable_scope("foo", reuse=True):
        assert tf.get_variable_scope().reuse == True
        
        with tf.variable_scope("bar"):
            assert tf.get_variable_scope().reuse == True
 
    assert tf.get_variable_scope().reuse == False

 

- with ... as ... 를 이용해 variable scope를 캡처해두고 이후에 사용할 수 있음

with tf.variable_scope("foo") as foo_scope:
    assert foo_scope.name == "foo"

with tf.variable_scope("bar"):
    with tf.variable_scope("baz") as other_scope:
        assert other_scope.name == "bar/baz"
        
        # Attend here #
        with tf.variable_scope(foo_scope) as foo_scope2:
            assert foo_scope2.name == "foo"

 

- variable scope 자체에 initializer를 설정해 그 아래서 생성한 변수들의 initializer를 한 번에 설정해줄 수 있음 (그러나 tf.get_variable()에 initializer를 명시하면 오버라이드됨)

with tf.variable_Scope("foo", initializer=tf.constant_initializer(0.4)):
    v = tf.get_variable("v", [1])
    assert v.eval() == 0.4 # Default initializer
    
    w = tf.get_variable("w", [1], initializer=tf.constant_initializer(0.3)):
    assert w.eval() == 0.3 # Specific initializer
    
    with tf.variable_scope("bar"):
        v = tf.get_variable("v", [1])
        assert v.eval() == 0.4 # Inherited default initializer
    
    with tf.variable_scope("baz", initializer=tf.constant_initializer(0.2)):
        v = tf.get_variable("v", [1])
        assert v.eval() == 0.2 # Changed default initializer

예제

Incorrect example

def my_image_filter(input_images):
    # conv1
    conv1_weights = tf.Variable(tf.random_normal([5, 5, 32, 32]),
                                name="conv1_weights")
    conv1_biases = tf.Variable(tf.zeros([32]), name="conv1_biases")
    
    conv1 = tf.nn.conv2d(input_images, conv1_weights,
                         strides=[1, 1, 1, 1], padding='SAME')
    relu1 = tf.nn.relu(conv1 + conv1_biases)
    
    # conv2
    conv2_weights = tf.Variable(tf.random_normal([5, 5, 32, 32]),
                                name="conv2_weights")
    conv2_biases = tf.Variable(tf.zeros([32]), name="conv2_biases")
    
    conv2 = tf.nn.conv2d(relu1, conv2_weights,
                         strides=[1, 1, 1, 1], padding='SAME')
    relu1 = tf.nn.relu(conv2 + conv2_biases)

# Apply 2 images to my_image_filter
result1 = my_image_filter(image1)
result2 = my_image_filter(image2)

➔ 잘못된 이유: image1과 image2를 my_image_filter에 적용할 때 같은 변수 세트를 공유해야 하는데 변수 세트가 각각 생성됨 (에러가 나는 건 아니지만 의도에 맞지 않음)

 

Correct example

def conv_relu(input, kernel_shape, bias_shape):
    # Create variable named "weights"
    weights = tf.get_variable("weights", kernel_shape,
                              initializer=tf.random_normal_initializer())
    # Create variable named "biases"
    biases = tf.get_variable("biases", bias_shape,
                             initializer=tf.constant_initializer(0.0))
    
    conv = tf.nn.conv2d(input, wegiths, strides=[1, 1, 1, 1], padding='SAME')
    return tf.nn.relu(conv + biases)

def my_image_filter(input_images):
    with tf.variable_scope("conv1"):
        # Variables created here will be named "conv1/weights", "conv1/biases"
        relu1 = conv_relu(input_images, [5, 5, 32, 32], [32])
        
    with tf.variable_scope("conv2"):
        # Variables created here will be named "conv2/weights", "conv2/biases"
        return conv_relu(relu1, [5, 5, 32, 32], [32])
        
# Raises ValueError
result1 = my_image_filter(image1)
result2 = my_image_filter(image2)

# Use this instead
with tf.variable_scope("image_filters") as scope:
    result1 = my_image_filter(image1)
    scope.reuse_variables()
    result2 = my_image_filter(image2)

my_image_filter 구조는 conv1 + relu1 + conv2 + relu2 인데 여기서 (conv + relu) 세트가 두 개 있다고 생각하여 conv_relu() 모듈을 만든 것이다. conv_relu() 내부에서 weights와 biases라는 이름의 변수를 tf.get_variable()로 가져왔다. 그러나 conv1과 conv2는 서로 다른 값의 weights와 biases를 가져야 하기 때문에 tf.variable_scope()를 이용해 각각 conv1/weights, conv1/biases, conv2/weights, conv2/biases를 사용할 수 있도록 한다.

그리고 두 이미지 image1, image2에 대하여 my_image_filter를 적용할 때는 conv1/weights, conv1/biases, conv2/weights, conv2/biases가 (두 이미지에 대하여) 공유되는 값이어야 한다. 그러나 이런 의도를 가지고 그냥 my_image_filter를 두 번 돌려버리면 ValueError(... conv1/weights already exists ...)가 난다. 즉 변수가 우연히 공유된 것인지를 확인하는 것이다. 변수를 공유하려면 reuse_variables()를 이용해 변수를 재사용할 것임을 명시해야 한다.