Free Shaping / Capturing (자유 쉐이핑)

차등 강화가 "탐색→수렴"을 유도한다. 한 근사치가 강화되다가 기준이 올라가면(이전 수준은 더 이상 클릭 안 됨), 개는 변산을 늘려 새 근사치를 시도한다. Antonitis(1951), Eckerman & Lanson(1969), Gharib et al.(2004) 등은 강화가 줄거나 끊기면 행동 변산성이 증가함을 실험으로 보였다(Pryor & Chase 2014 인용). 이 변산 증가가 새 행동의 원천이고, shaping은 그 변산 중 목표 방향을 골라 다시 좁힌다. "탐색(발산)–선택(수렴)"의 반복이 곧 문제해결 과정.

변산성·새로움 자체를 강화하면 "창의"가 훈련된다. 이것이 framework의 핵심 증거인 The Creative Porpoise(Pryor, Haag & O'Reilly 1969). "그 종의 정상 유영 동작이 아닌 어떤 움직임이든"이라는 기준으로 이전에 안 나온 새 행동만 강화하자, 돌고래는 처음엔 혼란스러워하다가 어느 순간 "규칙"을 파악하고 새 행동을 연달아 발명해 내놓기 시작했다(§5, §6). 즉 "새로움"이 하나의 조작적 반응 범주(operant response class)가 될 수 있고, 개에게도 같은 절차("Show me something new")가 적용된다.

정서적 안전이 탐색을 푼다. 처벌·강압이 없고 강화율이 높은 환경에서 개는 "틀려도 잃을 게 없다"고 학습한다. Pryor & Chess(2014): "넓은 범위의 행동에 걸쳐 높은 강화율을 유지하면 피험자의 긍정적 정서 상태가 유지되어 탐색적·혁신적 행동이 촉진된다." 탐색을 많이 할수록 시도-표본이 커지고, 표본이 커야 문제를 풀 확률이 오른다.

훈련 절차 단계 (실제 진행)

4-A. 사전 조건: marker charging (clicker 충전) 조용한 환경에서 클릭(또는 휘슬/마커워드) → 즉시 간식, 을 1020회 반복. 개가 클릭 소리에 보상을 기대(고개 돌림 등)하면 marker가 conditioned reinforcer로 확립된 것. Pryor & Chase(2014)가 강조한 marker 요건: 짧고, 처음엔 중립적이며(이전 연상이 없고), 환경의 다른 자극과 구별되고, 사람·개 모두에게 지각 가능해야 함. Wood(2006)는 클릭 소리가 말 "good"보다 더 정확하고 고유해서 marker로 우수함을 비교 실험으로 보였다.

4-B. Capturing (자연 행동 포착) — 가장 쉬운 진입 개가 평소 하는 행동(앉기·하품·기지개·고개 갸웃 등)이 자연 발생하는 순간을 노린다. 그 행동이 일어나는 정확한 순간에 클릭 → 보상. 같은 행동이 다시 나오길 기다려 반복. 빈도가 오르면 개가 "이 행동이 보상을 부른다"를 학습한 것. 충분히 빈번해지면 그제서야 cue(이름)를 붙인다(행동이 안정된 뒤 명명 — 순서 중요).

4-C. Free shaping — "101 Things to Do with a Box" (Karen Pryor) 출처: Karen Pryor, Don't Shoot the Dog!(1984/1999) 및 clickertraining.com "101 Things to Do with a Box"; 실무 절차는 Whole Dog Journal 정리본 교차 확인.

세팅: 빈 상자(또는 임의의 사물)를 바닥에 둔다. 사람은 몇 걸음 떨어진 의자에 앉아 기다린다. 미리 정한 목표 행동을 두지 않는다. 시작: 상자와 관련된 아주 작은 행동이라도 클릭+보상한다 — "쳐다보기, 한 걸음 다가가기, 냄새 맡기, 발로 건드리기." 이 단계에선 무작위 행동도 환영(random behaviors are fine).

• 사람이 하지 않는 것: 유인(lure)·신체 유도·말로 명령(cue)·행동 명명. 목표를 정해두지 않음. 기준 올리기(raise criteria): 한 행동이 자리잡으면 그 행동 클릭을 멈추고 더 발전된 행동을 기다린다. 예: 발 한 개를 상자에 → (정착되면 그건 무시) → 발 두 개 → 상자 안에 들어가기 → 상자를 미는 동작 등, 한 번에 한 단계씩 기준을 끌어올린다. 막히면(stalling): 개가 한 행동만 반복하면 그 행동 클릭을 끊고 다른 무언가가 나올 때까지 기다린다. 비강화가 변산을 끌어내(=새 시도) 다음 근사치의 재료가 된다. 세션 길이: 짧게(수십 초수 분), 높은 강화율로. 개가 "계속 이기고 있다"는 느낌을 유지해 정서 상태를 긍정으로 둔다. 명명: 최종 행동이 안정적으로 반복될 때 비로소 cue를 붙인다. (행동이 신뢰성 있게 나오기 전 명명하면 cue가 불완전한 행동에 붙는다.)

4-D. Innovation training — "Show me something new" (변산성·새로움 강화) creative porpoise 절차의 일반화. 개에게 적용되는 상급 단계. 개가 free shaping에 능숙해진 뒤 시작. 규칙: 세션마다(또는 시도마다) "직전에 안 한 새 행동"만 강화. 이미 한 행동을 반복하면 무시. 초기엔 개가 혼란·반복(circling)에 빠질 수 있음 → 반복을 깨기 위해 일시적으로 이전 강화 행동을 섞어 responding을 유지(creative porpoise에서 실제로 필요했던 보정). 어느 시점에 개가 "새로워야 보상"이라는 메타규칙을 파악하면, 새 행동을 연달아 내놓기 시작한다.

근거 연구 (1차 출처)

(A) The Creative Porpoise — 핵심 1차 실험 Pryor, K. W., Haag, R., & O'Reilly, J. (1969). "The creative porpoise: Training for novel behavior." Journal of the Experimental Analysis of Behavior, 12, 653–661.

• 두 마리 rough-toothed porpoise(Steno bredanensis)에게 "이전 세션에 안 나온 새 행동"을 매 세션 기준으로 차등 강화. 강화 기준: "정상 유영 동작이 아닌 어떤 움직임이든"(p. 654).
• 결과: shaping으로 만든 게 아닌, 그 종에서 관찰된 적 없는 새 행동들이 자발적으로 출현. Malia는 "빠르게 헤엄치다 등으로 뒤집기, 꼬리를 수직으로 들고 추진 없이 미끄러지기" 등 극적 신행동을 스스로 내놓음.
• 창발의 순간(두 번째 돌고래 Hou, 16일째): "트레이너가 나타나자 극도로 활발해져 즉시 trasting breach를 내놓고… flip이 44회, 이전에 본 적 없는 3가지 새 반응(거꾸로 tailslap, 꼬리 sideswipe, 단축 회전 spin)과 섞여 나옴"(p. 657). 이 "활동 폭발(burst)"이 새 행동 급증과 동반 — Chase et al.(2012)의 presolution period(해법 직전, 정보가 점진 축적되는 구간) 개념과 일치.
• 출처(전문): https://pmc.ncbi.nlm.nih.gov/articles/PMC1338662/ · https://onlinelibrary.wiley.com/doi/10.1901/jeab.1969.12-653 · PubMed https://pubmed.ncbi.nlm.nih.gov/16811388/

(B) 정식 리뷰 — 변산·혁신의 메커니즘 Pryor, K., & Chase, S. (2014). "Training for variable and innovative behavior." International Journal of Comparative Psychology, 27(2), 361–368(특집호 페이지 218–225로도 인용됨).

• 1969 실험을 현대 학습이론으로 재정리. 핵심 주장:
• Marker(event marker)가 "감각·기억하는 행동"과 "먹는 행동"을 분리해, 정답 동작을 외과적으로 식별(p. 363).
• 비강화(non-reinforcement)는 변산을 늘려 새 행동의 재료가 되지만, 소거까지 가면 aversive하고 개가 시도를 아예 포기할 수 있다 — "양날" (p. 366).
• 자연계의 혁신은 트레이너 없이도 일어남: Russon et al.(2010) 재활 오랑우탄의 물 사용 혁신 18/44, Manabe et al.(1997) budgerigar의 새 발성 패턴 생성 등(p. 365). 즉 변산 강화는 종을 가리지 않는 적응 형질.
• 인간 연구 연결: Byron & Khazanchi(2012) 메타분석 — creativity-contingent reward가 performance-contingent reward보다 창의에 더 강한 정적 효과, 특히 좌절이 끼는 복잡 과제에서(p. 366).
• 출처(전문 PDF): https://escholarship.org/content/qt9cs2q3nr/qt9cs2q3nrnoSplash18e00d301a98b1568dbbe25b5b45317e.pdf · ResearchGate https://www.researchgate.net/publication/351595038TrainingforVariableandInnovativeBehavior

(C) 변산성의 실험적 기반(연관 1차 문헌, 위 리뷰가 인용) Antonitis (1951) — 조건화·소거·재조건화 중 흰쥐 반응 변산성. Eckerman & Lanson (1969) — 연속/간헐 강화 및 소거에서 비둘기 반응 위치 변산. Neuringer, A. (2004). "Reinforced variability in animals and people." American Psychologist, 59, 891–906 — 변산성 자체를 강화로 직접 조형 가능함을 정립(framework의 이론적 척추). Schusterman & Reichmuth (2008), Animal Cognition, 11, 319–327 — 바다코끼리가 보상받을 소리를 찾으려 발성을 빠르게 바꾸며 탐색("vary their behavior to explore which sound would be selected"). 변산-탐색의 직접 관찰.

(D) Marker/clicker 효능 — 개 대상 통제연구 (효과 데이터, 단정 유보) "The click is not the trick" (PeerJ 2021). naive 개 3집단×각 30마리를 sit-and-stay 신행동으로 shaping: ① 1차 강화(먹이)만, ② 음성 marker+먹이, ③ clicker+먹이. 결과: 먹이만 받은 집단이 음성 marker 집단보다 유의하게 높은 성공 기준에 도달. clicker가 음성·먹이단독을 일관되게 능가하지는 못함.

• 출처: https://peerj.com/articles/10881/ Feng, Howell & Bennett (2016). "How clicker training works: Comparing reinforcing, marking, and bridging hypotheses." Applied Animal Behaviour Science. 리뷰 결론: 실험실 동물에서 보이던 marker 이점이 응용 개 연구에서 일관되게 재현되지 않음. clicker가 습득을 빠르게 한다는 통념은 동료심사 문헌에서 확정되지 않았다.
• 출처: https://www.sciencedirect.com/science/article/abs/pii/S1558787817300941 (관련 survey) · ResearchGate https://www.researchgate.net/publication/303423808
• 해석 주의: 이 데이터는 "marker가 효과 없다"가 아니라 "단순·짧은 과제에서는 marker의 추가 이점이 작거나 미검출"이라는 쪽. Pryor & Chase(2014)는 marker의 진가가 거리·복잡·신행동 식별(예: agility에서 멀리 있는 개의 정확한 순간 표시)에서 난다고 본다. 즉 free shaping 같은 "개가 스스로 새 행동을 찾는" 과제일수록 marker의 식별 기능이 의미를 갖는다는 논리.

(E) 강화 스케줄·정서 — 비용 측면 데이터 (중립 제시) "Partial rewarding during clicker training does not improve naïve dogs' learning speed and induces a pessimistic-like affective state" (PMC7829239). 30마리(15+15)를 앞발 2개를 판에 올리는 행동으로 shaping. 100% 강화 vs 60% 부분 강화 비교 + judgment bias test(애매 위치 접근 latency로 정서 측정).

• 결과: 부분 강화는 학습 속도를 개선하지 못했고(두 집단 학습 trial 수 유사), 부분 강화 집단이 애매 자극에 더 느리게 접근 = 비관적 정서 편향을 보임.
• 함의: marker 훈련에서 강화율을 높게 유지하는 것이 학습 효율 손해 없이 정서 비용을 줄인다(§4-C 5번, §3 5번과 연결).
• 출처: https://pmc.ncbi.nlm.nih.gov/articles/PMC7829239/

역사적 계보 (1차 인물·출처)

B. F. Skinner — shaping = "differential reinforcement of successive approximations"를 비둘기 실험에서 정립(1930s–40s). 2차대전 중 Project Pigeon(미사일 유도) 작업이 shaping 산업화의 출발. Keller & Marian Breland — Skinner 대학원생. Animal Behavior Enterprises(ABE) 설립, shaping을 상업·다종 훈련으로 확장. 1961 "The Misbehavior of Organisms"(American Psychologist)에서 본능적 행동이 조작적 조형을 방해(instinctive drift)함을 보고 — free shaping의 한계·실패양상을 학계 최초로 명시.

• 출처(2차 정리, 인물 검증): Marian Breland Bailey — https://en.wikipedia.org/wiki/MarianBrelandBailey · Cambridge Center for Behavioral Studies 역사 https://behavior.org/help-centers/animal-behavior/history/ Bob Bailey — 미 해군 해양포유류 프로그램 초대 훈련책임자, 이후 ABE에서 Marian과 140+ 종 훈련. "동물은 항상 옳다(the animal is always right)" — 실패는 동물이 아니라 훈련 프로토콜의 정보 전달 실패라는 관점(free shaping의 진단 철학).
• 출처: http://www.behavior1.com/page8.html · CattleDog Publishing 인터뷰 https://cattledogpublishing.com/blog/the-best-animal-trainers-in-history-interview-with-bob-and-marian-bailey-part-1/ Karen Pryor — Sea Life Park(하와이) 수석 트레이너. creative porpoise 실험(1969)의 제1저자. Lads Before the Wind(1975), Don't Shoot the Dog!(1984/1999)로 shaping·clicker 개념을 대중화. 1992 ABA 연차대회에서 clicker를 공개 도입. Reaching the Animal Mind(2009)에서 free shaping이 만드는 "생각하는 동물"을 서술.

학파 간 이견 (충돌만 사실로)

가치판단 없이, 각 입장이 무엇을 주장하는지와 효과 데이터만 적는다.

"순수 free shaping 우선" vs "lure/prompt 병용"

• A(free shaping 옹호; Pryor 계열): 유인을 안 써야 개가 스스로 행동을 내놓는 습관이 들고, 사고·창의가 길러진다. lure는 사람 의존을 만든다.
• B(lure-reward/structured 계열): free shaping은 느리고, 개가 좌절·소거 스트레스에 노출되기 쉽다. lure로 빠르게 형태를 잡고 점차 페이드아웃하는 게 효율적이며 초보 보호자에게 현실적.
• 데이터: 개 대상 통제연구에서 marker(clicker/음성)가 먹이단독 대비 단순 과제 습득을 일관되게 빠르게 하진 못함(PeerJ 2021; Feng et al. 2016). 단, 이 연구들은 "free shaping의 인지 효과"가 아니라 "marker의 습득 속도"를 측정한 것이라 free shaping 우위/열위의 직접 증거는 아니다.

강화 스케줄: 연속(100%) vs 부분(간헐)

• A: 새 행동 학습 단계에선 연속 강화로 정서를 보호하고 명확성을 높여라.
• B(간헐 강화 옹호): 행동 유지·소거 저항(지속성)을 위해 간헐 강화로 넘어가야 한다.
• 데이터: 부분 강화는 naive 개의 학습 속도를 개선하지 못했고 비관적 정서 편향을 유발(PMC7829239). 단 이건 습득 단계 연구로, 유지 단계의 간헐 강화 효용을 부정하진 않는다.

비강화(소거)의 역할

• A(변산 도구로 활용): 클릭을 끊으면 변산이 늘어 새 행동이 나온다 — free shaping/innovation의 엔진.
• B(스트레스 경계): 소거까지 밀면 aversive하고 개가 시도를 포기하거나 좌절 공격성을 보인다. 소거-유발 정서가 창의를 오히려 억제한다.
• 데이터: Pryor & Chase(2014) 스스로 "비강화는 새 행동을 만들지만 소거까지 가면 aversive, 양 측면의 최적 균형은 미해결 연구과제"라고 명시(p. 366). 소거 시 좌절 반응 증가는 dog 연구로도 확인(소거 단계에서 frustration 반응↑).

Aversive·negative reinforcement / 음식 통제와의 관계

• free shaping은 전통적으로 positive reinforcement 중심으로 설명되지만, 이론상 negative reinforcement·음식 동기 관리(deprivation level)도 shaping의 레버다. 동기수준이 충분해야 개가 행동을 많이 내놓는다(시도 표본↑).
• A(R+ 중심 학파): aversive 없이도 free shaping이 작동하며, 처벌은 변산·탐색을 위축시킨다고 본다.
• B(balanced/전통 operant 학파): aversive·동기조작도 조작적 조건화의 정당한 도구이며, 맥락에 따라 효율적일 수 있다고 본다.
• 본 문서 입장: 어느 쪽이 옳다고 규정하지 않는다. free shaping의 인지 효과(스스로 생각)는 "통제 소재가 개에게 있고 변산을 허용"하는 구조에서 나오며, 이 구조는 R+ 환경에서 가장 깨끗하게 관찰됐다는 사실만 기록한다. aversive 환경에서 동일 인지 효과가 나는지/약화되는지는 직접 비교 데이터가 부족하다(미해결).

전제조건 · 흔한 실패양상

전제조건 확립된 marker: 클리커/휘슬/마커워드가 conditioned reinforcer로 충전돼 있어야(§4-A). 안 되면 클릭이 의미 없는 소음. 타이밍: marker는 정답 동작이 일어나는 그 순간(±0.5초 이내) 찍혀야 함(Grice 1948). 늦으면 개가 엉뚱한 동작을 정답으로 귀인. 높은 강화율 + 충분한 동기: 개가 "계속 이기는" 느낌이 있어야 시도를 멈추지 않음. 동기(식욕 등)가 너무 낮으면 행동을 안 내놓고, 너무 높으면 흥분해 변산이 거칠어짐. 방해 자극 최소화한 환경: 초기엔 조용한 곳. 산만하면 개가 사물 탐색 대신 환경 스캐닝. 보호자의 자제력: 말로 돕고(cue), 손으로 가리키고(lure) 싶은 충동을 참아야 함. 이게 가장 흔히 깨지는 전제.

흔한 실패양상 (개가 집중·신남을 잃는 원인 포함) 개가 행동을 아예 안 내놓음(shut-down): 과거에 "틀리면 혼났다"는 학습 이력이 있거나(특히 강압 훈련 경험견·공포견), 강화율이 낮아 좌절했을 때. → 기준을 극단적으로 낮춰(쳐다보기만 해도 클릭) 재출발. Pryor가 "101 Things to do with a Box"를 위축된 개·구조견·겁많은 개에게 권하는 이유가 이것. 기준을 너무 빨리 올림(lumping): 한 번에 여러 단계를 건너뛰면 개가 정답을 못 찾아 시도가 끊긴다. → "splitting"(잘게 쪼개기)으로 한 단계씩. 반복 고착(repetitive loop): 한 행동만 무한 반복. creative porpoise의 Hou도 비강화 시 "circling"에 빠졌다. → 그 행동 클릭을 끊되, 완전 소거로 밀지 말고 가끔 이전 행동을 섞어 responding을 유지. 소거 좌절(extinction burst·frustration): 클릭을 너무 오래 끊으면 짖음·물기·이탈 등 좌절 반응. 정서가 부정으로 가면 탐색이 멈춘다(§5-E). 클릭 후 보상 누락·지연: marker는 "보상이 온다"는 약속. 약속을 어기면 marker가 빠르게 의미를 잃는다. 너무 이른 명명: 행동이 안정되기 전 cue를 붙이면 불완전 행동에 신호가 붙어 신뢰성이 떨어진다. 세션이 너무 김 → 포화(satiation)·피로: 짧게 끊고 높은 강화율 유지가 정서·집중 보존의 핵심. Instinctive drift(Breland & Bailey 1961): 종 특이 본능 행동이 조형된 행동을 침범(예: 음식 관련 본능이 새 행동을 덮어씀). free shaping의 구조적 한계 — 모든 행동이 동일 난이도로 조형되지 않는다.

출처 목록

1차 — 창시자·실험 Pryor, K. W., Haag, R., & O'Reilly, J. (1969). The creative porpoise: Training for novel behavior. J. Exp. Anal. Behav., 12, 653–661. — https://pmc.ncbi.nlm.nih.gov/articles/PMC1338662/ · https://onlinelibrary.wiley.com/doi/10.1901/jeab.1969.12-653 Pryor, K., & Chase, S. (2014). Training for variable and innovative behavior. Int. J. Comp. Psychol., 27(2). — https://escholarship.org/content/qt9cs2q3nr/qt9cs2q3nrnoSplash18e00d301a98b1568dbbe25b5b45317e.pdf Pryor, K. Don't Shoot the Dog! (1984/1999); Reaching the Animal Mind (2009). "101 Things to Do with a Box" — Karen Pryor Clicker Training: https://clickertraining.com/101-things-to-do-with-a-box/ (직접 fetch 시 403; 제목·소속 확인됨)