AI 학습 과정 가시화

고양이에는 몸체, 관절 및 작동 장치가 있습니다. 이제 앞으로 나아갈 방법을 찾아야 합니다.

첫 번째 시도는 서투를 수 있습니다. 팔다리가 서로 간섭하고 균형을 잃고 많은 노력을 해도 거의 움직이지 않습니다. 여러 세대에 걸친 시도 끝에 일부 조치는 유용한 대체를 생성하기 시작합니다. 일부 제어 전략은 유지되며 새로운 이동 방법이 나타날 수 있습니다.

AI 학습 시뮬레이터는 무료 물리 기반 교육 및 관찰 게임입니다. 신체를 설계하고, 매개변수를 조정하고, 훈련을 실행하고, 신경망이 신체와 환경의 제약 내에서 효과적인 행동을 검색하는 방법을 관찰합니다.

모든 개선은 인공지능의 구체적인 실험이 될 수 있습니다.

신체를 설계한 후 신체가 어떻게 학습하는지 관찰

고양이, 코끼리, 기린, 말 또는 두발 동물로 시작하세요. 크기, 팔다리 비율 및 무게를 조정하거나 뼈 세그먼트, 관절 및 액추에이터 장착 지점을 더 자세히 편집할 수 있습니다.

이러한 매개변수는 학습 문제를 직접적으로 변경합니다.

다리가 길어지면 동작 범위와 균형 조건이 모두 변경됩니다. 몸이 무거워지면 부하가 늘어납니다. 액추에이터의 장착 지점을 이동하면 조인트 주변의 모멘트 암이 변경됩니다. 동일한 컨트롤러가 다른 본체에서 매우 다른 결과를 생성할 수 있습니다.

움직임은 신체 구조, 작동기 기능 및 제어 전략의 결합된 효과에서 나타납니다.

골격은 신체가 어떻게 움직일 수 있는지 정의하고, 액추에이터가 힘을 공급하며, 신경망이 입력에서 제어 신호를 구성합니다. 텍스처는 캐릭터의 외관을 제공합니다. 움직임은 물리적 시뮬레이션을 통해 입증되어야 합니다.

신경망이 상태를 행동으로 바꾸는 방법

현재 게임의 제어 모델에서 신경망은 각 선형 액추에이터가 얼마나 늘어났는지를 나타내는 상대적 신장 값을 입력받습니다. 이 수치가 몸의 상태를 관찰하는 수단입니다.

입력된 수치는 연결을 따라 전달됩니다. 연결에는 가중치가 있고 뉴런에는 편향과 활성화 함수가 있습니다. 하나의 뉴런이 수행하는 계산은 다음과 같이 표현할 수 있습니다.

출력 = 활성화 함수(Σ(입력 × 연결 가중치) + 편향)

가중치는 각 입력의 영향을 결정합니다. 편향은 뉴런의 반응을 변화시킵니다. 활성화 기능을 사용하면 네트워크가 더욱 복잡하고 비선형적인 관계를 형성할 수 있습니다.

노드와 연결이 함께 작동하여 액추에이터에 대한 제어 출력을 생성합니다. 네트워크 매개변수를 변경하면 신체가 동일한 상태에 반응하는 방식이 변경됩니다.

들어 올려진 모든 다리, 지지하는 순간 또는 균형 상실은 일련의 수치 계산 및 물리적 피드백에 해당합니다.

지속적인 피드백을 통해 움직임이 구체화됩니다.

한 번의 계산으로 통제가 끝나지 않습니다.

액추에이터 상태가 네트워크에 들어갑니다. 제어 신호를 생성합니다. 액추에이터는 관절을 움직입니다. 중력과 지면 접촉은 신체에 영향을 미칩니다. 결과 상태는 다음 계산의 입력이 됩니다.

이 주기는 계속됩니다.

신체 상태 → 신경망 → 액추에이터 제어 → 물리적 움직임 → 새로운 신체 상태

출력의 효과는 신체의 현재 자세, 동작 및 접촉 조건에 따라 달라집니다. 동일한 작동이라도 다리가 공중에서 흔들릴 때와 땅에 닿을 때 다른 결과를 초래할 수 있습니다.

보행 리듬과 조정은 컨트롤러, 신체 및 환경 간의 피드백을 통해 점차적으로 나타날 수 있습니다. 움직임을 관찰한다는 것은 작동 중인 이 폐쇄 루프를 관찰한다는 의미이기도 합니다.

훈련이 행동을 변화시키는 방법

이 게임은 주로 신경 진화를 통해 제어 전략을 검색합니다.

훈련은 후보 네트워크의 모집단을 평가합니다. 서로 다른 제어 매개변수를 사용하여 각각은 자체 물리적 시뮬레이션에서 이동을 시도합니다. 각 세대가 끝날 때마다 시스템은 성능을 비교하고 더 나은 전략이 다음 세대에 영향을 미치도록 하며 돌연변이를 통해 새로운 시도를 도입합니다.

프로세스는 다음과 같이 반복됩니다.

• 1. 후보 제어 네트워크 집단을 생성합니다.
  
• 2. 고정된 기간 동안 실제 시험을 실행합니다.
  
• 3. 점수 이동 성능.
  
• 4. 더 나은 전략을 유지하고 수정된 네트워크를 생성합니다.
  
• 5. 다시 테스트하고 계속 비교합니다.

변경 사항은 연결 가중치 및 뉴런 편향에 영향을 미치거나 노드 및 연결을 추가할 수 있습니다. 네트워크 구조 자체가 검색의 일부일 수 있습니다.

중요한 차이점: 시험 중에 컨트롤러는 현재 매개변수를 사용하여 반복적으로 계산합니다. 세대 간 훈련에서는 선택과 돌연변이를 통해 새로운 매개변수를 검색합니다.

움직이는 캐릭터는 현재 실행 중인 전략을 보여줍니다. 세대 간의 차이는 훈련의 결과를 보여준다.

학습하는 내용은 평가 방법에 따라 다릅니다.

정해진 시간 내에 최대한 멀리 전진하는 것이 현재 핵심과제입니다. 성능은 주로 캐릭터가 도달한 가장 먼 수평 위치에 따라 평가됩니다.

이 간단한 목표는 많은 흥미로운 관찰을 생성할 수 있습니다.

더 멀리 나아간다고 해서 반드시 더 자연스럽게 움직이는 것은 아닙니다. 짧은 시험에서 좋은 성과를 낸다고 해서 긴 시험에 비해 안정성이 보장되는 것은 아닙니다. 힘과 에너지는 행동을 제한하지만 거리, 움직임의 우아함, 에너지 효율성은 여전히 다른 목표로 남아 있습니다.

교육은 우리가 정의한 측정 기준을 개선을 위해 추진합니다. 해당 측정항목이 우리의 기대치를 완전히 나타내는지 여부는 실험을 설계하는 사람에게 달려 있습니다.

예상치 못한 움직임이 나타나면 되돌아보세요. 우리는 어떤 입력을 제공했고, 어떤 조치를 허용했으며, 성공을 정의하기 위해 어떤 규칙을 사용했나요?

이러한 질문을 이해하는 것은 인공지능을 이해하는 것의 일부입니다.

학습은 중단될 수 있으며 조건에 따라 제한됩니다.

훈련 중 진행 상황이 균일한 경우는 거의 없습니다.

때때로 전체 시도가 효과가 없는 것으로 나타나는 경우가 있습니다. 때로는 작은 변화가 뚜렷한 개선을 가져오기도 합니다. 다른 경우에는 여러 세대에 걸쳐 성능이 유사하게 유지될 수 있습니다.

개체군 규모는 시도 횟수에 영향을 미치고, 돌연변이는 탐색 범위에 영향을 미치며, 신체 구조는 가능한 움직임을 정의합니다. 더 많은 세대가 더 많은 검색 기회를 제공하지만 모든 신체가 안정적으로 걷는 법을 배운다는 것을 보장할 수는 없습니다.

더 많은 뉴런이 자동으로 더 나은 전략을 의미하는 것은 아닙니다.

각 결과는 신체 구조, 액추에이터의 성능, 평가 시간, 채점 규칙과 함께 해석해야 합니다. 학습 세대 수는 평가를 몇 차례 거쳤는지 나타내며, 실제 능력은 움직임을 통해 판단해야 합니다.

조건을 변경하고, 다시 훈련하고, 다른 실험의 결과를 비교합니다.

실험 저장

이 게임은 디자인부터 공유까지 완전한 경로를 제공합니다.

• 신체 템플릿 선택: 고양이, 코끼리, 기린, 말 또는 두발 동물로 시작하세요.
  
• 본체 및 액추에이터 구조 조정: 크기, 비율 및 무게 변경; 조인트 및 액츄에이터 부착점을 편집합니다.
  
• 훈련 구성: 모집단 규모, 평가 기간 및 진화 매개변수를 조정하고 그 효과를 관찰합니다.
  
• 성능 검사: 네트워크 구조, 작동기 신호, 이동 점수 및 훈련 세대를 관찰합니다.
  
• 저장하고 훈련 계속하기: 신체 구성과 최상의 전략을 유지하고, 동물 축소판 및 누적 세대 수로 결과를 식별한 다음, 저장된 전략에서 더 자세히 탐색합니다.
  
• 하나의 화면에서 관찰 및 비교: 두 캐릭터가 학습한 전략을 독립적으로 재생하여 서로 다른 신체 또는 컨트롤러를 비교합니다.
  
• 모양 변경 및 공유: 동물, 인간 및 그림책 스킨 템플릿을 사용합니다. Steam 창작마당을 통해 스킨과 훈련된 결과를 다운로드하거나 업로드하세요.

이 게임에는 총 280세대를 대상으로 훈련된 고양이 전략이 포함되어 있습니다. 직접 재생하거나 추가 교육을 위한 출발점으로 사용하고 변경 사항을 관찰하세요.

고양이의 시도는 AI 학습의 작은 부분을 드러낸다

달빛, 별이 빛나는 하늘, 밀밭이 담긴 그림책 장면에서 제어 전략을 천천히 관찰하거나 본체를 다시 디자인하고 나만의 실험을 시작하세요.

단순해 보이는 전진 이동은 입력 인코딩, 신경 계산, 신체 역학, 평가 규칙 및 확률적 검색을 연결합니다.

이 무료 게임이 추상적 개념을 반복적으로 관찰하고, 조정하고, 테스트할 수 있는 프로세스로 바꾸기를 바랍니다. 스스로 판단하십시오. 시스템은 어떤 정보를 수신하고, 어떤 조치를 취할 수 있으며, 어떤 조건에서 효과적인 행동이 나타나는가?

Magiccat에서 개발했으며 무료로 제공됩니다. 훈련은 컴퓨터에서 로컬로 실행됩니다. Steam 창작마당을 이용하려면 Steam에 로그인해야 합니다.