Unity ML 에이전트를 사용한 드론 제어 강화 학습

아래는 내 Drone Github 링크입니다.

https://github.com/cs20131516/UnityDroneChallenge

개요

이 프로젝트에서는 Unity ML-Agents 툴킷을 사용하여 드론 제어 강화 학습 모델을 교육했습니다.
무엇보다 다른 참가자들에 비해 뛰어난 퍼포먼스를 보여줬다.
https://github.com/chaningdev/RL-Drone-Challenge-with-Unity 프로젝트의 1/2배의 에피소드만 있으면 되지만, https://github.com/kjwoo31/Unity_drone 프로젝트와 비교했을 때 3번의 성공 중 1번만이 가능한 결과를 크게 개선할 수 있었습니다.

학습 알고리즘 및 설정

• 학습 알고리즘: 근접 정책 최적화(PPO)
• 에피소드: 약 1/2배 필요(참고: https://github.com/chaningdev/RL-Drone-Challenge-with-Unity)
• 비교 대상: https://github.com/kjwoo31/Unity_drone 결과에 비해 크게 개선됨

학습 매개변수

• 스택 크기: 1024
• 버퍼 크기: 40960
• 학습률: 0.0001
• 베타: 0.01
• 엡실론: 0.01
• 람다: 0.95
• num_epoch: 3
• learning_rate_schedule: 선형

신경망 구조

• 정규화: 참
• hidden_units: 256
• num_layers: 5
• vis_encode_type: nature_cnn

보상 신호

• 외적
  • 감마: 0.99
  • 강도: 1.0
  • 네트워크 설정:
    • 정규화: 오른쪽
• 약
  • 감마: 0.99
  • 강도: 0.1
  • 네트워크 설정:
    • hidden_units: 64
    • num_layers: 3
    • 정규화: 오른쪽
  • 학습률: 0.0001

https://www.youtube.com/watch?v=mFqDPVDKbPI

위 영상은 학습된 드론 시뮬레이션입니다.