Boty pozwalają ChatGPT dotknąć prawdziwego świata dzięki Microsoft – Ars Technica

W zeszłym tygodniu badacze Microsoftu ogłaszać Eksperymentalna struktura do kontrolowania robotów i dronów przy użyciu możliwości językowych ChatGPT, popularnego modelu języka sztucznej inteligencji stworzonego przez OpenAI. Korzystając z poleceń języka naturalnego, ChatGPT może pisać specjalny kod, który kontroluje ruchy bota. Następnie człowiek wyświetla wyniki i dostosowuje się w razie potrzeby, aby zadanie zakończyło się pomyślnie.

Badania ukazały się w artykule zatytułowanym „ChatGPT dla botów: Zasady projektowania i możliwości modeluNapisane przez Sai Vempralę, Rogerio Bonattiego, Arthura Buckera i Ashisha Kapoora z Microsoft Autonomous Systems and Robotics Group.

W Film wyjaśniającyMicrosoft pokazuje boty — najwyraźniej kontrolowane przez kod napisany przez ChatGPT i wykonujący instrukcje człowieka — wykorzystujące ramię robota do układania bloków w logo Microsoft, pilotowanie drona w celu zbadania zawartości półki lub znajdowanie przedmiotów za pomocą bota z funkcjami wizyjnymi.

Aby umożliwić ChatGPT interakcję z botami, badacze nauczyli ChatGPT niestandardowego API botnetu. Po otrzymaniu instrukcji, takich jak „złap piłkę”, ChatGPT może wygenerować kod do sterowania botem, tak jak napisałby wiersz lub ukończył artykuł. Po sprawdzeniu i edycji kodu przez człowieka pod kątem dokładności i bezpieczeństwa, operator-człowiek może wykonać zadanie i ocenić jego wydajność.

W ten sposób ChatGPT przyspiesza programowanie sterowania automatycznego, ale nie jest systemem niezależnym. „Podkreślamy, że korzystanie z ChatGPT dla botów nie jest w pełni zautomatyzowanym procesem”, stwierdzają badania, „ale raczej służy jako narzędzie do zwiększania ludzkich możliwości”.

Podczas gdy większość informacji zwrotnych do ChatGPT (pod względem sukcesu lub porażki jego działań) wydaje się pochodzić od ludzi w formie tekstu, badacze twierdzą również, że odnieśli pewien sukces w przekazywaniu danych wizualnych do samego ChatGPT. W jednym z przykładów naukowcy przydzielili ChatGPT polecenie botowi złapania piłki do koszykówki na podstawie informacji zwrotnych z kamery: „ChatGPT może oszacować wygląd piłki i nieba na obrazie z kamery za pomocą kod SVG. To zachowanie wskazuje na możliwość, że LLM podąża za niejawnym modelem świata, który wykracza poza możliwości oparte na tekście. „

Chociaż wyniki wydają się w tej chwili prymitywne, reprezentują wczesne próby zastosowania najnowszej technologii epoki – dużych paradygmatów językowych – do automatycznego sterowania. Według Microsoftu interfejs ChatGPT może w przyszłości otworzyć boty dla znacznie szerszej publiczności.

„Naszym celem w tych badaniach jest sprawdzenie, czy ChatGPT może myśleć poza tekstem, rozumować w świecie fizycznym, aby pomóc w zadaniach botów” – mówi badanie przeprowadzone przez firmę Microsoft. post na blogu. „Chcemy ułatwić ludziom interakcję z robotami, bez konieczności uczenia się skomplikowanych języków programowania lub szczegółów dotyczących systemów robotycznych”.