這是來自 Google 的 Everybody Robots Division 的一個機器人,該部門去年被關閉。但顯然這些機器人還在,所以 Google 在其中的一個機器人上戴了一個黃色的領結,然後使用 Gemini 教導機器人如何回答命令和在 DeepMind 辦公空間中導航。
為了完成這一目標,Google 使用了訓練過的視覺語言模型 (VLMs),這些模型在圖像和視頻以及文本上進行訓練,使它們能夠回答問題並執行需要感知的任務。
例如,在一個視頻中,一位 Google 員工要求機器人帶他去一個地方畫東西。機器人說它需要一分鐘來思考,然後把員工帶到一塊白板上。在另一個視頻中,機器人被告知跟隨白板上的指示,其中一張地圖顯示通往所謂的藍區的方向。機器人按照指示到達機器人測試區,然後宣布:“我成功地按照白板上的指示行事。”
點擊播放按鈕觀看機器人的表現,然後在評論中告訴我們您的想法!