Tự động hóa máy tính để bàn Windows liên kết các API Selenium với các tác nhân AI
winjavadriver, từ Glaciousm, là một khung tự động hóa desktop Windows kết nối các API kiểm tra truyền thống và quy trình làm việc của đại lý. Nó cung cấp khả năng điều khiển chương trình các ứng dụng desktop bằng cách sử dụng một bề mặt kiểu Selenium bên cạnh một giao diện hướng về đại lý, cho phép các tương tác kịch bản và quan sát tự động. Thiết kế nhấn mạnh vào việc kiểm tra trên màn hình, ghi âm thụ động và mô tả UI ngắn gọn để giảm văn bản gửi đến các mô hình ngôn ngữ. Công cụ này nhắm đến các kỹ sư tự động hóa QA, các nhà phát triển duy trì hệ thống Windows cũ và các nhà nghiên cứu xây dựng các đại lý desktop tự động.
Kết nối tự động hóa theo phong cách Selenium và kiểm thử trên máy tính để bàn
Trình điều khiển triển khai một bề mặt WebDriver gốc cho các ứng dụng Windows, cung cấp một khách hàng Java tương thích với Selenium để các nhóm có thể chuyển đổi các bài kiểm tra web sang các đường dẫn mã trên máy tính để bàn. Nó hỗ trợ các loại ứng dụng UWP, Win32 và VB6, và bao gồm một Trình kiểm tra tích hợp với một thanh công cụ ghi âm nổi để ghi lại các cú nhấp chuột, gõ phím và phím tắt để tạo ra các bước tự động hóa thụ động. Những khả năng này cho phép các kỹ sư kiểm thử tái sử dụng các công cụ dựa trên Java hiện có trong khi nhắm đến các GUI trên máy tính để bàn.
Sản xuất mô tả UI tiết kiệm token cho các tác nhân điều khiển bởi LLM
Dự án chạy một máy chủ MCP cung cấp cho các tác nhân AI dữ liệu phần tử gọn nhẹ bằng cách sử dụng các Công cụ Thông minh được xây dựng với mục đích như win_observe và win_explore, tóm tắt trạng thái UI thành văn bản tiết kiệm token. Vị trí Lưới Hình ảnh cung cấp các bộ định vị hình ảnh dựa trên tọa độ màn hình tương đối khi các ID phần tử không ổn định. Điểm cuối MCP được triển khai như một thành phần Node.js, vì vậy các tác nhân nhận được ngữ cảnh UI cô đọng thay vì các bản sao phần tử thô, dài dòng.
Phù hợp với quy trình làm việc tập trung vào Windows nhưng yêu cầu các runtime cụ thể
Trình điều khiển chỉ dành cho Windows và yêu cầu một môi trường Java cho API phía khách hàng cộng với Node.js cho thành phần máy chủ MCP, vì vậy cần có công việc tích hợp trước khi các bài kiểm tra hoặc tác nhân chạy. Nó hoạt động ở chế độ kép, cả như một trình điều khiển theo phong cách Selenium truyền thống và như một máy chủ MCP sẵn sàng cho AI, và bao gồm việc xử lý tự động cho các điều khiển Win32 và VB6 kế thừa thường không hiển thị với các khung tự động hóa UI tiêu chuẩn.
Phù hợp cho các nhóm chấp nhận công việc thiết lập và đánh giá cao việc bảo trì chủ động
Glaciousm xuất bản dự án như một cầu nối tự động mã nguồn mở, và dự án được mô tả là được đánh giá cao trong lĩnh vực của nó và được bảo trì chủ động. Sự tiếp nhận đó hỗ trợ việc chọn trình điều khiển cho các dự án cần tích hợp chặt chẽ giữa tác nhân và máy tính để bàn và sẵn sàng xác thực đầu ra của tác nhân như một phần của QA. Mong đợi một nỗ lực tích hợp ban đầu để cấu hình các môi trường Java và Node.js trước khi sử dụng thường xuyên.
