OpenAI on ottanut uuden askeleen integraatiossa tekoäly ja tietokoneen päivittäinen käyttö uudistamalla täysin työpöytäkoodiagenttinsa Codexin. Työkalu, joka aiemmin tunnettiin pääasiassa ohjelmointiavustaan, on nyt muuttumassa avustajaksi, joka pystyy käsittelemään sovelluksia, muistamaan asetukset ja hallitsemaan projekteja lähes saumattomasti.
Tämän päivityksen myötä Sam Altmanin johtama yritys tuo suunnitelmansa lähemmäksi luoda Työpöytä"supersovellus", joka yhdistää ChatGPT:n, Codexin ja Atlas-selaimesiTavoitteena on yksinkertaistaa käyttökokemusta, keskittää resurssit yhteen työtilaan ja haastaa kilpailijat, kuten Anthropic, erityisesti ohjelmistokehitysympäristössä ja edistyneessä automaatiossa.
Codex oppii käyttämään tietokonetta kuten kuka tahansa muu käyttäjä
Yksi silmiinpistävimmistä muutoksista on, että Codex voi nyt hallita tietokonetta taustallaAgentti pystyy näkemään näytöllä olevan sisällön, liikuttamaan omaa kursoriaan, napsauttamaan, kirjoittamaan tekstiä ja reagoimaan asennettujen sovellusten tapahtumiin keskeyttämättä käyttäjän hiiren tai näppäimistön toimintoja.
Tämä ominaisuus mahdollistaa useiden Codex-agenttien yhteistyön rinnakkain samassa joukkueessaTämä tarkoittaa testien suorittamista, konfiguraatioiden muuttamista tai toistuvien tehtävien suorittamista samalla, kun henkilö jatkaa normaalia toimintaansa. Tämä avaa oven sellaisten työnkulkujen automatisoinnille, jotka aiemmin vaativat jatkuvaa valvontaa, kuten sovelluksen testaaminen jokaisen koodimuutoksen jälkeen tai käyttöliittymätoimintojen toistaminen.
OpenAI ehdottaa tätä toimintoa avustajan toimintatavaksi työkalut, joilla ei ole API:a tai suoria integraatioita, jotka ovat yleisiä monissa työpöytäohjelmissa. Codex voi "näkemällä" näytön ja ohjaamalla kohdistinta vuorovaikutuksessa näiden sovellusten kanssa aivan kuten ihmiskäyttäjä, vaikkakin toistaiseksi hallitusti ja erityisesti turvallisuuteen kiinnittäen huomiota.
Yrityksen mukaan tietokoneen käyttö on aluksi mahdollista macOS Codex-työpöytäsovelluksen kautta, linkitetty ChatGPT-tiliin. Windows-versio saapuu myöhemmin, kun suorituskyky on testattu ja ominaisuudet on mukautettu Microsoft-ympäristöön.
Euroopan ja Yhdistyneen kuningaskunnan tapauksessa OpenAI on vahvistanut, että tietokoneen hallinta, edistyneet mukautukset, kontekstuaaliset ehdotukset ja muisti Ne aktivoidaan myöhemmin. Syynä on tarve mukauttaa nämä ominaisuudet tietosuojamääräyksiin, mikä on erityisen vaativa vaatimus Euroopan unionissa ja Ison-Britannian markkinoilla.
Integroitu selain ja suora työskentely verkkosivuilla
Päivitys vahvistaa myös Codexin suhdetta verkkoon a:n ansiosta selain integroitu itse sovellukseenSen sijaan, että agentti saisi vain yleisiä tekstimuotoisia ohjeita, hän voi vastaanottaa komentoja suoraan sivun tietyistä elementeistä.
Frontend-kehityksessä käyttäjä voi esimerkiksi Valitse verkkokomponentti ja kuvaile muutos. Käyttäjä haluaa tehdä jotakin (kuten muuttaa lohkon väriä, tekstin kokoa tai asettelua), ja Codex ymmärtää ohjeen kyseisessä visuaalisessa kontekstissa. Näin vältetään pitkien kehotteiden kirjoittaminen, joissa selitetään, mitä sivuston osaa on muutettava.
Tämä upotettu selain sallii myös Codexin Analysoi sisältöä, kerää tietoa ja käytä sitä kontekstina Muissa tehtävissä, kuten koodin dokumentoinnissa, tuotetietojen tarkastelussa tai teknisen dokumentaation vertailussa, kaikki tehdään samassa ympäristössä ilman, että tarvitsee vaihtaa useiden käyttöjärjestelmäikkunoiden välillä.
Kuvien luominen ja muokkaaminen gpt-image-1.5:llä
Codexin uuden version toinen pilari on mallin integrointi gpt-image-1.5 kuvien luomiseen ja muokkaamiseen Itse työpöytäsovelluksesta käsin agentti voi luoda kaavioita, esimerkkejä, mallipohjia tai visuaalisia luonnoksia tekstistä tai yhdistämällä ohjeita kuvakaappauksiin ja koodinpätkiin.
Tämä ominaisuus on suunnattu suoraan tiimeille, jotka työskentelevät tuotesuunnittelu, käyttöliittymät tai videopelien prototyypitKehittäjä voi esimerkiksi ottaa kuvakaappauksen keskeneräisestä käyttöliittymästä, pyytää Codexia ehdottamaan valikon uudelleensuunnittelua tai uutta värimaailmaa ja saada luotuja kuvia, jotka sopivat kyseiseen kontekstiin, työkaluja vaihtamatta.
Koska kaikki on keskitetty Codexiin, agentit voivat ketjuttaa koodaus- ja suunnittelutehtävät yhteen: kirjoita toiminnallisuuden logiikka, päivitä vastaava käyttöliittymä ja luo visuaalinen mallipohjus esitettäväksi tiimille poistumatta työnkulusta tai avaamatta ulkoisia graafisen muokkaussovelluksia.
Muisti, konteksti ja pitkän aikavälin tehtävien automatisointi
Tietokoneohjauksen ja kuvan luomisen lisäksi OpenAI:n suuri panos tässä versiossa on varustaa Codex jollakin seuraavista tavoista: pysyvä muisti ja paljon laajempi kontekstinhallintaTyökalu voi käyttää uudelleen aiempia keskusteluja, säilyttää tärkeät tiedot ja hakea ne tarvittaessa projektin jatkamiseksi.
Muistiominaisuus, joka julkaistaan esikatseluvaiheessa, mahdollistaa Codexin muistaa henkilökohtaiset mieltymykset, usein tehdyt korjaukset tai tiedot, joita oli vaikea kerätäTämä sisältää kaiken tiimin tyypillisestä teknologiapinosta kansioiden järjestämiseen, yleisimmin käytettyihin raporttimuotoihin ja GitHubissa tietyntyyppisissä ongelmissa tyypillisesti käytettyyn tunnisteeseen.
Kerätyn kontekstin avulla agentti voi ehdottaa tehtäviä ennakoivastiTätä voidaan käyttää ehdottamaan keskeneräisen projektin jatkamista, suosittelemaan odottavaa refaktorointia tai ilmoittamaan käyttäjille pitkäaikaisista pull requesteista. Jotkut yritykset käyttävät sitä jo Slackissa, Gmailissa tai Notionissa tapahtuvien keskustelujen seuraamiseen ja reagoimiseen tiettyjen tapahtumien sattuessa.
Codex voi myös suunnittele tulevaisuuden työtehtäviä ja aktivoi itseäsi uudelleen pitkäaikaisten tehtävien suorittamiseen. Se voi esimerkiksi hallita päivien tai viikkojen ajan kestäviä koodikatselmuksia, käsitellä kommentteja ja päivittää dokumentaatiota ilman, että kehittäjän tarvitsee jatkuvasti seurata sitä.
Yli 90 lisäosaa ja parannettu kehittäjätuki
Muutoksen viimeistelemiseksi OpenAI on lisännyt lähes 90 uutta Codex-laajennustaNäitä ovat integraatiot Microsoft Suiten, GitLab Issuesin, Neon by Databricksin, Renderin ja Superpowersin kanssa sekä tuki MCP (Model Context Protocol) -palvelimille. Tavoitteena on antaa agentille enemmän kontekstilähteitä ja paremmat operatiiviset ominaisuudet.
Näiden laajennusten ansiosta Codex voi kerää tietoa eri palveluista ja toimi sen pohjalta Yhdestä työtilasta käsin voit tarkastella ongelmia GitLabissa, tehdä kyselyitä Databricks-ympäristössä, päivittää Office-dokumentteja tai olla vuorovaikutuksessa käyttöönottopalveluiden kanssa pakottamatta käyttäjää siirtymään alustalta toiselle.
Puhtaasti teknisellä tasolla päivitys vahvistaa tyypilliset kehittäjän työnkulutCodex auttaa sinua nyt tarkastelemaan pull-pyyntöjä, hallitsemaan useita päätevälilehtiä samanaikaisesti, muodostamaan yhteyden etäkehitysympäristöihin SSH:n kautta ja avaamaan tiedostoja monipuolisilla esikatseluilla, olivatpa ne sitten PDF-tiedostoja, laskentataulukoita, esityksiä tai muissa muodoissa olevia dokumentteja.
Kaikki tämä on keskitetty yhtenäiseksi kokemukseksi, joka OpenAI:n mukaan mahdollistaa nopeamman etenemisen. ohjelmiston elinkaaren kaikissa vaiheissaAlkuperäisen koodin kirjoittamisesta testaukseen, käyttöönottoon, dokumentointiin ja ylläpitoon, tekoälyagenttien jatkuvasti yhteistyössä samassa työpöytäympäristössä.
Saatavuus, kehittäjäkeskeisyys ja tilanne Euroopassa
Codexin uusi versio on jo käytössä. macOS-työpöytäsovellus Niille, jotka kirjautuvat sisään ChatGPT-tilillä. Kaikki ominaisuudet eivät vaadi samanlaista tilausta, ja jotkin lisäominaisuudet voivat riippua ostetusta tilauksesta, kuten muiden OpenAI-työkalujen tapauksessa.
Codexin johtaja Thibault Sottiaux selitti, että tämä päivitys Se on suunnattu erityisesti kehittäjilleVaikka tarkoituksena on laajentaa sitä myöhemmin yleisemmälle yleisölle, ajatus on, että tekniset tiimit ovat ensimmäisiä, jotka hyödyntävät uusia agentteja ja automatisoituja työnkulkuja ja ajan myötä siirtävät mallin toimistotehtäviin, dokumentinhallintaan tai henkilökohtaiseen tuottavuuteen.
OpenAI korostaa, että laskentatehon ja muistin käyttö toteutetaan a:lla turvallisuus- ja sääntelyvaatimustenmukaisuuslähestymistapaTämä on erityisen tärkeää Euroopan unionissa ja Yhdistyneessä kuningaskunnassa. Tästä syystä edistyneiden mukautusominaisuuksien, kontekstuaalisten ehdotusten, pysyvän muistin ja käyttöjärjestelmän suoran hallinnan saatavuus näillä markkinoilla kestää hieman kauemmin.
Joka tapauksessa yritys väittää, että tämä Codexin kehitys avaa oven älykkääseen automaatioon keskittyvä työpöytäsupersovellusjossa tekoälyagentit eivät ainoastaan auta koodin kirjoittamisessa, vaan myös koordinoivat tehtäviä, mukautuvat käyttäjän työtyyliin ja pitävät monimutkaisia projekteja käynnissä pitkiä aikoja. Eurooppalaisille ohjelmistokehittäjille viesti on selvä: uusia ominaisuuksia on tulossa, mutta tarvittavin mukautuksin, jotta ne sopivat olemassa olevaan sääntelykehykseen.