Bu haber kamu mühendislerini de yakından ilgilendiriyor

Cognition AI tarafından geliştirilen ve 'Devin' adı verilen dünyanın ilk yapay zeka yazılım mühendisi, beklenen performansı sergileyemedi. 2024'ün başlarında tanıtılan Devin, yazılım mühendislerinin işlerini kolaylaştırmayı vaat eden bir otomasyon aracı olarak büyük umutlar uyandırmıştı. Ancak yapılan son testler, bu yeni nesil yapay zekanın oldukça yetersiz kaldığını ortaya koydu.

2024 Aralık ayında aylık 500 dolarlık bir abonelik ücretiyle piyasaya sunulan Devin, kullanıcılarına uygulama geliştirme ve hata giderme gibi görevlerde yardımcı olmayı amaçlıyordu. Slack üzerinden komut alabilen, Docker tabanlı çalışma ortamında terminal, tarayıcı ve kod düzenleyici gibi araçlarla çalışan Devin'in, API entegrasyonları, kod incelemeleri ve altyapı yönetimi gibi birçok görevi yerine getirebileceği iddia edilmişti.

Ancak Answer.AI'dan üç veri bilimcisinin gerçekleştirdiği testlerde Devin, kendisine verilen 20 görevden yalnızca 3'ünü başarıyla tamamladı. Başarıyla tamamlanan görevler arasında Notion veritabanından Google Sheets'e veri aktarma ve gezegen hareketlerini takip eden bir uygulama geliştirme yer alırken, daha karmaşık görevlerde Devin teknik hatalar yaparak ya da uygulanabilir olmayan çözümler üreterek başarısız oldu.

Örneğin, Devin'e birden fazla uygulamayı Railway platformuna dağıtma görevi verildiğinde, platformun bu özelliği desteklemediğini fark edemedi ve hayali çözüm önerileri sundu. Bu durum, Devin'in temel engelleri tespit etme yeteneğinin eksik olduğunu gözler önüne serdi. Araştırmacılar, Devin'in bazı görevlerde umut verici sonuçlar gösterdiğini kabul etse de, aracın güvenilir olmadığını vurguladı.

Devin'in sınıfı geçememesi, yapay zeka alanındaki gelişmelerin hala erken aşamalarda olduğunu ve çok daha fazla iyileştirmeye ihtiyaç duyduğunu gösteriyor. Bu durum, yeni nesil yapay zeka sistemlerinin potansiyelinin gerçekleşebilmesi için daha fazla test ve geliştirme sürecine ihtiyaç duyduğunu ortaya koyuyor.