Lab

Bir ajan beklemediğiniz bir şey yaptı ve bir prompt cümle yığınıdır: hangisi o çağrıyı doğurdu? Lab bunu, ajanı parçaları çıkarılmış olarak yeniden çalıştırıp neyin değiştiğini sayarak cevaplar; bir parçanın payı onun Shapley değeridir. Burada hiçbir şey ajanınızı değiştirmez. Sonuç okuduğunuz bir şeydir ve ardından kendi kodunuzda yaptığınız bir değişikliktir.

Lab, @gnldev/experiment (yeniden oynatma, maskeleme, denemeler ve aritmetik) üzerine kuruludur; @gnldev/optimizer da aynısını kullanır, ikisi birbirine ihtiyaç duymaz.

Lab, Apache-2.0 lisanslı açık kaynaktır; diğer paketler gibi herkese açık depoda ve npm'dedir — ücretli katmanın parçası değildir. Peer olarak @gnldev/durable ve ai 7 ister.

npm i @gnldev/lab @gnldev/durable ai

Her fonksiyon farklı bir şey oynatır ve neyi oynattığı, bir tool'un çalışıp çalışmayacağını belirler:

• Bu çağrıyı ne doğurdu? explainRun, kayıtlı bir çalıştırmayı parçalarından her biri çıkarılarak yeniden oynatır — prompt bölümleri, önceki mesajlar, tool sonuçları. Hiçbir tool çalışmaz. Herhangi bir paydan önce, kaydın modelin genelde yaptığı şey olup olmadığını (representative) ve sonucun parçalara hiç bağlı olup olmadığını (dependsOnParts) söyler; her pay noise taşır. 2^parça × deneme model çağrısı yapar.
• Hangi kelimeler karar verdi? toolChoiceProbability ile wordShares, bir sağlayıcının logprobs'undan, her kelime grubunun sıradaki çağrının belirli bir tool olma olasılığını ne kadar oynattığını okur. OpenAI'nin API'si bir tool çağrısında olasılık vermez (ölçüldü); bu yüzden sampledToolChoice her alt kümeyi birkaç kez sorar ve her pay, şansın onu ne kadar oynatabileceğini söyler. Tüm bir çalıştırmayı değil, bir kararı, sıradakini açıklar.
• Bu prompt bölümü çıkarılabilir mi? checkPrune, yeni prompt'ları bölümle ve bölümsüz gerçekten oynatır; yanında gürültü tabanı ve önemli olması gereken bir kontrol bölümü vardır. Tool'lar çalışır — oynatılacak kayıt yok — bu yüzden ona sahtelerini verin.
• Yeni bir ajan hangi parçalara ihtiyaç duyar? bestForm, bir ajanın bileşenlerinin her alt kümesini sahte tool'lu bir senaryo setinde dener; senaryolar bir program tarafından denetlenir, hakem model yoktur; en iyisi kadar iyi yapan en ucuz formu söyler. Sizin yerinize hiçbir şey seçmez: seçilen bileşenleri ajanın koduna siz yazarsınız.
• Bu çalıştırma değiştirilmiş olsa ne yapardı? runCapsule, kayıtlı bir çalıştırmayı kopyalar ve farklı bir system prompt, başka tool'lar ya da geçmişi veya belleği olmadan yeniden oynatır. Hiçbir tool çalışmaz ve hiçbir şey yazılmaz. Kaydın hiç yapmadığı bir çağrı, sizin yazdığınız answers'tan cevaplanır ya da bekleyen olarak listelenir. Değişiklik, çalıştırmanın olduğu hâliyle aynı sayıda oynatılmasına karşı okunur, böylece fark şansla karıştırılmaz.
• Bir thread'in bu turu neden yanlış gitti? threadPlan bir thread'in turlarını okur ve hiçbir model çağırmaz; diagnoseTurn expect ister — doğru bir cevabın ne yaptığı — ve onsuz başlamayı reddeder. guess ile önce bir model, suçlu olması en olası bir ya da iki parçayı söyler ve yalnızca onlar, değiştirilmemiş turun yanında oynatılır; neden yalnızca oynatmalarla söylenir, tahminle asla.

Studio'ya lab'ı verirseniz bir Lab sekmesi gösterir. Sekme kendi çalıştırma listesini göstermez: tamamlanmış bir çalıştırmayı Inspector'da açar ve Open in Lab ile gönderirsiniz (thread için, thread defterinden). Üç sekmesi var — Improve, New agent ve Scenarios. Improve, bir çalıştırmayı ya da thread'i tek bir yazılı beklentiye karşı tek ekrana koyar: şeritte turlar, turun açıklaması, teşhisi ve capsule'ü. Seçenek verilmezse route'lar 501 cevaplar ve sekme gizlenir.

import { createStudioApp } from '@gnldev/studio';
import { studioLab } from '@gnldev/lab';
import { toJournal, type CreateGnlConfig } from '@gnldev/durable';
import { SqliteStorage } from '@gnldev/durable/sqlite';
import { openai } from '@ai-sdk/openai';

declare const config: CreateGnlConfig; // the config createGnl is given
const storage = new SqliteStorage('runs.db');

const studio = createStudioApp({
  reader: toJournal(storage),
  apiBase: '/studio',
  lab: studioLab({ config, models: { 'gpt-4.1-mini': openai('gpt-4.1-mini') } }),
});

Planı görmeden hiçbir şey harcanmaz. Her Lab çağrısı önce oynatma sayısını, token'ları, fiyatı ve sağlayıcıyı gösterir ve hiçbir tool'un çalışmadığını, hiçbir kaydın değişmediğini söyler; çağrı, neyin istendiğiyle denetim kaydına girer (sayılar ve adlar, yazdığınız metin asla). Uzun bir çağrı ne kadar ilerlediğini bir Stop düğmesiyle gösterir; sağlayıcı 429 cevapladığında bir seferde bir çağrıya yavaşlar ve beklediğini söyler. Lab yalnızca kendisine verdiğiniz bir ajanın çalıştırmasını sunar ve ajanın kendi tool'ları onda asla çalışmaz: yalnızca senaryoların sahte tool'ları çalışır.

Bir thread teşhisi, tek bir modelle, yerleştirilmiş hatalar üzerinde ölçüldü. Ajanların thread'lerine kırk hata yerleştirildi (bayat bir working memory, pencereden düşmüş bir tur, yanlış bir tool sonucu, zayıf bir kural) ve Studio'nun kendi route'ları üzerinden gpt-6-luna ile teşhis edildi: doğru neden 39'da söylendi, yanlış neden hiçbirinde; 40.sı kararsız kaldı. Girdisinde yanlış bir şey olmayan, her biri bir kez başarısız olmaya zorlanan 15 turda hiçbirinde neden söylenmedi. Yalnızca elenme — guess'ten önceki teşhis — aynı 40'ın 15'ini söyledi.

Hatalar bulunmak için yerleştirildi: yanıltıcı olgu metnin içinde, okurun gördüğü yerde. Yanıltıcı bir anımsanmış mesaj hiç yerleştirilemedi, çünkü model hiçbirini izlemedi. Tek modeldir. 55'te sıfır yanlış neden, oranı en çok yaklaşık %6,5'e koyar. Etiket, okurun görmediği hatalarla ve birden fazla modelle kalkar.

Logprobs vermeyen bir sağlayıcıda hangi kelimelerin karar verdiği örneklenir: az denemeyle payların çoğu şansın içindedir. Ve Lab bir hüküm makinesi değildir — sonuç, gürültüsü yanında okuduğunuz bir şeydir.