Claude Code ve Codex Bir Motion Brief’i Üzerinden Adil Biçimde Nasıl Karşılaştırılır?

İki çekici video, iki kodlama aracısını adil biçimde karşılaştırmak için yeterli değildir. Birine daha iyi varlıklar, daha ayrıntılı bir istem, fazladan bir onarım turu veya diğerinin sahip olmadığı araçlara erişim verilmiş olabilir. Yan yana ekran görüntüleri bu farkları gizler.

Hareket tasarımı işlerinde bu hataya düşmek özellikle kolaydır. Bir model etkileyici bir ilk kare üretirken zamanlama gereksinimlerini kaçırabilir. Diğeri, yerel bir revizyondan sonra da çalışan, sade ama düzenlenebilir bir proje üretebilir. Hangisinin daha iyi olduğu, devretmek istediğiniz işe bağlıdır.

Hareketli grafiklerde Claude Code ile Codex’i karşılaştırmak için aynı kabul görevi ve varlıklarla başlayın; ardından birebir metni, zamanlamayı, kontrolleri ve kullanılabilir sonuca ulaşmak için gereken onarım emeğini inceleyin. Buradaki uygulamalı örnek, bir Codex çıktısının oynatılmasını, zamanda konum arama kontrolündeki hatayı ve onarımını izliyor. Eşleştirilmiş denemede Claude Code kimlik doğrulaması yapamadı; modellerin doğrudan karşılaştırılması henüz tamamlanmış değil.

İhtiyacınız Olan Yeteneği Ortaya Çıkaran Bir Görev Seçin

“Güzel bir ürün videosu yap” ifadesi yoruma fazlasıyla açıktır. Daha iyi bir test, gerçek bir iletişim gereksinimi ve sınırları belirli bir teknik teslim içerir. Örneğin birebir fiyat metni, belirli bir zamana doğrudan gidildiğinde tutarlı durum ve ortak bir okuma aralığı içeren, altı saniyelik düzenlenebilir bir teklif sahnesi oluşturun.

Sahne görsel olarak basit kalırken önemli davranışları sınayabilir. Metnin birebir korunması, olguların korunup korunmadığını gösterir. Sabit bir bekleme, zamansal akıl yürütmeyi sınar. Zamanda konum arama kontrolü, animasyonun yalnızca baştan oynatıldığında çalışan bir sıraya mı, yoksa doğrudan zamana mı bağlı olduğunu gösterir. Yerel bir revizyon ise kaynağın kontrol edilebilir kalıp kalmadığını sınar.

İlk testi mümkün olan her özellikle doldurmayın. Seslendirme, müzik, altyazı, grafik verileri, birden çok en-boy oranı ve karmaşık bir arayüz eklerseniz hataların kaynağını ayırmak zorlaşır. Önce küçük ama temsil gücü olan bir görev kullanın; ardından ilk görevin ortaya çıkaramadığı yetenekler için ikinci bir görev ekleyin.

Kod üretimini mi, yoksa aracıların bütün iş akışını mı karşılaştırdığınıza karar verin. Yalnızca kodu sınayan bir testte araçlar kapatılıp bağımsız bir belge istenerek koşullar eşit tutulabilir. İş akışı testinde ise her aracının karşılaştırılabilir izinlerle varlıkları incelemesine, projeyi çalıştırmasına ve hataları onarmasına olanak tanınmalıdır. Bunlar farklı deneylerdir; tek bir sıralamada birleştirilmemelidir.

Bir aracı kullanmaya başlayacak ekip için iş akışı testi çoğu zaman daha anlamlıdır. İşe yarayan sonuç yalnızca kaynak kod değil, uygulanabilir bir süreçle üretilmiş, doğru ve düzenlenebilir bir çıktıdır. Yine de daha küçük bir yalnızca kod denemesi, daha büyük karşılaştırmaya zaman ayırmadan önce gereksinimleri ve ortam sorunlarını ortaya çıkarabilir.

Brief’i ve Varlıkları Sabitleyin

Her iki çalıştırmada da aynı brief’i kelimesi kelimesine kullanın. İki aracıdan birini çağırmadan önce kaydedin. İlk sonucu gördükten sonra bir belirsizlik fark ederseniz brief’i ikisi için de düzeltin ve yeni çifti ayrı bir test sayın; açıklamayı yalnızca bir aracıya vermeyin.

Bu yazıya eşlik eden yerel denemenin brief’i, 1280 × 720 boyutunda, kendi kendine yeterli bir HTML belgesi istiyordu. Kurgusal sahnenin başlığı Still Studio idi ve “US$29 per month” ile “US$348 billed annually” ifadelerini birebir göstermesi gerekiyordu. İki satırın da sıfır ile 0,8 saniye arasında girmesi, 4,8 saniyeye kadar sabit kalması ve altıncı saniyeye kadar çıkması isteniyordu.

Brief ayrıca görünür Play/Pause ve zamanda konum arama kontrolleri, başlangıçta 2,4 saniyede duraklatılmış durum, sistemin sans-serif yazı tipi, uzaktan varlık kullanılmaması ve kurgusal çalışma etiketi istiyordu. Bu kısıtlar, çıktıyı incelenebilir kılmak ve harici görsel ya da yazı tiplerinden kaynaklanan farklılıkları önlemek için seçildi.

Metin ile faturalandırma ilişkisi önemlidir. Yıllık tutarı değiştiren bir model, tipografisi daha çekici olsa bile olgusal bir gereksinimi karşılayamamıştır. Koşulu yalnızca sonda gösteren model de doğru sözcükler kaynakta bulunsa dahi zamanlama gereksinimini karşılayamamıştır.

Gerçek ürün varlıkları kullanıyorsanız aynı kopyaları sağlayın ve kimliklerini koruyun. Bir aracının daha yeni ekran görüntüsü veya farklı logo kullanmasına izin vermeyin. Bir varlık yeniden dağıtılamıyorsa erişim gereksinimini açıklayın ve karşılaştırmayı yetkili ortam içinde tutun.

Gerçekte Çalışan Ortamı Kaydedin

Bir aracın adı bütün sistemi tanımlamaz. CLI sürümünü, çalıştırmanın bildirdiği modeli, ilgili ayarları, kullanılabilir araçları, izinleri ve oturumun yeni mi yoksa devam eden bir oturum mu olduğunu kaydedin. Varsayılan model zaman içinde değişebileceği için bildirilen model, ürün etiketine dayanan varsayımdan daha önemlidir.

Hesap erişimini model performansından ayırın. Başarısız giriş, hız sınırı veya ağ kesintisi pratik iş akışını etkileyebilir; ancak modelin hiç üretmediği bir videonun kalitesi hakkında bilgi vermez. Bu hataları kayıtta tutun, yaratıcılık puanına dönüştürmeyin.

Codex çalıştırması, OpenAI sağlayıcısı üzerinden ChatGPT kimlik doğrulamasını kullandı. Günlük CLI sürümünü 0.163.0, modeli ise gpt-6.1-sol olarak gösteriyor; çıktı bağımsız bir HTML belgesi.

Kimlik doğrulaması ve yapılandırma, farklı erişim yollarını seçebildikleri için açıkça incelenmelidir. Aracın kendi belgelerine başvurun ve gerçekten kullanılan yolu kaydedin; karşılaştırma paketinde belirteçleri veya özel hesap dosyalarını açığa çıkarmayın. Claude Code kimlik doğrulama belgeleri

Onarmadan Önce Ham Çıktıları Koruyun

İlk yanıtı alındığı biçimiyle, brief ve çalıştırma durumuyla birlikte kaydedin. HTML belgesini açmak için Markdown kod çitlerini kaldırmanız gerekiyorsa bu dönüşümü kayda geçirin. Sözdizimini sessizce düzeltip sonucu özgün ilk taslak diye sunmayın.

Başarısız istekleri tamamlanmış çıktılardan ayrı saklayın; böylece test kaydı kurulum hatalarını çıktı kusurlarından ayırır.

Yalnızca kod karşılaştırmasında dönen belgeyi düzenlemeden açın. Gerekli sözcüklerin görünüp görünmediğini, sahnenin uzak bağımlılıklar olmadan yüklenip yüklenmediğini ve kontrollerin bulunup bulunmadığını kontrol edin. Ardından tüm diziyi oynatın ve giriş, sabit kalma ve çıkış anlarına doğrudan gidin.

Kaynakta bir aralık girdisi ve zamana bağlı bir render işlevi de bulunuyor. Sonraki davranış testi, kontrollerin mevcut olduğunu ancak hepsinin çalışmadığını gösterdi. Gerçek oynatma başlangıç durumundan 3,1 saniyenin ötesine ilerledi, altı saniyeye ulaştı ve durdu. Zamanda konum arama ise ayrı bir kusuru açığa çıkardı: gösterilen zaman istenen konuma gitmek yerine eski değerde kaldı.

Önce Anlamı, Sonra Stili Değerlendirin

Vazgeçilmez gereksinimlerle başlayın. Birebir olgular mevcut mu? Birbirleriyle doğru ilişkilendirilmişler mi? İzleyici gerekli aralıkta ifadenin tamamını okuyabiliyor mu? Çıktı, verilen varlıkları arayüz davranışı uydurmadan kullanıyor mu?

Sonra zamansal davranışı inceleyin. Ortaya, başlangıca, giriş sınırına, çıkış sınırına ve sona doğrudan gidin. Deterministik bir animasyon, o zamana hangi yoldan ulaşıldığından bağımsız olarak beklenen durumu üretmelidir. Durum önceki karelerin oynatılmış olmasına bağlıysa kaynak, güvenilir kare üretimine uygun olmayabilir.

Görsel kaliteyi ancak bu kontrollerden sonra karşılaştırın. Hiyerarşiyi, boşlukları, tipografiyi, hareket bütünlüğünü ve kompozisyonun mesaja ne kadar hizmet ettiğini düşünün. Yargınızı brief’e bağlayın. Bilinçli olarak ölçülü tasarlanmış bir teklif sahnesi, başka bir sürüm daha gösterişli diye kaybetmemelidir.

Tek bir belirsiz toplam yerine boyutları ayrı raporlanan küçük bir değerlendirme cetveli kullanın. Olgusal doğruluk, zamanlama, düzenlenebilirlik, görsel iletişim ve teslim güvenilirliği farklı sonuçlar verebilir. Tek puan, ekibin gerçekten anlaması gereken ödünleşimi gizler.

Sonraki Test Gerçekte Ne Buldu?

Zamanda konum arama hatası, oynatma altı saniyeye ulaştıktan sonra yeniden üretilebildi. Klavyedeki Home tuşu çıktıyı sıfıra götürmedi. 0,8, 4,8 ve 5,4 saniye için input olayları gönderildiğinde de çıktı altı saniyede kaldı. Bu önemlidir; editörün tüm diziyi yeniden oynatmadan belirli bir durumu incelemesi gerekir. Görünür bir zaman çizelgesi yeterli değildir.

Neden, olayların sırasındaydı. Input işleyicisi, istenen kaydırıcı değerini okumadan önce pause() çağırıyordu. Bu uygulamada duraklatma, eski durumu yeniden kontrole de yazıyordu. Dolayısıyla sonraki okuma eski değeri alıyordu. Animasyon matematiği doğru olduğu halde onu incelemek için kullanılan kontrol bozuk olabiliyordu.

Yazar ayrı bir kopyayı, istenen değeri duraklatmadan önce okuyup sonrasında uygulayarak onardı; özgün model çıktısı korunuyor.

// Preserve the requested value before pause() renders the old state.
const requestedTime = Number(seek.value);
pause();
state.time = Math.max(0, Math.min(motion.duration, requestedTime));
render();

Onarılan kopya, klavyedeki Home ve End tuşlarına sıfır ve altı saniye ile yanıt verdi. 0,8 ve 4,8 saniyede her iki fiyat satırı da tam opaklıktaydı ve konumsal kaymaları yoktu. 5,4 saniyede ikisinin de opaklığı 0.5, yukarı kayması 18 pikseldi.

Düzenlenebilir contenteditable satırlarını doğrudan US$39 per month ve US$468 billed annually olarak değiştirmek, 2,4 saniyede ikisini de görünür bıraktı. Teslim alan tarafın testi, bundan sonra değişiklikleri kaydetmeyi, yeniden yüklemeyi ve render etmeyi sınamalıdır.

Gösterilen zamanı okumak, oynatma kusuruyla konum arama kusurunu ayırmanın en hızlı yoludur. Burada özgün çıktı oynatılınca normal ilerliyor, ardından belirli bir duruma gitme isteğini reddediyor. Onarım giriş ve çıkış eğrilerini koruyup olay işleyicisinin sırasını değiştiriyor. Eşleştirilmiş aracı testinde bu, net bir onarım görevine dönüşür: konum aramayı düzelt, altı saniyelik süreyi ve iki fiyat satırını koru, sonra Home, End ve bir ara zamanı denetle.

Aynı Yerel Revizyonu Yaptırın

İlk taslak görevin yalnızca yarısıdır. Başarılı iki çalıştırmaya da aynı revizyonu verin: örneğin aylık eşdeğeri ve yıllık ücreti değiştirin, yerleşimi ve zamanlamayı koruyun, iki ifadeyi birlikte görünür tutun. Bu, aracının geri kalanını gereksiz yere yeniden yazmadan sınırları belli bir kısmı değiştirebilmesini sınar.

Özgün kaynağı saklayın ve revizyonu onunla karşılaştırın. Metinde, geometride, zamanlamada, kontrollerde ve varlık referanslarında ne değiştiğine bakın. Görsel olarak benzer bir çıktı, bozuk bir konum arama kontrolünü veya kaymış bir bitişi gizleyebilir. Büyük bir kaynak farkı da sonuçtaki davranış doğruysa kabul edilebilir; yine de incelenmelidir.

İzin verilen onarım bütçesini önceden belirleyin. Bir aracı giderek daha açık hale gelen üç istem alırken diğeri bir tane alıyorsa, son çifti eşit ilk denemeler gibi sunmak yerine bu farkı raporlayın. Yardım, kullanılabilir sonuca ulaşmanın maliyetinin bir parçasıdır.

Tam iş akışı testinde aracıların karşılaştırılabilir izinlerle kendi çıktılarını çalıştırıp incelemesine izin verin. Gerçekte kullandıkları araçları ve gerekli insan müdahalelerini kaydedin. Bir yükleme hatasını fark edip düzelten aracı, yalnızca ekran görüntüsüne dayalı karşılaştırmanın kaçıracağı faydalı bir iş yapıyordur.

Yapay Bir Kesinlik Üretmeden Maliyeti Ölçün

Geçen süreyi kaydetmek kolay, yanlış yorumlamak da kolaydır. Buradaki Codex isteği, günlükte bildirilen başlangıç ve model keşfi zaman aşımları dahil yaklaşık 179 saniye sürdü. Bu, üretim hızının temiz bir ölçümü değildir. “Codex’in animasyon yapması üç dakika sürer” diye sunmak, ölçülenden fazlasını iddia eder.

Daha faydalı bir karşılaştırmada araçlar elverdiği ölçüde kurulum, istek, onarım, render ve insan incelemesi sürelerini ayırın. Kullanılabilir çıktıya kadar geçen toplam süre, yanıt gecikmesinden daha önemli olabilir. Birkaç dikkatli onarım isteyen hızlı ilk taslak, daha yavaş ama doğru bir sonuçtan fazla emek gerektirebilir.

Gerçek faturalandırma bağlamı olmadan geçen süreden veya belirteç sayısından dolar maliyeti çıkarmayın. Abonelik kullanımı, API faturalandırması, önbelleğe alınan girdiler ve model ayarları farklı olabilir. Güvenilir bir maliyet rakamı alamıyorsanız gözlenebilir kullanım bilgisini raporlayın ve maliyeti ölçülmemiş bırakın.

Hataları operasyonel anlatıya dahil edin, ancak sınıflandırın. Kimlik doğrulama kurulumu, modelin geçersiz kod üretmesinden farklıdır. Render bağımlılığı hatası, okunamayan bir tasarımdan farklıdır. Bu ayrım, karşılaştırmayı hem araç hem de onu destekleyen iş akışını seçmek için yararlı kılar.

Geniş bir sonuca varmadan önce temsil gücü olan görevleri tekrarlayın. Tek küçük sahne bir hata türünü gösterebilir. Bir aracının ürün lansmanlarında, teknik açıklamalarda, grafiklerde, yerelleştirmede ve gelecekteki tüm hareket tasarımı işlerinde genel olarak daha iyi olduğunu kanıtlayamaz.

İnsan Yardımını Görünür Tutun

Adil bir karşılaştırma, operatörün istekler arasında yaptığı işleri kaydetmelidir. Eksik paket yüklemek, bir varlığı bulmak, dosya adını düzeltmek veya bir hatayı açıklamak son sonucu belirgin biçimde iyileştirebilir. Bu yardım görünmezse karşılaştırma insanın katkısını aracıya mal eder.

Hangi yardımın teste dahil olduğunu belirleyin. Gerçekçi bir iş akışında operatörün ürünle ilgili bir soruyu yanıtlaması veya bir dosyaya erişimi onaylaması makul olabilir. Kontrollü kod üretimi denemesinde ise elle yapılan her kaynak onarımı, değerlendirilen çıktıyı değiştirir. İki yaklaşım da kendi başına yanlış değildir; sorun birini diğeri gibi sunmaktır.

Kısa bir müdahale günlüğü tutun. Operatörün iki sisteme de aynı ekran görüntüsünü verdiğini, ikisi için de bir faturalandırma ifadesini açıkladığını veya iki sonucu da açmadan önce yerel sunucuyu onardığını yazabilir. Yalnızca bir sistem onarım gerektirdiyse bunu da kaydedin. Son görseller aynı derecede iyi görünse bile ek iş, ekibin kararını etkileyebilir.

Tekrarlanan çalıştırmalarda operatörün öğrenmesini aracı performansından ayırın. İlk sistemi sınadıktan sonra operatör görevi daha iyi anlayıp ikinciye daha yararlı yönlendirme verebilir. Çalıştırma sırasını dönüşümlü kullanmak veya başlamadan önce tüm girdileri sabitlemek bu avantajı azaltmaya yardımcı olur. Küçük bir yerel çalışma her değişkenlik kaynağını ortadan kaldıramaz; fakat onları görünür kılabilir.

Bu şeffaflık hareket tasarımında özellikle değerlidir; çünkü görsel incelik hızlı yargılara davetiye çıkarır. Elle dikkatli zamanlama düzeltmeleri gerektirmiş bir sonuç, hiç dokunulmamış tek denemelik üretim diye tanımlanmamalıdır. Okur, nasıl yapıldığını anlayarak da sonucu beğenebilir.

Başkalarının İnceleyebileceği Bir Sonuç Yayımlayın

İnandırıcı bir karşılaştırma brief’i, varlık setini veya edinme talimatlarını, ortam kaydını, ham çıktıları, revizyon istemlerini, render ayarlarını ve gözlenen kontrolleri içerir. Okur, çekici bir karşılaştırma görseline güvenmek zorunda kalmadan sonucunuzun nereden geldiğini anlayabilmelidir.

Sonucu gereksinim düzeyinde tutun: birebir metin başlangıç durumunda kontrolden geçti, oynatma sona ulaştı ve onarımdan önce konum arama başarısız oldu. Sonraki eşleştirilmiş çalıştırma, aracıların çıktıyı nasıl teşhis edip değiştirdiğini karşılaştırmak için aynı brief’i ve kontrolleri kullanabilir.

Özgün çıktıyı, bağımsız onarımı ve davranış kayıtlarını inceleyin.