Tarayıcı Otomasyonu: Yapay Zeka Ajanına 101 Okey Öğrettim

Tarayıcıda yaptığınız bir işi yapay zekaya "git yap" diye devretmek çoğu zaman çalışmaz. Videoda bir ajanın tarayıcıda 101 Okey oynamasını kurduk ve bunun için tek bir prompt değil, beş katmanlı bir sistem kullandık. Tarayıcı otomasyonu yapay zeka ajanı kurmak istiyorsanız aynı yapı randevu almaktan form doldurmaya kadar birçok işe uyar.

Bu yazıda sistemin katmanlarını, hangi kütüphanenin ne işe yaradığını ve yolda karşılaştığımız beş hatayı sırayla anlatıyoruz.

Öğrenecekleriniz:

Tarayıcıdaki bir işi ajana öğretmek için cevaplamanız gereken 5 soru
Browser Use'un hangi kısmını kullandığımız ve neden
"Kurallar kodda, seçim yapay zekada" ilkesi
Her hatanın hangi katmandan çıktığı ve nasıl düzeldiği

Tüm süreci canlı izlemek için YouTube videomuza bakabilirsiniz.

İçindekiler

Tarayıcıdaki İşi Ajana Öğretmenin 5 Sorusu
Katman 1: Ajan Neyi Görecek?
Browser Use: Yalnızca Göz ve El
Katman 2 ve 3: Kural Defteri, Jev ve Hakem
Katman 4 ve 5: El ve Karar Paneli
Tek Turun Anatomisi
Beş Hata, Beş Katman
Sonuçlar: Ceza Nasıl -202'ye İndi?
Sonuç
Sıkça Sorulan Sorular (FAQ)

Tarayıcıdaki İşi Ajana Öğretmenin 5 Sorusu

Bu bölümü canlı izlemek için YouTube videomuzun 01:22 anından başlayabilirsiniz.

Ekranda gördüğünüz oyuncu bir insan değil. Ajan, FixOyun'daki 101 Okey masasına oturuyor ve oyunun bilgisayar rakiplerine karşı oynuyor. Taşını çekiyor, ıstakasını diziyor, elini açıyor ve son taşı atıp eli bitiriyor.

Kodu ben yazmadım, Claude Code yazdı. Ben yalnızca Okey'i bilen biri olarak kuralları öğrettim. Başlangıç mesajım şuydu: oyunu oynayan, kararlarını Jev ile veren ve kazanmaya çalışan bir ajan istiyorum.

Tarayıcıdaki bir işi öğretmek aslında beş soruyu cevaplamak demek:

Ajan neyi görecek?
Kuralları ne, neye izni var?
Kararı kim verecek?
Elini nasıl kullanacak?
Ne yaptığını biz nasıl göreceğiz?

Okey bu beş soruyu da zorlayan iyi bir örnek. Çünkü kuralı çok, bazı hamleler geri alınamıyor ve iyi oynayıp oynamadığınızı puan doğrudan söylüyor.

Katman 1: Ajan Neyi Görecek?

Bu bölümü canlı izlemek için YouTube videomuzun 01:43 anından başlayabilirsiniz.

Claude önce oyunu kendi tarayıcısında açtı ve şunu sordu: Bu oyun bir resim mi, yoksa sayfa elemanlarından mı oluşuyor? Bir taşa sağ tıklayıp "incele" dediğimizde taşın sayfada ayrı bir eleman olarak durduğunu gördük. Yani yapay zekanın taşları resimden tanımasına gerek kalmadı.

Oyun, sitenin içine gömülü bir sayfaydı. Claude en içteki oyun sayfasına indi ve oyunun bütün durumunu kendi hafızasında tuttuğunu buldu:

Istakadaki taşlar bir listede duruyor. Her taşın üç haneli bir kodu var: ilk hane renk, son iki hane sayı. Örneğin 107, kırmızı 7 demek.
Sahte Okey'in kodu üç sıfır.
Gösterge, Okey taşı ve dört oyuncunun puanı da burada.
Sıra bizdeyse adımızın çevresindeki çerçeve yeşil yanıyor.

En işe yarayan bulgu düğmeler oldu. "Seri diz", "seri aç" ve "seri işle" düğmelerinin her biri oyunun içinde bir komut çalıştırıyor. Ajanın düğmeye tıklaması gerekmiyor, arkasındaki komutu doğrudan çağırabiliyor.

Claude bu haritayı bir dosyaya yazdı. Dosya her turda masanın fotoğrafını alıyor: elimizdeki taşlar, destede kalan taş sayısı, soldaki oyuncunun attığı taş, masada kimin açtığı ve sıra kimde. Birinci katman kısaca şu: ekranın resmine değil, sistemin kendi bilgisine bakmak. Sizin kullandığınız web panellerinde de bu tür bilgi genellikle sayfanın içinde yazılı durur.

Browser Use: Yalnızca Göz ve El

Bu bölümü canlı izlemek için YouTube videomuzun 03:53 anından başlayabilirsiniz.

Browser Use, tarayıcıyı bir insan gibi kullanan açık kaynaklı bir kütüphane. Videoda GitHub'da 117.000'in üzerinde yıldızı vardı. Sayfayı açıyor, okuyor, tıklıyor ve form dolduruyor. Normalde ona "şu siteden randevu al" gibi bir görev yazıyorsunuz ve o bir yapay zeka modeliyle sayfada gezinerek işi kendisi yapıyor.

Üç kullanım şekli var: bulut servisi, Claude Code gibi ajanlara bağlanan bir komut satırı aracı ve Python kütüphanesi. Biz Python kütüphanesini kullandık. Ancak Browser Use'un kendi karar veren ajanını kullanmadık, yalnızca gözünü ve elini aldık.

Neden? Kuralı net bir işte her hamleyi genel bir modele sormak hem yavaş hem pahalı olurdu. Kararı Jev'e, kuralları da kural defterine bıraktık.

Kurulum üç komuttan oluşuyor. Bilgisayarımda Python yoktu, Claude onu uv ile kurdu. uv, Python'ı ve kütüphaneleri tek yerden kuran küçük bir araç. Sırayla Python'ı kuruyor, proje klasörünü oluşturuyor, sonra Browser Use ile Jev'e bağlanacak TypeSafe SDK'sını ekliyorsunuz. Jev için gereken anahtar proje klasöründeki gizli bir ayar dosyasında duruyor. TypeSafe artık kendi sayfasından anahtar vermiyor, Jev'e OpenRouter üzerinden ulaşıyoruz. Jev'i tanımadıysanız önce Jev nedir yazımıza bakabilirsiniz.

Katman 2 ve 3: Kural Defteri, Jev ve Hakem

Bu bölümü canlı izlemek için YouTube videomuzun 05:27 anından başlayabilirsiniz.

Claude tek büyük bir program yazmadı. İşi ayrı dosyalara bölüp her birine bir görev verdi, tıpkı bir ekip gibi:

Göz: Masanın haritasını her turda okuyan dosya.
Taş sözlüğü: 107 gibi bir kodu kırmızı 7'ye çeviriyor, Okey'in hangisi olduğunu biliyor.
İki hesap makinesi: Biri elin en iyi dizilişini buluyor (hangi taşlar seri, hangileri grup, açma puanı kaç). Diğeri her taşı tartıyor: kaç diziye giriyor, dışarıda kaç eşi kaldı, atarsam sağdaki oyuncunun işine yarar mı.

İkinci katman, kural defteri, karar vermez. O an kurallara uygun hamlelerin listesini çıkarır, yani bir menü hazırlar. Üçüncü katmanda Jev bu menüden birini seçer ve ne kadar emin olduğunu söyler. Bu parçaya başka bir model de koyabilirsiniz. Aradığınız üç şey var: listeden seçsin, eminliğini söylesin, hızlı ve ucuz olsun.

Bir de hakem var. Hakem Jev'in eminliğine bakıyor. Taş atmak gibi telafi edilebilen bir hamlede düşük eminliği kabul ediyor. Elini açmak gibi geri dönüşü olmayan bir hamlede ise daha yüksek eminlik istiyor. Benzer bir iş bölümünü borsa simülasyonu yazımızda da görebilirsiniz.

Katman 4 ve 5: El ve Karar Paneli

Bu bölümü canlı izlemek için YouTube videomuzun 06:36 anından başlayabilirsiniz.

Dördüncü katman, el. Taşı sürüklüyor ya da düğmenin arkasındaki komutu çağırıyor. Hepsini sırayla çalıştıran bir tur döngüsü var ve projeyi uv run run.py komutuyla başlatıyoruz.

Burada en önemli ayrım şu: kurallar kodda, seçim yapay zekada. Yapay zekaya "ne oynayayım?" diye açık uçlu bir soru sormuyoruz, önüne yalnızca kurallara uygun seçenekleri koyuyoruz. Menüde yasa dışı yemek yok. Bu yüzden Jev ne kadar yanılırsa yanılsın kural dışı bir hamle yapamıyor. Bir siparişi onaylayan ya da formu dolduran ajan için de aynısı geçerli.

Beşinci katman, görmek. Claude'dan tarayıcının üstüne bir panel yapmasını istedim. Her satır bir karar: ne yapıldığı, kararı kimin verdiği, Jev'in ne kadar emin olduğu ve o ana kadarki harcama.

Yeşil: Jev'in kararı.
Sarı: Jev ile hesap makinesinin ortak kararı.
Gri: Kural defterinin tek seçeneği.
Kırmızı: Oyunun reddettiği hamle.

Maliyet de düşük: 10.000 tur yaklaşık 1 dolar. Burası önemli, çünkü göremediğiniz bir kararı düzeltemezsiniz. Aşağıdaki hataların hepsini bu panel ve günlük sayesinde bulduk.

Tek Turun Anatomisi

Bu bölümü canlı izlemek için YouTube videomuzun 07:13 anından başlayabilirsiniz.

Sıra bize geldiğinde ajan altı iş yapıyor:

Adım: Soldaki oyuncunun attığı taşı alıyor ya da ortadan çekiyor. İkisini birden yapamıyor.
Adım: Istakasını seri dizilimle diziyor.
Adım: Açma puanı 101'i geçiyorsa elini açıyor.
Adım: El açıksa işlenebilen taşları masadaki dizilere ekliyor.
Adım: Soldan aldığı taşı kullanamadıysa geri bırakıp ortadan çekiyor, çünkü kural bunu istiyor.
Adım: İşlek olmayan bir taş atıyor.

Bu turda Jev'e tek seferde birkaç soru gidiyor: Eli açmalı mı, hangi taşı atmalı, rakip bitmeye ne kadar yakın, elin planı ne olmalı? Hepsinin cevabı 1 saniyeden kısa sürede geliyor.

Beş Hata, Beş Katman

Bu bölümü canlı izlemek için YouTube videomuzun 09:14 anından başlayabilirsiniz.

Her şey ilk seferde çalışmadı. Takıldığım her yer bu beş katmandan birindeydi.

1. Gizli pencereler (görme katmanı). Oyun sürekli baştan başlıyordu. Sebep, el bitince çıkan pencerelerin sayfada hep durması, yalnızca gizli olmasıydı. Ajan gizli pencereyi açık sandı, her turda "el bitti" deyip tamam'a bastı ve masayı baştan kurdu. Görünürlüğü doğru ölçmeyi öğretince düzeldi. Ders: sayfada duran her şey ekranda görünmez, ajanın gördüğünü doğrulayın.

2. Eksik kurallar (kural katmanı). Ajan 101'i tutmadığı halde elini açmaya çalıştı ve aldığı taşı kullanmadan atmaya kalktı. Böyle bir kural yok. Claude'a iki şey yazdım: bu kararları kod vermeli, sen değil; kuralları deneyerek değil, oyunu bilen biri olarak eksiksiz ver. Üstüne internette bulduğum resmî bir 101 kural belgesini okuttum. Kural seti eksiksiz olunca Jev'in taş atarken eminliği %50'den %81'e çıktı.

3. Dokunmayla çalışan el (el katmanı). Oyunun "seri diz" düğmesi her zaman en iyi dizilişi bulmuyor. Bir elde oyunun dizicisi 69 puan buldu, bizim hesap makinemiz 111. Dizilişi uygulamak için taşları fareyle sürükledik ve taşlar kıpırdamadı. Claude yavaş sürükleme, tıkla bırak, basılı tutma ve dokunma olmak üzere dört yolu denedi. Yalnızca dokunma çalıştı, çünkü oyun telefona göre yazılmış. Dokunarak dizince 22 taşın 22'si yerine oturdu, oyunun hesabı 69'dan 102'ye çıktı ve Jev %92 eminlikle eli açtı. Ders: hareketin nasıl yapılacağını tahmin etmeyin, ölçün.

4. Sahte Okey ayrımı (kural katmanı). Projenin en değerli anı buydu. Ajan "elimde 105 puan var, açıyorum" diyordu, oyun aynı ele 81 diyordu. İlk turun kaydına bakıp Claude'a tek cümle yazdım: sahte Okey'i yanlış algılıyor gibi. Okey taşı joker gibidir ve istediğiniz taşın yerine geçer. Sahte Okey ise joker değildir, yalnızca belirli bir taşın yerine sayılır. Sistem bu ikisini aynı sanmış ve sahte Okey'li olmayan bir dizi kurmuştu. Aradaki 24 puan tam olarak o diziydi.

Suçlu yapay zeka değildi, kuralı biz yanlış öğretmiştik. Yanlış kuralı öğrenen sistem bunu size söylemez, kendinden emin biçimde yanlış oynar. En tehlikeli hatalardan biri de budur, çünkü fark etmezsiniz. Ayrımı düzelttikten sonra sonraki 14 turda bir kez bile uyuşmazlık çıkmadı. Ajan altı elin sonunda masanın en iyisi oldu: el başına 71 ceza, rakipler 80 ile 102 arasında.

5. Eli bitirme kuralı (karar katmanı). Okey'de açmak yetmez, asıl ödül eli bitirmek, çünkü bitiren oyuncunun cezasından 202 puan siliniyor. Ajan açıyor, işliyor ama son taşa inemiyordu. Claude'a "el açtıktan sonra kalan son taş işlek olsa bile yere atılıp bitilebilir" yazdım. Karar katmanına da bir kural ekledik: geri alınamaz hamlede Jev emin değilse beklesin. Taş atmak telafi edilebilir, ancak eli bir kez açtınız mı dönüş yok. Tıpkı bir e-posta göndermek ya da ödemeyi onaylamak gibi.

İki kuralın birlikte çalıştığı el: İlk turda Jev 5 çiftle açmayı önerdi ama yalnızca %9 emindi, sistem bekledi. Sonraki turda %97 eminlikle 114 puanla seriyi açtı. Beşinci turda 3 taş birden işledi, elinde tek taş kaldı ve onu atıp eli bitirdi.

Sonuçlar: Ceza Nasıl -202'ye İndi?

Bu bölümü canlı izlemek için YouTube videomuzun 13:01 anından başlayabilirsiniz.

Videodaki tabloya göre değişim şöyle:

Aşama	El başına ceza
Sahte Okey hatası varken	100'ün üzerinde
Kural düzeltilince	71
Soldan alınan taşı masaya zorunlu koymak ve işlenebilen taşları kendi hesabıyla bulmak eklenince	7,5
Son taş kuralı ve "emin değilse bekle" ile	-202

Model hiç değişmedi. Değişen tek şey, katmanlara öğrettiklerimizdi. Aynı koşuda üç elin üçünü de bitirdik.

Dürüst olmak gerekirse her koşu böyle bitmiyor. Son koşuda 101'e ulaşamayan bir el geldi ve masada üçüncü olduk. Okey'de elin şansı her zaman var, ancak artık kaybedilen eller kötü taştan ya da yanlış kuraldan değil, oyunun doğasından geliyor.

Sonuç

Tarayıcıdaki bir işi yapay zekaya öğretmek, beş soruya net cevap vermekle başlar:

Görme: Ekranın resmine değil, sistemin kendi bilgisine bakın ve gördüğünüzü doğrulayın.
Kural: Kuralları kodda tutun, oyunu ya da işi bilen biri olarak eksiksiz verin.
Karar: Yapay zekaya açık uçlu soru sormayın, kurallara uygun menüden seçtirin ve geri dönüşü olmayan hamlede daha yüksek eminlik isteyin.
El ve görünürlük: Hareketi tahmin etmeyin, ölçün. Kararları bir panelde görün.

Bu sistemi Okey için kurduk, ancak web paneli olan her iş için kullanabilirsiniz. Yapay zeka otomasyonlarını sıfırdan öğrenmek isterseniz n8n ile yapay zeka otomasyonu rehberimize ve n8nkursu.com adresindeki Türkçe eğitimlere göz atabilirsiniz. Kaynak kodlar videonun sabit yorumunda paylaşılan linkte duruyor. Doğru katmana doğru işi verdiğinizde model değişmeden sonuç değişir.

Sıkça Sorulan Sorular (FAQ)

Browser Use nedir?

Browser Use, yapay zekanın tarayıcıyı bir insan gibi kullanmasını sağlayan açık kaynaklı bir kütüphanedir. Sayfayı açar, okur, tıklar ve form doldurur. Bulut servisi, komut satırı aracı ve Python kütüphanesi olmak üzere üç kullanım şekli vardır.

Bu yöntem sadece Okey için mi geçerli?

Hayır. Ajanın neyi göreceği, kuralları, kararı kimin vereceği, elini nasıl kullanacağı ve yaptığını nasıl göreceğiniz soruları web paneli olan her sistemde aynıdır.

Neden Browser Use'un kendi karar veren ajanını kullanmadınız?

Kuralı net bir işte her hamleyi genel bir modele sormak hem yavaş hem pahalı olurdu. Bu yüzden yalnızca göz ve el kısmını aldık, kararı Jev'e, kuralları kural defterine bıraktık.

Böyle bir ajanın maliyeti ne kadar?

Videodaki kurulumda 10.000 tur yaklaşık 1 dolar tutuyor. Karar Jev'e gittiği için hızlı ve ucuz çalışıyor.

Ajanın yaptığı hatalar nasıl bulunur?

Karar panelinde her satırın hangi kararı kimin verdiğini ve Jev'in ne kadar emin olduğunu görürsünüz. Videodaki beş hatanın hepsi bu panel ve günlük sayesinde bulundu.