Bir program yazdım

[peyloride]

Merhaba,

Başlığa ne yazacağımı bilemedim gerçekten, o yüzden direk konuya giriyorum.

İşim ve hobim olduğu için kendi işlerimde de bu tarz programlar yazmayı seviyorum. Motora merak sardığım ve ehliyeti aldığım bu günlerde her gün malum sarı siteye girip motor bakmak yoruyordu beni. Ben de bir program yazdım. Belirlediğim kriterlere(fiyat, km, şehir, yıl vs.) uyan ve o gün eklenmiş motorları çıkartıp her gece 00.00'da bana mail atıyor. Ben de bu sayede her gün boşa vakit kaybetmiyorum. Şu an bu şekilde 7 tane model takip ediyorum. İleride bu fiyatları toplayıp, istatistiksel veri elde etmeyi hedefliyorum.

Bu program şu an herkesin kullanımına hazır değil, biraz daha iş yükü gerektiriyor. Ancak böyle bir ilgi var mı yok mu bilemediğim için boşa emek harcamak istemedim. Bu yüzden sizlere soruyorum, böyle bir program olsa kullanır mısınız?

Son olarak sorum, böyle bir şeyi gerçekten halka açmalı mıyım? Piyasayı öldürmek ya da benzeri şekilde kötü kullanımlara sebep olmak istemiyorum.

Not: Program tamamen ücretsiz ve açık kaynaklı olacak.

[ashes35]

github a gpl ile koyun toplu olarak ilerlesin

[Lucas]

Merhaba,

Başlığa ne yazacağımı bilemedim gerçekten, o yüzden direk konuya giriyorum.

İşim ve hobim olduğu için kendi işlerimde de bu tarz programlar yazmayı seviyorum. Motora merak sardığım ve ehliyeti aldığım bu günlerde her gün malum sarı siteye girip motor bakmak yoruyordu beni. Ben de bir program yazdım. Belirlediğim kriterlere(fiyat, km, şehir, yıl vs.) uyan ve o gün eklenmiş motorları çıkartıp her gece 00.00'da bana mail atıyor. Ben de bu sayede her gün boşa vakit kaybetmiyorum. Şu an bu şekilde 7 tane model takip ediyorum. İleride bu fiyatları toplayıp, istatistiksel veri elde etmeyi hedefliyorum.

Bu program şu an herkesin kullanımına hazır değil, biraz daha iş yükü gerektiriyor. Ancak böyle bir ilgi var mı yok mu bilemediğim için boşa emek harcamak istemedim. Bu yüzden sizlere soruyorum, böyle bir program olsa kullanır mısınız?

Son olarak sorum, böyle bir şeyi gerçekten halka açmalı mıyım? Piyasayı öldürmek ya da benzeri şekilde kötü kullanımlara sebep olmak istemiyorum.

Not: Program tamamen ücretsiz ve açık kaynaklı olacak.

Veriyi aldığın site kodları değiştirildiğinde, seninde değiştirmen gerekecek. Tamam sürekli değişecek hali yok ama arada sırada bu tarz güncellemeler yapman gerekebilir.
Programı detaylandırır sadece motosiklet için değil de, ev (satılık, kiralık)ve araba kriterlerinide eklersen bence iş yapar.

[peyloride]

github a gpl ile koyun toplu olarak ilerlesin

Programı Crystal dilinde Kemal kullanarak yazdım. Zannetmiyorum burada Crystal yazan birinin çıkacağını, keza ben de yeni bir dil öğrenmek amacıyla başladım.


Veriyi aldığın site kodları değiştirildiğinde, seninde değiştirmen gerekecek. Tamam sürekli değişecek hali yok ama arada sırada bu tarz güncellemeler yapman gerekebilir.
Programı detaylandırır sadece motosiklet için değil de, ev (satılık, kiralık)ve araba kriterlerinide eklersen bence iş yapar.

Tasarım değişmediği sürece sorun olacağını sanmıyorum. Trafik arttığında beni bloklayabilir belki ama onun da türlü türlü çözümleri var. Ev vs. işleri dediğiniz gibi çok iş yapar fakat hiç incelemedim, nasıl olur bilmiyorum.

[Se-ZeR]

Malum crawl edilmeye çok ihtiyaç duyulabilecek bir site olduğu için API'si yok .
Yazdığınız program muhtemelen xpath takip ediyordur (eğer python/scrapy ile yazdıysanız) buna bir çözüm getirilebilir mi diye malum sitenin filtre yapısını inceledim.
Örnek url;
https://********/motosiklet-apachi/adiyaman?a2217=62318&price_min=100&price_max=100000
Bir kısım path olarak eklenirken (motosiklet-apachi) bir kısım ise get parametreleri olarak ekleniyor. (il, price-min/max)
Dolayısıyla kapsamlı bir şey üzerinde çalışmanız gerekecek ve siz iyi niyetli olsanız bile bu proje yasadışı kullanıma da uygun olacak. Muhtemelen malum sitede sizi uyarır.
Böyle bir araca ihtiyaç var mı ? evet, ancak her ihtiyaca cevap verilemiyor maalesef.

[peyloride]

Malum crawl edilmeye çok ihtiyaç duyulabilecek bir site olduğu için API'si yok .
Yazdığınız program muhtemelen xpath takip ediyordur (eğer python/scrapy ile yazdıysanız) buna bir çözüm getirilebilir mi diye malum sitenin filtre yapısını inceledim.
Örnek url;
https://********/motosiklet-apachi/adiyaman?a2217=62318&price_min=100&price_max=100000
Bir kısım path olarak eklenirken (motosiklet-apachi) bir kısım ise get parametreleri olarak ekleniyor. (il, price-min/max)
Dolayısıyla kapsamlı bir şey üzerinde çalışmanız gerekecek ve siz iyi niyetli olsanız bile bu proje yasadışı kullanıma da uygun olacak. Muhtemelen malum sitede sizi uyarır.
Böyle bir araca ihtiyaç var mı ? evet, ancak her ihtiyaca cevap verilemiyor maalesef.

Css query'leri üzerinden ilerliyorum. Dediğin gibi path üzerinde çoğu parametre. Bu parametreleri set edip sayfayı crawl ettikten sonra parse ederek ilerliyor. Eğer tarih bugününse o satırdaki fiyat km vs. gibi değerleri inceliyor ve mail içeriğine ekliyor.

Ne gibi bir yasal probleme yol açacağını anlayamadım. Sonuçta bir tarayıcının bir siteye girmesinde yasak olan bir şey yok. Herhangi bir spam vs. de yapmıyorum. Buradaki veriler zaten halka açık veriler. Ya da şöyle sorayım, ben her gün her modelin sayfasına girip tek tek not alıp deftere yazsam bu beni suçlu yapar mı?

[istanbu_gezg]

bu kadar kasmaya gerek yok model km yıl favori yapıyorsun bana düzenli atıyor hala 5000 tl ye motor alamadım malesef olmuyor böyle olmuyor

[Se-ZeR]

Veri güvenliğine dair hassas bir durum var, ben de teknoloji sektöründe çalışıyorum, verinin halka açık olması maalesef veriyi alıp işleyip sunma hakkına sahip olmamızı sağlamıyor. Eğer bir site içerisindeki veriyi toplayıp ondan bir sentez elde ederek mail atıyorsanız burada siteyi tarayıcıda açma işi değil, sitedeki veriyi kullanarak yeni bir veri ürettiğiniz durumu ortaya çıkıyor. İlgili kaynaktan izin alınmadan veriyi kullanamıyoruz. Sorunuza cevaben ise durum şöyle, not ettiğiniz veriyi bastırmaya veya internet üzerinde yayınlamaya başlarsanız ve bu işlem için de kaynaktan izin almazsanız suç işlemiş sayılırsınız, kaynak sizi dava edebilir. Zira kendilerinin gizlilik sözleşmelerine dair kabarık bir kurallar listesi ve çok sıkı bir tutumu var bildiğim kadarıyla.

[peyloride]

Veri güvenliğine dair hassas bir durum var, ben de teknoloji sektöründe çalışıyorum, verinin halka açık olması maalesef veriyi alıp işleyip sunma hakkına sahip olmamızı sağlamıyor. Eğer bir site içerisindeki veriyi toplayıp ondan bir sentez elde ederek mail atıyorsanız burada siteyi tarayıcıda açma işi değil, sitedeki veriyi kullanarak yeni bir veri ürettiğiniz durumu ortaya çıkıyor. İlgili kaynaktan izin alınmadan veriyi kullanamıyoruz. Sorunuza cevaben ise durum şöyle, not ettiğiniz veriyi bastırmaya veya internet üzerinde yayınlamaya başlarsanız ve bu işlem için de kaynaktan izin almazsanız suç işlemiş sayılırsınız, kaynak sizi dava edebilir. Zira kendilerinin gizlilik sözleşmelerine dair kabarık bir kurallar listesi ve çok sıkı bir tutumu var bildiğim kadarıyla.

Bilgilendirme için teşekkürler, o halde bu projeyi rafa kaldırıyorum.