Q:

You are in a white room with a red button. And there is a black suitcase with 1 million dollars in it.

You hear a sound from the speaker: ” If you press the red button, you will forget the last 10 seconds we will give you the million dollar.”

Would you press that button?

It seems like I can’t press that button no matter what. My conscious that includes the last 10 seconds will be erased. So I feel like the I, as a person who existed for some time including the last 10 seconds, who thought about things like pressing the button will be dead, and some person (me 10 seconds ago) will continue to live.

I just can’t press the button.

Can you?

Bu soruları cevaplayabilmek için amatör olarak bir sosyal deney hazırladık. Bu deneyde İstanbul’da yaşayan 3 adet farklı erkek profili ve 5 tane arkadaşlık sitesi kullandık. Deneyden çıkan sonuç şaşırtıcıydı:

• Çoğu sosyal networkte bayanlar iyi bir meslek sahibi, iyi gelir sahibi izlenimi veren, “düzgün ve elit” olarak tabir edilen modern erkeği tercih ettiler.
• Eğlenceye ve gece hayatına düşkün, cinsel içerikli mesajlar atan üniversite öğrencisi genç attığı mesajlara beklenenden daha yüksek cevaplar alsa da bu mesajların çoğu olumsuzdu. Ancak test sonuçları olumlu/olumsuz ayrımı yapılmadan sergilendi.
• “Kro” olarak tabir edilebilecek aşırı romantik erkek ise sosyal networklerin çoğunda aldığı geri dönüş ve bu geri dönüşlerin olumluluğu bakımından diğer 2 erkek profiline yetişemedi.

Metodoloji: Her sosyal networkte Random Sampling (Rastgele Örneklem) yöntemi kullanılarak, İstanbul’da yaşayan 600 kişi belirledik ve her karakterin hesabından 200’er kişiye mesaj attık. Toplamda 3000 adet mesaj gönderildi ve geri dönüş sayıları kaydedildi. Testimizin amacı nedeniyle karakterlerin tipleri profillerine uygun seçildi. Ancak yine de, profilden bağımsız olarak karakterlerin çekicilik seviyeleri sonuçları etkilemiş olabilir.

Devamı:

Bu çalışmanın tamamına PDF olarak buradan ulaşabilirsiniz.

Taste is an open-source recommendation library in which you can create a basic recommender
easily.

In  this post, we will  try  to describe  some  key  features of Mahout’s Taste  implementation,  and  also discuss  some problems  associated with  it. Because Taste  has  standard  textbook  algorithms, we will  not  get  into  accuracy  details.  Therefore  our  main focus will be on performance. As a recommender system provider, we are also struggling  with scalability issues and we are investigating up to what extent a Hadoop implementation can help.  Therefore, we went  ahead  and  tested Mahout’s  latest  release  in  order  to  answer  thisquestion:

Does Taste in Mahout somehow solve scalability issues in recommender systems?

Sadly,  the  answer  was  not a  Yes.  Taste  is  a  great  API  which  is  very  easy  to  develop  with,  however  even  with  the  Hadoop’s  scalability  features,  Taste  is  very  limited.  Taste’s  original implementation is not scalable and this implementation does not fit into Hadoop’s map-reduce  logic  naturally.
After  providing  a  detailed  review  of  Mahout-Taste,  we  will  be  describing  some  of  the
methodologies  and  technologies  we  rely  on  to  overcome  our  performance  and  resource
management  problems with  iletken. We  will  be  recommending  some  basic  implementation
tips.

- Download the complete review in PDF format -

Summary
Pros:

• Mahout  manages  to  scale  training  session  with  slope  one  method  and  hadoop implementation
• Mahout is Open Source

Cons:

• Does not scale as expected
• Mahout scalability is achieved by only using a slope one method.
• Standard Slope one  recommender  is not very accurate  (Netflix  test: Success  -3%  (0.98RMSE))  compared  to  other  algorithms(not  included  in  Mahout)  such  as  Matrix Factorization(Netflix test: Success: 8.4% (0.87 RMSE))
• Inefficient implementation
• High memory & resource consumption
• Only Collaborative filtering
• Only standart algorithms

Edit: Some of our readers told me that mahout has improved. Please pay attention to what they are saying:

haltux:

“ Many criticizes are not true anymore.

The complete netflix dataset can be processed by the mahout slope one implementation with few hundreds megabytes.
Other algorithms are now available, included distributed ones.”

Just moonwalk

All the images below belong to Oracle.

If you are designing a customer oriented web application, you might want to consider the days when your users will exponentially increase. The mythical question is that will your application scale easily? Meaning that would your load capacity/performance of the application increase as you add more servers? The answer is not quite simple and don’t believe your IT department if they easily say “well… yeah sure. Why not? As we have more users, we will get faster or more machines “Scalability is actually very related to your initial design choices and it is hard to fix a non-scaleable system. So, scalability is not a hardware but a software design issue. A software architect must take scalability issues into consideration.

The nature of next generation web services requires data processing maybe more than ever.  Keeping track of user interactions with system and analyzing those behaviors mean some I/O operation in the most basic sense.  And if you are planning to do these I/O operations in the database at each interaction, you are probably doomed. A better solution would be using caches in the application server to get rid of I/O’s at every iteration and also to solve the bottle neck problem that might occur between your database and application server tiers. But how does caches in the application servers scale? The answer is clustered systems and the topologies used in those systems.

I wish to talk about some basics first.

When you need to improve your applications performance due to the database operations, you have two options

1. Solving the problem in the Database Tier
2. Using caching solutions (preferably clustered) in the Middle (Application) Tier (Application servers)

For a long time, trying to solve the problem in the database tier was the mainstream. When you decide to do that, there are again two options to improve your DB.

• a) Buy faster machines (200 CPU – Expensive ones)
• b) Combine other machines with your existing DB (clustering).

Buying a faster machine is easy but it is extremely expensive and it does not always solve your problem. It is also a single point of failure so you’ll have to support it with other systems.

On the other hand, clustering the DB is hard to maintain and costs more to scale than scaling in the application server. There are solutions like RAC systems but they all have single point of failures, hard to maintain and they do hardly scale linearly. Not to mention the respectable license fees.

I believe today, the mainstream is moving into the middle tier computing. And I think it is the right choice for many web companies. I also prefer using the 2nd option: Use clustered caching solutions in the application server because:

1. Application servers are cheap (best one is around 2.000 USD)
2. You don’t have to write every interaction to DB as soon as they happen. You can keep the changes at the cache and do a write-back operation. (Might depend on your business needs)
3. They are said to be easy to maintain. [ I had some issues setting up the cluster nodes ]
4. They scale effectively.
5. If you use a well-designed caching solution: They don’t have single point of failure and all the nodes in the cluster looks same to the programmer, meaning that he will only think of one cache mechanism to ask or put objects to even if you have 2.000 servers.

I had a wonderful internship experience at Turkcell and I was in the infrastructure team. One of the assignments I had was to investigate and test Oracle Coherence. I learned the basics of the system, topologies it use to keep the data and wrote some basic Java web applications that use the cache in order to test it.

Coherence is a Data Grid solution (and more) for clustered systems.

What is Oracle Coherence 1?

This is a quote from Oracle’s Coherence product page:

“Coherence provides replicated and distributed (partitioned) data management and caching services on top of a reliable, highly scalable peer-to-peer clustering protocol. Coherence has no single points of failure; it automatically and transparently fails over and redistributes its clustered data management services when a server becomes inoperative or is disconnected from the network. When a new server is added, or when a failed server is restarted, it automatically joins the cluster and Coherence fails back services to it, transparently redistributing the cluster load. Coherence includes network-level fault tolerance features and transparent soft re-start capability to enable servers to self-heal.”

When / Why I need a Data Grid solution like Coherence?

To be continued…

[I will update the post as I find some time to write more. I am sorry that’s for now.]

We have been chosen as one of the 5 finalists of “Strands $100,000 Call for Recommender Startups” with the project “iletken” which I have ben working on for 2 years. I will be presenting our project at the “ACM Recommender Systems 2008 Conference” at Switzerland on October 23-25.

It is a very joyful and encouraging development for us. The winner will get $100k funding but the most important part is to attend to the conference and meet with people who researches on recommendation systems. There were 25 competitors and this call was actually made for companies. So, as 4 collage students, we consider presenting at RecSys08 as a big success. Meanwhile, if we manage to get the $100k that would be just fine !

The other finalists are announced at RecSys08 website. I am excited to see that a there are two Netflix price competitor ( commendo (BigChaos) and Gravity RD)  in the list! Wow These two guys have the 2nd and 5th place.

If you are interested on what we are working on, this post includes some details: Modern Oil War of Web: Social Data War

Edit: I want to thank Turkcell Teknoloji for sponsoring some of our travel expenses for the conference.

iletken: murat deniz

Mail gruplarına yazılan mailler konusunda dikkatli olmak lazım. Google da adımı aratınca hala karşıma çıkan pek rezil bir mail mevzusu var. Bundan tam 9 sene 6 ay önce, linux kurmaya çalışırken yaşadığım bir sorunla ilgili Bilkent Linux mail grubuna yazdığım birkaç mail seneler sonra ilginç bir süprize dönüştü. O zamanlar 14 yaşında bir orta okul öğrencisi olan ben, soru sormaya çalışırken komik tabirler kullanmış, cevap gelmeyince “yaaa noooluur cevap verin lütfeannn HELP HELP HELP” gibi devam mailleri göndermiştim.

(devami var)

İşte o maillerden bazı parçalar:

1. mail: “img dosyasý yüklüyor 2 tane ve sonra hızlıca birşeyler geçiyor hızlı olduğu için okuyamıyorum ve bilgisayarı restart ediyor lütfen yardým edin”

2. mail: “LÜÜÜTTFEEENNN”

3. mail: “yaw yardým edin
HELP HELP HELP
HELP”

O sümük çocuk olarak 9 sene büyüyorum. Boyuna biraz, enine hallice gelişiyorum. Okula girip Bilgisayar Mühendisi oluyor gibi oluyorum. Bu günden tam 2.5 ay once, Turkcell Teknoloji de staja başlıyorum.

Turkcell zor stajyer seçen (ben spring projesi yaparak girdim) ve stajyerlerine çok değer veren bir kurum. Neredeyse her sabah 1.5 saatlik eğitim veriliyor.

İşte bu eğitimlerin birinde eski defterler açıldı. Geçen hafta Görkem Çetin ile Umut Gökbayrak’ın beraber hazırladıkları “Open Source” eğitimi – konuştayı vardı. Umut, Türkiye‘de open source konusunda önemli işler yapmış birkaç kişiden birisi. Ayrıca kendisi aynı zamanda Turkcell‘in Infrastrcutre grubunda benim yan masamda oturan ve bana “buddy” lik yapan kişi.

Eğitimin sonlarına doğru mail gruplarının faydaları isimli konuya geldik. Ben de, konu açılınca, 14 yaşında yazdığım maillerden ve hala google da karşıma çıktıklarından bahsettim insanlara. Güldük falan filan ve geçtik.

Masama döndükten sonra o mailleri tekrar buldum. Bir miktar detaylı araştırmadan sonra, aslında birisinin benim ağlamalarım sonucu bana acıyarak cevap verdiğini farkettim/hatırladım.

14 yaşında “ya çok hızlı bişiler geçio anlamıyorum” diyen bir velete çok kibar ve yardımsever bi cevap yazan bu kişi, benim tam 9 sene sonra yan masasına yerleştiğim kişiden başkası değildi. Hem de, pek değişen birşey olmamıştı! ben hala ona sorular soruyordum.:)

Dünya küçük… şaşırdım, sevindim. İlginç bir mutluluk yaşadım kendi kendime. Sonra maili Umut a gösterdim. O da çok mutlu oldu, içimizi sevgi kapladı. El ele tutuştuk falan. Tam öpüşüyorduk ki arkadaşlar farketti ve ayırdılar fazla mutluluk kötüymüş…

Şaka bir yana,

O insanı 9 sene sonra bulmak… ve hiç birşeyin değişmediğini görmek

Umut Gökbayrak:

Selamlar
Size yardim etmekten memnun oluruz.
O onunuze gelen yazilar Linux’ un kernelinin
yuklenmesi sirasinda gecen yazilardir. Buraya kadar hersey
normal. Yani bir sorun yok. Fakat en sonda Kernel Panic
gibisinden bir sey yaziyor ise ve burada kurulum
son buluyor ise bunun pek cok nedeni olabilir. Aklima gelen
nedenlerden bir tanesi de Ram’ inizin 64 Mb. dan
buyuk olmasidir. Turkuaz 1.0.3 kurulumu sirasinda sistemimde
64 mb. dan fazla ram bulundurdugumda Cd den
boot esnasinda ben de benzeri bir sorun ile karsilasmistim.
Bir de Rami azaltmayi deneyip kurun daha sonra ram’ i
takarsiniz ( /etc/lilo.conf ‘ u editlemeyi unutmayin tabii.)
Eger problem bu degilse listeye tekrar yazmaktan cekinmeyiniz.
Saygilarimla
Umut Gokbayrak

Mailleri detaylı görmek için buraya.