Küçükköy’ün tarihini irdelemek için 1462’lere doğru bir gezinti yapmamız gerekir... O tarihlerde Küçükköy’ün tam karşısındaki Midilli Adası’nda Gateluzio isimli prens vardı. Gateluzio, ağabeyi Domini ko’yu öldürüp, yönetimi eline geçiren gaddar, ama oldukça da kurnaz bir yöneticiydi. Midilli Prensliği, daha önce yapılan anlaşmaya göre Osmanlı’ya yılda 4000 altın veriyordu. Gateluzio, bir yandan Osmanlılara bağlı görünüyor, öte yandan Latinlerle gizlice haberleşiyor ve onların donanmasının yardımına güvenerek vergi ödemeyi ihmal ediyordu. Ayrıca Akdeniz’de Osmanlı kıyılarını tahrip ederek Midilli’ye sığınan Katalan korsanlarından da hisse alıyordu. Daha önemlisi, Papa’nın, Doğu Akdeniz adalarına hakim olmak için gönderdiği donanma, Midilli’ye gelip, onunla Osmanlı aleyhine ittifak yapmıştı. Osmanlının uyarıları fayda vermiyordu.  Nihayet 1462 yılında Fatih Sultan Mehmet, komutanlarından Mahmut Paşa’yı 200 gemilik donanma ile Midilli’ye gönderdi ve savaş başladı. Diğer yandan kendisi de Bursa üzerinden Edremit Körfezi’ne doğru yola çıktı. Tozu dumana katan atlılar önce Yayaköy’e (Gömeç), oradan da Ayvalık’ın güneyindeki Ayazment’e (Altınova) geldi. Bir ara Midilli’ye geçti. Ada, kısa zamanda prensleri ile teslim oldu... 

Köy kuruluyor
 İşte, Küçükköy bu tarihte doğdu. Midilli Adası’nda kaleye 200 yeniçeri, 300 azap muhafızı yerleştirildi. Ada yeniden korsanların ve diğerlerinin eline geçmesin diye şimdiki “Küçükköy”ün olduğu yere de yeniçeriler yerleştirildi. Köyün ismi de, yeniçeri anlamına gelen “Yeniçarhion” oldu... Zamanla burada yönetimi Rumlar ele geçirmiş. Onlarda buraya “Küçükköy” demişler... Küçükköy’de şimdi çoğunluğu “Boşnak” dediğimiz, Yugoslavya’dan gelen Türkler, biraz “Adalı” diye tabir edilen Midilli’den gelenler, biraz da Serezli’ler var..Boşnakların ilk grubu, 1893 ikinci grubu 1913’te “Küçükköy”e gelmiş. Misafirperver, sıcakkanlı insanlar. Genelde uzun boylu, sporu seven, sarışın kumral karışımı... Yemek kültürleri çok zengin, et ve hamur sofralarından eksik olmaz... Potoplika, Rıbica, Sispara, Papara, Piryan gibi yemekler. Börek ise yufkası elle açılır. Kıymalı, peynirli, patlıcanlı, kabaklı, ne çeşit istersen var, yemeye doyum olmaz. Birde Soka denilen peynirle yapılan turşu ve şekerpare denilen, insana parmak yalatan bir tatlı... Boşnaklar damak zevki olan insanlardır...Ayvalık merkezine 7 km uzaklıktaki bir ovaya kurulmuş olan köy, tipik mimarisi ile göze çarpar. Köy halkı geçimini turizm, hayvancılık ve tarımsal faaliyetlerden sağlar. Geçimini tarım ürünleri ile sağlayan köy halkının %80 i zeytincilik, %20 si ise tahıl ürünleri ile uğraşmaktadır. Türkiye’nin en uzun ve en iyi kumsalına adını veren Sarımsaklı plajları belde sınırları içerisindedir. Eşsiz güneşi, kumu ve denizi ile her yıl çok sayıda yerli ve yabancı turist çeker. Sarımsaklı plajlarında bulunan otel, motel, restaurant, cafe ve alış veriş merkezleri belde halkının önemli bir geçim kaynağını teşkil eder. Köy içerisinde 19 yüzyıldan kalma üç kilise ve üç manastır olduğu söylenmektedir. Bunlardan biri şu anda cami olarak kullanılan Ayiu Athanasiu kilisesidir. Yine köy içerisinde çok sayıda çeşme bulunmaktadır. Fakat bu tarihi eserler üzerinde düzgün bir inceleme veya bilimsel araştırma yapılmamıştır Bitki örtüsü ise, doğal çam ormanları ile kaplı olup bir oksijen çadırını andıran temiz havası yörenin en önemli özelliklerindendir. Yöreye ait 2,5 milyon zeytin ağacının bir kısmı belde sınırları içerisinde yer alır. Belde yaz aylarında sıcak ve kurak kış aylarında ise yağışlı ve aşırı rüzgarlı bir iklime sahiptir. Ege kıyılarına has imbat rüzgarı beldede bulunanlara yazın en sıcak günlerinde bile rahatlıkla hareket serbestliği sağlar.