Çok amaçlı optimizasyon problemlerinin çözümünde Pareto tabanlı yeni yaklaşımlar

Abstract

Gerçek dünya problemlerinin tasarımında her amacın kusursuz olması istenir, örneğin tasarlanan bir aracın maliyetinin düşük olması beklenirken hızının veya güvenliğinin çok yüksek olması istenilebilmektedir. Halbuki kaynaklar sınırlıdır. Neredeyse bütün mühendislik problemlerinde böyle çelişkiler görmek mümkündür. Bu ve benzer problemlerin üstesinden gelmek için iki ya da daha fazla amacı eş zamanlı olarak optimize edebilecek çok amaçlı problem çözme yaklaşımları geliştirilmiştir. Bunun yanında, NFL (No Free Lunch) teoremine göre bir algoritma ne kadar iyi olursa olsun, her problemde mükemmel sonucu garanti edemeyeceği için her zaman yeni problem çözme yaklaşımlarına ihtiyaç vardır. Tez çalışmasında, iki farklı problem incelenmiş, bu problemleri çözmek için hipotezler sunulmuş ve bu hipotezlere dayanarak çok amaçlı çözüm yaklaşımları geliştirilmiştir. Her iki problem içinde en köklü çok amaçlı çözüm yaklaşımlardan olan Pareto tabanlı algoritmalar tasarlanmış ve her iki çalışmada da farklı bir sistem, amaç fonksiyonu yerine kullanılmıştır. Bu amaçla, çok amaçlı algoritma ile bir sistem hibrit olarak beraber çalıştırılmıştır. Bu hibrit yaklaşımların, özellikle bir amaç fonksiyonu çıkarmanın zor olduğu problemler için yol gösterici nitelikte olduğu düşünülmektedir. İlk çalışmada, derin öğrenme alanında yaygın olarak kullanılan bir yapay sinir ağı mimarisi olan, CNN (Convolutional Neural Network) tabanlı bir sistemin hiper parametre optimizasyonu ele alınmıştır. Bu çalışmada, ilk zorluk, meta-sezgisel optimizasyon türü çözüm yaklaşımlarının temelde deneme yanılmaya ve rastsallığa dayanması, yani yüzbinlerce deneme gerektirmesidir. Bu tür problemler polinomal zamanda çözülemeyen problemlerin sınıflarına girebilmektedirler. Diğer yandan, derin öğrenmenin önemli zorluklarından olan zaman maliyetinin yüksek olmasıdır. Bu iki yaklaşımın birlikte kullanılması durumunda zaman maliyeti büyük ölçüde artacağından; ilgili problem için az sayıda denemeyle, birden fazla amaç için eş zamanlı, kabul edilebilir sonuçlar üretebilen bir optimizasyon algoritması geliştirmek hedeflenmiştir. Böylece F-MODE (Fast Multi-Objective Differential Evolution) isminde hızlı yakınsamaya sahip bir algoritma önerilmiş, literatürde iyi bilinen bazı algoritmalarla test fonksiyonları üzerinde kıyaslanmış ve çeşitli istatistik testlere tabi tutulduktan sonra CNN tabanlı sistemin hiper parametre optimizasyonu için kullanılmıştır. Sonuç olarak hiper parametrelerinden oluşan Pareto-optimal'a yakın veriler elde edilmiştir. İkinci çalışmada ise asfalt karışımlarının oranlarını optimize etmek için D-MOGA (Dynamic Multi-Objective Genetic Algorithm) adında farklı bir algoritma geliştirilmiştir. Daha önce başka bir çalışma kapsamında laboratuvar ortamında yapılan 42 adet asfalt karışımı deneyleri bu çalışmada kullanılmıştır. Bu deneylerin her biri beş girdiye ve üç çıktıya sahip verilerden oluşmaktadır. İlk önce bu veriler kullanılarak kural tabanlı bir bulanık mantık (Fuzzy logic, FL) sistemi tasarlanmış ve böylece, farklı girdiler için gerçek deneylere ihtiyaç duymadan çıktı sonuçlarına bakılabilecek bir sistem elde edilmiştir. Daha sonra dengeli ve rekabetçi bir algoritma olan D-MOGA geliştirilmiş ve çeşitli istatistik testler üzerinde literatürde bilinen başarılı algoritmalarla kıyaslamalar yapılmıştır. Son olarak geliştirilen bulanık mantık sistemi bir amaç fonksiyonu gibi kullanılarak D-MOGA algoritmasına entegre edilmiş ve asfalt karışım problemi için Pareto-optimale yakın veriler bulunmuştur. Çalışmanın son bölümünde test fonksiyonları kullanılarak F-MODE ve D-MOGA algoritmaları arasında karşılaştırmalı bir analiz yapılmıştır. Başlangıçta, testler birinci algoritmaya (F-MODE) özgü koşullara göre yapılmıştır. Daha sonra aynı testler ikinci algoritmaya (D-MOGA) özgü koşullar dikkate alınarak uygulanmıştır. Bu karşılaştırmalı analiz, farklı senaryolar ve koşullar altında her bir algoritmanın performansını ve etkinliğini değerlendirmeyi amaçlamıştır. Sonuç olarak iki ayrı problem çok amaçlı optimizasyon problemi kapsamında ele alınmış ve bu problemleri çözmek için yaklaşımlar geliştirilmiştir.

In the design of real-world problems, it is desired that every objective be flawless; for instance, while the cost of a designed vehicle is expected to be low, its speed and safety are also desired to be high. Nevertheless, it is important to acknowledge the inherent limitations imposed by finite resources. Such inherent contradictions can be observed in nearly all engineering problems. To address and surmount these challenges, multi objective problem-solving approaches have been developed, enabling the simultaneous optimization of two or more objectives. Furthermore, regardless of the efficacy of an algorithm, the pursuit of new problem-solving approaches remains imperative, as no algorithm can guarantee flawless outcomes for every problem. The thesis study focused on the examination of two distinct problems, with the formulation of hypotheses aimed at resolving these issues. Subsequently, multi-objective solution approaches were developed based on these hypotheses. In both studies, Pareto-based algorithms, renowned as one of the most established multi-objective solution approaches, were employed. Additionally, a distinct system was utilized in lieu of the objective function for both problems. In essence, a hybrid system was implemented, combining the multi-objective algorithm with another system to work in tandem and achieve multiple objectives effectively. The hybrid approaches prove particularly beneficial for problems in which deriving a single objective function is challenging or impractical. In the initial study, the focus was on hyperparameter optimization of a system developed based on CNN, which is a commonly used artificial neural network architecture in the field of deep learning. In this study, one of the primary challenges lies in the fact that optimization-based solution approaches primarily rely on trial and error and incorporate an element of randomness. These types of problems can fall into classes of problems that cannot be solved in polynomial time. Consequently, a substantial number of iterations, often reaching hundreds of thousands, are required to achieve satisfactory results. Conversely, one of the major obstacles encountered in deep learning is the significant time cost associated with the training and inference processes. The objective of the research is to devise an algorithm capable of yielding satisfactory outcomes with a reduced number of trials for the given problem. This approach is pursued to mitigate the substantial increase in time costs that would ensue if both methods were employed simultaneously. In light of this objective, a fast convergence algorithm called F-MODE was proposed. This algorithm was subsequently compared with several established algorithms in the literature using test functions. Afterwards, it has been utilized for hyperparameter optimization of the CNN-based system. As a result, data points that are close to the Pareto-optimal set of hyperparameters have been identified. In the second study, a distinct algorithm called D-MOGA was developed specifically to optimize the ratios of asphalt mixtures. This algorithm aimed to find optimal combinations of asphalt mixture ratios considering multiple objectives. This study utilized forty-two asphalt mixture experiments conducted in a laboratory environment, which were originally conducted as part of another research investigation. These experimental data served as the basis for the analysis and optimization process in the current study. Each of these experiments comprises data characterized by five input variables and three corresponding output variables. Initially, a rule-based fuzzy logic system was developed utilizing the available data. This system enabled the generation of output results for various input combinations without the necessity of conducting real experiments. Subsequently, a balanced and competitive algorithm called D-MOGA was developed, specifically tailored for the optimization of asphalt mixture ratios. This algorithm was subject to rigorous comparisons with established and successful algorithms found in the literature, employing various statistical tests. Lastly, the fuzzy logic system developed earlier was employed as an objective function and seamlessly integrated into the D-MOGA algorithm. By utilizing this integrated approach, optimal Pareto solutions for the asphalt mixture problem were determined, providing a range of ideal solutions that balance multiple objectives effectively. In the final part of the study, a comparative analysis was conducted between F-MODE and D-MOGA algorithms using test functions. Initially, the test functions were evaluated based on the conditions specific to the first algorithm (F-MODE). Subsequently, the same test functions were examined considering the conditions specific to the second algorithm (D-MOGA). This comparative analysis aimed to assess the performance and effectiveness of each algorithm under different scenarios and conditions. As a result, two distinct problems have been addressed within the scope of multi-objective optimization problem, and approaches have been developed to solve these problems.