רבי אריה לוין נולד באורלא שליד ביאליסטוק, בתחום המושב היהודי של האימפריה הרוסית (כיום בפולין) לבנימין ביינוש שעבד לפרנסתו כיערן ולעטיל. הוא למד בסלוצק, בסלונים, בבריסק ובפינסק. בגלל גילו הצעיר לא התקבל בהתחלה ללמוד בישיבת וולוז'ין. הוא פנה ללמוד בישיבה בהלוסק שם למד אצל רבי ברוך דב ליבוביץ, לאחר כשנה התקבל לוולוז'ין, שם למד תורה מהרב רפאל שפירא. עלה לארץ ישראל באדר ה'תרס"ה (1905), תקופה קצרה התגורר ביפו, אחר כך עלה לירושלים, שם למד בישיבת תורת חיים. הוסמך לרבנות על ידי הרב חיים ברלין, הרב שמואל סלנט והראי"ה קוק.

סמוך להגעתו לירושלים (ח' בתמוז ה'תרס"ה) נשא את צפורה חנה, בתו של הרב דוד שפירא, רב בקובנה, ובנו של הרב חיים יעקב שפירא (נפטרה בתשי"ב). הרב דוד שפירא היה גם חותנו של הרב צבי פסח פרנק. כמו רבים מבני היישוב, עברו שנות מלחמת העולם הראשונה על בני הזוג ברעב. שתיים מבנותיהם נפטרו בשל התנאים הקשים.

החל משנת ה'תרע"ז (1917) היה משגיח בתלמוד תורה עץ חיים בירושלים. לאחר עלותו של רבי שלמה אלישיב בעל ה"לשם" לארץ ישראל היה לתלמידו.

היה ידוע כבעל חסד. נודע בכינויו "רב האסירים" מפני שהיה נוהג במשך כעשרים וחמש שנה, כבר בתקופת המנדט הבריטי, ללכת רגלית בכל שבת לבקר את האסירים בבתי הכלא, לעודד את רוחם ולכתוב להם מכתבים. בפרט נודעו ביקוריו אצל אסירי המחתרות ועולי הגרדום. במנהג זה החל עוד כאשר שהו בבתי הסוהר בעיקר אסירים יהודים פליליים, המשיך בו כאשר בבתי הסוהר נאסרו לוחמי מחתרות, והמשיך בו אף לאחר קום המדינה. בעת ביקור אסירי המחתרות הבריח הרב לוין בבגדיו פתקי דרישת שלום בין האסירים לבני משפחותיהם. סמוך לפטירתו עוטר הרב לוין בעיטור לוחמי המדינה על פועלו בתקופת המחתרות.

ביקר בקביעות בכל בתי החולים בירושלים, כמו כן היה מקפיד לבקר את המאושפזים בבתי החולים למצורעים שבשכונת טלביה ובבית לחם כדי לעודד את יושביהם המבודדים.