چه زمانی به Outbox Pattern نیاز داریم؟
وقتی ثبت داده در دیتابیس باید با ارسال پیام به یک Message Broker مثل RabbitMQ همراه شود، دو عملیات مستقل دارید. مثلاً سفارش در SQL Server ثبت میشود، اما ارسال پیام بهدلیل قطعی شبکه شکست میخورد. نتیجه: سفارش موجود است، ولی سرویس انبار از آن خبر ندارد.
با Outbox Pattern، سفارش و پیامِ آماده ارسال را در یک تراکنش، در همان دیتابیس ذخیره میکنید. سپس یک Worker پیامهای جدول Outbox را به Broker میفرستد و وضعیت ارسال را ثبت میکند.
نکته مهم: اگر ارسال موفق شود اما ثبت وضعیت شکست بخورد، پیام دوباره ارسال میشود. پس مصرفکننده باید با شناسه پیام، پردازش تکراری را تشخیص دهد و اثر تکراری ایجاد نکند.
اگر ازدسترفتن پیام پس از ثبت داده قابل قبول نیست، Outbox گزینه مناسبی است. این الگو شکاف بین ثبت داده و ارسال پیام را پوشش میدهد، نه تضمین «دقیقاً یکبار» پردازش را.
وقتی ثبت داده در دیتابیس باید با ارسال پیام به یک Message Broker مثل RabbitMQ همراه شود، دو عملیات مستقل دارید. مثلاً سفارش در SQL Server ثبت میشود، اما ارسال پیام بهدلیل قطعی شبکه شکست میخورد. نتیجه: سفارش موجود است، ولی سرویس انبار از آن خبر ندارد.
با Outbox Pattern، سفارش و پیامِ آماده ارسال را در یک تراکنش، در همان دیتابیس ذخیره میکنید. سپس یک Worker پیامهای جدول Outbox را به Broker میفرستد و وضعیت ارسال را ثبت میکند.
نکته مهم: اگر ارسال موفق شود اما ثبت وضعیت شکست بخورد، پیام دوباره ارسال میشود. پس مصرفکننده باید با شناسه پیام، پردازش تکراری را تشخیص دهد و اثر تکراری ایجاد نکند.
اگر ازدسترفتن پیام پس از ثبت داده قابل قبول نیست، Outbox گزینه مناسبی است. این الگو شکاف بین ثبت داده و ارسال پیام را پوشش میدهد، نه تضمین «دقیقاً یکبار» پردازش را.
👍4
چهار تغییر AI که برای توسعهدهندهها مهم است
🤖 اوپنایآی: GPT‑6.1 Terra برای Computer Use، تحلیل بصری و اتوماسیون کار با نرمافزارها منتشر شده و نسبت به نسل قبلی ارزانتر است.
⚙️ گوگل: Gemini 4 Argon برای Workflowهای پیچیده، کدنویسی، مهاجرت کد و کارهای چندمرحلهای طولانی در دسترس توسعهدهندگان قرار گرفته است.
🧩 آنتروپیک: Claude Haiku 5.5 یک مدل کوچک، سریع و کمهزینه برای کارهای پرتعداد، Subagentها و Browser Use است.
🛠 در Cursor هم Agent SDK آمده است. میتوانید Agent را مثل یک پروژه کدنویسی تعریف کنید، Tool و Skill بسازید، Eval بنویسید و آن را روی زیرساخت خودتان یا Cursor اجرا کنید.
📌 جمعبندی: رقابت AI فقط بر سر مدل قویتر نیست. مدلهای کمهزینهتر و Agentهای قابلبرنامهریزی دارند به ابزار واقعی تیمهای توسعه تبدیل میشوند.
🤖 اوپنایآی: GPT‑6.1 Terra برای Computer Use، تحلیل بصری و اتوماسیون کار با نرمافزارها منتشر شده و نسبت به نسل قبلی ارزانتر است.
⚙️ گوگل: Gemini 4 Argon برای Workflowهای پیچیده، کدنویسی، مهاجرت کد و کارهای چندمرحلهای طولانی در دسترس توسعهدهندگان قرار گرفته است.
🧩 آنتروپیک: Claude Haiku 5.5 یک مدل کوچک، سریع و کمهزینه برای کارهای پرتعداد، Subagentها و Browser Use است.
🛠 در Cursor هم Agent SDK آمده است. میتوانید Agent را مثل یک پروژه کدنویسی تعریف کنید، Tool و Skill بسازید، Eval بنویسید و آن را روی زیرساخت خودتان یا Cursor اجرا کنید.
📌 جمعبندی: رقابت AI فقط بر سر مدل قویتر نیست. مدلهای کمهزینهتر و Agentهای قابلبرنامهریزی دارند به ابزار واقعی تیمهای توسعه تبدیل میشوند.
👍3🙏1🏆1
چه زمانی دیتابیس Document انتخاب مناسبی است؟
🔹 معیار اصلی، الگوی خواندن و نوشتن داده است. اگر دادههای مرتبط معمولاً با هم خوانده و بهروزرسانی میشوند، نگهداری آنها در یک Document میتواند مناسب باشد.
⚙️ مثال: در کاتالوگ فروشگاه، ویژگیهای لپتاپ با کفش متفاوت است. در MongoDB میتوانید مشخصات هر محصول را در یک Document نگه دارید و برای نمایش صفحه محصول، همان سند را بخوانید.
📌 انعطاف ساختار به معنی بینیازی از طراحی Schema نیست. اگر مدام به ارتباطهای پیچیده، JOIN یا تراکنش بین چند موجودیت نیاز دارید، انتخاب Document Database را دوباره بررسی کنید.
✅ پیش از انتخاب، سه عملیات پرتکرار سیستم را بنویسید. اگر بیشترشان با یک Document انجام میشوند، این مدل ارزش بررسی دارد.
🔹 معیار اصلی، الگوی خواندن و نوشتن داده است. اگر دادههای مرتبط معمولاً با هم خوانده و بهروزرسانی میشوند، نگهداری آنها در یک Document میتواند مناسب باشد.
⚙️ مثال: در کاتالوگ فروشگاه، ویژگیهای لپتاپ با کفش متفاوت است. در MongoDB میتوانید مشخصات هر محصول را در یک Document نگه دارید و برای نمایش صفحه محصول، همان سند را بخوانید.
📌 انعطاف ساختار به معنی بینیازی از طراحی Schema نیست. اگر مدام به ارتباطهای پیچیده، JOIN یا تراکنش بین چند موجودیت نیاز دارید، انتخاب Document Database را دوباره بررسی کنید.
✅ پیش از انتخاب، سه عملیات پرتکرار سیستم را بنویسید. اگر بیشترشان با یک Document انجام میشوند، این مدل ارزش بررسی دارد.
❤5
چه زمانی Circuit Breaker از Retry بهتر است؟
🔹 الگوی Circuit Breaker وقتی تعداد خطاهای یک سرویس از آستانه مشخصی عبور کند، موقتاً درخواستهای جدید به آن سرویس را متوقف میکند. پس از مدتی، با عبور دادن تعداد محدودی درخواست، بازگشت سرویس را بررسی میکند.
⚙️ در مقابل، Retry برای خطاهای گذرا مناسب است. اما اگر سرویس مقصد برای مدتی از دسترس خارج باشد، تلاشهای مکرر میتوانند بار اضافی ایجاد کنند و پاسخگویی را کندتر کنند.
📌 برای مثال، اگر سرویس پرداخت بهطور مداوم خطا میدهد، Circuit Breaker میتواند از ارسال درخواستهای بیشتر جلوگیری کند و به سیستم اجازه دهد سریعتر خطا یا پاسخ جایگزین بدهد. این دو الگو قابل ترکیباند، اما تعداد تلاشهای Retry و فاصله بین آنها باید محدود باشد.
🔹 الگوی Circuit Breaker وقتی تعداد خطاهای یک سرویس از آستانه مشخصی عبور کند، موقتاً درخواستهای جدید به آن سرویس را متوقف میکند. پس از مدتی، با عبور دادن تعداد محدودی درخواست، بازگشت سرویس را بررسی میکند.
⚙️ در مقابل، Retry برای خطاهای گذرا مناسب است. اما اگر سرویس مقصد برای مدتی از دسترس خارج باشد، تلاشهای مکرر میتوانند بار اضافی ایجاد کنند و پاسخگویی را کندتر کنند.
📌 برای مثال، اگر سرویس پرداخت بهطور مداوم خطا میدهد، Circuit Breaker میتواند از ارسال درخواستهای بیشتر جلوگیری کند و به سیستم اجازه دهد سریعتر خطا یا پاسخ جایگزین بدهد. این دو الگو قابل ترکیباند، اما تعداد تلاشهای Retry و فاصله بین آنها باید محدود باشد.
❤2
نقش Context Engineering در کیفیت Agent
🔹 کیفیت تصمیم Agent فقط به مدل وابسته نیست. Context Engineering یعنی انتخاب و تنظیم اطلاعاتی که در هر مرحله در اختیار Agent قرار میگیرد، از هدف و محدودیتها تا خروجی ابزارها و اطلاعات مرتبط.
⚙️ برای نمونه، هنگام بررسی یک خطا، بهجای ارسال کل لاگ، پیام خطا، بازه زمانی مرتبط و نسخه سرویس را در اختیار Agent بگذارید. این کار کمک میکند Agent سرنخهای مهم را میان دادههای نامرتبط گم نکند.
📌 خروجی ابزارها را هم پیش از افزودن به Context فیلتر کنید. اطلاعات کم میتواند تصمیم را ناقص کند و اطلاعات زیاد و نامرتبط هم میتواند Agent را از مسئله اصلی دور کند.
🔹 کیفیت تصمیم Agent فقط به مدل وابسته نیست. Context Engineering یعنی انتخاب و تنظیم اطلاعاتی که در هر مرحله در اختیار Agent قرار میگیرد، از هدف و محدودیتها تا خروجی ابزارها و اطلاعات مرتبط.
⚙️ برای نمونه، هنگام بررسی یک خطا، بهجای ارسال کل لاگ، پیام خطا، بازه زمانی مرتبط و نسخه سرویس را در اختیار Agent بگذارید. این کار کمک میکند Agent سرنخهای مهم را میان دادههای نامرتبط گم نکند.
📌 خروجی ابزارها را هم پیش از افزودن به Context فیلتر کنید. اطلاعات کم میتواند تصمیم را ناقص کند و اطلاعات زیاد و نامرتبط هم میتواند Agent را از مسئله اصلی دور کند.
👍2
تفاوت Timeout و Retry در API
⏱️ با Timeout مشخص میکنید کلاینت چهقدر منتظر پاسخ بماند. تمامشدن این زمان لزوماً یعنی عملیات روی سرور شکست خورده نیست، ممکن است عملیات انجام شده باشد اما پاسخ بهموقع نرسیده باشد.
🔄 با Retry، درخواست را پس از خطایی احتمالاً موقت دوباره میفرستید. پس Timeout محدودیت انتظار است و Retry تصمیم برای تلاش مجدد.
⚠️ مثال: اگر درخواست پرداخت Timeout شود، تکرار بدون محافظت ممکن است پرداخت دوم ایجاد کند. برای چنین عملیاتی، API باید از Idempotency Key پشتیبانی کند و کلاینت در تلاشهای مجدد همان کلید را بفرستد تا اثر تکراری ایجاد نشود.
📌 در تنظیم کلاینت، Retry را محدود و با فاصلههای افزایشی انجام دهید. برای مجموع تلاشها هم سقف زمانی بگذارید تا چند Retry، انتظار کاربر را بیش از حد طولانی نکند.
⏱️ با Timeout مشخص میکنید کلاینت چهقدر منتظر پاسخ بماند. تمامشدن این زمان لزوماً یعنی عملیات روی سرور شکست خورده نیست، ممکن است عملیات انجام شده باشد اما پاسخ بهموقع نرسیده باشد.
🔄 با Retry، درخواست را پس از خطایی احتمالاً موقت دوباره میفرستید. پس Timeout محدودیت انتظار است و Retry تصمیم برای تلاش مجدد.
⚠️ مثال: اگر درخواست پرداخت Timeout شود، تکرار بدون محافظت ممکن است پرداخت دوم ایجاد کند. برای چنین عملیاتی، API باید از Idempotency Key پشتیبانی کند و کلاینت در تلاشهای مجدد همان کلید را بفرستد تا اثر تکراری ایجاد نشود.
📌 در تنظیم کلاینت، Retry را محدود و با فاصلههای افزایشی انجام دهید. برای مجموع تلاشها هم سقف زمانی بگذارید تا چند Retry، انتظار کاربر را بیش از حد طولانی نکند.
❤2👍1
چه زمانی بهجای Prompt از Tool Calling استفاده کنیم؟
🔹 اگر پاسخ فقط به اطلاعات موجود در Prompt نیاز دارد، مثل خلاصهکردن یک گزارش، معمولاً یک Prompt ساده کافی است.
⚙️ وقتی پاسخ به داده بهروز یا عملی در یک سیستم دیگر نیاز دارد، Tool Calling مناسبتر است. مثلاً Agent میتواند با فراخوانی ابزار مجاز، وضعیت سفارش را از سیستم سفارشها دریافت کند، بهجای اینکه پاسخ را حدس بزند.
📌 فراخوانی ابزار بهتنهایی صحت پاسخ را تضمین نمیکند. دسترسی ابزار را محدود کنید و برای اقداماتی مثل لغو سفارش، تأیید کاربر را در نظر بگیرید.
🔹 اگر پاسخ فقط به اطلاعات موجود در Prompt نیاز دارد، مثل خلاصهکردن یک گزارش، معمولاً یک Prompt ساده کافی است.
⚙️ وقتی پاسخ به داده بهروز یا عملی در یک سیستم دیگر نیاز دارد، Tool Calling مناسبتر است. مثلاً Agent میتواند با فراخوانی ابزار مجاز، وضعیت سفارش را از سیستم سفارشها دریافت کند، بهجای اینکه پاسخ را حدس بزند.
📌 فراخوانی ابزار بهتنهایی صحت پاسخ را تضمین نمیکند. دسترسی ابزار را محدود کنید و برای اقداماتی مثل لغو سفارش، تأیید کاربر را در نظر بگیرید.
👍2
تقسیم Bronze، Silver و Gold در Data Lakehouse
این سه لایه را بر اساس میزان آمادهبودن داده برای مصرف جدا کنید، نه صرفاً نام پوشهها. برای داده سفارشها، این تقسیم کاربردی است:
🔹 در لایه Bronze، داده دریافتی را با زمان دریافت و مشخصات منبع نگه دارید تا امکان پردازش مجدد داشته باشید.
🔹 در لایه Silver، نوع دادهها را یکدست کنید، رکوردهای تکراری را طبق کلید معتبر حذف کنید و سفارشها را به مشتریان مرتبط کنید.
🔹 در لایه Gold، خروجی مصرفی مثل فروش روزانه هر شعبه را برای داشبورد Power BI آماده کنید.
📌 نکته عملی: اگر منطق محاسبه فروش تغییر کرد، Gold را از Silver بازسازی کنید. اگر پاکسازی اشتباه بود، به Bronze برگردید. نگهداری داده خام باید با سیاست مشخص حفظ داده همراه باشد، وگرنه این مسیر بازگشت قابل اتکا نیست.
این سه لایه را بر اساس میزان آمادهبودن داده برای مصرف جدا کنید، نه صرفاً نام پوشهها. برای داده سفارشها، این تقسیم کاربردی است:
🔹 در لایه Bronze، داده دریافتی را با زمان دریافت و مشخصات منبع نگه دارید تا امکان پردازش مجدد داشته باشید.
🔹 در لایه Silver، نوع دادهها را یکدست کنید، رکوردهای تکراری را طبق کلید معتبر حذف کنید و سفارشها را به مشتریان مرتبط کنید.
🔹 در لایه Gold، خروجی مصرفی مثل فروش روزانه هر شعبه را برای داشبورد Power BI آماده کنید.
📌 نکته عملی: اگر منطق محاسبه فروش تغییر کرد، Gold را از Silver بازسازی کنید. اگر پاکسازی اشتباه بود، به Bronze برگردید. نگهداری داده خام باید با سیاست مشخص حفظ داده همراه باشد، وگرنه این مسیر بازگشت قابل اتکا نیست.
❤6
این هفته در هوش مصنوعی: Agentها و ابزارهای کدنویسی
🤖 شرکت DeepSeek نمونه پژوهشی متنباز Super-Agent را برای کدنویسی منتشر کرده است. این ابزار با رصد چتهای تیم و مخازن GitHub، مشکلات کد را شناسایی و راهحل پیشنهاد میکند. هنوز نباید آن را محصول آماده استقرار دانست.
⚙️ شرکت AWS الگوی عملی یک دستیار مهندسی چندعاملی را ارائه کرده است: یک Agent برنامهریز، Agentهای تخصصی و ارزیابی مستمر خروجی با AgentCore Evaluations.
🔹 شرکت Anthropic قابلیت Message Threads را در بتای عمومی عرضه کرده است. در نشستهای بسیار طولانی، زمان میانه رسیدن به اولین توکن حدود ۳۵٪ کمتر میشود، اما هزینه تغییری نمیکند. انقضای پنجدقیقهای Thread هم نگهداری مکالمه در سمت کلاینت را ضروری میکند.
📌 اهمیت این خبرها برای تیمهای فنی، فراتر رفتن از تولید کد است: کمک پیشدستانه، تقسیم کار و ارزیابی خروجی. در پایلوت بعدی، این معیارها را کنار سرعت پاسخ و هزینه بسنجید.
🤖 شرکت DeepSeek نمونه پژوهشی متنباز Super-Agent را برای کدنویسی منتشر کرده است. این ابزار با رصد چتهای تیم و مخازن GitHub، مشکلات کد را شناسایی و راهحل پیشنهاد میکند. هنوز نباید آن را محصول آماده استقرار دانست.
⚙️ شرکت AWS الگوی عملی یک دستیار مهندسی چندعاملی را ارائه کرده است: یک Agent برنامهریز، Agentهای تخصصی و ارزیابی مستمر خروجی با AgentCore Evaluations.
🔹 شرکت Anthropic قابلیت Message Threads را در بتای عمومی عرضه کرده است. در نشستهای بسیار طولانی، زمان میانه رسیدن به اولین توکن حدود ۳۵٪ کمتر میشود، اما هزینه تغییری نمیکند. انقضای پنجدقیقهای Thread هم نگهداری مکالمه در سمت کلاینت را ضروری میکند.
📌 اهمیت این خبرها برای تیمهای فنی، فراتر رفتن از تولید کد است: کمک پیشدستانه، تقسیم کار و ارزیابی خروجی. در پایلوت بعدی، این معیارها را کنار سرعت پاسخ و هزینه بسنجید.
👍2
چه زمانی انتخاب Event Sourcing منطقی است؟
🔹 در معماری Event Sourcing، رویدادهای کسبوکار منبع اصلی حقیقتاند، نه رکوردِ آخرین وضعیت. مثلاً موجودی حساب از رویدادهای واریز و برداشت محاسبه میشود.
📌 این الگو زمانی ارزش دارد که دانستن «چگونه به این وضعیت رسیدیم» یک نیاز اصلی باشد، مثل پیگیری تراکنشهای مالی، بازسازی وضعیت در یک مقطع گذشته یا ساخت Read Model جدید با Replay، یعنی پردازش دوباره رویدادها.
⚙️ هزینهاش فقط فضای ذخیرهسازی نیست. باید تغییر نسخه رویدادها، زمان Replay و حذف دادههای شخصی را مدیریت کنید. اگر Read Model جداگانه و غیرهمزمان بهروز شود، تأخیر در نمایش داده هم مطرح است.
✅ تفاوت با Audit Log: در Event Sourcing، وضعیت از رویدادها ساخته میشود. در ذخیرهسازی معمولی، Audit Log مکمل داده اصلی است. اگر فقط وضعیت فعلی و سابقه تغییرات را میخواهید، گزینه دوم معمولاً سادهتر است.
🔹 در معماری Event Sourcing، رویدادهای کسبوکار منبع اصلی حقیقتاند، نه رکوردِ آخرین وضعیت. مثلاً موجودی حساب از رویدادهای واریز و برداشت محاسبه میشود.
📌 این الگو زمانی ارزش دارد که دانستن «چگونه به این وضعیت رسیدیم» یک نیاز اصلی باشد، مثل پیگیری تراکنشهای مالی، بازسازی وضعیت در یک مقطع گذشته یا ساخت Read Model جدید با Replay، یعنی پردازش دوباره رویدادها.
⚙️ هزینهاش فقط فضای ذخیرهسازی نیست. باید تغییر نسخه رویدادها، زمان Replay و حذف دادههای شخصی را مدیریت کنید. اگر Read Model جداگانه و غیرهمزمان بهروز شود، تأخیر در نمایش داده هم مطرح است.
✅ تفاوت با Audit Log: در Event Sourcing، وضعیت از رویدادها ساخته میشود. در ذخیرهسازی معمولی، Audit Log مکمل داده اصلی است. اگر فقط وضعیت فعلی و سابقه تغییرات را میخواهید، گزینه دوم معمولاً سادهتر است.
👍4
مدیریت نسخههای .NET و گردشکارهای هوشمند GitHub
🔹 مایکروسافت در اکتبر ۲۰۲۶، نسخه .NET 11 RC2 و پیشنمایش عمومی ابزار dotnetup را عرضه کرد. این ابزار خط فرمان برای سادهتر کردن نصب و مدیریت SDKها و Runtimeها طراحی شده است. نسخه RC هنوز انتشار نهایی نیست.
🤖 گیتهاب در ۲۸ اکتبر، GitHub Agentic Workflows را به عرضه عمومی رساند. موضوع، گردشکارهای مبتنی بر Agent است، یعنی عامل هوش مصنوعی که انجام کارها را دنبال میکند، نه صرفاً پیشنهاد کد.
⚙️ اهمیت این دو خبر برای تیمها متفاوت است: اولی به مدیریت محیط توسعه مربوط میشود، دومی به سپردن بخشی از کار به عاملهای هوشمند. عرضه عمومی یک ابزار هم بهمعنای مناسببودن آن برای همه پروژهها نیست.
📌 پیشنهاد عملی: dotnetup را ابتدا روی محیط آزمایشی برای مدیریت نسخههای موردنیاز تیم بررسی کنید. برای Agentها نیز با یک کار محدود در مخزن غیرحساس شروع کنید و زمان بازبینی و خطاهای خروجی را بسنجید. مهاجرت محیط عملیاتی به .NET 11 را از آزمایش RC جدا نگه دارید.
🔹 مایکروسافت در اکتبر ۲۰۲۶، نسخه .NET 11 RC2 و پیشنمایش عمومی ابزار dotnetup را عرضه کرد. این ابزار خط فرمان برای سادهتر کردن نصب و مدیریت SDKها و Runtimeها طراحی شده است. نسخه RC هنوز انتشار نهایی نیست.
🤖 گیتهاب در ۲۸ اکتبر، GitHub Agentic Workflows را به عرضه عمومی رساند. موضوع، گردشکارهای مبتنی بر Agent است، یعنی عامل هوش مصنوعی که انجام کارها را دنبال میکند، نه صرفاً پیشنهاد کد.
⚙️ اهمیت این دو خبر برای تیمها متفاوت است: اولی به مدیریت محیط توسعه مربوط میشود، دومی به سپردن بخشی از کار به عاملهای هوشمند. عرضه عمومی یک ابزار هم بهمعنای مناسببودن آن برای همه پروژهها نیست.
📌 پیشنهاد عملی: dotnetup را ابتدا روی محیط آزمایشی برای مدیریت نسخههای موردنیاز تیم بررسی کنید. برای Agentها نیز با یک کار محدود در مخزن غیرحساس شروع کنید و زمان بازبینی و خطاهای خروجی را بسنجید. مهاجرت محیط عملیاتی به .NET 11 را از آزمایش RC جدا نگه دارید.
👍2
اتصال امن چتبات به اسناد سازمانی
🔹 برای پاسخگویی از روی اسناد فارسی، یک ترکیب عملی، مدل زبانی محلی و OpenSearch در زیرساخت On-Premises است. در معماری RAG، بخشهای مرتبط اسناد بازیابی میشوند و به مدل میرسند تا پاسخ را بر اساس آنها بسازد.
⚙️ نکته اصلی: مجوز دسترسی باید پیش از بازیابی اعمال شود، نه بعد از تولید پاسخ. هویت کاربر را در Backend احراز کنید و جستوجو را با فیلتر مجوز همان کاربر انجام دهید. هر قطعه سند در ایندکس باید اطلاعات دسترسی سند اصلی را همراه داشته باشد.
✅ دستور «اطلاعات محرمانه را نمایش نده» در Prompt، کنترل امنیتی نیست. سندی که کاربر اجازه دیدنش را ندارد، نباید وارد ورودی مدل شود. این کنترل را با دو حساب دارای دسترسی متفاوت آزمایش کنید و پس از تغییر مجوز اسناد، دوباره بسنجید.
🔹 برای پاسخگویی از روی اسناد فارسی، یک ترکیب عملی، مدل زبانی محلی و OpenSearch در زیرساخت On-Premises است. در معماری RAG، بخشهای مرتبط اسناد بازیابی میشوند و به مدل میرسند تا پاسخ را بر اساس آنها بسازد.
⚙️ نکته اصلی: مجوز دسترسی باید پیش از بازیابی اعمال شود، نه بعد از تولید پاسخ. هویت کاربر را در Backend احراز کنید و جستوجو را با فیلتر مجوز همان کاربر انجام دهید. هر قطعه سند در ایندکس باید اطلاعات دسترسی سند اصلی را همراه داشته باشد.
✅ دستور «اطلاعات محرمانه را نمایش نده» در Prompt، کنترل امنیتی نیست. سندی که کاربر اجازه دیدنش را ندارد، نباید وارد ورودی مدل شود. این کنترل را با دو حساب دارای دسترسی متفاوت آزمایش کنید و پس از تغییر مجوز اسناد، دوباره بسنجید.
معنای Idempotency در طراحی API
🔹 یک عملیات زمانی Idempotent است که اجرای چندباره همان درخواست، از نظر اثر موردنظر بر وضعیت سرور، با یکبار اجرا تفاوتی نداشته باشد. این ویژگی به معنی یکسان بودن پاسخها نیست.
⚙️ اهمیت آن در Retry مشخص میشود: اگر سرور پرداخت را انجام دهد اما پاسخ به کاربر نرسد، تکرار درخواست نباید پرداخت دیگری ایجاد کند.
📌 برای چنین عملیاتی، سرور میتواند از Idempotency Key استفاده کند. درخواستهای تکراریِ همان عملیات با همان کلید شناسایی میشوند و عملیات دوباره اجرا نمیشود. صرفِ فرستادن کلید، بدون پشتیبانی سرور، کافی نیست.
✅ در HTTP، متدهای PUT و DELETE طبق تعریف Idempotent هستند، اما POST چنین تضمینی ندارد. مثلاً حذف دوباره یک منبع ممکن است پاسخ متفاوتی بدهد، ولی اثر موردنظر همچنان همان است: منبع حذف شده است.
🔹 یک عملیات زمانی Idempotent است که اجرای چندباره همان درخواست، از نظر اثر موردنظر بر وضعیت سرور، با یکبار اجرا تفاوتی نداشته باشد. این ویژگی به معنی یکسان بودن پاسخها نیست.
⚙️ اهمیت آن در Retry مشخص میشود: اگر سرور پرداخت را انجام دهد اما پاسخ به کاربر نرسد، تکرار درخواست نباید پرداخت دیگری ایجاد کند.
📌 برای چنین عملیاتی، سرور میتواند از Idempotency Key استفاده کند. درخواستهای تکراریِ همان عملیات با همان کلید شناسایی میشوند و عملیات دوباره اجرا نمیشود. صرفِ فرستادن کلید، بدون پشتیبانی سرور، کافی نیست.
✅ در HTTP، متدهای PUT و DELETE طبق تعریف Idempotent هستند، اما POST چنین تضمینی ندارد. مثلاً حذف دوباره یک منبع ممکن است پاسخ متفاوتی بدهد، ولی اثر موردنظر همچنان همان است: منبع حذف شده است.
👍5
نقش Open Table Format در Lakehouse
🔹 در حقیقت Open Table Format روشی برای سازماندهی فایلهای داده و Metadata آنها در Data Lake است. این قالب، دادههای ذخیرهشده در فایلهایی مانند Parquet را به شکل جدول قابل مدیریت در اختیار ابزارهای تحلیلی میگذارد.
⚙️ در معماری Lakehouse، این قالبها قابلیتهایی مانند مدیریت تغییرات Schema، ثبت نسخههای جدول و انجام تراکنشهای قابل اطمینان را فراهم میکنند. پشتیبانی دقیق از این قابلیتها به قالب و ابزار مورد استفاده بستگی دارد.
📌 برای مثال، Apache Iceberg، Delta Lake و Apache Hudi از قالبهای شناختهشدهاند. انتخاب آنها به سازگاری با موتورهای پردازشی، نیاز به بهروزرسانی داده و امکانات عملیاتی پلتفرم بستگی دارد.
🔹 در حقیقت Open Table Format روشی برای سازماندهی فایلهای داده و Metadata آنها در Data Lake است. این قالب، دادههای ذخیرهشده در فایلهایی مانند Parquet را به شکل جدول قابل مدیریت در اختیار ابزارهای تحلیلی میگذارد.
⚙️ در معماری Lakehouse، این قالبها قابلیتهایی مانند مدیریت تغییرات Schema، ثبت نسخههای جدول و انجام تراکنشهای قابل اطمینان را فراهم میکنند. پشتیبانی دقیق از این قابلیتها به قالب و ابزار مورد استفاده بستگی دارد.
📌 برای مثال، Apache Iceberg، Delta Lake و Apache Hudi از قالبهای شناختهشدهاند. انتخاب آنها به سازگاری با موتورهای پردازشی، نیاز به بهروزرسانی داده و امکانات عملیاتی پلتفرم بستگی دارد.
❤2
مرز Data Warehouse و Semantic Layer
🔹 اگر «فروش خالص» در هر گزارش عدد متفاوتی دارد، فقط کیفیت داده را بررسی نکنید. ممکن است تعریف KPI در چند فایل گزارش تکرار شده باشد.
⚙️ در یک معماری On-Premises با SQL Server و SSAS Tabular، مرز مسئولیت را اینطور مشخص کنید:
• در Data Warehouse، داده فروش و مرجوعی را پاکسازی و یکپارچه کنید و تاریخچه و کلیدهای مشترک را نگه دارید.
• در Semantic Layer یا لایه معنایی، روابط تحلیلی و Measure مشترک «فروش خالص» را تعریف کنید تا گزارشها از یک تعریف استفاده کنند.
✅ گزارشهای Power BI Report Server را با اتصال Live به مدل SSAS Tabular متصل کنید. منطق مشترک KPI را در هر گزارش دوباره نسازید. تغییر تعریف شاخص باید در مدل مرکزی انجام شود، نه در تکتک داشبوردها.
🔹 اگر «فروش خالص» در هر گزارش عدد متفاوتی دارد، فقط کیفیت داده را بررسی نکنید. ممکن است تعریف KPI در چند فایل گزارش تکرار شده باشد.
⚙️ در یک معماری On-Premises با SQL Server و SSAS Tabular، مرز مسئولیت را اینطور مشخص کنید:
• در Data Warehouse، داده فروش و مرجوعی را پاکسازی و یکپارچه کنید و تاریخچه و کلیدهای مشترک را نگه دارید.
• در Semantic Layer یا لایه معنایی، روابط تحلیلی و Measure مشترک «فروش خالص» را تعریف کنید تا گزارشها از یک تعریف استفاده کنند.
✅ گزارشهای Power BI Report Server را با اتصال Live به مدل SSAS Tabular متصل کنید. منطق مشترک KPI را در هر گزارش دوباره نسازید. تغییر تعریف شاخص باید در مدل مرکزی انجام شود، نه در تکتک داشبوردها.
👍3❤1
کتاب More SQL Antipatterns
کتاب More SQL Antipatterns نوشته Bill Karwin از انتشارات Pragmatic Bookshelf، بر تقویت مهارتهای SQL برای توسعه برنامههای بهینه و مقیاسپذیر و پرهیز از اشتباهات رایج توسعهدهندگان تمرکز دارد.
موضوعات کتاب شامل مقیاسپذیری و کارایی، کوئریهای پیچیده، Denormalization، ستونهای JSON، مقایسه SQL و NoSQL، تراکنشها، Polling، نگاشت شیءـرابطهای (ORM) و پایگاههای داده Sharded است.
این کتاب برای توسعهدهندگان مناسب است. مثالها با PostgreSQL و Python ارائه شدهاند، اما اصول مطرحشده در پایگاههای داده و زبانهای مدرن قابل استفادهاند.
کتاب More SQL Antipatterns نوشته Bill Karwin از انتشارات Pragmatic Bookshelf، بر تقویت مهارتهای SQL برای توسعه برنامههای بهینه و مقیاسپذیر و پرهیز از اشتباهات رایج توسعهدهندگان تمرکز دارد.
موضوعات کتاب شامل مقیاسپذیری و کارایی، کوئریهای پیچیده، Denormalization، ستونهای JSON، مقایسه SQL و NoSQL، تراکنشها، Polling، نگاشت شیءـرابطهای (ORM) و پایگاههای داده Sharded است.
این کتاب برای توسعهدهندگان مناسب است. مثالها با PostgreSQL و Python ارائه شدهاند، اما اصول مطرحشده در پایگاههای داده و زبانهای مدرن قابل استفادهاند.
❤6👍4🔥1
دسترسی حساس در SQL Server را قابل ردیابی کنید
🔹 برای دسترسی به دادههای حساس، از Login مشترک استفاده نکنید. هویت مجزا، ترجیحاً با Windows Authentication، و حداقل مجوز لازم بدهید. عضویت در sysadmin نباید راهحل خطای دسترسی باشد.
⚙️ در SSMS یک Server Audit با مقصد فایل بسازید. سپس در دیتابیس، یک Database Audit Specification تعریف کنید که عملیات SELECT روی جدول حساس، مثلاً dbo.Payroll، را برای public ثبت کند. هم Audit و هم Specification را فعال کنید. انتخاب public برای پوشش کاربران است، نه اعطای مجوز به آنها.
✅ با یک حساب کمدسترسی، خواندن جدول را آزمایش و گزارش را از گزینه View Audit Logs بررسی کنید. ورود موفق فقط اتصال را نشان میدهد، نه دسترسی به داده. این تنظیم اجرای SELECT را ثبت میکند، نه محتوای ردیفهای خواندهشده. فایلهای Audit را هم از دسترس کاربران عادی دور نگه دارید.
🔹 برای دسترسی به دادههای حساس، از Login مشترک استفاده نکنید. هویت مجزا، ترجیحاً با Windows Authentication، و حداقل مجوز لازم بدهید. عضویت در sysadmin نباید راهحل خطای دسترسی باشد.
⚙️ در SSMS یک Server Audit با مقصد فایل بسازید. سپس در دیتابیس، یک Database Audit Specification تعریف کنید که عملیات SELECT روی جدول حساس، مثلاً dbo.Payroll، را برای public ثبت کند. هم Audit و هم Specification را فعال کنید. انتخاب public برای پوشش کاربران است، نه اعطای مجوز به آنها.
✅ با یک حساب کمدسترسی، خواندن جدول را آزمایش و گزارش را از گزینه View Audit Logs بررسی کنید. ورود موفق فقط اتصال را نشان میدهد، نه دسترسی به داده. این تنظیم اجرای SELECT را ثبت میکند، نه محتوای ردیفهای خواندهشده. فایلهای Audit را هم از دسترس کاربران عادی دور نگه دارید.
تفاوت CQRS و Event Sourcing
🔹 در CQRS، مسیر تغییر داده از مسیر خواندن آن جدا میشود. این جداسازی اجازه میدهد مدل نوشتن و مدل خواندن متناسب با نیاز هر کدام طراحی شوند.
🔹 در Event Sourcing، تغییرات بهشکل دنبالهای از رویدادها ذخیره میشوند و وضعیت فعلی از روی آنها قابل بازسازی است. برای مثال، بهجای نگهداری فقط موجودی حساب، رویدادهای واریز و برداشت ثبت میشوند.
📌 این دو مفهوم مستقلاند: میتوان CQRS را بدون Event Sourcing به کار برد یا برعکس. در ترکیب آنها معمولاً رویدادها مبنای ساخت مدلهای خواندن هستند، اما این مدلها ممکن است با کمی تأخیر بهروز شوند.
🔹 در CQRS، مسیر تغییر داده از مسیر خواندن آن جدا میشود. این جداسازی اجازه میدهد مدل نوشتن و مدل خواندن متناسب با نیاز هر کدام طراحی شوند.
🔹 در Event Sourcing، تغییرات بهشکل دنبالهای از رویدادها ذخیره میشوند و وضعیت فعلی از روی آنها قابل بازسازی است. برای مثال، بهجای نگهداری فقط موجودی حساب، رویدادهای واریز و برداشت ثبت میشوند.
📌 این دو مفهوم مستقلاند: میتوان CQRS را بدون Event Sourcing به کار برد یا برعکس. در ترکیب آنها معمولاً رویدادها مبنای ساخت مدلهای خواندن هستند، اما این مدلها ممکن است با کمی تأخیر بهروز شوند.
تفاوت Incremental Ingestion و CDC در Data Lake
در الگوی Incremental Ingestion، پس از بارگذاری اولیه، فقط دادههای جدید یا تغییرکرده به Data Lake منتقل میشوند. این کار حجم انتقال و پردازش را نسبت به بارگذاری کامل کاهش میدهد.
🔹 روش CDC یا Change Data Capture یکی از راههای شناسایی تغییرات است. این روش بسته به منبع، میتواند عملیات درج، بهروزرسانی و حذف را ثبت کند.
⚙️ برای مثال، در SQL Server میتوان با قابلیت CDC تغییرات جدول را دریافت و به Data Lake منتقل کرد. در مقابل، بارگذاری افزایشی بر اساس ستون زمان آخرین تغییر، معمولاً حذف رکوردها را بدون سازوکار تکمیلی شناسایی نمیکند.
📌 برای انتقال قابلاعتماد، نقطه آخرین تغییر پردازششده را نگه دارید و زمان نگهداری تغییرات در منبع را با فاصله اجرای انتقال هماهنگ کنید.
در الگوی Incremental Ingestion، پس از بارگذاری اولیه، فقط دادههای جدید یا تغییرکرده به Data Lake منتقل میشوند. این کار حجم انتقال و پردازش را نسبت به بارگذاری کامل کاهش میدهد.
🔹 روش CDC یا Change Data Capture یکی از راههای شناسایی تغییرات است. این روش بسته به منبع، میتواند عملیات درج، بهروزرسانی و حذف را ثبت کند.
⚙️ برای مثال، در SQL Server میتوان با قابلیت CDC تغییرات جدول را دریافت و به Data Lake منتقل کرد. در مقابل، بارگذاری افزایشی بر اساس ستون زمان آخرین تغییر، معمولاً حذف رکوردها را بدون سازوکار تکمیلی شناسایی نمیکند.
📌 برای انتقال قابلاعتماد، نقطه آخرین تغییر پردازششده را نگه دارید و زمان نگهداری تغییرات در منبع را با فاصله اجرای انتقال هماهنگ کنید.